Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

October 20, 04:07

Нашел время прочитать оригинальные (теперь уже классические) статьи про Resnet и Inceptionv3

- Resnet - goo.gl/831gwR

- Inception v3 - goo.gl/b4SYjE

Полезно для понимания принципов построения state of the art нейросетей / основные идеи:

- Идеи resnet

-- Пробрасывание активаций предыдущего слоя вперед для ускорения обучения и снижения проблемы угасающих градиентов (градиентный спуск "размывается" для очень больших сетей) - goo.gl/4USP4j

-- Как выглядит resnet в сравнении с традиционными архитектурами - goo.gl/k6D6H4g

-- За счет меньшего числа фильтров в начале сети сеть получается легче, несмотря на ее больший общий размер

-- Сравнение скорости обучения Resnet и обычных сетей - goo.gl/2Ficd1

- Идеи Inception

-- Основная идея - замена обычного фильтра набором из меньших фильтров, которые должны давать прирост по скорости в 20-30% - пример для фильтра 5x5 - goo.gl/f335Kv

-- Такой же фильтр для nxn с ассиметричными convolutions - goo.gl/Wq9wgf

-- Иллюстрация мини-сетей, которые заменяют фильтры разного размера

--- 3x3 goo.gl/W7T1Fh

--- 5x5 goo.gl/XdLQPD

-- Базовые принципы построения нейросетей

--- Не допускать репрезантационного боттлнека в сети (когда данные очень сильно сжимаются)

--- Аггрегацию (пулинг) можно делать на данных меньшей размерности из-за высокой корреляции между пикселями в картинках без потери точности

--- Фильтры с большим числом слоев лучше обрабатывать локально в сети далее передавая уже обработанный сигнал

--- Вычислительную мощность надо распределять между глубиной и "шириной" сети

#data_science

#deep_learning