Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

September 12, 07:06

Недавно натолкнулся на новую фишку при работе с нейросетями - использовать selu вместо relu в качестве активационной функции. По сути это является одним из способов регуляризации и нормализации процесса тренировки нейросетей (другой пример - с batch norm сети как правило тренируются более стабильно и быстро).

Как всегда водится - четких преимуществ на все случаи жизни нету, но иногда это хорошо работает без batch norm, иногда с. 100% плюсом является то, что это очень легко попробовать.

- goo.gl/iz72Gv

- goo.gl/EBCo8y

- goo.gl/6Qeiox

#data_science

SELU — Make FNNs Great Again (SNN)

Last month I came across a recent article (published June 22nd, 2017) presenting a new concept called Self Normalizing Networks (SNN). In…