Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1252 members, 1404 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy. No bs.

Our website
- spark-in.me
Our chat
- goo.gl/WRm93d
DS courses review
- goo.gl/5VGU5A
- goo.gl/YzVUKf

December 25, 10:29

Попробовал новые архитектуры нейросетей в качестве энкодеров для transfer learning (nasnet, densenet) - они ведут себя хуже, чем inception4 / inception-resnet / resnet.

Вот как-то так. Может их надо по-особенному как-то тренировать, но есть еще и такие минусы:

- densenet жрет много памяти при тренировке из-за обильных коннектов внутри модели - градиенты хранить надо

- nasnet имеет веса примерно в 2 раза толще, чем inception4 и резнет - что отражается на памяти и скорости работы

#deep_learning