Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1319 members, 1513 posts since 2016

All this - lost like tears in rain.

Data science, deep learning, sometimes a bit of philosophy and math. No bs.

Our website
- spark-in.me
Our chat
- goo.gl/WRm93d
DS courses review
- goo.gl/5VGU5A
- goo.gl/YzVUKf

December 25, 10:29

Попробовал новые архитектуры нейросетей в качестве энкодеров для transfer learning (nasnet, densenet) - они ведут себя хуже, чем inception4 / inception-resnet / resnet.

Вот как-то так. Может их надо по-особенному как-то тренировать, но есть еще и такие минусы:

- densenet жрет много памяти при тренировке из-за обильных коннектов внутри модели - градиенты хранить надо

- nasnet имеет веса примерно в 2 раза толще, чем inception4 и резнет - что отражается на памяти и скорости работы

#deep_learning