Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1174 members, 1247 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy. No bs.

Our website
- spark-in.me
Our chat
- goo.gl/IS6Kzz
DS courses review
- goo.gl/5VGU5A
- goo.gl/YzVUKf

December 20, 07:08

Прочитал статью про гугловый Nasnet

- ИЧСХ - статья не является наборищем формул и читается легко, kudos им за это

- arxiv.org/abs/1707.07012

- Статья в 1 картинку goo.gl/rNRB7h

-- Суть - они не случайно ищут архитектуру сети, а фиксируют, что у них будет 2 блока (один который не снижает размерность и один который снижате) и дальше проводят поиск архитектур на CIFAR-10, а потом проводят бенчмарк на Imagenet

-- В качестве учителя таких архитектур выступает обычная LSTM со 100 нейронами, которая "выдает" архитектуры

-- Что интересно - якобы их новая модель имеет +1.5% точности по сравнению с прошлыми sota моделями и случайным поиском

-- На практике - ее максимальная версия имеет больше весов и работает медленнее (раза в полтора - два), чем inception4 (!)

-- Все это считается несколько дней на 500 GPU

-- Как выглядит лучший найденный блок goo.gl/bfiCXS

-- Архитектура сетки - pics.spark-in.me/upload/cfb83f2791d287a4a7a700103a6ce1e5.png

-- Еще неявное преимущество модели - она линейная как бы и количество блоков вы можете выбрать на свое усмотрение

#data_science

#deep_learning