Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

November 09, 06:01

Отличная статья про визуализацию слоев нейросетей

- distill.pub/2017/feature-visualization/

Я пробовал использовать готовые библиотеки для таких целей - никакие из них реально не работали из коробки (как правило требовалось использовать legacy софт, устаревшие библиотеки или пройти 10 шагов компиляции). Единственное что более-менее нормально заводилось - saliency maps на картинках в keras-viz.

Из интересного в статье:

- Основные подходы к визуализации - feature visualization and attribution (saliency maps) goo.gl/p3hQVX

- Как правило визуализация делается через генерацию картинок, которые максимально активируют какой-то кусочек нейросети - goo.gl/26pGej goo.gl/HKqgHr

- На практике зачастую получается шум вместо красивых картинок - goo.gl/WRiHcT

- По идее только такая визуализация реально ответит вам на что реально реагирует нейросеть - на танки или на время суток - goo.gl/D1bXRJ

- Забавные эффекты можно получать смешивая максимизацию разных нейронов - goo.gl/CH3JAC

- В статьях по визуализации самое значительное внимание уделяется регуляризации, т.к. если просто взяться за визуализацию - то получится шум (как у меня было с курами) - goo.gl/YcnxVJ

Все это очень интересно, наглядно и не очень исследовано.

#data_science

#deep_learning

Feature Visualization

How neural networks build up their understanding of images.