Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1156 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

October 20, 09:48

Заметка про внутрянку использования разных библиотек для нейросетей, которые не сразу очевидны, если с этим не работать:

- tf имеет несколько contrib слоев в своем АПИ, которые дописываются разными командами в Гугле. По этой причине там можно найти весьма извращенные вещи, доступные из коробки. Это своеобразный внутренний опен-сорс внутри гугла между удаленными друг от друга командами

- Внезапно в tf надо очень помучиться чтобы найти работающий batch norm слой - и их там много

- при прототипировании разницы в скорости реальной вообще нет, но на продакшене tf имеет заветные +20-30% скорости работы. не порядки, конечно, но прирост есть

Pytorch

- У него нет нормальных модулей для бенчмаркинга - скорости работы, занимаемой памяти, размеру слоев итд

- В сочетании с visdom можно визуализировать что угодно, но это все равно будет отчасти на коленке

#data_science

#deep_learning