Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

Posts by tag «deep_learning»:

snakers4 (Alexander), December 08, 07:31

Интересное в мире ML / Deep Learning

Как обычно пропускаю через себя много мусора, чтобы найти что-то ценное =)

"Книги"

- Еще одна "книга" - записки ML специалиста - goo.gl/Wmes7p

Python

- Если хотите быстро понять в чем разница между hdf5 и bcolz вам сюда - goo.gl/wfcCri

Reading and writing data to a bcolz.carray is typically a lot faster than HDF5- Есть еще pytables - но я читал, что он более монструозный. Вообще такие штуки нужны если у вас есть массивы на сотни миллионов - миллиарды строк и вы хотите быстро оттуда читать

- Прослойка, чтобы работать с датафреймами на GPU - goo.gl/r8KPGd - если вы в курсе зачем и как - поделитесь опытом в чате ( GPU Dataframe of GPU Open Analytics Initialive (GOAI) )

Deep learning

- Сетки работают т.к. в мире физики доминируют относительно простые функции - goo.gl/JmTA2Y

- Adversarial example для вашего мозга - попробуйте понять что это - goo.gl/PGdX5m

- Фреймворки - новый способ доминирования на рынке ML - goo.gl/ZtMJVF (почему интерфейсы TF такое говно тогда? =) )

- PR кривые в тензорборд - может кому надо - goo.gl/5gM6a1

- Новая статья на Хабре про интуиции нейросетей - goo.gl/fwxcrC

- Безумие - но из попиксельных карт теперь можно создавать улицы в 2К разрешении

-- goo.gl/hoCA4C

-- www.youtube.com/watch?v=3AIpPlzM_qs

-- генератор goo.gl/myMXTQ

-- дискриминатор goo.gl/oki5rq

- Нашумевший StarGan - goo.gl/Gsvuoe

Machine learning / data science

- Внезапно гугл применил свой алгоритм для Го для шахмат - goo.gl/jwTtwb

- Новая статья на Distill - goo.gl/uLXJMr - про artificial intelligence augmentation (AIA): the use of AI systems to help develop new methods for intelligence augmentation - внезапно они тоже нарисовали списрального кота - goo.gl/4KJemD

- Фейсбук и алгоритмы предсказания суицидов - goo.gl/tsZvfH

- Статья от авторов LightGBM - goo.gl/NQFxai

Датасеты

- Мозилла открывает модель и очень много данных по распознаванию голоса

-- данные - voice.mozilla.org/data

-- модель - github.com/mozilla/DeepSpeech

Железо

- Nvidia Titan V - пускайте слюни за US$3k - www.youtube.com/watch?time_continue=43&v=NPrfiOldKf8

#digest

#data_science

#deep_learning

snakers4 (Alexander), December 07, 07:15

Нашел просто великолепный конвертер моделей из pytroch в keras, который по идее должен снизить длину пути в продакшен + сборник других конвертеров:

- github.com/ysh329/deep-learning-model-convertor

- github.com/nerox8664/pytorch2keras

Мне очень понравилось как умно автор решил вопрос конвертации из Pytorch - он идет по графу вычислений и создает модель на keras нативным образом, что по сути дает большую свободу маневра.

#deep_learning

#data_science

ysh329/deep-learning-model-convertor

deep-learning-model-convertor - The convertor/conversion of deep learning models for different deep learning frameworks/softwares.


snakers4 (Alexander), December 06, 04:42

Мелочь из практики - если вы юзаете Keras + tf - не все версии хорошо работают друг с другом.

Тут больше инфы

- github.com/nerox8664/pytorch2keras/issues/1#issuecomment-349380097

- docs.floydhub.com/guides/environments/

Beware.

#deep_learning

High max error · Issue #1 · nerox8664/pytorch2keras

Ran /tests/resnet50.py and /tests/alexnet.py For resnet50 I got this error 1.88754e+08 Max error: 1079778560.0 For alexnet I got this error 0.062452 Max error: 0.11586721986532211 Is this expecte...


snakers4 (Alexander), December 05, 17:00

Вышла новая верия (v 0.3.0) Pytorch

- github.com/pytorch/pytorch/releases

Из того, на что упал глаз

- A profiler for the autograd engine

- Model Exporter to ONNX (ship PyTorch to Caffe2, CoreML, CNTK, MXNet, Tensorflow)

Этого очень не хватало!

#deep_learning

pytorch/pytorch

pytorch - Tensors and Dynamic neural networks in Python with strong GPU acceleration


snakers4 (Alexander), December 05, 05:59

Про капсульные сети на русском

- habrahabr.ru/company/recognitor/blog/343726/

Выше было видео более интуитивное, но если вы не знаете английский, то это тоже в копилку.

#data_science

#deep_learning

Капсульные сети от Хинтона

27 октября 2017 года появилась статья доктора Джофри Хинтона с соавторами из Google Brain. Хинтон — более чем известный ученый в области машинного обучения.


snakers4 (Alexander), December 04, 16:49

Банально но гугл можно использовать как источник разметки

- www.pyimagesearch.com/2017/12/04/how-to-create-a-deep-learning-dataset-using-google-images/

#deep_learning

How to create a deep learning dataset using Google Images - PyImageSearch

In this post I'll show you how to use Google Images to (easily) grab more training data for your Deep Learning and Convolutional Neural Networks.


snakers4 (Alexander), December 04, 11:16

Попробовал это на реальной модели

- github.com/pkdn/pytorch-smoothgrad

Под капотом все оказалось просто.

Эта штука реально работает.

#data_science

#deep_learning

pkdn/pytorch-smoothgrad

pytorch-smoothgrad - SmoothGrad implementation in PyTorch


snakers4 (Alexander), December 04, 08:41

Народ периодически спрашивает чем я занимаюсь. Я особо не горю желанием рассказывать детали (ну и как-то неправильно ИРЛ палиться), но отдельные моменты просто заслуживают того, чтобы ими поделиться.

Собрал список самых тупых своих и не только ошибок за последнее время с которыми сталкивался:

- spark-in.me/post/best-errors-ever

Как говорится - умные учатся на ошибках других, но свой набор граблей все равно неизбежно будет собран =)

#data_science

#deep_learning

What nobody will tell you about what they do

Article about the most stupid errors possible and how to ideally avoid them Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me


snakers4 (Alexander), December 01, 11:54

На новой работе увидел, что люди тренируют свои модели на 2 питоне (ЩИТО?), на tensorflow (WTF???) и грузят данные в 1 поток (2017 год на дворе!).

По этой причине сделал коллегам такую немного трололо презентацию. Может и вам понравится

- goo.gl/ne9RH4

Все простое - очень просто, главное просто знать где искать)

#data_science

#deep_learning

#python

image processing

Leveraging your hardware and software for NNs Efficiently, better with pytorch* =) * for research and competitions


snakers4 (Alexander), November 30, 08:18

Офигенная статья про Soft Proposal Networks for Weakly Supervised Object Localization

- yzhou.work/SPN/

- код на Pytorch github.com/yeezhu/SPN.pytorch

- в выходные проверю работает ли оно

Зачем это надо?

- допустим у вас разметка на уровне видео или картинки, а вы хотите узнать где именно объект

- это же применимо и для анализа работы вашей сетки наряду с такими вещами как deconv, guided gradient descent или smooth grad

#deep_learning

#data_science

snakers4 (Alexander), November 28, 10:33

Юнето-подобные архитектуры и капчи ломают

- habrahabr.ru/post/343222/

#deep_learning

Текстовые капчи легко распознаются нейронными сетями глубокого обучения

Нейронные сети глубокого обучения достигли больших успехов в распознавании образов. В тоже время текстовые капчи до сих пор используются в некоторых известных...


snakers4 (Alexander), November 28, 07:42

В моем любимом блоге про CV аж 3 новых статьи

- cv-blog.ru/?p=156

- cv-blog.ru/?p=185

- cv-blog.ru/?p=195

Чуть не пропустил. Ссылки они выкладывают только во вк.

#deep_learning

snakers4 (Alexander), November 26, 05:37

Еще раз ссылка, как кажется на банальную статью про нейросети - почему они не тренируются, когда должны. За последние 2 недели я собрал почти все эти костыли. Особенно радует, когда теряешь 3-4 дня суток расчетов.

- theorangeduck.com/page/neural-network-not-working

#data_science

#deep_learning

My Neural Network isn't working! What should I do?

Orange Duck's Website


snakers4 (Alexander), November 24, 07:36

Практическая копоть. Выбирая для одной задачи между densenet и resnet, прочитал статью и спросил коллег.

- Архитектура - goo.gl/uBrBA4 goo.gl/HzGqQp

- Статья - goo.gl/mWdhsS

- Основные идеи:

-- Некоторые сети улучшают точность за счет длины (резнет) и skip connections

-- Некоторые за счет ширины - inception

-- Некоторые за счет связей - densenet

- Практика и почему не используется на соревнованиях

-- Новая и хуже изучена чем VGG и Resnet

-- Жрет больше памяти чем резнет на таком же числе параметров и сравнимой точности

-- Тяжело и хз как правиольно тренировать

- Коллеги говорят, что сама архитектура пока сырая

#data_science

#deep_learning

snakers4 (Alexander), November 15, 06:43

Лайфхак дня. Как прикрутить TensorBoard к pytorch за 10 минут

- github.com/yunjey/pytorch-tutorial/tree/master/tutorials/04-utils/tensorboard

По сути единственное, что продолжает вымораживать в pytorch по сравнению с tf - отсутствие инструментов для дебага графа вычислений (может потому, что он динамический?)

#deep_learning

#pytorch

yunjey/pytorch-tutorial

pytorch-tutorial - PyTorch Tutorial for Deep Learning Researchers


snakers4 (Alexander), November 11, 16:34

В keras, чтобы использовать встроенную многопоточность в методе fit, надо по идее писать thread-safe генераторы, что иногда немного раздражает.

К счастью, авторы keras сделали специальный класс (очень похожий на класс dataset в pytorch) для решения этой проблемы:

- keras.io/utils/#sequence

#data_science

#deep_learning

snakers4 (Alexander), November 10, 06:44

Интересное в мире ML:

- Import AI - goo.gl/RwZRzQ

- Гугл продолжает развивать свой auto-ml. Безумие конечно, но они уже сделали это на Imagenet

-- goo.gl/Ng9d8f

-- goo.gl/oZX9td

- Еще раз отчет - the state of data science 2017 от Kaggle - goo.gl/oKjVtx

- Огромные инвестиции в распознавание лиц от России и Китая - goo.gl/qL5SWQ

- Это безумие, но фейсбук научился переводить с одного языка на другой вообще без размеченных текстов сразу на 2 языках - goo.gl/NgLcJE

- Ian GoodFellow про фейковые новости - goo.gl/ihBhgm

- Еще раз про капсульные сетки - hackernoon.com/what-is-a-capsnet-or-capsule-network-2bfbe48769cc

#data_science

#deep_learning

#digest

Import AI: #67: Inspecting AI with RNNVis; Facebook invents counter-intuitive language translation method; and what fractals have to do with neural architecture search

All hail the AI inspectors: New ‘RNNVis’ software makes it easier to interpret the inner workings of recurrent nets. …Figuring out why a particular neural network is classifying s…


snakers4 (Alexander), November 09, 07:04

Отличная статья про Resnet и то, как его лучше понять, и какие у него есть разновидности

- towardsdatascience.com/an-overview-of-resnet-and-its-variants-5281e2f56035

#deep_learning

An Overview of ResNet and its Variants

After the celebrated victory of AlexNet [1] at the LSVRC2012 classification contest, deep Residual Network [2] was arguably the most…


snakers4 (Alexander), November 09, 06:01

Отличная статья про визуализацию слоев нейросетей

- distill.pub/2017/feature-visualization/

Я пробовал использовать готовые библиотеки для таких целей - никакие из них реально не работали из коробки (как правило требовалось использовать legacy софт, устаревшие библиотеки или пройти 10 шагов компиляции). Единственное что более-менее нормально заводилось - saliency maps на картинках в keras-viz.

Из интересного в статье:

- Основные подходы к визуализации - feature visualization and attribution (saliency maps) goo.gl/p3hQVX

- Как правило визуализация делается через генерацию картинок, которые максимально активируют какой-то кусочек нейросети - goo.gl/26pGej goo.gl/HKqgHr

- На практике зачастую получается шум вместо красивых картинок - goo.gl/WRiHcT

- По идее только такая визуализация реально ответит вам на что реально реагирует нейросеть - на танки или на время суток - goo.gl/D1bXRJ

- Забавные эффекты можно получать смешивая максимизацию разных нейронов - goo.gl/CH3JAC

- В статьях по визуализации самое значительное внимание уделяется регуляризации, т.к. если просто взяться за визуализацию - то получится шум (как у меня было с курами) - goo.gl/YcnxVJ

Все это очень интересно, наглядно и не очень исследовано.

#data_science

#deep_learning

Feature Visualization

How neural networks build up their understanding of images.


snakers4 (Alexander), November 06, 08:01

Про новое направление в нейросетях

- www.youtube.com/watch?v=rTawFwUvnLE

#deep_learning

Geoffrey Hinton talk "What is wrong with convolutional neural nets ?"
Brain & Cognitive Sciences - Fall Colloquium Series Recorded December 4, 2014 Talk given at MIT. Geoffrey Hinton talks about his capsules project.

snakers4 (Alexander), November 06, 05:56

Несколько раз завел пайплайны с ImgAugs - они не такие уж и медленные. Вероятно в прошлый раз беда была с легаси кодом ипмелементации.

На pytorch вообще неплохо получается, когда мы "дешевые" аугментации делаем многопоточно и грузим в очередь, прежде чем запихивать на видеокарту. Особенно если высокая скорость чтения и многоядерный процессор - чтение из видео последовательно не является боттл-неком.

Вообще получается неплохое сочетание для работы с видео:

- moviepy + jupiter notebooks для EDA с видео

- opencv для работы с bbox-ами и детекцией движения

- image.io для генерации входных данных для нейросети без распаковки видео (работает только для простой логики типа склеить кадры - если нужно что-то более монструозное, особенно со снижением размерности, то лучше делать предобработку с сохранением на диск)

- imgaugs + пара расширений классов и свои наработки для генераторов

#deep_learning

#video

#data_science

snakers4 (Alexander), November 05, 04:03

Интересное в мире ML:

- Опрос - the state of ML от Каггла - www.kaggle.com/surveys/2017 . 2 графика наглядно иллюстрируют почему у нас зачастую ищут разрабов с налетом работы с данными, а не наоборот (понятно что у нас никто не отвечает на опросы, умножьте цифру в голове на 2)

-- goo.gl/8MU62f

-- goo.gl/8M3eAs

- Люди начинают делать аггрегаторы пре-тренированных моделей - этот pretrained.ml - судя по всему не работает. Качаем из доки своего любимого фреймворка пока...

- Якобы прорыв в архитектуре сетей - goo.gl/UvtrBj - arxiv.org/pdf/1710.09829.pdf - goo.gl/x6dhQJ - но пока только на MNIST

- Nvidia тренирует GAN прогрессивно на растущем разрешении и это якобы быстрее - arxiv.org/pdf/1710.10196.pdf

- Многобукв про то, что через годик появится много чипов для ML с 10x производительностью при таком же потреблении энергии - goo.gl/U7JTNF

- Uber открывает свой фреймворк для байесовых моделей - goo.gl/jWxFSj

- Популярная статья про adversarial аттаки на сети - goo.gl/2qMPHT и по сути самый важный код умещается на половину страницы

#digest

#data_science

#deep_learning

The State of ML and Data Science 2017

A big picture view of the state of data science and machine learning that shares who is working with data, what’s happening at the cutting edge of machine learning across industries, and how new data scientists can best break into the field.


snakers4 (Alexander), November 02, 05:42

Офигенная презентация, которую я сделал к докладу про object detection, в которой вы найдете:

- Обзор современных sota моделей и подходов

- Основные бенчмарки современных моделей

- Направления дальнейшего развития моделей

- Мой опыт (и опыт победителей) последнего соревнования про поиск рыб на видео

- Некоторые особенности имплементаций моделей на keras и pytorch

- Проверенные имплементации моделей

- Советы для ваших пайплайнов моделей

- Забавные видосики

Ссылка на саму презентацию

- goo.gl/eDSM3L

Шерьте как можно больше =)

#data_science

#deep_learning

real time object detection

Real-Time Object Detection YOLO, SSD and Faster R-CNN


snakers4 (Alexander), October 31, 03:30

Закончился конкурс с рыбками. Что интересно - публичный лб и приватный почти не отличаются. На платформе нормальные админы?) Автор умудрился занять 18 место из 400+ участников. Плакать или радоваться - хз.

В Keras появилась поддержка multi GPU из коробки. Наконец-то. Теперь для готовых моделей keras не хуже pytorch.

www.pyimagesearch.com/2017/10/30/how-to-multi-gpu-training-with-keras-python-and-deep-learning/?__s=jzpzanwy9jmh18omiik2

#data_science

#deep_learning

How-To: Multi-GPU training with Keras, Python, and deep learning - PyImageSearch

In this tutorial you'll learn how you can scale Keras and train deep neural network using multiple GPUs with the Keras deep learning library and Python.


snakers4 (Alexander), October 30, 05:28

Офигенный туториал с анимацией из доки theano про суть сверточных слоев и статья на эту же тему:

- goo.gl/JG3vEd

- deeplearning.net/software/theano/tutorial/conv_arithmetic.html

- arxiv.org/pdf/1603.07285.pdf

В частности понравилось, как они рассказывают про transposed convolution

- Если оригинальный input представить в виде вектора, то сверточный слой можно представить в виде матрицы, на которую умножается такой вектор

- goo.gl/4xC9Qg

- goo.gl/bZPcYT

#deep_learning

#data_science

snakers4 (Alexander), October 29, 14:32

Эволюция GAN

- www.youtube.com/watch?time_continue=1&v=XOxxPcy5Gr4

#deep_learning

Progressive Growing of GANs for Improved Quality, Stability, and Variation
Submitted to ICLR 2018 We strongly recommend watching the video full-screen at 1080p @ 60.

snakers4 (Alexander), October 29, 14:17

Судя по прошлому опросу просили полнотекстовую статью.

В прошлый раз по итогу конкурса сил хватило только на пост на канале. В этот раз я разродился чутка причесать код, выложить тетрадки и написать целый длинный блог пост. По сути было весело:

- новый домен - видео - и сгенерирована тонна копипасты для работы с ним в тетрадках;

- новые sota модели для изучения;

- изучен и весьма распробован новый фреймворк - pytorch;

Статья

- spark-in.me/post/fish-object-detection-ssd-yolo

Комментируйте, репостите, шлите друзьям, критикуйте.

И как всегда можно:

- Поставить оценку каналу тут - telegram.me/tchannelsbot?start=snakers4 (1000+ подписчиков и только 50+ оценок - 5% как бы норм, но почему не больше?)

- Задонатить на новые статьи и развитие канала (вести канал несложно, статьи и соревнования занимают очень много времени) тут:

-- На чай - goo.gl/zveIOr

-- Договор ТКС 5011673505

#data_science

#deep_learning

#computer_vision

Identify fish challenge - playing with object detection

My path to learning SSD and YOLO and my experience in participating in a video object search competition with 300+GB of data Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me


snakers4 (Alexander), October 27, 14:08

Когда не надо использовать нейросети

- goo.gl/Y8iEMB

#data_science

#deep_learning

When not to use deep learning

I know it’s a weird way to start a blog with a negative, but there was a wave of discussion in the last few days that I think serves as a good hook for some topics on which I’ve been thinking recently. It all started with a post in the Simply Stats blog by Jeff Leek on the caveats of using deep learning in the small sample size regime.


snakers4 (Alexander), October 27, 08:56

Классические статьи в ML. На этот раз - Xception - развитие идеи Inception нейросетей от автора Keras Francois Chollet

- Статья - arxiv.org/abs/1610.02357

- Основная идея - довести идею Inception до упора полностью разделив convolutions отвечающие за цвет и за пространство

- Оригинальный Inception модуль - goo.gl/t89QaP

- Упрощение такого модуля - goo.gl/dvkH2k

- Ultimate версия такого модуля goo.gl/qexHvo

- Архитектура всей модели - goo.gl/DPt6wr

- Точности такая модель особо не прибавляет, но якобы тренируется лучше чем inception goo.gl/nzoxY5

#data_science

#deep_learning

snakers4 (Alexander), October 24, 04:56

Классические статьи про deep learning - на этот раз inceptionv4 (странно я мало про нее слышал до этого).

Суть - это самая state-of-the-art доступная для простого человека модель, которая имеет ~3% top5 ошибки на imagenet (после этого народ стал ковырять более легкие сетки):

- Статья написана четко и понятным языком (что редкость). Сама архитектура попахиваем перебором брутфорсом)

- Базовая архитектура в 1 картинку - goo.gl/H7sxpL

- Inception v4 - arxiv.org/abs/1602.07261

- Из интересного:

-- Inception<3 имеет такую безумную архитектуру, т.к. гугл тренировал ее на каком-то своем старом распределенном софте - и там были ограничения по памяти

-- Inception4 имеет более простую архитектуру по сравнению с inception3

-- Inception4 и inception-resnet примерно одинаковы по своей мощности

-- В принципе ясно как они репортят точность - goo.gl/JyDkGg (100+ кропов?)

-- Базовая архитектура в 1 картинку - goo.gl/H7sxpL

--- Входной энкодер - goo.gl/RWCZCM (stem)

--- Блоки A , B - goo.gl/QYZCAa

--- Блок C - goo.gl/1XCp6f

--- Reduction блоки - goo.gl/qcBUv5 - goo.gl/Gpeize

Ну и прикладной совет - видите сетку на основе inception - пробуйте прикрутить к ней v4)

Для pytorch эта модель еще есть только в виде PR

- github.com/pytorch/vision/pull/43/files

#deep_learning