Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

snakers4 (Alexander), December 13, 19:40

www.youtube.com/watch?v=QmIM24JDE3A

Ну и чтобы не было вау-эффекта, то вот сбалансированный анализ этого

- goo.gl/VRFwVn

AI Beats Radiologists at Pneumonia Detection | Two Minute Papers #214
The paper "CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning" is available here: stanfordmlgroup.github.io/projects/c...

snakers4 (Alexander), December 13, 13:02

techcrunch.com/2017/12/12/google-opening-an-office-focused-on-artificial-intelligence-in-china/

Google is opening a China-based research lab focused on artificial intelligence

Google has officially announced that it is opening an AI center in Beijing, China. The confirmation comes after months of speculation fueled by a major push to hire AI talent inside the country.…


snakers4 (Alexander), December 12, 16:00

Forwarded from Roem.ru:

Хорошая новость для Facebook и плохая для СМИ.

Реформа новостной ленты Facebook привела к тому, что соцсеть уступила Google лидерство по количеству реферального трафика для СМИ. Все сидят в сети и не переходят по ссылкам

¯_(ツ)_/¯

https://m.roem.ru/12-12-2017/265127/google-oboshla-facebook/

Google обошла Facebook по количеству реферального трафика для издателей

Реформа новостной ленты Facebook привела к тому, что соцсеть сдала позиции ключевого источника внешнего трафика для СМИ


snakers4 (Alexander), December 11, 21:20

snakers4 (Alexander), December 11, 20:41

Размышления Бена Эванса про эволюцию технологий

- goo.gl/AX67Gj

Просто и офигенно

#internet

Presentation: Ten Year Futures

This autumn I gave the keynote at Andreessen Horowitz's annual 'Tech Summit' conference, talking about the state of tech and what's likely to happen in the next decade: mobile, Google / Apple / Facebook / Amazon, innovation, machine learning, autonomous cars, mixed reality and crypto-currencies.


snakers4 (Alexander), December 11, 17:09

snakers4 (Alexander), December 11, 16:34

youtu.be/ycKpEWyzl2o

PCs had a surprise comeback in 2017!
Snapdragon, Ryzen, and quad core Intel CPUs. A new Mac line. ChromeOS maturing. This industry is on fire 🔥 (The Story Behind Ep. 25) [[[ TWITTER POLL ]]]: .....

snakers4 (Alexander), December 11, 10:01

Интересное в мире интернета:

Безумный мир

- Супер тонкий тролль вывел свой сарай в топ ресторанов trip advisor в Лондоне- goo.gl/7EqDaV

- 52 безумных факта в 2017 году - goo.gl/581Nmz

Интернет, IT

- Ben Evans - goo.gl/r2rwxe

- Apple скорее всего покупает shazam - goo.gl/1ZQ2zB

- Инстаграм тестирует мессенджер - goo.gl/72NGFL

- Guardian выходит на точку безубыточности - goo.gl/3PuqLf

- Гугл запускает с пяток India first продуктов - поиск, оптимизации ОС, телефон, платежную систему - goo.gl/V37HtC

- Как работают бизнес процессы модерации в крупных компаниях - goo.gl/Mfd9A5

Дивайсы

- Аналог интернет камеры за 20-30 баксов - goo.gl/Ztxm7s

- Adoption новых айфонов - внезапно очень быстро растет - goo.gl/QXEaYK

#internet

#digest

I Made My Shed the Top Rated Restaurant On TripAdvisor

And then served customers Iceland ready meals on its opening night.


snakers4 (Alexander), December 11, 09:33

52 безумных факта в 2017 году связанных с интернетом и технологиями.

- goo.gl/581Nmz

Несколько самых забавных

-- A fifth of all the Google searches handled via the mobile app and Android devices are voice searches

-- In 1990, more than a third of people on Earth lived on less than $1.90 a day, adjusted for local prices. By 2013, barely 10 percent of people did.

-- In Silicon Valley, startups that result in a successful exit have an average founding age of 47 years

-- A cryptocurrency mining company called Genesis Mining is growing so fast that they rent Boeing 747s to ship graphics cards to their Bitcoin mines in Iceland.

-- Beggars in China have sophisticated ways to collect payment; using QR Codes, WeChat accounts and in one case a Point Of Sale machine to collect donations.

#digest

52 things I learned in 2017

Between projects at Fluxx, and editing a book, I learned several learnings.


snakers4 (Alexander), December 09, 19:21

youtu.be/v1oWke0Qf1E

Universal Neural Style Transfer | Two Minute Papers #213
The paper "Universal Style Transfer via Feature Transforms" and its source code is available here: arxiv.org/abs/1705.08086 github.com/Yijunm...

snakers4 (Alexander), December 09, 10:22

Forwarded from Linuxgram:
Wine 3.0 Just Around the Corner with Direct3D 11 Support for AMD and Intel GPUs
—> goo.gl/eMBp8h

snakers4 (Alexander), December 08, 16:35

Прикол с работы. Потратил какое-то время на проверку архитектур из статей (уже продисконтировав на 90% весь мусор). В итоге оказалось, что простой энкодер + transfer learning лучше, чем то что предлагают ученые. Можно, конечно, сделать скидку на разницу в скорости работы в несколько раз - но иметь 100 или 300 FPS - разницы особо нет.

Вывод - ученые зачастую пишут статьи не на результат, а чтобы было, если это не касается прорывных архитектур или статей. Также зачастую в расчет не принимается вообще насколько бредовой является такая архитектура или насколько непрактичной.

Sad but true.

#data_science

snakers4 (Alexander), December 08, 10:25

Про разницу между cosine similarity и евклидовым расстоянием. Суть - евклидово расстояние зависит от длины вектора, а cosine similarity - нет.

cmry.github.io/notes/euclidean-v-cosine

Первое лучше использовать в случаях, когда пространства многомерные и длина векторов не особо имеет смысл.

#data_science

SDM - Euclidean vs. Cosine Distance

This post was written as a reply to a question asked in theSocial Data Mining course.


snakers4 (Alexander), December 08, 08:12

Иллюстрация к новому алгоритму DeepMind для тренировки своих сетей

- deepmind.com/blog/population-based-training-neural-networks/#gif-133

#deep_lerning

Population based training of neural networks | DeepMind

We introduce a new method for training neural networks which allows an experimenter to quickly choose the best set of hyperparameters and model for the task. This technique - known as Population Based Training - trains and optimises a pool of networks at the same time, allowing the optimal set-up to be quickly found. Crucially, this adds no computational overhead, can be done as quickly as traditional techniques and is easy to integrate into existing machine learning pipelines.


snakers4 (Alexander), December 08, 07:50

Просто несколько графиков отсюда - goo.gl/efmUYg

- Papers по годам - goo.gl/KnZyFb

- Звезды на гите - goo.gl/pQNPR8 (почему TF такое ужасное АПИ имеет - вероятно т.к. много пошло на маркетинг)

- Конференции - goo.gl/NGAedK

- Точность Imagenet - goo.gl/EmvBfo

- Самые крутые достижения AI за последние годы - goo.gl/NNg95U

#data_science

snakers4 (Alexander), December 08, 07:39

venturebeat.com/2017/12/07/nvidia-launches-new-titan-v-desktop-gpu-to-accelerate-ai-computation/

Nvidia launches Titan V desktop GPU to accelerate AI computation

Nvidia launched a new desktop GPU today that’s designed to bring massive amounts of power to people who are working on machine learning applications. The new Titan V card will provide customers with a Nvidia Volta chip that they can plug into a desktop computer.


snakers4 (Alexander), December 08, 07:31

Интересное в мире ML / Deep Learning

Как обычно пропускаю через себя много мусора, чтобы найти что-то ценное =)

"Книги"

- Еще одна "книга" - записки ML специалиста - goo.gl/Wmes7p

Python

- Если хотите быстро понять в чем разница между hdf5 и bcolz вам сюда - goo.gl/wfcCri

Reading and writing data to a bcolz.carray is typically a lot faster than HDF5- Есть еще pytables - но я читал, что он более монструозный. Вообще такие штуки нужны если у вас есть массивы на сотни миллионов - миллиарды строк и вы хотите быстро оттуда читать

- Прослойка, чтобы работать с датафреймами на GPU - goo.gl/r8KPGd - если вы в курсе зачем и как - поделитесь опытом в чате ( GPU Dataframe of GPU Open Analytics Initialive (GOAI) )

Deep learning

- Сетки работают т.к. в мире физики доминируют относительно простые функции - goo.gl/JmTA2Y

- Adversarial example для вашего мозга - попробуйте понять что это - goo.gl/PGdX5m

- Фреймворки - новый способ доминирования на рынке ML - goo.gl/ZtMJVF (почему интерфейсы TF такое говно тогда? =) )

- PR кривые в тензорборд - может кому надо - goo.gl/5gM6a1

- Новая статья на Хабре про интуиции нейросетей - goo.gl/fwxcrC

- Безумие - но из попиксельных карт теперь можно создавать улицы в 2К разрешении

-- goo.gl/hoCA4C

-- www.youtube.com/watch?v=3AIpPlzM_qs

-- генератор goo.gl/myMXTQ

-- дискриминатор goo.gl/oki5rq

- Нашумевший StarGan - goo.gl/Gsvuoe

Machine learning / data science

- Внезапно гугл применил свой алгоритм для Го для шахмат - goo.gl/jwTtwb

- Новая статья на Distill - goo.gl/uLXJMr - про artificial intelligence augmentation (AIA): the use of AI systems to help develop new methods for intelligence augmentation - внезапно они тоже нарисовали списрального кота - goo.gl/4KJemD

- Фейсбук и алгоритмы предсказания суицидов - goo.gl/tsZvfH

- Статья от авторов LightGBM - goo.gl/NQFxai

Датасеты

- Мозилла открывает модель и очень много данных по распознаванию голоса

-- данные - voice.mozilla.org/data

-- модель - github.com/mozilla/DeepSpeech

Железо

- Nvidia Titan V - пускайте слюни за US$3k - www.youtube.com/watch?time_continue=43&v=NPrfiOldKf8

#digest

#data_science

#deep_learning

snakers4 (Alexander), December 07, 07:15

Нашел просто великолепный конвертер моделей из pytroch в keras, который по идее должен снизить длину пути в продакшен + сборник других конвертеров:

- github.com/ysh329/deep-learning-model-convertor

- github.com/nerox8664/pytorch2keras

Мне очень понравилось как умно автор решил вопрос конвертации из Pytorch - он идет по графу вычислений и создает модель на keras нативным образом, что по сути дает большую свободу маневра.

#deep_learning

#data_science

ysh329/deep-learning-model-convertor

deep-learning-model-convertor - The convertor/conversion of deep learning models for different deep learning frameworks/softwares.


snakers4 (Alexander), December 07, 05:00

Forwarded from Roem.ru:

С сегодняшнего дня, 7 декабря, для получения заграничной покупки доставленной не «Почтой России», а Boxberry, DPD, SPSR, СДЭК и т.д., нужно предъявить свой ИНН и ссылку на купленные товары в онлайн-магазине → m.roem.ru/05-12-2017/264736/ny-gift-for-post/

Таможня снова усложнит конкурентам «Почты России» новогоднюю доставку покупок из иностранных интернет-магазинов

С 7 декабря покупатели, предпочитающие экспресс-доставку, будут получать покупки после предъявления ИНН и ссылок на купленные за границей товары // Роем в вашем Телеграме: https://telegram.me/roemru


snakers4 (Alexander), December 07, 02:42

youtu.be/6JZNEb5uDu4

This Neural Network Optimizes Itself | Two Minute Papers #212
The paper "Hierarchical Representations for Efficient Architecture Search" is available here: arxiv.org/pdf/1711.00436.pdf Genetic algorithm (+ Mona ...

Машины для DL – Заметки про роботов

cv-blog.ru/?p=207

snakers4 (Alexander), December 06, 04:42

Мелочь из практики - если вы юзаете Keras + tf - не все версии хорошо работают друг с другом.

Тут больше инфы

- github.com/nerox8664/pytorch2keras/issues/1#issuecomment-349380097

- docs.floydhub.com/guides/environments/

Beware.

#deep_learning

High max error · Issue #1 · nerox8664/pytorch2keras

Ran /tests/resnet50.py and /tests/alexnet.py For resnet50 I got this error 1.88754e+08 Max error: 1079778560.0 For alexnet I got this error 0.062452 Max error: 0.11586721986532211 Is this expecte...


snakers4 (Alexander), December 06, 04:21

Призеры конкурса с тачками выложили свой отчет про конкурс - goo.gl/3JySwE

Я не догадался до transfer learning, а они догадались xD

Ну и вот это порадовало)

Kaggle Carvana Blog post V2

The Basics Although we participated as a team, we worked independently up until merging 7 days before the end of the competition, creating 3 independent solutions. Each of these solutions was giving a result in top 10 and our final solution was a simple average of three predictions. You can also...



snakers4 (Alexander), December 05, 17:00

Вышла новая верия (v 0.3.0) Pytorch

- github.com/pytorch/pytorch/releases

Из того, на что упал глаз

- A profiler for the autograd engine

- Model Exporter to ONNX (ship PyTorch to Caffe2, CoreML, CNTK, MXNet, Tensorflow)

Этого очень не хватало!

#deep_learning

pytorch/pytorch

pytorch - Tensors and Dynamic neural networks in Python with strong GPU acceleration


snakers4 (Alexander), December 05, 06:24

Знакомый прислал просто безумно офигенную статью-обзор разных типов RNN

- distill.pub/2016/augmented-rnns/

Все понятно и простыми словами. По итогам нового конкурса будет больше инфы, пока так.

Attention and Augmented Recurrent Neural Networks

A visual overview of neural attention, and the powerful extensions of neural networks being built on top of it.


snakers4 (Alexander), December 05, 05:59

Про капсульные сети на русском

- habrahabr.ru/company/recognitor/blog/343726/

Выше было видео более интуитивное, но если вы не знаете английский, то это тоже в копилку.

#data_science

#deep_learning

Капсульные сети от Хинтона

27 октября 2017 года появилась статья доктора Джофри Хинтона с соавторами из Google Brain. Хинтон — более чем известный ученый в области машинного обучения.


snakers4 (Alexander), December 05, 05:13

Интересное в мире интернета

- Ben Evans - goo.gl/HYMvh4

- Чуваки которые хотели отсудить Фейсбук имеют US$1bn в битках - goo.gl/EQcu6U

- Цены на Li-ion батареи продолжают падать линейно - goo.gl/TTyBVV

- Cydia закрывается - goo.gl/ik8STV - Apple победил. В ведерке вы можете ставить внешние говно-приложения на свой страх и риск просто нажав галку в меню. Про извращения, которые вы можете сделать подключившись со своего телефона к нему же в консоли вообще молчу

- Tunnel vision в Твиттере - goo.gl/NTG5ua - полярные мнения не пересекаются. Это разные миры. Еще один повод не участвовать в политике и тупых срачах

- В Кении к интернету доступ есть у 53% людей, 99% с мобилки - goo.gl/8P7D9H

- Cringe и маразм западного мира - Facebook for kids - goo.gl/smcyyL . Бред состоит в том, что буквально 50 лет в некоторых штатах назад даже в США дети рассматривались как бесплатная рабочая сила (а что семьи большие, пусть работают). А сейчас прививается этот маразм, что детство "нельзя трогать". Особенно это смешно, вспоминая школьные классы которые состояли от 5% до 50% из гопников (чем дальше тем их было меньше)

- Инфографика про посылки через интернет - Китай растет и уже на 2 месте после США - goo.gl/ZLDJVF

- Автономные машины могут помочь бедным - goo.gl/rjUDcp

- Кто в танке - рост битка и его сравнение с другими активами - goo.gl/WQ3kKY

- Uber занимался ... слежкой за людьми лол - goo.gl/GHW9qC

- Журналистота, но по гео-координатам можно находить факт наличия серийных убийц - goo.gl/FiVp93

- Как дети юзают интернет - goo.gl/BaZWxa

#internet

#digest

Winklevoss Twins Used Facebook Payout to Become Bitcoin Billionaires

In just four years.


snakers4 (Alexander), December 04, 17:32

youtu.be/1zvohULpe_0

How Do Neural Networks See The World? Pt 2. | Two Minute Papers #211
The paper "Feature Visualization" is available here: distill.pub/2017/feature-visualization/ Our Patreon page with the details: www.patreon.c...

snakers4 (Alexander), December 04, 16:49

Банально но гугл можно использовать как источник разметки

- www.pyimagesearch.com/2017/12/04/how-to-create-a-deep-learning-dataset-using-google-images/

#deep_learning

How to create a deep learning dataset using Google Images - PyImageSearch

In this post I'll show you how to use Google Images to (easily) grab more training data for your Deep Learning and Convolutional Neural Networks.


snakers4 (Alexander), December 04, 11:16

Попробовал это на реальной модели

- github.com/pkdn/pytorch-smoothgrad

Под капотом все оказалось просто.

Эта штука реально работает.

#data_science

#deep_learning

pkdn/pytorch-smoothgrad

pytorch-smoothgrad - SmoothGrad implementation in PyTorch


snakers4 (Alexander), December 04, 08:41

Народ периодически спрашивает чем я занимаюсь. Я особо не горю желанием рассказывать детали (ну и как-то неправильно ИРЛ палиться), но отдельные моменты просто заслуживают того, чтобы ими поделиться.

Собрал список самых тупых своих и не только ошибок за последнее время с которыми сталкивался:

- spark-in.me/post/best-errors-ever

Как говорится - умные учатся на ошибках других, но свой набор граблей все равно неизбежно будет собран =)

#data_science

#deep_learning

What nobody will tell you about what they do

Article about the most stupid errors possible and how to ideally avoid them Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me