Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1234 members, 1316 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy. No bs.

Our website
- spark-in.me
Our chat
- goo.gl/WRm93d
DS courses review
- goo.gl/5VGU5A
- goo.gl/YzVUKf

Posts by tag «digest»:

snakers4 (Alexander), February 14, 11:48

2017 DS/ML digest 4

Applied cool stuff

- How Dropbox build their OCR - via CTC loss - goo.gl/Dumcn9

Fun stuff

- CNN forward pass done in Google Sheets - goo.gl/pyr44P

- New Boston Robotics robot - opens doors now - goo.gl/y6G5bo

- Cool but toothless list of jupyter notebooks with illustrations and models modeldepot.io

- Best CNN filter visualization tool ever - ezyang.github.io/convolution-visualizer/index.html

New directions / moonshots / papers

- IMPALA from Google - DMLab-30, a set of new tasks that span a large variety of challenges in a visually unified environment with a common action space

-- goo.gl/7ASXdk

-- twitter.com/DeepMindAI/status/961283614993539072

- Trade crypto via RL - goo.gl/NmCQSY?

- SparseNets? - arxiv.org/pdf/1801.05895.pdf

- Use Apple watch data to predict diseases arxiv.org/abs/1802.02511?

- Google - Evolution in auto ML kicks in faster than RL - arxiv.org/pdf/1802.01548.pdf

- R-CNN for human pose estimation + dataset

-- Website + video densepose.org

-- Paper arxiv.org/abs/1802.00434

Google's Colaboratory gives free GPUs?

- Old GPUs

- 12 hours limit, but very cool in theory

- habrahabr.ru/post/348058/

- www.kaggle.com/getting-started/47096#post271139

Sick sad world

- China has police Google Glass with face recognition goo.gl/qfNGk7

- Why slack sucks - habrahabr.ru/post/348898/

-- Email + google docs is better for real communication

Market

- Globally there are 22k ML developers goo.gl/1Jpt9P

- One more AI chip moonshot - goo.gl/199f5t

- Google made their TPUs public in beta - US$6 per hour

- CNN performance comparable to human level in dermatology (R-CNN) - goo.gl/gtgXVn

- Deep learning is greedy, brittle, opaque, and shallow goo.gl/7amqxB

- One more medical ML investment - US$25m for cancer - goo.gl/anndPP

#digest

#data_science

#deep_learning

snakers4 (Alexander), February 13, 08:19

Internet digest

- Ben Evans - goo.gl/7e1M4H

- FB tried to buy Snapchat 2 times - for US$60m and US$3b - goo.gl/xUVAM1

- Allegedly some ML can achieve 85% diabetes prediction accuracy on apple watch sensor data - goo.gl/Jyz5fG

- Cars may embrace 48 volts instead of 12 volts - goo.gl/Xmq9W5

- Google reabsorbs Nest (read between the lines - it was successful) - goo.gl/TzbTtY

- Snap +70% revenue growth - goo.gl/CQM6Xn

- 7 of 8 USA top grocers participate in Instacart - goo.gl/CAmoqA

- Siri APIs are fragmented lol - goo.gl/D6vvMK

- Uber agreed to provide Waymo, the self-driving car unit under Google’s parent company, Alphabet, with 0.34 percent of its stock - goo.gl/uatWBx

#internet

#digest

snakers4 (Alexander), February 07, 09:58

Internet digest

- Ben Evans - goo.gl/VKLgma

- Ben Evans about smart home hype - goo.gl/jPrCEd

- Google closing Google Fiber - goo.gl/urftJc

- Amazon tracks warehouse slackers with wristbands - goo.gl/avtMyn

- Apple music overtaking Spotify - goo.gl/ghQ43p

- Why people like infinite scroll goo.gl/tp1XNV

- Netflix personalizes artwork - goo.gl/dF5hLL

- Self-driving trucks => morel local trucking jobs goo.gl/tfaZSS

#internet

#digest

snakers4 (Alexander), February 01, 11:25

2017 DS/ML digest 2

Libraries

- One more RL library (last year saw 1 or 2) ray.readthedocs.io/en/latest/rllib.html

- Speech recognition from facebook - github.com/facebookresearch/wav2letter

- Even better speech generation than WaveNet - goo.gl/mTwyoV - I cannot tell computer apart

Industry (overdue news)

- Nvidia does not like it's consumer GPUs deployed in data centers goo.gl/n8mkxk

- Clarifai kills forevery goo.gl/PxcjvT

- Google search and gorillas vs. black people - goo.gl/t6LwLN

Blog posts

- Baidu - dataset size vs. accuracy goo.gl/j6M5ZP (log-scale)

-- goo.gl/AYan3f

-- goo.gl/JyVNHG

Datasets

- New Youtube actions dataset - arxiv.org/abs/1801.03150

-- arxiv.org/abs/1801.03150

Papers - current topic - meta learning / CNN optimization and tricks

- Systematic evaluation of CNN advances on the ImageNet arxiv.org/abs/1606.02228

-- prntscr.com/i8il35

- TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING arxiv.org/abs/1412.6596

-- prntscr.com/i8iq1p

- Cyclical Learning Rates for Training Neural Networks arxiv.org/abs/1506.01186

-- prntscr.com/i8iqjx

- SEARCHING FOR ACTIVATION FUNCTIONS - arxiv.org/abs/1710.05941

-- prntscr.com/i8l0sd

-- prntscr.com/i8l5dp

- Large batch => train Imagenet in 15 mins

-- arxiv.org/abs/1711.04325

- Practical analysis of CNNs

-- arxiv.org/abs/1605.07678

#digest

#data_science

#deep_learning

snakers4 (Alexander), January 31, 07:14

Internet digest

- Ben Evans - goo.gl/XYKbvr

- RNNs + band names - goo.gl/LBBEiP

- Soldiers + fitness trackers = military bases - goo.gl/B4yzxX

- Google's new unit - security and ML - goo.gl/q1Xnjd

- Apple produces TV content - goo.gl/P2X9Gb

- Some bs rumours about Telegram ICO size - goo.gl/D4XgPD

- Twitter is plagued by bot-farms - goo.gl/ZLHVz1

-- Easy to detect via similar registration dates - goo.gl/ZLHVz1

- Podcast about financial innovations in the US - goo.gl/kxHUQY

#digest

#internet

Jeremy Fiance

recurrent neural network, trained on band names, generates fake @Coachella lineup - reminding us most band names are gibberish


snakers4 (Alexander), January 23, 04:47

Internet Digest

- Ben Evans - goo.gl/TPyLoD

- Youtube tightening moderation screws for small channels - goo.gl/SHpC2h

- Camera strapped to plane - vimeo.com/240106846

- Guardian online getting profitable - goo.gl/CDpNFb

- Amazon testing a shop wo cashiers - you just take goods and walk out - goo.gl/hvh63Z

- Drone saving a drowning person - goo.gl/RdGYDx

ГЫ

- А это отлично зайдет русским ко-ко-ко разрабам и культуре "обсирания всего", которая царит в нашем IT - goo.gl/S5poqv

#internet

#digest

snakers4 (Alexander), January 20, 15:13

2017 DS/ML digest 1

Did not do digests quite for some time =)

1. Annual digests

1.1 Google Brain one - goo.gl/VQhZmP two goo.gl/XkTRhp

Highlights

- Speech generation goo.gl/MEDv7M

- Speech recognition goo.gl/tCEkVz

- Auto ML goo.gl/fx2FuP

-- NASNET - goo.gl/becAET

1.2

Posted before - but WildML 2017 summary is also awesome goo.gl/ZFtFVT

2. Datasets

→ YouTube-8M (goo.gl/nyP9gp): >7 million YouTube → videos annotated with 4,716 different classes

→ YouTube-Bounding Boxes (goo.gl/c3K6YY): 5 million bounding boxes from 210,000 YouTube videos

→ Speech Commands Dataset (goo.gl/TWsTi8): thousands of speakers saying short command words

→ AudioSet (goo.gl/TVA3LJ): 2 million 10-second → → YouTube clips labeled with 527 different sound events

→ Atomic Visual Actions (AVA) (goo.gl/Ba4U73): 210,000 action labels across 57,000 video clips

→ Open Images (goo.gl/2Xj8Xd): 9M creative-commons licensed images labeled with 6000 classes

→ Open Images with Bounding Boxes (goo.gl/qRkvMy): 1.2M bounding boxes for 600 classes

→ QuickDraw dataset (goo.gl/FSsfYm)

3.

Uber about genetic approach to neural networks - eng.uber.com/deep-neuroevolution/

#digest

#data_science

#deep_learning

#machine_learning

The Google Brain Team — Looking Back on 2017 (Part 1 of 2)

Posted by Jeff Dean, Google Senior Fellow, on behalf of the entire Google Brain Team The Google Brain team works to advance the state of ...


snakers4 (Alexander), January 17, 04:18

Internet digest

- Ben Evans - goo.gl/Cymhkf

- New post about chain effects in retail / TV / technology - goo.gl/gwuynK

- 39M smart speakers in the US goo.gl/nkvUc4

- US$1bn ticketing IPO in China - goo.gl/Zt1CmZ

Social Media

- FB updates its news feed algorithm to promote content you are more likely to interact with

newsroom.fb.com/news/2018/01/news-feed-fyi-bringing-people-closer-together/

Trivia

- Magnetic disks work after 30 years - goo.gl/oWoaWi

- Self-driving cars being DEPLOYED for SECOND time for one district with retired people - goo.gl/AKowqX

#internet

#digest

snakers4 (Alexander), January 15, 06:44

Interesting links / news / reports / data

Technology

- TVs and household items being replaced by smartphones => good for ecology and resources - goo.gl/3nw15t

- Once again - Meltdown + Spectre - goo.gl/fNrZGV

Internet

- Ben Evans - goo.gl/usr11B

- Amazon business structure - goo.gl/YKAB9F - hundreds of separate business units

- Uber management planning to sell shares - goo.gl/yJMqgc

- Google sold 6M smart speakers in 2017 - goo.gl/TVnSyY

- Amazon will use Alexa ... for ads - goo.gl/tS3gTU

- Facebook vs fake news goo.gl/mabfp6

- Dark side of the Internet - moderation - goo.gl/gBcyXx

Mobile

- Apple cripples 3rd party AdTech - goo.gl/QdpWwX

- Stats about Facebook chat app - newsroom.fb.com/news/2017/12/messengers-2017-year-in-review/

- In USA instagram is dominated by bra commercials - goo.gl/Ch7ipB

- Dating apps kill gay bars - goo.gl/qyTTk9

- App store 2017 YoY +30% revenue growth - goo.gl/xQFBxz

- 50%+ households in the USA are wireless only - goo.gl/WUXNRY

ML / DS

- If you have not seen WaveNet speech generation examples go here - goo.gl/kbjWXJ

- Apple Maps vs Google Maps - goo.gl/yMNth3

-- Looks like google is using some processing and ML to enhance their maps constantly

-- 3D buildings, small buildings, areas of interest etc

-- Timeline prntscr.com/i0kf4x

- Solid state LIDARs will be much cheaper - goo.gl/YZomWc

- Creepy ML - Google street images => car models => predictions about race / income / job per household / address / zip-code - goo.gl/mTXyW5

- An astronomer shared his experience after spending 3 years getting a Data Science degree - goo.gl/KgTmNp

#digest

The Upside to America's Gadget Infatuation

Smartphones and tablets keep getting smaller, replacing energy-guzzling TVs and PCs while saving on raw materials.


snakers4 (Alexander), January 08, 06:47

A 2017 ML/DS year in review by some venerable / random authors:

- Proper year review by WildML (!!!) - www.wildml.com/2017/12/ai-and-deep-learning-in-2017-a-year-in-review/

-- Includes a lot of links and proper materials

-- AlphaGo

-- Attention

-- RL and genetic algorithm renaissance

-- Pytorch - elephant in the room, TF and others

-- ONNX

-- Medicine

-- GANs

If I had to summarize 2017 in one sentence, it would be the year of frameworks. Facebook made a big splash with PyTorch. Due to its dynamic graph construction similar to what Chainer offers, PyTorch received much love from researchers in Natural Language Processing, who regularly have to deal with dynamic and recurrent structures that hard to declare in a static graph frameworks such as Tensorflow.

Tensorflow had quite a run in 2017. Tensorflow 1.0 with a stable and backwards-compatible API was released in February. Currently, Tensorflow is at version 1.4.1. In addition to the main framework, several Tensorflow companion libraries were released, including Tensorflow Fold for dynamic computation graphs, Tensorflow Transform for data input pipelines, and DeepMind’s higher-level Sonnet library. The Tensorflow team also announced a new eager execution mode which works similar to PyTorch’s dynamic computation graphs.

In addition to Google and Facebook, many other companies jumped on the Machine Learning framework bandwagon:

- Apple announced its CoreML mobile machine learning library.

- A team at Uber released Pyro, a Deep Probabilistic Programming Language.

- Amazon announced Gluon, a higher-level API available in MXNet.

- Uber released details about its internal Michelangelo Machine Learning infrastructure platform.

- And because the number of framework is getting out of hand, Facebook and Microsoft announced the ONNX open format to share deep learning models across frameworks. For example, you may train your model in one framework, but then serve it in production in another one.- In Russian - goo.gl/z1nLzq - kind of meh review (source - goo.gl/NUQ18C)

- Amazing 2017 article about global AI trends - srconstantin.wordpress.com/2017/01/28/performance-trends-in-ai/

- Uber engineering highlights - goo.gl/jBo91k

#digest

#deep_learning

#data_science

AI and Deep Learning in 2017 – A Year in Review

The year is coming to an end. I did not write nearly as much as I had planned to. But I’m hoping to change that next year, with more tutorials around Reinforcement Learning, Evolution, and Ba…


snakers4 (Alexander), January 02, 01:19

A year in retrospective on Spark-in.me:

- spark-in.me/post/spark-in-me-year-one-retrospective

-- Happy holidays!

-- No cringe content

-- Fist year summary and some info for potential customers

#digest

#data_science

A first year retrospective on Spark-in.me

A short annual restrospective - what we achieved, what we learned and what we can do Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me


snakers4 (Alexander), December 19, 08:23

Интересное в мире ML:

Научно-популярное

- Видео про философию работы ML алгоритмов - goo.gl/FsCRg7

Data Science:

- MS хочет добавить питон в эксель. Еще и анаконду купит небось.

-- goo.gl/tZ7e82

-- Стили для датафреймов pandas в excel - goo.gl/dhKWdo

-- И уже есть питон для экселя. Бедные сотрудники банков - www.pyxll.com

Deep Learning

- За кем следят участники NIPS в твиттере - goo.gl/y3DXWH

- Unet реально рулит - он еще и текст с картинок выделяет - goo.gl/WAEMYA

- Еще гайд про то, как ломать простую капчу - goo.gl/bkdRhi - в более продвинутых случаях помогут LSTM с attention и CTC (была статья на Distill)

- Самммари с NIPS - goo.gl/Ei7znA

- Пост Fchollet про software 2.0 - goo.gl/dAS2PL

Практическая крипота

- Приклеивание лиц к порно - goo.gl/saoR7D

#data_science

#deep_learning

#digest

How Do Machines Learn?

How do all the algorithms around us learn to do their jobs? SHARE ON THE TWEETBOOK: https://goo.gl/dGUHMV Discuss this video: http://reddit.com/r/cgpgrey Foo...


Если вы учите питон - то вам зайдет скорее всего

- github.com/parrt/lolviz

parrt/lolviz

lolviz - A simple Python data-structure visualization tool for lists of lists, lists, dictionaries; primarily for use in Jupyter notebooks / presentations


snakers4 (Alexander), December 11, 10:01

Интересное в мире интернета:

Безумный мир

- Супер тонкий тролль вывел свой сарай в топ ресторанов trip advisor в Лондоне- goo.gl/7EqDaV

- 52 безумных факта в 2017 году - goo.gl/581Nmz

Интернет, IT

- Ben Evans - goo.gl/r2rwxe

- Apple скорее всего покупает shazam - goo.gl/1ZQ2zB

- Инстаграм тестирует мессенджер - goo.gl/72NGFL

- Guardian выходит на точку безубыточности - goo.gl/3PuqLf

- Гугл запускает с пяток India first продуктов - поиск, оптимизации ОС, телефон, платежную систему - goo.gl/V37HtC

- Как работают бизнес процессы модерации в крупных компаниях - goo.gl/Mfd9A5

Дивайсы

- Аналог интернет камеры за 20-30 баксов - goo.gl/Ztxm7s

- Adoption новых айфонов - внезапно очень быстро растет - goo.gl/QXEaYK

#internet

#digest

I Made My Shed the Top Rated Restaurant On TripAdvisor

And then served customers Iceland ready meals on its opening night.


snakers4 (Alexander), December 11, 09:33

52 безумных факта в 2017 году связанных с интернетом и технологиями.

- goo.gl/581Nmz

Несколько самых забавных

-- A fifth of all the Google searches handled via the mobile app and Android devices are voice searches

-- In 1990, more than a third of people on Earth lived on less than $1.90 a day, adjusted for local prices. By 2013, barely 10 percent of people did.

-- In Silicon Valley, startups that result in a successful exit have an average founding age of 47 years

-- A cryptocurrency mining company called Genesis Mining is growing so fast that they rent Boeing 747s to ship graphics cards to their Bitcoin mines in Iceland.

-- Beggars in China have sophisticated ways to collect payment; using QR Codes, WeChat accounts and in one case a Point Of Sale machine to collect donations.

#digest

52 things I learned in 2017

Between projects at Fluxx, and editing a book, I learned several learnings.


snakers4 (Alexander), December 08, 07:31

Интересное в мире ML / Deep Learning

Как обычно пропускаю через себя много мусора, чтобы найти что-то ценное =)

"Книги"

- Еще одна "книга" - записки ML специалиста - goo.gl/Wmes7p

Python

- Если хотите быстро понять в чем разница между hdf5 и bcolz вам сюда - goo.gl/wfcCri

Reading and writing data to a bcolz.carray is typically a lot faster than HDF5- Есть еще pytables - но я читал, что он более монструозный. Вообще такие штуки нужны если у вас есть массивы на сотни миллионов - миллиарды строк и вы хотите быстро оттуда читать

- Прослойка, чтобы работать с датафреймами на GPU - goo.gl/r8KPGd - если вы в курсе зачем и как - поделитесь опытом в чате ( GPU Dataframe of GPU Open Analytics Initialive (GOAI) )

Deep learning

- Сетки работают т.к. в мире физики доминируют относительно простые функции - goo.gl/JmTA2Y

- Adversarial example для вашего мозга - попробуйте понять что это - goo.gl/PGdX5m

- Фреймворки - новый способ доминирования на рынке ML - goo.gl/ZtMJVF (почему интерфейсы TF такое говно тогда? =) )

- PR кривые в тензорборд - может кому надо - goo.gl/5gM6a1

- Новая статья на Хабре про интуиции нейросетей - goo.gl/fwxcrC

- Безумие - но из попиксельных карт теперь можно создавать улицы в 2К разрешении

-- goo.gl/hoCA4C

-- www.youtube.com/watch?v=3AIpPlzM_qs

-- генератор goo.gl/myMXTQ

-- дискриминатор goo.gl/oki5rq

- Нашумевший StarGan - goo.gl/Gsvuoe

Machine learning / data science

- Внезапно гугл применил свой алгоритм для Го для шахмат - goo.gl/jwTtwb

- Новая статья на Distill - goo.gl/uLXJMr - про artificial intelligence augmentation (AIA): the use of AI systems to help develop new methods for intelligence augmentation - внезапно они тоже нарисовали списрального кота - goo.gl/4KJemD

- Фейсбук и алгоритмы предсказания суицидов - goo.gl/tsZvfH

- Статья от авторов LightGBM - goo.gl/NQFxai

Датасеты

- Мозилла открывает модель и очень много данных по распознаванию голоса

-- данные - voice.mozilla.org/data

-- модель - github.com/mozilla/DeepSpeech

Железо

- Nvidia Titan V - пускайте слюни за US$3k - www.youtube.com/watch?time_continue=43&v=NPrfiOldKf8

#digest

#data_science

#deep_learning

snakers4 (Alexander), December 05, 05:13

Интересное в мире интернета

- Ben Evans - goo.gl/HYMvh4

- Чуваки которые хотели отсудить Фейсбук имеют US$1bn в битках - goo.gl/EQcu6U

- Цены на Li-ion батареи продолжают падать линейно - goo.gl/TTyBVV

- Cydia закрывается - goo.gl/ik8STV - Apple победил. В ведерке вы можете ставить внешние говно-приложения на свой страх и риск просто нажав галку в меню. Про извращения, которые вы можете сделать подключившись со своего телефона к нему же в консоли вообще молчу

- Tunnel vision в Твиттере - goo.gl/NTG5ua - полярные мнения не пересекаются. Это разные миры. Еще один повод не участвовать в политике и тупых срачах

- В Кении к интернету доступ есть у 53% людей, 99% с мобилки - goo.gl/8P7D9H

- Cringe и маразм западного мира - Facebook for kids - goo.gl/smcyyL . Бред состоит в том, что буквально 50 лет в некоторых штатах назад даже в США дети рассматривались как бесплатная рабочая сила (а что семьи большие, пусть работают). А сейчас прививается этот маразм, что детство "нельзя трогать". Особенно это смешно, вспоминая школьные классы которые состояли от 5% до 50% из гопников (чем дальше тем их было меньше)

- Инфографика про посылки через интернет - Китай растет и уже на 2 месте после США - goo.gl/ZLDJVF

- Автономные машины могут помочь бедным - goo.gl/rjUDcp

- Кто в танке - рост битка и его сравнение с другими активами - goo.gl/WQ3kKY

- Uber занимался ... слежкой за людьми лол - goo.gl/GHW9qC

- Журналистота, но по гео-координатам можно находить факт наличия серийных убийц - goo.gl/FiVp93

- Как дети юзают интернет - goo.gl/BaZWxa

#internet

#digest

Winklevoss Twins Used Facebook Payout to Become Bitcoin Billionaires

In just four years.


snakers4 (Alexander), November 28, 13:58

Интересное в мире ML

- Еще одно, поверхностное, объяснения КапсНета - goo.gl/hYvZZV

- Датасет с 11к рук + метаданные - goo.gl/YVfPvi

- ONNX (типа единый формат для моделей) это уже часть Pytorch - pytorch.org/docs/master/onnx.html

- Nature запускает свой ML журнал - goo.gl/arzNg3

- Apple делает что-то с беспилотными авто - goo.gl/nMqzJ1

- Гугл снижает цены на топовые GPU прошлого поколения - goo.gl/4oM5wd

- Очень красивая но бесполезная практика с методами уменьшения размерности - goo.gl/UDgmUT

- Еще один алгоритм в копилку алгоритмов снижения размерности

-- PCA

-- T-SNE

-- UMAP - goo.gl/jFSBFZ

-- HDBscan - github.com/scikit-learn-contrib/hdbscan

- Fchollet про буллшит и general AI - goo.gl/zai717

" The intelligence of an octopus is specialized in the problem of being an octopus. The intelligence of a human is specialized in the problem of being human."

- Advisory Body про AI в UK - goo.gl/yZNBfD

- Офигенный пост про анализ комментов про отмену net neutrality - goo.gl/3ZahMM (!)

- Еще раз наткнулся на либу для NLP spacy - кто пробовал, норм? - spacy.io

#data_science

#digest

Capsule Networks (CapsNets) – Tutorial

CapsNets are a hot new architecture for neural networks, invented by Geoffrey Hinton, one of the godfathers of deep learning. NIPS 2017 Paper: * Dynamic Rout...


snakers4 (Alexander), November 21, 10:21

Интересное в мире ML

- Import AI - goo.gl/97JzTx

- Еще раз великолепная статья про визуализации нейросетей от Гугла - обязательно прочитайте - distill.pub/2017/feature-visualization/

- Канадские ученые - открытое письмо к правительство запретить использование AI в оружии - goo.gl/dixya1

- Еще один потенциальный вендор карт для нейросетей - goo.gl/dJ4CMJ

- Еще есть такая флешка (200 GFLOPs) - goo.gl/Usi1Qp

- Apple про свой детектор лиц на айфонах - goo.gl/1krh5H

- В tf пытаются встроить подобие PyTorch - goo.gl/eCYzU3

- Как правильно обращатсья с бейслайнами - goo.gl/ChgA1c

- Просто оставлю эту ссылку на форум тут - goo.gl/ZemhhL - огромный сборник best practice-ов для PyTorch

#digest

#data_science

Feature Visualization

How neural networks build up their understanding of images.


snakers4 (Alexander), November 21, 08:41

Интересное в мире интернета

- Ben Evans - goo.gl/JQg5rj

- Тесла представила новый авто...который вы получите в 2020 если заплатите сейчас - лол - goo.gl/TW2Y99

- Про грузовики Тесла от водителя грузовика - goo.gl/bCSf28

- Крипота в алгоритме people you may know фейсбука - goo.gl/58xDEs - причем вас могут вычислить даже если у вас в профиле нет ничего кроме имени

- В древности люди читали вслух - goo.gl/7UkxtQ

#digest

#internet

snakers4 (Alexander), November 18, 15:39

Интересное в мире ML

- Открылся конкурсе по распознаванию голоса - goo.gl/ojBHv7 - судя по всему там будет замес (прошло несколько дней, а там уже ажиотаж), но сам конкурс очень интересный

- Датасет с этого конкурса - goo.gl/CnDyGU

- Про инжиниринг фич - goo.gl/YvdBcZ

- Нейросетки для музыки - goo.gl/2baKrB

- LSTM для систем рекоммендаций - goo.gl/xPLDKn

- Прикольно про жанры музыки - похоже на то, как мы сами это делали - goo.gl/3QnfXG

- Бенчи сеток на TF по скорости работы. Кто инженер - налетай - github.com/taehoonlee/tensornets

- Как люди писали сетки 10 лет назад - goo.gl/4Biyom

- Плагин Chrome для archiv - fermatslibrary.com/librarian - по мне Менделей лучше

- Топовое решение с конкурса Carvana - github.com/asanakoy/kaggle_carvana_segmentation. Из важного:

-- Pytorch

-- Кастомные генераторы у всех участников

-- Сахар для работы с Tensorboard

-- Консольные скрипты с параметрами для запуска моделей

-- Копипаста - Юнет и подобные модели

#digest

#data_science

TensorFlow Speech Recognition Challenge

Can you build an algorithm that understands simple speech commands?


snakers4 (Alexander), November 14, 07:08

Интересное в мире интернета

- Instagram обгоняет snapchat - goo.gl/9r39H1

- И последний начинают покупать по частям понемногу - goo.gl/wPNo34

- Кто-то наконец написал стаью про дичь на Ютубе - goo.gl/8PsEgB - неразборчивые потребители + автоматическая генерация дичи + шаблонное SEO + отсутствие выгоды для Ютуба, чтобы банить и модерировать это все

- WeChat - 38 млрд сообщений в день, WhatsApp 50+, СМС в пике - 20+ - goo.gl/BE8G3N

- Еще раз обзор текущего рынка видеокарт и софта для работы с ними и с нейросетями - goo.gl/twhGLD

- Мысли про то, что нейросети это своебразный софт - goo.gl/GdWMtK - вот только про портативность там полный бред написан

- Обзор финансового состояния компании Tesla - goo.gl/WBrZfc

- Китайцы покупают соцсеть для караоке за 1 миллиард долларов? - goo.gl/F411kS

- Apple работает на VR headset - goo.gl/1x2teH

- Онлайн MMORPG second life (симс в онлайне) до сих пор имеет 600к юзеров - goo.gl/W3wxSA

#digest

#internet

Snap CEO Evan Spiegel is redesigning Snapchat because it’s too hard to use

This is a big deal.


snakers4 (Alexander), November 10, 06:44

Интересное в мире ML:

- Import AI - goo.gl/RwZRzQ

- Гугл продолжает развивать свой auto-ml. Безумие конечно, но они уже сделали это на Imagenet

-- goo.gl/Ng9d8f

-- goo.gl/oZX9td

- Еще раз отчет - the state of data science 2017 от Kaggle - goo.gl/oKjVtx

- Огромные инвестиции в распознавание лиц от России и Китая - goo.gl/qL5SWQ

- Это безумие, но фейсбук научился переводить с одного языка на другой вообще без размеченных текстов сразу на 2 языках - goo.gl/NgLcJE

- Ian GoodFellow про фейковые новости - goo.gl/ihBhgm

- Еще раз про капсульные сетки - hackernoon.com/what-is-a-capsnet-or-capsule-network-2bfbe48769cc

#data_science

#deep_learning

#digest

Import AI: #67: Inspecting AI with RNNVis; Facebook invents counter-intuitive language translation method; and what fractals have to do with neural architecture search

All hail the AI inspectors: New ‘RNNVis’ software makes it easier to interpret the inner workings of recurrent nets. …Figuring out why a particular neural network is classifying s…


snakers4 (Alexander), November 07, 10:58

Интересное в мире интернета

- Ben Evans - goo.gl/RM9h1U

- 60M юзеров ФБ фейки, 200M дубликаты - goo.gl/MGnefT

- Что люди фоткают на камеры смартфонов - goo.gl/xmMU1b

- Человек сделал пару простых бенчмарков с представлением adver

- Гугл планирует активно продвигать TF в Китае - goo.gl/CdYVwm

- Как Apple считает смайлики в своих телефонах - goo.gl/vdjGUg

#digest

#internet

snakers4 (Alexander), November 05, 04:03

Интересное в мире ML:

- Опрос - the state of ML от Каггла - www.kaggle.com/surveys/2017 . 2 графика наглядно иллюстрируют почему у нас зачастую ищут разрабов с налетом работы с данными, а не наоборот (понятно что у нас никто не отвечает на опросы, умножьте цифру в голове на 2)

-- goo.gl/8MU62f

-- goo.gl/8M3eAs

- Люди начинают делать аггрегаторы пре-тренированных моделей - этот pretrained.ml - судя по всему не работает. Качаем из доки своего любимого фреймворка пока...

- Якобы прорыв в архитектуре сетей - goo.gl/UvtrBj - arxiv.org/pdf/1710.09829.pdf - goo.gl/x6dhQJ - но пока только на MNIST

- Nvidia тренирует GAN прогрессивно на растущем разрешении и это якобы быстрее - arxiv.org/pdf/1710.10196.pdf

- Многобукв про то, что через годик появится много чипов для ML с 10x производительностью при таком же потреблении энергии - goo.gl/U7JTNF

- Uber открывает свой фреймворк для байесовых моделей - goo.gl/jWxFSj

- Популярная статья про adversarial аттаки на сети - goo.gl/2qMPHT и по сути самый важный код умещается на половину страницы

#digest

#data_science

#deep_learning

The State of ML and Data Science 2017

A big picture view of the state of data science and machine learning that shares who is working with data, what’s happening at the cutting edge of machine learning across industries, and how new data scientists can best break into the field.


snakers4 (Alexander), November 01, 13:10

Интересное в мире Интернета:

- Ben Evans - goo.gl/aG6TgQ

- Kinect больше не производят - goo.gl/bFgswT

- Твиттер будет помечать политическую рекламу - goo.gl/DtYWeN

- Доля бесконтактных платежей в США - 5% UK 45% - goo.gl/wzvCmS

- Deep Map + Ford - goo.gl/j8wCvt

- Внутренняя история вокруг снепчата - goo.gl/3UX3Bu

- VC пишут про ICO - goo.gl/cZEdpc - мол риски и опасность

- Guardian заработал 140 миллионов фунтов с помощью "призывов задонатить" в конце статей при этом не закрывая контент - goo.gl/cZEdpc

- Ben Evans про фейсбук, моду и дух времени. Мол не фейсбук определяет мнения своим алгоритмом фида, а лишь курирует течения в обществе - goo.gl/yffqHS

#internet

#digest

snakers4 (Alexander), November 01, 06:55

Подборка статей с канала на тему "Статьи и заметки автора"

55 Заметка про TTA - snakers41.spark-in.me/1368, snakers41.spark-in.me/1369

56 Заметка про SELU - snakers41.spark-in.me/1375

57 Модели и датасеты для семантической классификации - snakers41.spark-in.me/1393

58 Статья автора про поиск работы - snakers41.spark-in.me/1395

59 Итог конкурса carvana - snakers41.spark-in.me/1401

60 Заметка про оптимальное использование железа для нейросетей - snakers41.spark-in.me/1422

61 Классические статьи про нейросети - Resnet - Inception - snakers41.spark-in.me/1465

62 Детальный ответ автора про последнее соревнование - spark-in.me/post/fish-object-detection-ssd-yolo

#digest

#data_science

Spark in me

Пара слов - заметка про TTA = test-time-augmentation. В современных нейросетях зачастую используются такие способы регуляризации для избежания оверфиттинга - Аугментации входных данных (повороты, изменение размера, изменения цветовой гаммы, зум, обрезка, итд) - Batch normalization - Нормализация входных данных TTA - это применение аугментаций при формировании предсказаний на самой последней стадии при тестировании на отложенной выборке. Грубо говоря, если мы учили нейросеть, показывая ей измененные и искаженные данные, то при предсказании можно попробовать показывать нейросети разные варианты одной и той же картинки и потом усреднять. Тут описывается применение такого подхода - http://benanne.github.io/2015/03/17/plankton.html #data_science


snakers4 (Alexander), October 26, 11:47

Интересное в мире ML:

- Состояние NLP в 2017 - goo.gl/EiFPxy

- Еще раз AlphaGo - goo.gl/9GB3ez

- Уже появляются либы для распределенного RL - goo.gl/Ef9qFK

- Народ инвестирует время в reproducibility исследований - goo.gl/7efexv

- Uber выпустил свой фреймворк для распределенного обучения сетей - goo.gl/6LQyKu

Железо

- В конце 2017 появятся чипы intel для нейросеток - goo.gl/U2w6P8

- Не до конца понял фишки, но вроде как это софтверная прокладка между софтом для нейросетей и любыми осями и железом - vertex.ai/blog/announcing-plaidml - интересно что потом с этим станет

Датасеты

- Google выпускает в паблик датасет AVA с человеческими действиями - goo.gl/Tv6i5y

#data_science

#digest

Word embeddings in 2017: Trends and future directions

This post gives an overview of the deficiencies of pre-trained word embeddings in 2017 and how recent approaches have tried to resolve them.


snakers4 (Alexander), October 25, 06:07

Интересное в мире интернета:

- Ben Evans - goo.gl/hYj6nT

- Глобальные тренды в AI - goo.gl/yp4dFJ - очень краткое возможностей summary sota алгоритмов

TLDR про RL

The learned agent performs much better than the hard-coded agent, but moves more jerkily and “randomly” and doesn’t know the law of reflection. Similarly, the reports of AlphaGo producing “unusual” Go moves are consistent with an agent that can do pattern-recognition over a broader space than humans can, but which doesn’t find the “laws” or “regularities” that humans do.

Perhaps, contrary to the stereotype that contrasts “mechanical” with “outside-the-box” thinking, reinforcement learners can “think outside the box” but can’t find the box?- Пост про новый AlphaGo - goo.gl/3JJ422

- Intel выпустит процессоры для нейросетей в конце 2017 - goo.gl/Gw3gHg

- Facebook включает монетизацию своих игр - goo.gl/pk73cT

- Нейросетка внутри Siri - goo.gl/WdK6dC

- Как работает портретный режим в Google Pixel - goo.gl/8HAkwp

- Байки про зп в долине - goo.gl/9EUJwd

#digest

#internet

snakers4 (Alexander), October 23, 03:29

Давно не делал подборки с канала. Сделаю несколько штук)

Интересные ссылки на тему DS / ML

68 Cheat sheet-ы Data wrangling - snakers41.spark-in.me/1219

69 Bokeh - замена D3.js но на питоне - snakers41.spark-in.me/1220

70 Новый курс от fast.ai - прикладная линейная алгебра - snakers41.spark-in.me/1224

71 Быстрый анализ потокового видео - snakers41.spark-in.me/1227

72 Sklearn cheat-sheet - snakers41.spark-in.me/1229

73 Советы от призеров на Kaggle snakers41.spark-in.me/1231

74 Интуиция при использовании t-SNE - snakers41.spark-in.me/1239

75 Бенчмарки либ для градиентного бустинга - snakers41.spark-in.me/1250

76 ROC и AUC простыми словами - snakers41.spark-in.me/1262

77 Еще прогресс бары на питоне - snakers41.spark-in.me/1269

78 Fast.ai открыли вторую серию курса про глубокое обучение - snakers41.spark-in.me/1270

79 Чит шиты - архитектуры нейросетей - snakers41.spark-in.me/1273

80 РАБОТАЮЩИЙ пример multi-curl - snakers41.spark-in.me/1274

81 Многопоточность в питоне - snakers41.spark-in.me/1276

82 Как эффективно загружать .npy массивы в память в питоне - snakers41.spark-in.me/1279

83 Туториалы по Keras + tf с примерами в ipynb - snakers41.spark-in.me/1278

84 Новый курс от Andrew Ng - snakers41.spark-in.me/1293

85 Разложения матриц fast.ai - snakers41.spark-in.me/1294

86 Дельные статьи с Хабра - snakers41.spark-in.me/1303

87 Музыкальные рекоммендации - snakers41.spark-in.me/1305

88 Визуализация в виде карты - snakers41.spark-in.me/1306

89 Классная презентация про ML в гугле - snakers41.spark-in.me/1309

90 Многопоточная работа с файлами в питоне в Keras - snakers41.spark-in.me/1313

91 Мобильные архитектуры нейросетей snakers41.spark-in.me/1316

#digest

#data_science

Spark in me

Пара сверх-полезных cheat-sheet-ов для "ковыряния" в данных на pandas - Часть раз https://goo.gl/NYkqWb - Часть два https://goo.gl/EXjGXu Полезно будет тем, кто только начинает такие "ковыряния". На мой взгляд тут сильно не хватает сводных таблиц. Про них можно прочитать тут: - In a nutshell - https://goo.gl/K1xucE - Ссылка http://pbpython.com/pandas-pivot-table-explained.html #data_science #cheat_sheet


Подборка - статьи и заметки автора

30 Переход на HTTPS - snakers41.spark-in.me/1109

31 The art of learning - snakers41.spark-in.me/1099

32 Как пользоваться каналом - snakers41.spark-in.me/1084

33 Про деплой и поддержку сервера - snakers41.spark-in.me/1074

34 Про бекапы - snakers41.spark-in.me/1069

35 Про бекенд нашего сайта - snakers41.spark-in.me/1046

36 Как пользоваться каналом - snakers41.spark-in.me/1084

37 Заметка про Гугл, Андроид, Эппл и машинное обучение - snakers41.spark-in.me/1085

39 Книга про самообразование - snakers41.spark-in.me/1099

40 Заметка про семантическое ядро - snakers41.spark-in.me/1102

41 Заметка про RTB - snakers41.spark-in.me/1110

42 Анализ рынка через сайтмапы - snakers41.spark-in.me/1127

43 SMTP шлюзы - spark-in.me/post/smtp-relay-outsiders-view-1

44 Сайтмапы - часть 3 snakers41.spark-in.me/1171

45 Сайтмапы - часть 2 snakers41.spark-in.me/1153

46 Анализ 1.5м фоток квартир - начало - snakers41.spark-in.me/1180

47 Визуализации нейросетей - фейл - snakers41.spark-in.me/1196

48 Визуализация звука в питоне - snakers41.spark-in.me/1197

50 Про глупость и способы ее исправить - snakers41.spark-in.me/1263

51 Установка софта для работы с GPU и нейросетями - snakers41.spark-in.me/1287

52 Работа с U-NET на практике - snakers41.spark-in.me/1307

53 Как тренировать сверточные нейросети в 10 раз быстрее - snakers41.spark-in.me/1319

54 Про трудовую миграцию - snakers41.spark-in.me/1328

#digest

#data_science

Spark in me

Итак, закончилась небольшая эпопея по переводу сайта на HTTPS. Надеюсь кому-то покажется интересным. Описал основные блоки, которые по идее должны быть применимы для любого веб-проекта. Что самое главное - все старые ссылки и все-все-все должно работать) TLDR - ставьте https сразу и не мучайтесь) - https://spark-in.me/post/spark-in-me-https #internet


Подборка - статьи про pytorch

Гайд раз - snakers41.spark-in.me/1362

Fast.ai и pytorch - snakers41.spark-in.me/1367

Цикл статей про SSD на pytorch - snakers41.spark-in.me/1435

Pytorch и докер -snakers41.spark-in.me/1438

Впечатления про pytorch - snakers41.spark-in.me/1442

Расширение классов Pytorch - snakers41.spark-in.me/1447

Аугментации на pytorch - snakers41.spark-in.me/1449

Pytorch - снижение lr по шагам - snakers41.spark-in.me/1457

Внутрянка tf и pytorch - snakers41.spark-in.me/1467

#digest

#deep_learning

#pytorch

Spark in me

Знакомый поделился классным гайдом по PyTorch, который объясняет в чем его фишка. Если вы не пользуетесь Keras и ищете на чем потренироваться - то вам как раз подойдет. https://habrahabr.ru/post/334380/ #data_science #neural_nets


Подборка - Докер

Как начать в докер - snakers41.spark-in.me/1365

Как начать в докер - уже серьезнее - snakers41.spark-in.me/1403

Бойлерплейты на докере для DS - snakers41.spark-in.me/1409

Pytorch и докер -snakers41.spark-in.me/1438

Докер и проброс ssh - snakers41.spark-in.me/1439

Как поднять себе окружение в докере с уровня железа

snakers41.spark-in.me/1461

#digest

#linux

Spark in me

Если вы хотите начать превращать свой локальный или удаленный зоопарк в более структурированный зоопарк, или избавиться от конфликтов софта и необходимости все иметь всегда в последней версии, то вот несколько хороших вводных точек про докер - Раз https://habrahabr.ru/post/337306/ - Два https://docs.docker.com/get-started/ #linux


snakers4 (Alexander), October 16, 13:34

Интересное в мире ML:

- Import AI goo.gl/AUxYsx

- Wild ML goo.gl/SSQQxC

- Amazon выпускает компилятор для ускорения работы фреймворков для глубокого обучения до 20% - goo.gl/G612Me

- Кому актуально - релиз TF 1.4.0 - goo.gl/XZ1N6B

- Alibaba инвестирует US$15bn за 3 года в передовые технологии (включая NLP и ML) - goo.gl/D5aG13

- AWS и Microsoft запускают новый фреймворк для глубокого обучения - goo.gl/gZGrNf - вроде как там граф вычислений тоже динамический

- Нейросетки раскрашивают старинные фото - goo.gl/GPqPwe

#digest

#data_science