Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1156 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

snakers4 (Alexander), December 04, 11:16

Попробовал это на реальной модели

- github.com/pkdn/pytorch-smoothgrad

Под капотом все оказалось просто.

Эта штука реально работает.

#data_science

#deep_learning

pkdn/pytorch-smoothgrad

pytorch-smoothgrad - SmoothGrad implementation in PyTorch


snakers4 (Alexander), December 04, 08:41

Народ периодически спрашивает чем я занимаюсь. Я особо не горю желанием рассказывать детали (ну и как-то неправильно ИРЛ палиться), но отдельные моменты просто заслуживают того, чтобы ими поделиться.

Собрал список самых тупых своих и не только ошибок за последнее время с которыми сталкивался:

- spark-in.me/post/best-errors-ever

Как говорится - умные учатся на ошибках других, но свой набор граблей все равно неизбежно будет собран =)

#data_science

#deep_learning

What nobody will tell you about what they do

Article about the most stupid errors possible and how to ideally avoid them Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me


snakers4 (Alexander), December 03, 04:33

www.linux.com/learn/intro-to-linux/2017/12/how-manage-users-groups-linux

How to Manage Users with Groups in Linux

When you administer a Linux machine that houses multiple users, there might be times when you need to take more control over those users than the basic user tools offer. This idea comes to the fore especially when you need to manage permissions for certain users. Say, for example, you have a directory that needs to be accessed with read/write permissions by one group of users and only read permissions for another group. With Linux, this is entirely possible.


snakers4 (Alexander), December 01, 15:09

Forwarded from Arseniy:

snakers4 (Alexander), December 01, 12:37

Забавно, мы делали такое же, но некрасивое

Forwarded from addmeto:

Гугл внезапно выпустил маленький DIY-набор на основе raspberry Zero W, Вместе с microcenter они продают маленькую коробочку с камерой, которая в оффлайне распознает объекты и дает их использовать через довольно удобный API. Конечно это игрушка, но она отлично показывает насколько крутые вещи можно сделать с хорошо предобученными моделями

aiyprojects.withgoogle.com/vision

Build an intelligent camera that can see and recognize objects using TensorFlow


snakers4 (Alexander), December 01, 12:14

Понравилась презентация?

Да, аффтар пешы исчо, пошлю всем – 40

👍👍👍👍👍👍👍 66%

Я ничего не понял – 19

👍👍👍 31%

Нет (напишите в личку почему) – 1

▫️ 2%

Мне неинтересна эта тема – 1

▫️ 2%

👥 61 people voted so far.

snakers4 (Alexander), December 01, 11:54

На новой работе увидел, что люди тренируют свои модели на 2 питоне (ЩИТО?), на tensorflow (WTF???) и грузят данные в 1 поток (2017 год на дворе!).

По этой причине сделал коллегам такую немного трололо презентацию. Может и вам понравится

- goo.gl/ne9RH4

Все простое - очень просто, главное просто знать где искать)

#data_science

#deep_learning

#python

image processing

Leveraging your hardware and software for NNs Efficiently, better with pytorch* =) * for research and competitions


snakers4 (Alexander), November 30, 13:33

Forwarded from Linuxgram:

Search DuckDuckGo from the Command Line - OMG! Ubuntu!

www.omgubuntu.co.uk/2017/11/duck-duck-go-terminal-app

Search DuckDuckGo from the Command Line

When we showed you how to search Google from the command line a lot of you to say you use Duck Duck Go, the awesome privacy-focused search engine. Well, no


snakers4 (Alexander), November 30, 08:18

Офигенная статья про Soft Proposal Networks for Weakly Supervised Object Localization

- yzhou.work/SPN/

- код на Pytorch github.com/yeezhu/SPN.pytorch

- в выходные проверю работает ли оно

Зачем это надо?

- допустим у вас разметка на уровне видео или картинки, а вы хотите узнать где именно объект

- это же применимо и для анализа работы вашей сетки наряду с такими вещами как deconv, guided gradient descent или smooth grad

#deep_learning

#data_science

snakers4 (Alexander), November 30, 04:51

Мы на нашем сайте - spark-in.me - добавили страницы груптегов в sitemap.

Если у вас нет блога и вы хотите иметь независимый ресурс с SEO фишками (читай - с нормальным дизайном, разметкой для индексации и без зависимостей от платформ и бесплатно) - велкам - я могу создать логпасс.

snakers4 (Alexander), November 28, 13:58

Интересное в мире ML

- Еще одно, поверхностное, объяснения КапсНета - goo.gl/hYvZZV

- Датасет с 11к рук + метаданные - goo.gl/YVfPvi

- ONNX (типа единый формат для моделей) это уже часть Pytorch - pytorch.org/docs/master/onnx.html

- Nature запускает свой ML журнал - goo.gl/arzNg3

- Apple делает что-то с беспилотными авто - goo.gl/nMqzJ1

- Гугл снижает цены на топовые GPU прошлого поколения - goo.gl/4oM5wd

- Очень красивая но бесполезная практика с методами уменьшения размерности - goo.gl/UDgmUT

- Еще один алгоритм в копилку алгоритмов снижения размерности

-- PCA

-- T-SNE

-- UMAP - goo.gl/jFSBFZ

-- HDBscan - github.com/scikit-learn-contrib/hdbscan

- Fchollet про буллшит и general AI - goo.gl/zai717

" The intelligence of an octopus is specialized in the problem of being an octopus. The intelligence of a human is specialized in the problem of being human."

- Advisory Body про AI в UK - goo.gl/yZNBfD

- Офигенный пост про анализ комментов про отмену net neutrality - goo.gl/3ZahMM (!)

- Еще раз наткнулся на либу для NLP spacy - кто пробовал, норм? - spacy.io

#data_science

#digest

Capsule Networks (CapsNets) – Tutorial

CapsNets are a hot new architecture for neural networks, invented by Geoffrey Hinton, one of the godfathers of deep learning. NIPS 2017 Paper: * Dynamic Rout...


snakers4 (Alexander), November 28, 10:33

Юнето-подобные архитектуры и капчи ломают

- habrahabr.ru/post/343222/

#deep_learning

Текстовые капчи легко распознаются нейронными сетями глубокого обучения

Нейронные сети глубокого обучения достигли больших успехов в распознавании образов. В тоже время текстовые капчи до сих пор используются в некоторых известных...


snakers4 (Alexander), November 28, 07:42

В моем любимом блоге про CV аж 3 новых статьи

- cv-blog.ru/?p=156

- cv-blog.ru/?p=185

- cv-blog.ru/?p=195

Чуть не пропустил. Ссылки они выкладывают только во вк.

#deep_learning

snakers4 (Alexander), November 28, 03:40

Заметка - если вы используете open-cv, то он грузит картинки по умолчанию в BGR. Как правило все современные фреймворки, сети, классы для работы с видео используют RGB.

Поэтому можно нехило напороться, если вы пишите что-то с нуля.

stackoverflow.com/questions/42406338/why-cv2-imwrite-changes-the-color-of-pics

why cv2.imwrite() changes the color of pics?

I have the following piece of code: imgs = glob.glob('/home/chipin/heart/tray.png') current_img = io.imread(imgs[0]) cv2.imwrite('/home/chipin/heart/01.png', current_img[0:511,0:511]) The size of


snakers4 (Alexander), November 27, 06:17

Заметка.

Если вы хотите дать полноценное окружение на своей машине третьей стороне (другу, коллеге, девушке, участнику вашей команды), которые либо не обладают супер админскими навыками или просто не должны иметь root доступ или доступ туда, куда не надо, то есть очень простой способ это сделать:

- Поднимаете докер, ставите sshd сразу в докерфайле

- В докере должен быть ваш любимый софт + jupyter notebook со всеми свистелками

- Прокидываете папки и диски, ставите ограничения на RAM, видеокарты и CPU при docker run (или nvidia docker run)

- В докерфайл также прописываете установку glances

- После запуска контейнера делаете exec внутрь него и запускаете sshd

- Естественно надо не забыть пробросить порты в докере и своей сетевой инфраструктуре и включить пароль или ssh ключ на этапе создания образа по докерфайлу

- Итог - вы даете URL + ключ от jupyter notebook коллеге + ssh доступ внутрь контейнера. При этом внутри него он царь и бог и видит нагрузку и свои процессы (glances + nvidia-smi), но не может вообще ничего плохого сделать с системой, т.к. включаете контейнер и монтируете папки вы

И не надо возиться с виртуальными машинами, и видеокарты пробрасываются отлично!

#data_science

#linux

snakers4 (Alexander), November 26, 05:37

Еще раз ссылка, как кажется на банальную статью про нейросети - почему они не тренируются, когда должны. За последние 2 недели я собрал почти все эти костыли. Особенно радует, когда теряешь 3-4 дня суток расчетов.

- theorangeduck.com/page/neural-network-not-working

#data_science

#deep_learning

My Neural Network isn't working! What should I do?

Orange Duck's Website


snakers4 (Alexander), November 25, 14:44

Это очень медленно работает с multiprocessing. Beware.

snakers4 (Alexander), November 24, 16:24

youtu.be/NEscK5RCtlo

Terrain Generation With Deep Learning | Two Minute Papers #208
The paper "Interactive Example-Based Terrain Authoring with Conditional Generative Adversarial Networks" is available here: hal.archives-ouvertes.fr/...

snakers4 (Alexander), November 24, 13:04

Офигеть - люди превращают мануалы в читабельные и практичные гайды!

- tldr.sh

#linux

TLDR pages

Simplified and community-driven man pages


snakers4 (Alexander), November 24, 07:36

Практическая копоть. Выбирая для одной задачи между densenet и resnet, прочитал статью и спросил коллег.

- Архитектура - goo.gl/uBrBA4 goo.gl/HzGqQp

- Статья - goo.gl/mWdhsS

- Основные идеи:

-- Некоторые сети улучшают точность за счет длины (резнет) и skip connections

-- Некоторые за счет ширины - inception

-- Некоторые за счет связей - densenet

- Практика и почему не используется на соревнованиях

-- Новая и хуже изучена чем VGG и Resnet

-- Жрет больше памяти чем резнет на таком же числе параметров и сравнимой точности

-- Тяжело и хз как правиольно тренировать

- Коллеги говорят, что сама архитектура пока сырая

#data_science

#deep_learning

snakers4 (Alexander), November 23, 09:03

В работе с картинками полезно почитать про способы экстраполяции картинок

- graphicdesign.stackexchange.com/questions/26385/difference-between-none-linear-cubic-and-sinclanczos3-interpolation-in-image

#data_science

Difference between None, Linear, Cubic and Sinc(Lanczos3) interpolation in image scaling?

While scaling images in GIMP in the Quality section I was prompted to choose one of the following interpolations: None Linear Cubic Sinc(Lanczos3) What is the difference between these and which o...


snakers4 (Alexander), November 22, 10:22

Шутки программистов - когда класс говорит тебе:

Torch: not enough memory: you tried to allocate 0GB. Buy new RAM!

snakers4 (Alexander), November 21, 11:54

Forwarded from Ivan Begtin:

Сервис выдачи бесплатных TLS сертификатов для доменов Let's Encrypt [1] еще в феврале 2017 года стал наиболее популярным сервисом создания сертификатов, а в этом месяце достинг планки в 35%, это доля сертификатов выдаваемых Let's Encrypt, по оценке NetTrack [2]. Напомню что в мае 2016 года Let's Encrypt начинал свой взлет, но у него была доля в только 5% всех сертификатов.

Практически все коммерческие сервисы такие как Godaddy, Geotrust и Comodo теряют свою долю и пользователи все чаще подключают сертификаты Let's encrypt автоматически.

Эта история важна еще и тем что базовая безопасность перестала восприниматься как услуга и стала восприниматься как инфраструктура. В ситуации когда TLS должно быть базовым протоколом работы сети, то и раздачей сертификатов должна заниматься общественная организация. Пока все идет к тому что у коммерческих игроков через пару лет не останется тут вообще никаких шансов на заработок.

Но единственная ли это область где качественный недорогой некоммерческий сервис способен "убить рынок" ? Что будет если такие сервисы появились бы для электронного документооборота или бухгалтерских услуг?

Когда-то таким образом переструктурировался весь рынок электронной почты. Когда раздавая бесплатные почтовые аккаунты крупнейшие цифровые сервисы практически убили все сервисы платной электронной почты. На какое-то время.

Ссылки:

[1] letsencrypt.org/

[2] nettrack.info/ssl_certificate_issuers.html

[3] en.wikipedia.org/wiki/Let%27s_Encrypt

#internet #web #security

Let's Encrypt - Free SSL/TLS Certificates

Let’s Encrypt is a free, automated, and open certificate authority brought to you by the non-profit Internet Security Research Group (ISRG).


snakers4 (Alexander), November 21, 11:45

Великолепная серия статей про то, как пользоваться pandas

- tomaugspurger.github.io/modern-1-intro

#data_science

datas-frame – Modern Pandas (Part 1)

Posts and writings by Tom Augspurger


snakers4 (Alexander), November 21, 11:39

www.youtube.com/watch?time_continue=27&v=gZhQrjCipRc

Ban Lethal Autonomous Weapons
Ban Lethal Autonomous Weapons Visita: autonomousweapons.org/

Это художественный фильм, если что.

snakers4 (Alexander), November 21, 10:21

Интересное в мире ML

- Import AI - goo.gl/97JzTx

- Еще раз великолепная статья про визуализации нейросетей от Гугла - обязательно прочитайте - distill.pub/2017/feature-visualization/

- Канадские ученые - открытое письмо к правительство запретить использование AI в оружии - goo.gl/dixya1

- Еще один потенциальный вендор карт для нейросетей - goo.gl/dJ4CMJ

- Еще есть такая флешка (200 GFLOPs) - goo.gl/Usi1Qp

- Apple про свой детектор лиц на айфонах - goo.gl/1krh5H

- В tf пытаются встроить подобие PyTorch - goo.gl/eCYzU3

- Как правильно обращатсья с бейслайнами - goo.gl/ChgA1c

- Просто оставлю эту ссылку на форум тут - goo.gl/ZemhhL - огромный сборник best practice-ов для PyTorch

#digest

#data_science

Feature Visualization

How neural networks build up their understanding of images.


snakers4 (Alexander), November 21, 08:41

Интересное в мире интернета

- Ben Evans - goo.gl/JQg5rj

- Тесла представила новый авто...который вы получите в 2020 если заплатите сейчас - лол - goo.gl/TW2Y99

- Про грузовики Тесла от водителя грузовика - goo.gl/bCSf28

- Крипота в алгоритме people you may know фейсбука - goo.gl/58xDEs - причем вас могут вычислить даже если у вас в профиле нет ничего кроме имени

- В древности люди читали вслух - goo.gl/7UkxtQ

#digest

#internet

snakers4 (Alexander), November 18, 18:05

youtu.be/VrgYtFhVGmg

NVIDIA's AI Dreams Up Imaginary Celebrities | Two Minute Papers #207
The paper "Progressive Growing of GANs for Improved Quality, Stability, and Variation" and its source code is available here: research.nvidia.com/publ...

snakers4 (Alexander), November 18, 15:39

Интересное в мире ML

- Открылся конкурсе по распознаванию голоса - goo.gl/ojBHv7 - судя по всему там будет замес (прошло несколько дней, а там уже ажиотаж), но сам конкурс очень интересный

- Датасет с этого конкурса - goo.gl/CnDyGU

- Про инжиниринг фич - goo.gl/YvdBcZ

- Нейросетки для музыки - goo.gl/2baKrB

- LSTM для систем рекоммендаций - goo.gl/xPLDKn

- Прикольно про жанры музыки - похоже на то, как мы сами это делали - goo.gl/3QnfXG

- Бенчи сеток на TF по скорости работы. Кто инженер - налетай - github.com/taehoonlee/tensornets

- Как люди писали сетки 10 лет назад - goo.gl/4Biyom

- Плагин Chrome для archiv - fermatslibrary.com/librarian - по мне Менделей лучше

- Топовое решение с конкурса Carvana - github.com/asanakoy/kaggle_carvana_segmentation. Из важного:

-- Pytorch

-- Кастомные генераторы у всех участников

-- Сахар для работы с Tensorboard

-- Консольные скрипты с параметрами для запуска моделей

-- Копипаста - Юнет и подобные модели

#digest

#data_science

TensorFlow Speech Recognition Challenge

Can you build an algorithm that understands simple speech commands?


snakers4 (Alexander), November 18, 13:40

Понравилась статья с прошлого соревнования?

Не читал – 27

👍👍👍👍👍👍👍 63%

Да – 14

👍👍👍👍 33%

Слишком мало копоти, нужно больше деталей пошаговых – 2

👍 5%

Нет

▫️ 0%

Слишком много копоти

▫️ 0%

Своё, в личку

▫️ 0%

👥 43 people voted so far.

Channel Rename: Spark In Me - Internet, Data Science, Math, Deep Learning, Philosophy

spark-in.me/post/fish-object-detection-ssd-yolo - статья

Identify fish challenge - playing with object detection

My path to learning SSD and YOLO and my experience in participating in a video object search competition with 300+GB of data Статьи автора - http://spark-in.me/author/snakers41 Блог - http://spark-in.me