Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1156 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

September 28, 13:27

В процессе ковыряния и размышлений на тему того, что все-таки надо сделать следующим, взор пал на то, что надо разобраться в докере и сделать любой проект на торче. Пойдем по плану с простого.

Почему докер? Потому, что если вы работаете вдвоем на одном железе и у вас 2 пользователя с sudo доступом, то все рано или поздно скатится или в месиво или sudo доступ останется у одного пользователя. А в рамках образа в докере вы сам себе админ.

Также такие знания могут очень пригодится в корпоративной среде, где с железом работает сразу много людей.

Сегодня не без помощи знакомого и репозитория от fchollet мы смогли родить пару докерфайлов, которые

- работают с jupyter notebooks c расширениями (что внезапно было геморройно из-за конфликта версий html5lib) из коробки

- работают с картами nvidia

- работают с keras, tf, theano и pytorch

- там стоят 95% основных либ на питоне

Если вы тоже хотите работать через докер,то вот последовательность шагов (это все делалось на Ubuntu 16.04):

0. Убедитесь что у вас стоят дрова для ваших карт и все работает (на канале было про это)

1.

Почитать про докер (в таком порядке):

- habrahabr.ru/post/337306/

- docs.docker.com/get-started/part1/

- docs.docker.com/get-started/part2/

- github.com/fchollet/keras/tree/master/docker

- github.com/NVIDIA/nvidia-docker

2.

Докерфайлы

- Раз - resources.spark-in.me/docker_deep_learning

- Два - resources.spark-in.me/docker_deep_learning_2

Отличаются способом решения головняка с html5lib.

3.

Последовательные шаги с комментариями, по идее если вы выполните вдумчиво и читая доку, то все будет работать:

- resources.spark-in.me/docker_commands_share

4.

Заметки про докер

- Если вы запускаете docker команды не от sudo, то не забудьте добавить юзера в группу docker - это не совсем явно в доке написано

- Докер создает промежуточные образы, поэтому если вы меняете конфиг, то лучше всегда дописывайте снизу - не придется качать файлы заново

- Пасхалка - посмотрите имена контейнеров если вы их не называете никак

- Докер позволяет пробрасывать порты и папки на дисках. Грубо говоря дисковое пространство тоже может быть параметров в ваших извращениях

- После остановки jupyter (ctr+c) НЕ НАДО заново запускать контейнер через run - так вы наплодите тьму контейнеров. Надо делать docker start -i CONTAINER_ID

#linux

#deep_learning

Основы Docker за Х часов и Y дней

0. Вступление Цель данной статьи собрать в небольшую кучку основную информацию, минимально достаточную для того, чтобы начать работать с докер на ежедневной...