Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1166 members, 1154 posts since 2016

All this - lost like tears in rain.

Internet, data science, math, deep learning, philosophy.
No bullshit.

На чай
- goo.gl/zveIOr
- Договор ТКС 5011673505

Сайт spark-in.me
Файл goo.gl/5VGU5A
Чат goo.gl/IS6Kzz

Posts by tag «python»:

snakers4 (Alexander), December 01, 11:54

На новой работе увидел, что люди тренируют свои модели на 2 питоне (ЩИТО?), на tensorflow (WTF???) и грузят данные в 1 поток (2017 год на дворе!).

По этой причине сделал коллегам такую немного трололо презентацию. Может и вам понравится

- goo.gl/ne9RH4

Все простое - очень просто, главное просто знать где искать)

#data_science

#deep_learning

#python

image processing

Leveraging your hardware and software for NNs Efficiently, better with pytorch* =) * for research and competitions


snakers4 (Alexander), November 05, 04:35

Великолепная либа на питоне для работы с видео

- github.com/Zulko/moviepy

Она построена сверху над image.io и по сути позволяет работать с видео в 1 строчку (вместо просто итерации или ручного использования ffmpeg). Как хорошо что на питоне есть такие инструменты!

#python

#video

Zulko/moviepy

moviepy - Video editing with Python


snakers4 (Alexander), October 19, 09:55

Из серии извращений - как загрузить k-means объект из второго питона в третий, причем с ростом версии sklearn?

Очевидное решение не работает по причине смены версии sklearn

- goo.gl/s8V5zf

А такое работает

# saving - python2

import numpy as np

np.savetxt('centroids.txt', centroids, delimiter=',')

# loading - python3

from sklearn.cluster import KMeans

import numpy as np

centroids = np.loadtxt('centroids.txt', delimiter=',')

kmeans = KMeans(init = centroids)

#python

Unpickling a python 2 object with python 3

I'm wondering if there is a way to load an object that was pickled in Python 2.4, with Python 3.4. I've been running 2to3 on a large amount of company legacy code to get it up to date. Having don...


snakers4 (Alexander), October 14, 07:05

У меня встал вопрос расширения класса Pytorch, который мне понравился. Если бы все было банально - я бы просто написал функцию и вызвал бы ее и передал ей объект класса, но но одна проблема - некоторые утилиты в классе вызывают локальные утилиты, которые не совсем понятно как модифицировать при импорте.

Вдохновившись примером итератора с bson (было выше - goo.gl/xvZErF), как оказалось расширение классов делается довольно просто:

- Раз goo.gl/JZpfiV

- Два goo.gl/D3KkLm

- Ну и старая наркомания для тех кому внутрянка питона интересна

-- www.artima.com/weblogs/viewpost.jsp?thread=237121

-- www.artima.com/weblogs/viewpost.jsp?thread=236278

-- www.artima.com/weblogs/viewpost.jsp?thread=236275

#python

#data_science

Keras generator for reading directly from BSON

Using data from Cdiscount’s Image Classification Challenge


Что сейчас больше интересно подписчикам?

Больше полнотекстовых статей – 44

👍👍👍👍👍👍👍 48%

Больше интересных ссылок – 16

👍👍👍 18%

Больше про GAN / архитектуры / сетки – 15

👍👍 16%

Больше копоти pytorch – 12

👍👍 13%

Больше про рыбок и SSD / yolo. Ну или просто про рыбок – 4

👍 4%

Новые фичи на сайт (пишите в лс какие)

▫️ 0%

👥 91 people voted so far.

snakers4 (Alexander), October 08, 08:41

Оказывается уже есть готовый squeeze-net для keras с весами =)

Неплохо

- github.com/wohlert/keras-squeezenet

#python

#neural_nets

wohlert/keras-squeezenet

keras-squeezenet - Pretrained Squeezenet 1.1 implementation in Keras


snakers4 (Alexander), October 08, 07:42

Отличная паста чтобы проверять хеши файлов.

# make sure you downloaded the files correctly

import hashlib

import os.path as path

def sha256(fname):

hash_sha256 = hashlib.sha256()

with open(fname, 'rb') as f:

for chunk in iter(lambda: f.read(4096), b''):

hash_sha256.update(chunk)

return hash_sha256.hexdigest()

filenames = ['', '', '', '', ']

hashes = ['', '', '', '', '']

data_root = path.join('data/') # make sure you set up this path correctly

# this may take a few minutes

for filename, hash_ in zip(filenames, hashes):

computed_hash = sha256(path.join(data_root, filename))

if computed_hash == hash_:

print('{}: OK'.format(filename))

else:

print('{}: fail'.format(filename))

print('expected: {}'.format(hash_))

print('computed: {}'.format(computed_hash))

#python

#data_science

snakers4 (Alexander), October 05, 07:53

Пара отличных тредов про то, как сделать ваш генератор на питоне thread-safe, то есть минимальными усилиями использовать параметр workers > 1 у fit_generator в Keras. Полезно, если ваша модель сильно CPU-bound.

- github.com/fchollet/keras/issues/1638

- stackoverflow.com/questions/41194726/python-generator-thread-safety-using-keras

- anandology.com/blog/using-iterators-and-generators/

#data_science

#python

Proper way of making a data generator which can handle multiple workers · Issue #1638 · fchollet/keras

I am having difficulty in writing a data generator which can work with multiple workers. My data generator works fine with one worker, but with > 1 workers, it gives me the following error: Unbound...


snakers4 (Alexander), October 04, 14:15

В новом конкурсе нашел на Kaggle отличный "мануал", про то как работать c bson (архив базы Монго).

Очень рекомендую к прочтению

- www.kaggle.com/humananalog/keras-generator-for-reading-directly-from-bson/notebook

#data_science

#python

Keras generator for reading directly from BSON

Using data from Cdiscount’s Image Classification Challenge


snakers4 (Alexander), September 29, 15:15

Знакомый прислал еще такое - как в juputer notebook одновременно запускать несколько ячеек

- github.com/alexanderkuk/parallel-cell

#data_science

#python

alexanderkuk/parallel-cell

Contribute to parallel-cell development by creating an account on GitHub.


snakers4 (Alexander), September 29, 11:20

Еще лучше сниппет для скачивания файлов с докачиваением и ordered dictionaries. Качает в последовательности в которой вы загружаете ключи в словарь.

import collections

file_dict = collections.OrderedDict()

file_dict['FILENAME'] = 'URL'

for file,url in file_dict.items():

url_q = "'" + url + "'"

! wget --continue --no-check-certificate --no-proxy -O $file $url_q

#data_science

#python

snakers4 (Alexander), September 26, 06:28

Гайд по настройке виртуальных окружений на питоне и установке open-cv (не самая последняя версия есть тупо в репозитории pip)

- www.pyimagesearch.com/2017/09/25/configuring-ubuntu-for-deep-learning-with-python/

По идее на работе правильно работать через докер или виртуальные окружения.

#data_science

#python

Configuring Ubuntu for deep learning with Python - PyImageSearch

Inside this guide you will learn how to configure your Ubuntu machine for deep learning using Python, Keras, TensorFlow, mxnet, and more.


snakers4 (Alexander), September 22, 06:59

Ну и офигенный сниппет кода, который позволяет скачивать файлы в тетрадке с хостингов с кривыми url / ожиданием загрузки и кажется даже с редиректами (серверными редиректами)

file_dict = {

'full_ds_1.zip': 'YOUR_URL_HERE'

}

for file,url in file_dict.items():

url_q = "'" + url + "'"

! wget --no-check-certificate --no-proxy -O $file $url_qКлючи и кавычки добавлены к wget спеицально.

#data_science

#tips #python

snakers4 (Alexander), August 30, 08:42

Для совсем жестких извращенцев - нашел статью про то, как использовать Cython для очень быстрой работы функций. По сути C, который вызывается кодом на питоне. Может пригодится.

- www.pyimagesearch.com/2017/08/28/fast-optimized-for-pixel-loops-with-opencv-and-python/

- www.perrygeo.com/parallelizing-numpy-array-loops-with-cython-and-mpi.html

#python

Fast, optimized 'for' pixel loops with OpenCV and Python - PyImageSearch

Learn how construct fast and efficient 'for' loops and loop over all pixels in an image using Python, Cython, and OpenCV.


snakers4 (Alexander), July 12, 03:47

Озадачился вопросом - а как анализировать и визуализировать звук в питоне?

Немного погуглил и нашел сразу ответы на вопросы, причем что удивительно в понятном, красивом формате, бесплатно и от самых умных людей планеты.

Такое воодушевляет.

Список ссылок:

- Мотивирующее видео - goo.gl/bW5c2T

- Как проигрывать звук в jupyter notebook через HTML5 плейер - goo.gl/6WHpmx (пользуясь веб-тулзами вы можете использовать как питон, так и все наработки в вебе)

- Воркшоп от Стенфорда, где есть огромное количество ipynb файлов на разные темы, связанные с анализом звука

-- Справочник goo.gl/4ouEvR

-- Репозиторий goo.gl/EzgirH

- Лучшая либа для анализа звука и извлечения фич - goo.gl/8tU4Lp

Как-то так.

#data_science

The Sound of Hydrogen

It's like the sound of silence... only louder Tweet it - http://bit.ly/pGlpub Facebook it - http://on.fb.me/pHeQT5 minutephysics is now on Google+ - http://b...


Forwarded from The Devs:
Advanced Python features.

#tutorial #python
@thedevs

goo.gl/9Vnzoh