Spark in me - Internet, data science, math, deep learning, philo

snakers4 @ telegram, 1326 members, 1561 posts since 2016

All this - lost like tears in rain.

Data science, deep learning, sometimes a bit of philosophy and math. No bs.

Our website
- spark-in.me
Our chat
- goo.gl/WRm93d
DS courses review
- goo.gl/5VGU5A
- goo.gl/YzVUKf

Posts by tag «python»:

snakers4 (Alexander), August 01, 18:05

Finally found a decent python module building guide

chrisyeh96.github.io/2017/08/08/definitive-guide-python-imports.html

#python

The Definitive Guide to Python import Statements | Chris Yeh

Stanford University, Class of 2018


snakers4 (Alexander), July 31, 05:53

Yet another python tricks book

dbader.org/

www.getdrip.com/deliveries/xugaymstfzmizbyposdk?__s=ejdgfo9tsdhpgcrcscs3

vk.com/doc7608079_466151365

#python

Python Training by Dan Bader – dbader.org

Dan Bader helps Python developers become more awesome. His tutorials, videos, and trainings have reached over half a million developers around the world.


snakers4 (Alexander), May 04, 07:45

A decent explanation about decorators in Python

book.pythontips.com/en/latest/decorators.html

#python

snakers4 (Alexander), April 22, 13:53

SOCK5 proxy configuration on Vultr

As of now, Vult was not (yet) blocked, probably because it is less known in the CIS. If you missed our Digital Ocean sock5 configuration guide, then you can follow this guide.

For us, both DO and Vulture work as of now.

- spark-in.me/post/vultr-sock5-proxy-server

You can use our referral links to create accounts

- m.do.co/c/6f8e77dddc23

- www.vultr.com/?ref=7402755

If you like the above guides, consider buying us a coffee

- www.buymeacoffee.com/8oneCIN

#linux

#digital_freedom

Playing with a simple SOCKS5 proxy server on Vultr and Ubuntu 16.04

Start your own proxy server Статьи автора - http://spark-in.me/author/yara_tchk Блог - http://spark-in.me


Readable list comprehensions in Python

My list and dictionary comprehensions usually look like s**t

gist.github.com/IaroslavR/7dcb54830242a22de1869f6fd05a8d7e

#python

Examples of readable comprehension formating from SO


snakers4 (Alexander), April 20, 04:58

Useful Python abstractions / sugar / patterns

I already shared a book about patterns, which contains mostly high level / more complicated patters. But for writing ML code sometimes simple imperative function programming style is ok.

So - I will be posting about simple and really powerful python tips I am learning now.

This time I found out about map and filter, which are super useful for data preprocessing:

Map

items = [1, 2, 3, 4, 5]

squared = list(map(lambda x: x**2, items))Filter

number_list = range(-5, 5)

less_than_zero = list(filter(lambda x: x < 0, number_list))

print(less_than_zero)Also found this book - book.pythontips.com/en/latest/map_filter.html

#python

#data_science

snakers4 (Alexander), March 04, 06:26

Amazing article about the most popular warning in Pandas

- www.dataquest.io/blog/settingwithcopywarning/

#data_science

A guide

Everything you need to know about the most common (and most misunderstood) warning in #pandas. #python


snakers4 (Alexander), February 24, 14:01

Just found a book on practical Python programming patterns

- python-3-patterns-idioms-test.readthedocs.io/en/latest/PythonForProgrammers.html

Looks good

#python

snakers4 (Alexander), December 01, 11:54

На новой работе увидел, что люди тренируют свои модели на 2 питоне (ЩИТО?), на tensorflow (WTF???) и грузят данные в 1 поток (2017 год на дворе!).

По этой причине сделал коллегам такую немного трололо презентацию. Может и вам понравится

- goo.gl/ne9RH4

Все простое - очень просто, главное просто знать где искать)

#data_science

#deep_learning

#python

image processing

Leveraging your hardware and software for NNs Efficiently, better with pytorch* =) * for research and competitions


snakers4 (Alexander), November 05, 04:35

Великолепная либа на питоне для работы с видео

- github.com/Zulko/moviepy

Она построена сверху над image.io и по сути позволяет работать с видео в 1 строчку (вместо просто итерации или ручного использования ffmpeg). Как хорошо что на питоне есть такие инструменты!

#python

#video

Zulko/moviepy

moviepy - Video editing with Python


snakers4 (Alexander), October 19, 09:55

Из серии извращений - как загрузить k-means объект из второго питона в третий, причем с ростом версии sklearn?

Очевидное решение не работает по причине смены версии sklearn

- goo.gl/s8V5zf

А такое работает

# saving - python2

import numpy as np

np.savetxt('centroids.txt', centroids, delimiter=',')

# loading - python3

from sklearn.cluster import KMeans

import numpy as np

centroids = np.loadtxt('centroids.txt', delimiter=',')

kmeans = KMeans(init = centroids)

#python

Unpickling a python 2 object with python 3

I'm wondering if there is a way to load an object that was pickled in Python 2.4, with Python 3.4. I've been running 2to3 on a large amount of company legacy code to get it up to date. Having don...


snakers4 (Alexander), October 14, 07:05

У меня встал вопрос расширения класса Pytorch, который мне понравился. Если бы все было банально - я бы просто написал функцию и вызвал бы ее и передал ей объект класса, но но одна проблема - некоторые утилиты в классе вызывают локальные утилиты, которые не совсем понятно как модифицировать при импорте.

Вдохновившись примером итератора с bson (было выше - goo.gl/xvZErF), как оказалось расширение классов делается довольно просто:

- Раз goo.gl/JZpfiV

- Два goo.gl/D3KkLm

- Ну и старая наркомания для тех кому внутрянка питона интересна

-- www.artima.com/weblogs/viewpost.jsp?thread=237121

-- www.artima.com/weblogs/viewpost.jsp?thread=236278

-- www.artima.com/weblogs/viewpost.jsp?thread=236275

#python

#data_science

Keras generator for reading directly from BSON

Using data from Cdiscount’s Image Classification Challenge


Что сейчас больше интересно подписчикам?

Больше полнотекстовых статей – 44

👍👍👍👍👍👍👍 48%

Больше интересных ссылок – 16

👍👍👍 18%

Больше про GAN / архитектуры / сетки – 15

👍👍 16%

Больше копоти pytorch – 12

👍👍 13%

Больше про рыбок и SSD / yolo. Ну или просто про рыбок – 4

👍 4%

Новые фичи на сайт (пишите в лс какие)

▫️ 0%

👥 91 people voted so far.

snakers4 (Alexander), October 08, 08:41

Оказывается уже есть готовый squeeze-net для keras с весами =)

Неплохо

- github.com/wohlert/keras-squeezenet

#python

#neural_nets

wohlert/keras-squeezenet

keras-squeezenet - Pretrained Squeezenet 1.1 implementation in Keras


snakers4 (Alexander), October 08, 07:42

Отличная паста чтобы проверять хеши файлов.

# make sure you downloaded the files correctly

import hashlib

import os.path as path

def sha256(fname):

hash_sha256 = hashlib.sha256()

with open(fname, 'rb') as f:

for chunk in iter(lambda: f.read(4096), b''):

hash_sha256.update(chunk)

return hash_sha256.hexdigest()

filenames = ['', '', '', '', ']

hashes = ['', '', '', '', '']

data_root = path.join('data/') # make sure you set up this path correctly

# this may take a few minutes

for filename, hash_ in zip(filenames, hashes):

computed_hash = sha256(path.join(data_root, filename))

if computed_hash == hash_:

print('{}: OK'.format(filename))

else:

print('{}: fail'.format(filename))

print('expected: {}'.format(hash_))

print('computed: {}'.format(computed_hash))

#python

#data_science

snakers4 (Alexander), October 05, 07:53

Пара отличных тредов про то, как сделать ваш генератор на питоне thread-safe, то есть минимальными усилиями использовать параметр workers > 1 у fit_generator в Keras. Полезно, если ваша модель сильно CPU-bound.

- github.com/fchollet/keras/issues/1638

- stackoverflow.com/questions/41194726/python-generator-thread-safety-using-keras

- anandology.com/blog/using-iterators-and-generators/

#data_science

#python

Proper way of making a data generator which can handle multiple workers · Issue #1638 · fchollet/keras

I am having difficulty in writing a data generator which can work with multiple workers. My data generator works fine with one worker, but with > 1 workers, it gives me the following error: Unbound...


snakers4 (Alexander), October 04, 14:15

В новом конкурсе нашел на Kaggle отличный "мануал", про то как работать c bson (архив базы Монго).

Очень рекомендую к прочтению

- www.kaggle.com/humananalog/keras-generator-for-reading-directly-from-bson/notebook

#data_science

#python

Keras generator for reading directly from BSON

Using data from Cdiscount’s Image Classification Challenge


snakers4 (Alexander), September 29, 15:15

Знакомый прислал еще такое - как в juputer notebook одновременно запускать несколько ячеек

- github.com/alexanderkuk/parallel-cell

#data_science

#python

alexanderkuk/parallel-cell

Contribute to parallel-cell development by creating an account on GitHub.


snakers4 (Alexander), September 29, 11:20

Еще лучше сниппет для скачивания файлов с докачиваением и ordered dictionaries. Качает в последовательности в которой вы загружаете ключи в словарь.

import collections

file_dict = collections.OrderedDict()

file_dict['FILENAME'] = 'URL'

for file,url in file_dict.items():

url_q = "'" + url + "'"

! wget --continue --no-check-certificate --no-proxy -O $file $url_q

#data_science

#python

snakers4 (Alexander), September 26, 06:28

Гайд по настройке виртуальных окружений на питоне и установке open-cv (не самая последняя версия есть тупо в репозитории pip)

- www.pyimagesearch.com/2017/09/25/configuring-ubuntu-for-deep-learning-with-python/

По идее на работе правильно работать через докер или виртуальные окружения.

#data_science

#python

Configuring Ubuntu for deep learning with Python - PyImageSearch

Inside this guide you will learn how to configure your Ubuntu machine for deep learning using Python, Keras, TensorFlow, mxnet, and more.


snakers4 (Alexander), September 22, 06:59

Ну и офигенный сниппет кода, который позволяет скачивать файлы в тетрадке с хостингов с кривыми url / ожиданием загрузки и кажется даже с редиректами (серверными редиректами)

file_dict = {

'full_ds_1.zip': 'YOUR_URL_HERE'

}

for file,url in file_dict.items():

url_q = "'" + url + "'"

! wget --no-check-certificate --no-proxy -O $file $url_qКлючи и кавычки добавлены к wget спеицально.

#data_science

#tips #python

snakers4 (Alexander), August 30, 08:42

Для совсем жестких извращенцев - нашел статью про то, как использовать Cython для очень быстрой работы функций. По сути C, который вызывается кодом на питоне. Может пригодится.

- www.pyimagesearch.com/2017/08/28/fast-optimized-for-pixel-loops-with-opencv-and-python/

- www.perrygeo.com/parallelizing-numpy-array-loops-with-cython-and-mpi.html

#python

Fast, optimized 'for' pixel loops with OpenCV and Python - PyImageSearch

Learn how construct fast and efficient 'for' loops and loop over all pixels in an image using Python, Cython, and OpenCV.


snakers4 (Alexander), July 12, 03:47

Озадачился вопросом - а как анализировать и визуализировать звук в питоне?

Немного погуглил и нашел сразу ответы на вопросы, причем что удивительно в понятном, красивом формате, бесплатно и от самых умных людей планеты.

Такое воодушевляет.

Список ссылок:

- Мотивирующее видео - goo.gl/bW5c2T

- Как проигрывать звук в jupyter notebook через HTML5 плейер - goo.gl/6WHpmx (пользуясь веб-тулзами вы можете использовать как питон, так и все наработки в вебе)

- Воркшоп от Стенфорда, где есть огромное количество ipynb файлов на разные темы, связанные с анализом звука

-- Справочник goo.gl/4ouEvR

-- Репозиторий goo.gl/EzgirH

- Лучшая либа для анализа звука и извлечения фич - goo.gl/8tU4Lp

Как-то так.

#data_science

The Sound of Hydrogen

It's like the sound of silence... only louder Tweet it - http://bit.ly/pGlpub Facebook it - http://on.fb.me/pHeQT5 minutephysics is now on Google+ - http://b...


Forwarded from The Devs:
Advanced Python features.

#tutorial #python
@thedevs

goo.gl/9Vnzoh