Data Science. Data Analytics - Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект

Основы работы в Jupyter/Jupiter Notebook и JupyterLab — Python Tutorial

Шамаев Иван — Sun, 09 Jan 2022 08:24:40 +0000

Что такое Jupyter Notebook (JupyterLab)?

Jupyter Notebook — это среда разработки для написания и выполнения кода Python. Некоммерческая организация Project Jupyter с открытым исходным кодом поддерживает программное обеспечение. Он состоит из последовательности ячеек, каждая из которых содержит небольшой пример кода или документацию в формате Markdown. Разработчики могут выполнить ячейку и увидеть ее вывод сразу под кодом. Гениальный дизайн создает мгновенную петлю обратной связи, позволяя программисту запускать свой код и вносить в него соответствующие изменения.

Ячейки Jupyter Notebook также поддерживают аннотации, аудиофайлы, видео, изображения, интерактивные диаграммы и многое другое. Это еще одно важное преимущество программного обеспечения; вы можете рассказать историю с вашим кодом. Читатели могут видеть шаги, которые вы выполнили, чтобы получить результат.

Вы можете импортировать пакеты Python, такие как pandas, NumPy или TensorFlow, прямо в Блокнот.

Jupyter Notebook – это веб-оболочка для Ipython (ранее называлась IPython Notebook). Это веб-приложение с открытым исходным кодом, которое позволяет создавать и обмениваться документами, содержащими живой код, уравнения, визуализацию и разметку.
Первоначально IPython Notebook ограничивался лишь Python в качестве единственного языка. Jupyter Notebook позволил использовать многие языки программирования, включая Python, R, Julia, Scala и F#.

Установка/инсталляция Jupyter Notebook — pip3 install jupyter

Install Jupyter Notebook на Ubuntu 20.14

Установка классического блокнота Jupyter без виртуальной среды осуществляется очень просто. Для этого необходимо запустить 2 команды:

pip install notebook

После этого на вашей рабочей машине установится jupyter notebook. Теперь его необходимо запустить командой:

jupyter notebook

Откроется окно по адресу localhost:8888/

Install Jupyter Notebook на Windows

Аналогично без виртуальной среды блокнот Jupyter можно установить и на винду. Запускаем команду:

pip install notebook

и после завершения установки запускаем команду:

jupyter-notebook

Установка Jupyter Notebook в Docker через Docker-Compose

todo

Установка Jupyter Notebook через virtual env на Windows

Создаем директорию проекта, например:

D:\#python#\#env\jupyter\

Далее в этой директории создаем виртуальную среду с помощью команды:

python3 -m venv venv

или

python -m venv venv

Далее переходим в директорию D:\#python#\#env\jupyter\venv\Scripts и запускаем activate. Должна активироваться среда venv:

D:\#python#\#env\jupyter\venv\Scripts>activate 
(venv) D:\#python#\#env\jupyter\venv\Scripts>

Далее запустите в активированной виртуальной среде venv установку jupyter notebook:

(venv) D:\#python#\#env\jupyter\venv\Scripts>pip install notebook
Collecting notebook
  Using cached notebook-6.4.10-py3-none-any.whl (9.9 MB)
Collecting jupyter-client>=5.3.4
  Downloading jupyter_client-7.2.2-py3-none-any.whl (130 kB)
     |████████████████████████████████| 130 kB 128 kB/s
Collecting nbconvert>=5
  Using cached nbconvert-6.4.5-py3-none-any.whl (561 kB)
.....
.....
.....
Installing collected packages: .....
Successfully installed .....

После завершения установки внутри venv нужно подняться в корень директории jupyter и запустить jupyter-notebook:

(venv) D:\#python#\#env\jupyter\venv\Scripts>cd ..

(venv) D:\#python#\#env\jupyter\venv>cd ..

(venv) D:\#python#\#env\jupyter>jupyter-notebook

[I 06:14:46.674 NotebookApp] Serving notebooks from local directory: D:\#python#\#env\jupyter
[I 06:14:46.674 NotebookApp] Jupyter Notebook 6.4.10 is running at:
[I 06:14:46.678 NotebookApp] http://localhost:8888/?token=443ed7feca651de8172b6f043ea0cf42645ddbc406a784d1
[I 06:14:46.681 NotebookApp]  or http://127.0.0.1:8888/?token=443ed7feca651de8172b6f043ea0cf42645ddbc406a784d1
[I 06:14:46.682 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 06:14:46.835 NotebookApp]
    To access the notebook, open this file in a browser:
        file:///C:/Users/Ivan/AppData/Roaming/jupyter/runtime/nbserver-1952-open.html
    Or copy and paste one of these URLs:
        http://localhost:8888/?token=443ed7feca651de8172b6f043ea0cf42645ddbc406a784d1
     or http://127.0.0.1:8888/?token=443ed7feca651de8172b6f043ea0cf42645ddbc406a784d1

Выглядит это так:

Откроется окно в браузере:

Повторный запуск среды осуществляется из виртуальной среды (сначала ее нужно активировать).

Установка Jupyter Notebook через virtual env на Ubuntu 20.14

# Создаем директорию проекта с виртуальной средой
mkdir jupyter-env

# Переходим внутрь проекта
cd jupyter-env

# Создаем среду myenv
python3 -m venv myenv

# Активируем среду
source myenv/bin/activate

# Запускаем установку jupyter 
pip install notebook

# Запускаем jupyter notebook внутри venv
jupyter notebook

Как устроен Jupyter Notebook. Как работает Jupyter Notebook

Общий вид Jupyter Notebook

Сначала пользователь взаимодействует с браузером, после чего на сервер Notebook отправляется запрос. Это может быть запрос HTTP или WebSocket.

Если код пользователя должен быть выполнен, сервер ноутбука отправляет его ядру (kernel) в сообщениях ZeroMQ. Ядро возвращает результаты выполнения.

Затем сервер Notebook возвращает пользователю HTML-страницу. Когда пользователь сохраняет документ, он отправляется из браузера на сервер Notebook. Сервер сохраняет его на диске в виде файла JSON с .ipynb расширением. Этот файл блокнота содержит код, выходные данные и примечания в формате markdown.

Ядро (Kernel) ничего не знает о документе блокнота: оно просто получает отправленные ячейки кода для выполнения, когда пользователь запускает их.

Блокноты Jupyter — это структурированные данные, которые представляют ваш код, метаданные, контент и выходные данные.

IPython Kernel (Ядро IPython)

Когда мы обсуждаем IPython, мы говорим о двух основных ролях:

Terminal IPython как знакомый REPL.
Ядро IPython, которое обеспечивает вычисления и связь с внешними интерфейсами, такими как ноутбук.

REPL – это форма организации простой интерактивной среды программирования в рамках средств интерфейса командной строки (REPL, от англ. Read-Eval-Print-Loop — цикл «чтение — вычисление — вывод»), которая поставляется вместе с Python. Чтобы запустить IPython, просто выполните команду ipython из командной строки/терминала.

Terminal IPython

Когда вы набираете ipython, вы получаете исходный интерфейс IPython, работающий в терминале. Он делает что-то вроде этого (упрощенная модель):

while True:
    code = input(">>> ")
    exec(code)

Эту модель часто называют REPL или Read-Eval-Print-Loop.

IPython Kernel

Все остальные интерфейсы — notebook, консоль Qt, ipython console в терминале и сторонние интерфейсы — используют Python Kernel.

Python Kernel — это отдельный процесс, который отвечает за выполнение пользовательского кода и такие вещи, как вычисление possible completions (возможных завершений). Внешние интерфейсы, такие как блокнот или консоль Qt, взаимодействуют с ядром IPython, используя сообщения JSON, отправляемые через сокеты ZeroMQ (протокол, используемый между интерфейсами и ядром IPython).

Основной механизм выполнения ядра используется совместно с терминалом IPython:

Jupyter Lab

Проект Jupyter приобрел большую популярность не только среди специалистов по данным, но и среди инженеров-программистов. На тот момент Jupyter Notebook был предназначен не только для работы с ноутбуком, поскольку он также поставлялся с веб-терминалом, текстовым редактором и файловым браузером. Все эти компоненты не были объединены вместе, и сообщество пользователей начало выражать потребность в более интегрированном опыте.

На конференции SciPy 2016 был анонсирован проект JupyterLab. Он был описан как естественная эволюция интерфейса Jupyter Notebook.

Кодовая база Notebook устарела, и ее становилось все труднее расширять. Стоимость поддержки старой кодовой базы и реализации новых функций поверх нее постоянно росла.

Разработчики учли весь опыт работы с Notebook в JupyterLab, чтобы создать надежную и чистую основу для гибкого интерактивного взаимодействия с компьютером и улучшенного пользовательского интерфейса.

Ценность Jupyter Notebook/JupyterLab для аналитиков данных

Разница между профессией data analyst/data scientist от разработки ПО заключается в отсутствии чёткого ТЗ на старте. Правильная постановка задачи в сфере анализа данных — это уже половина решения.

Первым этапом производится детальный анализ Initial Data (исходных данных) или Exploratory Data Analysis (Разведочный анализ данных), затем выдвигается одна или несколько гипотез. Эти шаги требуют значительных временных ресурсов.

Поэтому, понимание, как организовать процесс разработки (что нужно делать в первую очередь и чем можно будет пренебречь или исключить), начинает приходить во время разработки.

Исходя из этих соображений тратить силы на скурпулёзное и чистый код, git и т.д. бессмысленно — в первую очередь становится важным быстро создавать прототипы решений, ставить эксперименты над данными. Помимо этого, достигнутые результаты и обнаруженные инсайты или необычные наблюдения над данными приходится итерационно презентовать коллегам и заказчикам (внешним или внутренним). Jupyter Notebook или JupyterLab позволяет выполнять описанные задачи с помощью доступного функционала без дополнительных интеграций:

По факту, JupyterLab — это лабораторный журнал 21 века с элементами интерактивности, в котором вы можете оформить результаты работы с данными в формате markdown с использованием формул из latex. Также в JupyterLab можно писать и запускать код, вставлять в отчет картинки, отрисовывать графики, таблицы, дашборды.

Установка JupyterLab на Ubuntu 20.14

Установка производится одной командой

pip install jupyterlab

После инсталляции запустите команду

jupyter-lab

И откроется интерфейс:

Установка JupyterLab на Windows

Инсталляция и запуск на винде производится аналогично, как и на Ubuntu, командой pip instal jupyterlab.

В чем разница между Jupyter Notebook и JupyterLab?

Jupyter Notebook — это интерактивная вычислительная среда с веб-интерфейсом для создания документов Jupyter Notebook. Он поддерживает несколько языков, таких как Python (IPython), Julia, R и т.д., и в основном используется для анализа данных, визуализации данных и дальнейших интерактивных исследовательских вычислений.

JupyterLab — это пользовательский интерфейс нового поколения, включая ноутбуки. Он имеет модульную структуру, в которой вы можете открыть несколько записных книжек или файлов (например, HTML, Text, Markdowns и т.д.) в виде вкладок в одном окне. Он предлагает больше возможностей, подобных IDE.

Новичку я бы посоветовал начать с Jupyter Notebook, так как он состоит только из файлового браузера и представления редактора (Notebook). Это проще в использовании. Если вам нужны дополнительные функции, переключитесь на JupyterLab. JupyterLab предлагает гораздо больше функций и улучшенный интерфейс, который можно расширить с помощью расширений: JupyterLab Extensions.

Начиная с версии 3.0, JupyterLab также поставляется с визуальным отладчиком, который позволяет интерактивно устанавливать точки останова, переходить к функциям и проверять переменные.

JupyterLab — это совершенно фантастический инструмент как для создания plotly фигур, так и для запуска полных приложений Dash как встроенных, в виде вкладок, так и внешних в браузере.

Основы работы и обзор функциональности Jupyter Notebook

Из чего состоит Jupiter Notebook

Если щелкнуть по файлу с расширением .ipynb, откроется страница с Jupiter Notebook.

Отображаемый Notebook представляет собой HTML-документ, который был создан Jupyter и IPython. Он состоит из нескольких ячеек, которые могут быть одного из трех типов:

Сode (активный программный код),
Markdown (текст, поясняющий код, более развернутый, чем комментарий),
Raw NBConvert (пассивный программный код).

Jupyter запускает ядро IPython для каждого Notebook.

Ячейки, содержащие код Python, выполняются внутри этого ядра и результаты добавляются в тетрадку в формате HTML.

Двойной щелчок по любой из этой ячеек позволит отредактировать ее. По завершении редактирования содержимого ячейки, нажмите Shift + Enter, после чего Jupyter/IPython проанализирует содержимое и отобразит результаты.

Если выполняемая ячейка является ячейкой кода, это приведет к выполнению кода в ячейке и отображению любого вывода непосредственно под ним. На это указывают слова «In» и «Out», расположенные слева от ячеек.

Магические функции Jupiter Notebook

Все magic-функции (их еще называют magic-командами) начинаются

со знака %, если функция применяется к одной строке,
и %%, если применяется ко всей ячейке Jupyter.

Чтобы получить представление о времени, которое потребуется для выполнения функции, приведенной выше, мы воспользуемся функцией %timeit.

%timeit

%timeit – это magic-функция, созданная специально для работы с тетрадками Jupyter. Она является полезным инструментом, позволяющим сравнить время выполнения различных функций в одной и той же системе для одного и того же набора данных.

%matplotlib inline

%matplotlib inline позволяет выводит графики непосредственно в тетрадке.

На экранах с высоким разрешением типа Retina графики в тетрадках Jupiter по умолчанию выглядят размытыми, поэтому для улучшения резкости используйте

%config InlineBackend.figure_format = 'retina'

после %matplotlib inline.

jupyter markdown

туду

jupyter server

туду

jupyter config

туду

jupyter hub

JupyterHub: позволяет предоставлять нескольким пользователям (группам сотрудников) доступ к Notebook и другим ресурсам. Это может быть полезно для студентов и компаний, которые хотят, чтобы группа (группы) имела доступ к вычислительной среде и ресурсам и использовала их без необходимости установки и настройки. Управление которыми могут осуществлять системные администраторы. Доступ к отдельным блокнотам и JupyterLab можно получить через Hub. Hub может работать в облаке или на собственном оборудовании группы.

jupyter команды

туду

pycharm jupyter

туду

Виджеты Jupyter

Виджеты можно использовать для интерактивных элементов в блокнотах (например, ползунок).

Jupyter Widgets — это событийные объекты Python, которые имеют представление в браузере, часто в виде элемента управления, такого как ползунок, текстовое поле и т. д.

Вы можете использовать виджеты для создания интерактивных графических интерфейсов для своих ноутбуков.

Вы также можете использовать виджеты для синхронизации информации с сохранением состояния и без сохранения состояния между Python и JavaScript.

Чтобы использовать структуру виджетов, вам необходимо импортировать файлы ipywidgets.

Почему отображение одного и того же виджета дважды работает?

Виджеты представлены в бэкенде одним объектом. Каждый раз, когда отображается виджет, во внешнем интерфейсе создается новое представление того же объекта. Эти представления называются представлениями.

Несколько самых популярных виджетов:

Чтобы начать использовать библиотеку, нам нужно установить расширение ipywidgets. Для pip это будет двухэтапный процесс:

установить и
включить

pip install ipywidgets
jupyter nbextension enable --py widgetsnbextension

Tips & Tricks / Советы, рекомендации и фишки при работе с Jupyter Notebook

todo

Подборка видео по Jupyter

Как использовать Jupyter (ipython-notebook) на 100%

Jupyter Notebook Tutorial (Eng)

00:00 Introduction
01:35 Jupyter notebook example
04:11 Installing Python and Jupyter notebooks
09:23 Launching Jupyter notebooks
11:08 Basic notebook functionality
20:58 The kernel, and variables
28:38 Other notebook functionality
34:45 The menu
35:52 Jupyter notebook keyboard shortcuts
36:57 Load and display data using pandas
40:33 Using terminal commands inside a Jupyter notebook
42:30 Jupyter notebook magic commands
45:07 Other features outside of the notebooks
46:41 Shutting down Jupyter notebooks
48:02 Jupyter notebook extensions and other libraries
52:47 Conclusion, and thank you

Jupyterlab — STOP Using Jupyter Notebook! Here’s the Better Tool

…

Сообщение Основы работы в Jupyter/Jupiter Notebook и JupyterLab — Python Tutorial появились сначала на Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект.

Running setup.py install for setproctitle finished with status ‘error’

Шамаев Иван — Fri, 12 Jun 2020 23:05:34 +0000

При установке apache-airflow

pip install apache-airflow >> log.log

Возникла ошибка

Running setup.py install for setproctitle: finished with status 'error'

Которая приводила к крушению процесса инсталляции

Как починилось:

1. Заходим на сайт Python extension packages for Windows

2. Ищем подстроку setproctitle‑1.1, находим файл с соответствующей версией python (у меня 3.7), т.е. setproctitle-1.1.10-cp37-cp37m-win32.whl

3. Запускаем команду

pip install "C:\Users\User\Downloads\setproctitle-1.1.10-cp37-cp37m-win32.whl"

4. Запускаем повторную инсталляцию apache-airflow

5. Profit

Successfully installed apache-airflow-1.10.10 pendulum-1.4.4 pytzdata-2019.3 typing-extensions-3.7.4.2

Сообщение Running setup.py install for setproctitle finished with status ‘error’ появились сначала на Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект.

51 Python Interview вопрос/ответ на собеседовании для Data Scientist

Шамаев Иван — Mon, 20 Apr 2020 21:11:24 +0000

Вопросы по Python для исследователей данных и разработчиков программного обеспечения

1. В чем разница между списком и кортежем?

Этот вопрос звучит очень часто на каждом интервью по Python / Data Science. Обязательно запомните правильный ответ.

Списки изменчивы. Они могут быть изменены после создания.
Кортежи неизменны. Как только кортеж создан, он не может быть изменен.
Списки имеют порядок. Они представляют собой упорядоченную последовательность объектов одного типа. Т.е.: все имена пользователей упорядочены по дате создания,["Seth", "Ema", "Eli"]
Кортежи имеют структуру. Различные типы данных могут существовать в каждом индексе. Т.е.: запись базы данных в памяти (2, "Ema", "2020–04–16") # id, name, created_at

2. Как выполняется интерполяция строк (string interpolation)?

Без импорта Template класса есть 3 способа интерполировать строки.

name = 'Chris'

# 1. f strings
print(f'Hello {name}')

# 2. % operator
print('Hey %s %s' % (name, name))

# 3. format
print(
 "My name is {}".format((name))
)

3. В чем разница между «is» и «==»?

Запись is проверяет идентичность, а запись == проверяет равенство.

Рассмотрим пример. Создайте несколько списков и присвойте им имена. Обратите внимание, что b указывает на тот же объект, что и a ниже.

a = [1,2,3] 
b = a 
c = [1,2,3]

Проверьте равенство и отметьте, что все они равны.

print (a == b) 
print (a == c) 
# => True 
# => True

Но они имеют одинаковую идентичность? Нет.

print (a is b) 
print (a is c) 
# => True 
# => False

Мы можем проверить это, напечатав их идентификаторы объектов.

print(id(a))
print(id(b))
print(id(c))
#=> 4369567560
#=> 4369567560
#=> 4369567624

c has a different id than a and b.

4. Что такое декоратор (decorator)?

Декоратор позволяет добавить функциональность к существующей функции, передав эту существующую функцию декоратору, который выполнит её и дополнительный код. Как бы это надстройка над существующей функцией.

Мы напишем декоратор, который будет писать лог при вызове другой функции.

Напишите функцию декоратора. Декоратор принимает функцию func, в качестве аргумента. Он также определяет функцию log_function_called, которая вызывает func()и выполняет некоторый код print(f'{func} called.'). Затем он возвращает функцию, которую он определил.

def logging(func):
  def log_function_called():
    print(f'{func} called.')
    func()
  return log_function_called

Давайте напишем другие функции, к которым мы затем добавим декоратор:

def my_name():
  print('chris')
def friends_name():
  print('naruto')

my_name()
friends_name()

#=> chris
#=> naruto

Теперь добавим декоратор к обоим функциям.

@logging
def my_name():
 print('chris')
@logging
def friends_name():
 print('naruto')

my_name()
friends_name()

#=>  called.
#=> chris
#=>  called.
#=> naruto

Посмотрите, как мы можем теперь легко добавить логирование в любую функцию, которую мы пишем, просто добавив @logging над ней.

5. Объясните, как работает функция диапазона (range function)

Range генерирует список целых чисел и его можно использовать тремя способами.

Функция принимает от 1 до 3 аргументов. Рассмотрим три случая — запись с одним, двумя и тремя аргументами.

range(stop): генерирует целые числа от 0 до целого числа «stop».

for i in range(10)
#=> [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

range(start, stop): генерирует целые числа от «start» до «stop».

for i in range(2,10)
#=> [2, 3, 4, 5, 6, 7, 8, 9]

range(start, stop, step): генерирует целые числа от «start» до «stop» с интервалами «step».

for i in range(2,10,2)
#=> [2, 4, 6, 8]

Во всех случаях stop (верхняя граница) не включается в список.

6. Определите класс с именем car и с 2 свойствами, «color» и «speed». Затем создайте экземпляр и верните свойство speed

class Car :
    def __init__(self, color, speed):
        self.color = color
        self.speed = speed

car = Car('red','100mph')
car.speed

#=> '100mph'

7. В чем разница между методом класса, методом экземпляра и статическим методом в Python?

Методы экземпляра: принимают параметр self и относятся к конкретному экземпляру класса.

Статические методы: используйте декоратор @staticmethod для методов, которые не связаны с конкретными экземплярами и являются автономными (не изменяют свойств класса или экземпляра).

Методы класса: принимают параметр cls и могут изменять сам класс.

Проиллюстрируем разницу вокруг вымышленного CoffeeShop класса.

class CoffeeShop:
    specialty = 'espresso'
    
    def __init__(self, coffee_price):
        self.coffee_price = coffee_price
    
    # instance method
    def make_coffee(self):
        print(f'Making {self.specialty} for ${self.coffee_price}')
    
    # static method    
    @staticmethod
    def check_weather():
        print('Its sunny')

    # class method
    @classmethod
    def change_specialty(cls, specialty):
        cls.specialty = specialty
        print(f'Specialty changed to {specialty}')

CoffeeShop У класса есть свойство specialty, установленное значение по умолчанию 'espresso'. Каждый экземпляр CoffeeShop инициализируется со свойством coffee_price. Он также имеет 3 метода: метод экземпляра, статический метод и метод класса.

Давайте инициализируем экземпляр кофейни с coffee_price = 5. Затем вызовем метод экземпляра make_coffee.

coffee_shop = CoffeeShop('5')
coffee_shop.make_coffee()
#=> Making espresso for $5

Теперь вызовем статический метод. Статические методы не могут изменять класс или состояние экземпляра, поэтому они обычно используются для служебных функций. Мы используем наш ститический метод, чтобы проверить погоду. Its sunny.

coffee_shop.check_weather()
#=> Its sunny

Теперь давайте используем метод класса, чтобы изменить вид кофе, а затем вызовем метод make_coffee.

coffee_shop.change_specialty('drip coffee')
#=> Specialty changed to drip coffee

coffee_shop.make_coffee()
#=> Making drip coffee for $5

Обратите внимание, как метод make_coffee раньше изготавливал espresso, но теперь делает drip coffee!

8. В чем разница между «func» и «func()»?

Цель этого вопроса — понять, знаете ли вы, что все функции также являются объектами в Python.

def func():
    print('Im a function')
    
func
#=> function __main__.func>

func()    
#=> Im a function

func это объект, представляющий функцию, которую можно присвоить переменной или передать другой функции. func() с круглыми скобками вызывает функцию и возвращает то, что находится в return.

9. Объясните, как работает функция map()

map возвращает список, составленный из возвращаемых значений, от применения функции к каждому элементу в последовательности.

def add_three(x):
    return x + 3
li = [1,2,3]
list_data = [i for i in map(add_three, li)]
print(list_data)
# [4, 5, 6]

10. Объясните, как работает функция reduce()

Эту функцию довольно сложно сразу понять, пока вы не используете её несколько раз.

reduce берет функцию и последовательность и перебирает эту последовательность. На каждой итерации текущий элемент и выходные данные предыдущего элемента передаются в функцию. В конце возвращается одно значение.

from functools import reduce

def add_three(x,y):
    return x + y

li = [1,2,3,5]

reduce(add_three, li)
#=> 11

Возвращается значение 11, которое является суммой 1+2+3+5.

11. Объясните, как работает функция фильтра filter()

Функция filter() буквально делает то, о чем говорится в её названии: Фильтрует элементы в последовательности/списке.

Каждый элемент передается функции, которая возвращается в выведенной последовательности, если функция возвращается, True и отбрасывается, если функция возвращается False.

def add_three(x):
    if x % 2 == 0:
        return True        
    else:
        return False

li = [1,2,3,4,5,6,7,8]
new_listdata = [i for i in filter(add_three, li)]
print(new_listdata)
#=> [2, 4, 6, 8]

Обратите внимание, что все элементы, не делимые на 2, были удалены.

12. Питон вызывает по ссылке или по значению?

Неизменяемые объекты, такие как строки, числа и кортежи, вызываются по значению (т.е. в функцию передается именно значение, а не ссылка на объект). Обратите внимание, что значение name не изменилось вне функции при изменении внутри. Значение name было назначено новому блоку в памяти для переменной этой функции.

name = 'chr'
def add_chars(s):
    s += 'is'
    print(s)
    
add_chars(name)    
print(name)
#=> chris
#=> chr

Изменяемые объекты, такие как список, вызываются по ссылке. Обратите внимание, как список, определенный вне функции, был изменен внутри функции. Параметр в функции указывает на оригинальный блок в памяти, в котором сохранено значение li.

li = [1,2]
def add_element(seq):
    seq.append(3)
    print(seq)
    
add_element(li)    
print(li)
#=> [1, 2, 3]
#=> [1, 2, 3]

13. Как перевернуть список?

Для того, чтобы перевернуть список, необходимо вызвать функцию reverse(), которая является методом списка. Функция изменяет сам список.

li = ['a','b','c']
print(li)
li.reverse()
print(li)
#=> ['a', 'b', 'c']
#=> ['c', 'b', 'a']

14. Как работает умножение строк?

Давайте посмотрим результаты умножения строки 'cat' на 3.

'cat' * 3
#=> 'catcatcat'

Строка соединяется сама с собой 3 раза.

15. Как работает умножение списков?

Давайте посмотрим результат умножения списка [1,2,3] на 2.

[1,2,3] * 2 
# => [1, 2, 3, 1, 2, 3]

Выводится список, содержащий задвоенное содержимое [1,2,3].

16. Что означает «self» в классе?

Self относится к экземпляру самого класса. Это то, как мы предоставляем методам доступ и возможность обновлять объект, которому они принадлежат.

Ниже передача self для __init__() дает возможность установить color для экземпляра при инициализации.

class Shirt:
    def __init__(self, color):
        self.color = color
        
s = Shirt('yellow')
s.color
#=> 'yellow'

17. Как объединить списки в Python?

Сумма 2х списков объединяет их:

a = [1,2]
b = [3,4,5]
c = a + b
print(c)
print(a + b)
#=> [1, 2, 3, 4, 5]
#=> [1, 2, 3, 4, 5]

18. В чем разница между мелкой и глубокой копией (shallow copy vs. deep copy)?

Мы обсудим это в контексте изменяемого объекта — списка. Для неизменных объектов, shallow copy против deep copy не столь актуально.

Мы пройдемся по 3-м сценариям.

1) Ссылка на оригинальный объект. Она указывает на новое имя, li2 указывает на то же место в памяти, на которое указывает li1. Таким образом, любое изменение, которое мы делаем в li1 также происходит в li2.

li1 = [['a'],['b'],['c']]
li2 = li1
li1.append(['d'])
print(li2)
#=> [['a'], ['b'], ['c'], ['d']]

2) Создать shallow copy оригинала. Мы можем сделать это с помощью list() конструктора или более питонического mylist.copy().
shallow copy создает новый объект, но заполняет его ссылками на оригинал. Таким образом, добавление нового объекта в исходную коллекцию li3 не распространяется на li4, а изменение одного из объектов li3 будет распространяться на li4.

li3 = [['a'],['b'],['c']]
li4 = list(li3)
li3.append([4])
print(li4)
#=> [['a'], ['b'], ['c']]
li3[0][0] = ['X']
print(li4)
#=> [[['X']], ['b'], ['c']]

3) Создать deep copy. Это сделано с copy.deepcopy(). 2 объекта теперь полностью независимы, и изменения одного из них не влияют на другой список.

import copy
li5 = [['a'],['b'],['c']]
li6 = copy.deepcopy(li5)
li5.append([4])
li5[0][0] = ['X']
print(li6)
#=> [['a'], ['b'], ['c']]

19. В чем разница между списками и массивами?

Примечание: стандартная библиотека Python имеет объект массива, но здесь я специально ссылаюсь на обычно используемый массив Numpy.

Списки существуют в стандартной библиотеке Python. Массивы определены Numpy.
Списки могут быть заполнены различными типами данных в каждом индексе. Массивы требуют однородных элементов.
Арифметика в списках добавляет или удаляет элементы из списка. Арифметика на массивах — это функция линейной алгебры.
Массивы также используют меньше памяти и обладают значительно большей функциональностью.

20. Как объединить два массива Numpy?

Помните, массивы — это не списки. Массивы из Numpy нельзя сложить как списки, т.к. арифметические функции переходят в разряд линейной алгебры (сложение матриц).
Для объединения массивов нам нужно использовать функцию сцепления Numpy.

import numpy as np

a = np.array([1,2,3])
b = np.array([4,5,6])

np.concatenate((a,b))

#=> array([1, 2, 3, 4, 5, 6])

21. Назовите изменяемые и неизменяемые объекты в Python

Неизменяемые объекты — означает, что состояние не может быть изменено после создания. Примеры: int, float, bool, string и tuple.

Изменяемый объект — означает, что состояние может быть изменено после создания. Примерами являются list, dict и set.

22. Как округлить число до 3 десятичных знаков в Python?

Используйте функцию round(value, decimal_places).

a = 5.12345
round(a,3)
#=> 5.123

23. Как вывести кусок списка — slice a list?

Синтаксис slice следующий, необходимо list передать 3 аргумента, list[start:stop:step], где step (шаг) — это интервал, через который возвращаются элементы.

a = [0,1,2,3,4,5,6,7,8,9]
print(a[:2])
#=> [0, 1]

print(a[8:])
#=> [8, 9]

print(a[2:8])
#=> [2, 3, 4, 5, 6, 7]

print(a[2:8:2])
#=> [2, 4, 6]

24. Что такое pickling (маринование)?

Pickling — это метод сериализации и десериализации объектов в Python.

В приведенном ниже примере мы сериализуем и десериализуем список словарей.

import pickle
obj = [
    {'id':1, 'name':'Stuffy'},
    {'id':2, 'name': 'Fluffy'}
]
with open('file.p', 'wb') as f:
    pickle.dump(obj, f)
with open('file.p', 'rb') as f:
    loaded_obj = pickle.load(f)
print(loaded_obj)
#=> [{'id': 1, 'name': 'Stuffy'}, {'id': 2, 'name': 'Fluffy'}]

25. В чем разница между словарями (dictionaries) и JSON?

Dictionary — это тип данных Python, набор проиндексированных, но неупорядоченных ключей и значений.

JSON — это просто строка, которая следует заданному формату и предназначена для передачи данных.

26. Какие ORM вы использовали в Python?

ORM (объектно-реляционное отображение или object relational mapping) отображают модели данных (обычно в приложении) в таблицы базы данных и упрощают транзакции базы данных.

SQLAlchemy обычно используется для фреймворка Flask, а Django имеет собственный ORM.

27. Как работает any() и all()?

Any() принимает последовательность и возвращает true, если какой-либо элемент в последовательности равен true.
All() возвращает истину, только если все элементы в последовательности истинны.

a = [False, False, False]
b = [True, False, False]
c = [True, True, True]

print( any(a) )
print( any(b) )
print( any(c) )
#=> False
#=> True
#=> True

print( all(a) )
print( all(b) )
print( all(c) )
#=> False
#=> False
#=> True

28. Что быстрее для поиска элемента — словарь или список в Python?

Поиск значения в списке занимает O(n) времени, потому что весь список необходимо перебирать до тех пор, пока значение не будет найдено.

Поиск ключа в словаре занимает O(1) времени, потому что это хеш-таблица.

Это может иметь огромное значение во времени, если значений много, поэтому словари обычно рекомендуются для скорости. Но у них есть и другие ограничения, такие как необходимость в уникальных ключах.

29. В чем разница между модулем и пакетом?

Модуль — это файл (или набор файлов), который можно импортировать вместе.

import sklearn

Пакет — это каталог модулей.

from sklearn import cross_validation

Таким образом, пакеты являются модулями, но не все модули являются пакетами.

30. Как увеличить и уменьшить целое число в Python?

Увеличение и уменьшение может быть сделано с += и -=.

value = 5

value += 1
print(value)
#=> 6

value -= 1
value -= 1
print(value)
#=> 4

31. Как преобразовать целое число в двоичное?

Используйте bin() функцию.

bin(5)
#=> '0b101'

32. Как удалить дубликаты элементов из списка?

Удалить дубликаты элементов из списка можно сделать путем преобразования списка в набор, а затем обратно в список.

a = [1,1,1,2,3]
a = list(set(a))
print(a)

#=> [1, 2, 3]

Обратите внимание, что наборы не обязательно будут сохранять порядок списка.

33. Как проверить, существует ли значение в списке?

Использование in.

'a' in ['a','b','c']
#=> True

'a' in [1,2,3]
#=> False

34. В чем разница между дополнением и расширением?

append добавляет значение в список, а extend добавляет в список значения из другого списка.

a = [1,2,3]
b = [1,2,3]
a.append(6)
print(a)
#=> [1, 2, 3, 6]

b.extend([4,5])
print(b)
#=> [1, 2, 3, 4, 5]

35. Как получить абсолютное значение (модуль) целого числа?

Это можно сделать с помощью abs() функции.

abs(2)
#=> 2

abs(-2)
#=> 2

36. Как объединить два списка (2 lists) в список кортежей (list of tuples)?

Вы можете использовать zip() функцию для объединения списков в список кортежей. Функция zip() не ограничена для объединения только 2 списков. zip() также можно вызвать с 3 или большим числом списков.

a = ['a','b','c']
b = [1,2,3]
[(k,v) for k,v in zip(a,b)]
#=> [('a', 1), ('b', 2), ('c', 3)]

37. Как отсортировать словарь по ключу в алфавитном порядке?

Вы не можете «отсортировать» словарь, потому что словари не имеют порядка, но вы можете вернуть отсортированный список кортежей, в котором есть ключи и значения, которые есть в словаре.

d = {'c':3, 'd':4, 'b':2, 'a':1}
sorted(d.items())
#=> [('a', 1), ('b', 2), ('c', 3), ('d', 4)]

38. Как класс наследуется от другого класса в Python?

В приведенном ниже примере Audi наследуется от Car. И с этим наследованием приходят методы экземпляра родительского класса (т.е. из класса Car в класс Audi).

class Car():
    def drive(self):
        print('vroom')

class Audi(Car):
    pass

audi = Audi()
audi.drive()

39. Как можно удалить все пробелы из строки?

Применяем функцию replace

s = 'A string with     white space'
s.replace(' ', '')
#=> 'Astringwithwhitespace'

40. Почему следует использовать enumerate() для выполнения итерации последовательности?

Функция enumerate() позволяет отслеживать индекс при итерации по последовательности. Это более pythonic, чем определение и увеличение целого числа, представляющего индекс.

li = ['a','b','c','d','e']

for idx,val in enumerate(li):
    print(idx, val)

#=> 0 a
#=> 1 b
#=> 2 c
#=> 3 d
#=> 4 e

41. В чем разница между pass, continue и break?

pass — значит ничего не делать. Обычно его используют, потому что Python не позволяет создавать класс, функцию или оператор if без кода внутри.
В приведенном ниже примере будет выдана ошибка без кода внутри i > 3, поэтому следует использовать pass.

a = [1,2,3,4,5]
for i in a:
    if i > 3:
        pass
    print(i)
#=> 1
#=> 2
#=> 3
#=> 4
#=> 5

continue — переводит цикл на следующий элемент и останавливает выполнение цикла для текущего элемента. Так print(i) никогда не выполнится для значений, где i < 3.

for i in a:
    if i < 3:
        continue
    print(i)
#=> 3
#=> 4
#=> 5

break — прекращает цикл и последовательность больше не повторяется. Таким образом, элементы i со значения 3 не выводятся.

for i in a:
    if i == 3:
        break
    print(i)    
#=> 1
#=> 2

42. Как перевести цикл (loop) в запись одной строки для списка (list)?

Рассмотрим цикл for (for loop) — Как было до

a = [1,2,3,4,5]
 
a2 = []
for i in a:
     a2.append(i + 1)
print(a2)
#=> [2, 3, 4, 5, 6]

Как можно преобразовать — Как стало после

a3 = [i+1 for i in a]
print(a3)
#=> [2, 3, 4, 5, 6]

Понимание списка обычно считается более pythonic, когда оно все еще читаемо.

43. Приведите пример троичного оператора (ternary operator)

Тернарный оператор (ternary operator) — это однострочный оператор if / else.
Синтаксис выглядит так ‘a if condition else b’.

x = 5
y = 10

'greater' if x > 6 else 'less'
#=> 'less'

'greater' if y > 6 else 'less'
#=> 'greater'

44. Как проверить, что строка содержит только цифры?

Для этих целей Вы можете использовать функцию isnumeric()

'123a'.isnumeric()
#=> False

'123'.isnumeric()
#=> True

45. Как проверить, что строка содержит только буквы

Для этих целей Вы можете использовать функцию isalpha().

'123a'.isalpha()
#=> False

'a'.isalpha()
#=> True

46. Как проверить, что строка содержит только цифры и буквы

Для этих целей Вы можете использовать функцию isalnum().

'123abc...'.isalnum()
#=> False

'123abc'.isalnum()
#=> True

47. Как вернуть список ключей из словаря

Это может быть сделано путем передачи словарю питона list() конструктора list()

d = {'id':7, 'name':'Shiba', 'color':'brown', 'speed':'very slow'}

list(d)
#=> ['id', 'name', 'color', 'speed']

48. Как строку преобразовать в верхний и нижний регистр?

Вы можете использовать строковые методы upper() и lower() для преобразования регистра

small_word = 'potatocake'
big_word = 'FISHCAKE'

small_word.upper()
#=> 'POTATOCAKE'

big_word.lower()
#=> 'fishcake'

49. В чем разница между remove, del и pop?

remove() удаляет первое совпадающее значение

li = ['a','b','c','d']
li.remove('b')
li
#=> ['a', 'c', 'd']

del() удаляет элемент по индексу

li = ['a','b','c','d']
del li[0]
li
#=> ['b', 'c', 'd']

pop() удаляет элемент по индексу и возвращает этот элемент.

li = ['a','b','c','d']
li.pop(2)
#=> 'c'
li
#=> ['a', 'b', 'd']

50. Приведите пример словарного понимания (dictionary comprehension)

Ниже мы создадим словарь с буквами алфавита в качестве ключей и индекс в алфавите в качестве значений.

# creating a list of letters
import string
list(string.ascii_lowercase)
alphabet = list(string.ascii_lowercase)
# list comprehension
d = {val:idx for idx,val in enumerate(alphabet)} 
d
#=> {'a': 0,
#=>  'b': 1,
#=>  'c': 2,
#=> ...
#=>  'x': 23,
#=>  'y': 24,
#=>  'z': 25}

51. Как выполняется обработка исключений в Python?

Python предоставляет 3 слова для обработки исключений try, except и finally.
Синтаксис выглядит следующим образом.

try:
    # try to do this
except:
    # if try block fails then do this
finally:
    # always do this

В следующем примере блок try завершается ошибкой, потому что мы не можем складывать целые числа со строками. В except блоке val = 10 и затем finally блок печатает complete.

try:
    val = 1 + 'A'
except:
    val = 10
finally:
    print('complete')
    
print(val)
#=> complete
#=> 10

Сообщение 51 Python Interview вопрос/ответ на собеседовании для Data Scientist появились сначала на Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект.

Python API Tutorial: Примеры GET POST AUTH requests (HTTP запросов)

Шамаев Иван — Sun, 05 Apr 2020 10:06:57 +0000

В этом уроке по API Python мы узнаем, как получать данные для проектов по науке о данных. В Интернете существуют миллионы API, которые предоставляют доступ к данным. Такие сайты, как Bitrix24, AmoCRM, Yandex API, Twitter, Instagram, VK и Facebook, предлагают определенные данные через свои API. Это могут быть данные предоставляемые только тем, у кого есть access_token, либо API с открытым доступом.

Python API Tutorial: Примеры GET POST AUTH requests (HTTP запросов). Структура запроса GET и POST. Выгрузка данных из API облачных систем

Чтобы использовать API, вы отправляете запрос на удаленный веб-сервер и извлекаете необходимые данные.

Что такое API?

API (Application Programming Interface) или интерфейс прикладного программирования — это сервер, который вы можете использовать для извлечения и отправки данных с использованием кода (запросов). API-интерфейсы чаще всего используются для извлечения данных, и это будет основной темой этого урока для начинающих.

Когда мы хотим получить данные из API, нам нужно сделать запрос. Запросы используются во всем Интернете. Например, когда вы открываете страницу сайта, то сначала ваш веб-браузер отправляет URL-запрос на веб-сервер хостинга (где расположен сайт), а хостинг возвращает некоторое содержимое этой веб-страницы.

Запросы API работают точно так же — вы отправляете запрос на сервер API для данных, а сервер возвращает ответ. API Необходимы для того, чтобы не давать прямой доступ к базе данных. Т.к. при прямом доступе к БД очень велика вероятность неправильных действий, что может привести к различным ошибкам.

GET и POST запросы с использованием Python

Существует два метода запросов HTTP (протокол передачи гипертекста): запросы GET и POST в Python.

Что такое HTTP/HTTPS?

HTTP — это набор протоколов, предназначенных для обеспечения связи между клиентами и серверами. Он работает как протокол запроса-ответа между клиентом и сервером.

Веб-браузер может быть клиентом, а приложение на компьютере, на котором размещен веб-сайт, может быть сервером.

Итак, чтобы запросить ответ у сервера, в основном используют два метода:

GET: запросить данные с сервера. Т.е. мы отправляем только URL (HTTP) запрос без данных. Метод HTTP GET предназначен для получения информации от сервера. В рамках GET-запроса некоторые данные могут быть переданы в строке запроса URI в формате параметров (например, условия поиска, диапазоны дат, ID Объекта, номер счетчика и т.д.).
POST: отправить данные для обработки на сервер (и получить ответ от сервера). Мы отправляем набор информации, набор параметров для API. Метод запроса POST предназначен для запроса, при котором веб-сервер принимает данные, заключённые в тело сообщения POST запроса.

Чтобы сделать HTTP-запросы в python, мы можем использовать несколько HTTP-библиотек, таких как:

Самая элегантная и простая из перечисленных выше библиотек — это Requests. Библиотека запросов не является частью стандартной библиотеки Python, поэтому вам нужно установить ее, чтобы начать работать с ней.

Если вы используете pip для управления вашими пакетами Python, вы можете устанавливать запросы, используя следующую команду:

pip install requests

Если вы используете conda, вам понадобится следующая команда:

conda install requests

После того, как вы установили библиотеку, вам нужно будет ее импортировать. Давайте начнем с этого важного шага:

import requests

Синтаксис / структура получения данных через GET/POST запросы к API

Есть много разных типов запросов. Наиболее часто используемый, GET запрос, используется для получения данных.

Когда мы делаем запрос, ответ от API сопровождается кодом ответа, который сообщает нам, был ли наш запрос успешным. Коды ответов важны, потому что они немедленно сообщают нам, если что-то пошло не так.

Чтобы сделать запрос «GET», мы будем использовать requests.get() функцию.

Метод post() используется, когда вы хотите отправить некоторые данные на сервер.

Ниже приведена подборка различных примеров использования запросов GET и POST через библиотеку REQUESTS. Безусловно, существует еще больше разных случаев. Всегда прежде чем, писать запрос, необходимо обратиться к официальной документации API (например, у Yandex есть документация к API различных сервисов, у Bitrix24 есть документация к API, у AmoCRM есть дока по API, у сервисов Google есть дока по API и т.д.). Вы смотрите какие методы есть у API, какие запросы API принимает, какие данные нужны для API, чтобы он мог выдать информацию в соответствии с запросом. Как авторизоваться, как обновлять ключи доступа (access_token). Все эти моменты могут быть реализованы по разному и всегда нужно ответ искать в официальной документации у поставщика API.

#GET запрос без параметров
response = requests.get('https://api-server-name.com/methodname_get')

#GET запрос с параметрами в URL
response = requests.get("https://api-server-name.com/methodname_get?param1=ford¶m2=-234¶m3=8267")

# URL запроса преобразуется в формат https://api-server-name.com/methodname_get?key2=value2&key1=value1
param_request = {'key1': 'value1', 'key2': 'value2'}  
response = requests.get('https://api-server-name.com/methodname_get', params=param_request)

#GET запрос с заголовком
url = 'https://api-server-name.com/methodname_get'  
headers = {'user-agent': 'my-app/0.0.1'}  
response = requests.get(url, headers=headers)

#POST запрос с параметрами в запросе
response = requests.post('https://api-server-name.com/methodname_post', data = {'key':'value'})

#POST запрос с параметрами через кортеж
param_tuples = [('param1', 'value1'), ('param1', 'value2')]  
response = requests.post('https://api-server-name.com/methodname_post', data=param_tuples)

#POST запрос с параметрами через словарь
param_dict = {'param': ['value1', 'value2']}  
response = requests.post('https://api-server-name.com/methodname_post', data=payload_dict) 

#POST запрос с параметрами в формате JSON
import json  
url = 'https://api-server-name.com/methodname_post'  
param_dict = {'param': 'data'}  
response = requests.post(url, data=json.dumps(param_dict))

Коды состояния API

Коды состояния возвращаются при каждом запросе к веб-серверу. Коды состояния указывают информацию о том, что произошло с запросом.

Ответы сгруппированы в пять классов:

Информационные ответы ( 100— 199),
Успешные ответы ( 200— 299),
Перенаправления ( 300— 399),
Ошибки клиента ( 400— 499),
и ошибки сервера ( 500— 599).

Вот некоторые коды, которые относятся к запросам GET:

200: Все прошло хорошо и результат был возвращен (если есть).
301: Сервер перенаправляет вас на другую конечную точку. Это может произойти, когда компания меняет доменные имена или имя конечной точки изменяется.
400: Сервер считает, что вы сделали неверный запрос. Это может произойти, если вы отправите неверные данные.
401: Сервер думает, что вы не аутентифицированы. Для многих API требуются учетные данные для входа, поэтому код 401 случается, когда вы отправляете неверные учетные данные для доступа к API.
403: Ресурс, к которому вы пытаетесь получить доступ, запрещен: у вас нет прав для его просмотра.
404: Ресурс, к которому вы пытались получить доступ, не найден на сервере.
503: Сервер не готов обработать запрос.

Посмотреть информацию по другим ошибкам можно по ссылке HTTP response status codes.

Работа с данными JSON в Python

JSON (JavaScript Object Notation) — это язык API. JSON — это способ кодирования структур данных, который простоту чтения данных машинами. JSON — это основной формат, в котором данные передаются туда и обратно в API, и большинство серверов API отправляют свои ответы в формате JSON.

JSON выглядит так, как будто он содержит словари, списки, строки и целые числа Python. Вы можете думать о JSON как о комбинации этих объектов, представленных в виде строк.

Рассмотрим пример:

Python имеет отличный инструментарий для работы с данными в формате JSON (пакет json — является частью стандартной библиотеки). Мы можем конвертировать списки и словари в JSON, а также конвертировать строки в списки и словари.

Библиотека JSON имеет две основные функции:

json.dumps() — принимает объект Python и преобразует его в строку.
json.loads() — принимает строку JSON и преобразует (загружает) ее в объект Python.

Функция dumps() особенно полезна, поскольку мы можем использовать ее для печати отформатированной строки, которая облегчает понимание вывода JSON.

Рассмотрим пример:

# Импорт библиотеки requests
import requests

# Запрос GET (Отправка только URL без параметров)
response = requests.get("http://api.open-notify.org/astros.json")
# Вывод кода
print(response.status_code)
# Вывод ответа, полученного от сервера API
print(response.json())

Результат:

200
{'people': [{'craft': 'ISS', 'name': 'Andrew Morgan'}, {'craft': 'ISS', 'name': 'Oleg Skripochka'}, {'craft': 'ISS', 'name': 'Jessica Meir'}], 'message': 'success', 'number': 3}

Теперь попробуем применить функцию dump() — структура данных станет более наглядна:

# Импорт библиотеки requests
import requests
# Импорт библиотеки json
import json

def jprint(obj):
    # create a formatted string of the Python JSON object
    text = json.dumps(obj, sort_keys=True, indent=4)
    print(text)

# Запрос GET (Отправка только URL без параметров)
response = requests.get("http://api.open-notify.org/astros.json")

# Вывод ответа, через пользовательскую функцию jprint
jprint(response.json())

Результат:

{
    "message": "success",
    "number": 3,
    "people": [
        {
            "craft": "ISS",
            "name": "Andrew Morgan"
        },
        {
            "craft": "ISS",
            "name": "Oleg Skripochka"
        },
        {
            "craft": "ISS",
            "name": "Jessica Meir"
        }
    ]
}

Дополнительные команды для просмотра параметров Response библиотеки Requests Python

Пример скрипта Python:

# Импорт библиотеки requests
import requests

# Запрос GET (Отправка только URL без параметров)
response = requests.get("http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74")

# Вывод ответа, через пользовательскую функцию jprint
print("response:\n{}\n\n".format(response))
print("response.url:\n{}\n\n".format(response.url))                 #Посмотреть формат URL (с параметрами)
print("response.headers:\n{}\n\n".format(response.headers))         #Header of the request
print("response.status_code:\n{}\n\n".format(response.status_code)) #Получить код ответа
print("response.text:\n{}\n\n".format(response.text))               #Text Output
print("response.encoding:\n{}\n\n".format(response.encoding))       #Узнать, какую кодировку использует Requests
print("response.content:\n{}\n\n".format(response.content))         #В бинарном виде
print("response.json():\n{}\n\n".format(response.json()))           #JSON Output

Результат:

response:



response.url:
http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74


response.headers:
{'Server': 'nginx/1.10.3', 'Date': 'Tue, 07 Apr 2020 05:44:13 GMT', 'Content-Type': 'application/json', 'Content-Length': '519', 'Connection': 'keep-alive', 'Via': '1.1 vegur'}


response.status_code:
200


response.text:
{
  "message": "success", 
  "request": {
    "altitude": 100, 
    "datetime": 1586237266, 
    "latitude": 40.71, 
    "longitude": -74.0, 
    "passes": 5
  }, 
  "response": [
    {
      "duration": 540, 
      "risetime": 1586273822
    }, 
    {
      "duration": 654, 
      "risetime": 1586279549
    }, 
    {
      "duration": 596, 
      "risetime": 1586285414
    }, 
    {
      "duration": 561, 
      "risetime": 1586291303
    }, 
    {
      "duration": 623, 
      "risetime": 1586297135
    }
  ]
}



response.encoding:
None


response.content:
b'{\n  "message": "success", \n  "request": {\n    "altitude": 100, \n    "datetime": 1586237266, \n    "latitude": 40.71, \n    "longitude": -74.0, \n    "passes": 5\n  }, \n  "response": [\n    {\n      "duration": 540, \n      "risetime": 1586273822\n    }, \n    {\n      "duration": 654, \n      "risetime": 1586279549\n    }, \n    {\n      "duration": 596, \n      "risetime": 1586285414\n    }, \n    {\n      "duration": 561, \n      "risetime": 1586291303\n    }, \n    {\n      "duration": 623, \n      "risetime": 1586297135\n    }\n  ]\n}\n'


response.json():
{'message': 'success', 'request': {'altitude': 100, 'datetime': 1586237266, 'latitude': 40.71, 'longitude': -74.0, 'passes': 5}, 'response': [{'duration': 540, 'risetime': 1586273822}, {'duration': 654, 'risetime': 1586279549}, {'duration': 596, 'risetime': 1586285414}, {'duration': 561, 'risetime': 1586291303}, {'duration': 623, 'risetime': 1586297135}]}

Примеры запросов GET с использованием библиотеки REQUESTS в PYTHON

Рассмотрим первый пример получения данных из Yandex Метрика API данных через метод get библиотеки requests.

Выгрузка данных из Яндекс Метрики с помощью библиотеки Requests.Get

Код запроса (номер счетчика и токен изменены):

# Импортируем библиотеку requests 
import requests 
  
# Адрес api метода для запроса get 
url_param = "https://api-metrika.yandex.net/stat/v1/data"

# Задаем параметры для API
api_param = {
    "ids":"5251515",
    "metrics":"ym:s:users,ym:s:visits,ym:s:pageviews,ym:s:bounceRate,ym:s:pageDepth,ym:s:avgVisitDurationSeconds",
    "dimensions":"ym:s:date,ym:s:TrafficSource,ym:s:SourceEngine,ym:s:gender",
    "date1":"10daysAgo",
    "date2":"yesterday",
    "sort":"ym:s:date",
    "accuracy":"full",
    "limit":5
    }

header_params = {
    'GET': '/management/v1/counters HTTP/1.1',
    'Host': 'api-metrika.yandex.net',
    'Authorization': 'OAuth AgAAlkjlkjKAa976ZB-rXh-t-ookfJJcMP979ZU0',
    'Content-Type': 'application/x-yametrika+json'
    }

# Отправляем get request (запрос GET)
response = requests.get(
    url_param,
    params=api_param,
    headers=header_params
)

result = response.json()
query = result['query']
data = result['data']
print(query)
print('======================')
print(data)

Результат:

{'ids': [5251515], 'dimensions': ['ym:s:date', 'ym:s:lastTrafficSource', 'ym:s:lastSourceEngine', 'ym:s:gender'], 'metrics': ['ym:s:users', 'ym:s:visits', 'ym:s:pageviews', 'ym:s:bounceRate', 'ym:s:pageDepth', 'ym:s:avgVisitDurationSeconds'], 'sort': ['ym:s:date'], 'date1': '2020-04-02', 'date2': '2020-04-11', 'limit': 5, 'offset': 1, 'group': 'Week', 'auto_group_size': '1', 'quantile': '50', 'offline_window': '21', 'attribution': 'Last', 'currency': 'RUB', 'adfox_event_id': '0'}
======================
[{'dimensions': [{'name': '2020-04-02'}, {'name': 'Internal traffic', 'icon_id': '-1', 'icon_type': 'traffic-source', 'id': 'internal'}, {'name': 'mydomain.ru', 'id': 'internal.mydomain.ru', 'favicon': 'mydomain.ru'}, {'name': 'Not specified', 'id': None}], 'metrics': [1.0, 1.0, 1.0, 0.0, 1.0, 16.0]}, {'dimensions': [{'name': '2020-04-02'}, {'name': 'Internal traffic', 'icon_id': '-1', 'icon_type': 'traffic-source', 'id': 'internal'}, {'name': 'mydomain.ru', 'id': 'internal.mydomain.ru', 'favicon': 'mydomain.ru'}, {'name': 'male', 'id': 'male'}], 'metrics': [3.0, 5.0, 8.0, 0.0, 1.6, 194.4]}, {'dimensions': [{'name': '2020-04-02'}, {'name': 'Internal traffic', 'icon_id': '-1', 'icon_type': 'traffic-source', 'id': 'internal'}, {'name': 'mydomain.ru', 'id': 'internal.mydomain.ru', 'favicon': 'mydomain.ru'}, {'name': 'female', 'id': 'female'}], 'metrics': [8.0, 9.0, 16.0, 0.0, 1.77777778, 91.77777778]}, {'dimensions': [{'name': '2020-04-02'}, {'name': 'Direct traffic', 'icon_id': '0', 'icon_type': 'traffic-source', 'id': 'direct'}, {'name': None, 'id': None, 'favicon': None}, {'name': 'Not specified', 'id': None}], 'metrics': [23.0, 29.0, 37.0, 44.82758621, 1.27586207, 34.79310345]}, {'dimensions': [{'name': '2020-04-02'}, {'name': 'Direct traffic', 'icon_id': '0', 'icon_type': 'traffic-source', 'id': 'direct'}, {'name': None, 'id': None, 'favicon': None}, {'name': 'male', 'id': 'male'}], 'metrics': [32.0, 50.0, 63.0, 4.0, 1.26, 44.74]}]

Получим цены на нефть в формате JSON с ресурса oilpriceapi.com

Для получения токена, необходимо пройти регистрацию на сайте oilpriceapi.com.

Пример для токена 984a45fflkj09j9870ujkheca7jj977658 (у вас будет свой ключ доступа):

# Импортируем библиотеку requests 
import requests

# Адрес api метода для запроса get
url = 'https://api.oilpriceapi.com/v1/prices/latest'
headers = {
    'Authorization': 'Token 984a45fflkj09j9870ujkheca7jj977658',
    'Content-Type': 'application/json'
}

# Отправляем get request (запрос GET)
response = requests.get(url = url, headers = headers)
data = response.json()
print(data)

Результат в формате json:

{'status': 'success', 'data': {'price': 30.08, 'formatted': '$30.08', 'currency': 'USD', 'code': 'BRENT_CRUDE_USD', 'created_at': '2020-04-14T21:50:00.585Z', 'type': 'spot_price'}}

Загрузить курс валют с помощью Requests GET в Python Pandas cbr.ru

Пример загрузки курсов валют по конкретному дню в DataFrame Pandas Python. Курс валюты отдается в формате XML, поэтому нам понадобится дополнительная библиотека xml.etree.ElementTree:

# Импортируем библиотеку requests 
import requests
import pandas as pd 
import xml.etree.ElementTree as et 

v_date = '16.04.2020'

# Адрес api метода для запроса get
url = 'https://www.cbr.ru/scripts/XML_daily.asp'
params = {
    'date_req': v_date
}

# Отправляем get request (запрос GET)
response = requests.get(url, params)

tree = et.ElementTree(et.fromstring(response.text))
root = tree.getroot()

df_cols = ["date", "numcode", "charcode", "nominal", "name", "value"]
rows = []

for node in root:
    s_numcode = node.find("NumCode").text if node is not None else None
    s_charcode = node.find("CharCode").text if node is not None else None
    s_nominal = node.find("Nominal").text if node is not None else None
    s_name = node.find("Name").text if node is not None else None
    s_value = node.find("Value").text if node is not None else None
    
    rows.append({"date": v_date, "numcode": s_numcode,
                 "charcode": s_charcode, "nominal": s_nominal,
                 "name": s_name, "value": s_value})

df = pd.DataFrame(rows, columns = df_cols)
print(df.head())

Результат:

         date numcode  ...                                      name    value
0  16.04.2020     036  ...                      Австралийский доллар  46,7719
1  16.04.2020     944  ...                     Азербайджанский манат  43,4509
2  16.04.2020     826  ...  Фунт стерлингов Соединенного королевства  92,2684
3  16.04.2020     051  ...                          Армянских драмов  15,1801
4  16.04.2020     933  ...                         Белорусский рубль  30,0814

[5 rows x 6 columns]

Получаем данные по вакансиям с сайта hh.ru через API с помощью Python Requests Get

У сайта hh есть API, вся свежая информация находится на сайте https://dev.hh.ru/ и в документации https://github.com/hhru/api. В рамках примера будет использован метод vacancies.

Скрипт запроса:

# Импортируем библиотеку requests 
import requests
import pandas as pd

page_number = 0
search_str = "qlik"
area_str = "1"

# Адрес api метода для запроса get
url = 'https://api.hh.ru/vacancies'
param = {
    "text":search_str,
    "area":area_str,
    "page":page_number
    }

# Отправляем get request (запрос GET)
response = requests.get(url,param)
data = response.json()

#Создаем пустой dict (словать данных)
dict_data = {}
dict_number = 0

# Количество страниц
for i in range(0,data['pages']):
    param_cycle = {
            "text":search_str,
            "area":area_str,
            "page":i
        }

    response_cycle = requests.get(url,param_cycle)
    print("ЗАПРОС №" + str(i))

    result = dict(response_cycle.json())
    result = result['items']
    #Парсим исходный list формата Json в dictionary (словарь данных)
    for y in range(0, len(result)-1):
        dict_data[dict_number] = {
            'id':result[y]['id'],
            'premium':result[y]['premium'],
            'name':result[y]['name'],
            'department':result[y]['department'],
            'has_test':result[y]['has_test'],
            'area_name':result[y]['area']['name'],
            'salary':result[y]['salary'],
            'type_name':result[y]['type']['name'],
            'snippet_requirement':result[y]['snippet']['requirement']
        }
        dict_number = dict_number + 1
    
    print("==================================")

print(dict_data[0])

Результат выполнения скрипта:

ЗАПРОС №0
==================================
ЗАПРОС №1
==================================
ЗАПРОС №2
==================================
ЗАПРОС №3
==================================
ЗАПРОС №4
==================================
ЗАПРОС №5
==================================
{'id': '36694453', 'premium': False, 'name': 'Аналитик', 'department': None, 'has_test': False, 'area_name': 'Москва', 'salary': None, 'type_name': 'Открытая', 'snippet_requirement': 'Продвинутый пользователь MS Exсel, SQL - простые запросы, пользователь одной или нескольких BI систем - Tableu, Qlik sense, Power BI, Microstrategy. '}

Пример выгрузки данных из Bitrix24 с использованием requests, pandas и Thread

import os
import requests
import pandas as pd
from urllib.request import urlopen
from threading import Thread
 
class DownloadThread(Thread):
    """
    Пример многопоточной загрузки данных из Bitrix24
    """
    
    def __init__(self, item, name, url_param, start_param, total, method_name):
        """Инициализация потока"""
        Thread.__init__(self)
        self.item = item
        self.name = name
        self.url_param = url_param
        self.start_param = start_param
        self.total = total
        self.method_name = method_name
    
    def run(self):
        """Запуск потока"""
        msg_start = "Поток %s стартовал загрузку start_param = %s, total = %s" % (self.name, self.start_param, self.total)
        print("")

        result_data=[]
        for i in range (self.start_param, self.total, 50):
            
            # Задаем параметры для API
            param = {
                "start": str(i)
                }
            
            # Отправляем get request (запрос GET)
            response = requests.get(self.url_param,param)
                
            result = response.json()
            data = result['result']
            result_data += data

        dict_data = {}
        
        for j in range(0,len(result_data)):
            dict_data[j] = dict(result_data[j])


        #Создаем DataFrame из dict (словаря данных или массива данных)
        dict_keys = dict_data[0].keys()
        df = pd.DataFrame.from_dict(dict_data, orient='index',columns=dict_keys)
        df = df.replace('\n',' ', regex=True)

        df.to_excel(self.method_name + "_" + str(self.item) +  ".xlsx", sheet_name='data', index=False)
        
        msg_end = "Поток %s завершил загрузку start_param = %s, total = %s" % (self.name, self.start_param, self.total)
        print(msg_end)
        print("")
 
 
def main(url_param, list_totals, step, total_param, method_name):
    """
    Запуск программы
    """
    start_param = 0
    for item, val in enumerate(list_totals):
        name = "Поток %s" % (item+1)
        print(name)
        if (val + step)<=total_param:
            total = val + step
        else:
            total = total_param
        thread = DownloadThread(item, name, url_param, start_param, total, method_name)
        thread.start()
        start_param = total
 
if __name__ == "__main__":

    # method
    method_name = "crm.deal.list"

    # Адрес api метода для запроса get 
    url_param = "https://crm.domain.ru/rest/1/56kjhoghius78yfpojj90/" + method_name 

    response = requests.get(url_param)
    result = response.json()
    total_param = result['total']
    step = 10000
    print(total_param)

    list_totals = list(range(0,total_param,step))

    main(url_param, list_totals, step, total_param, method_name)

Примеры запросов POST с использованием библиотеки REQUESTS в PYTHON

Выгрузка данных из Bitrix24 с фильтром по дате из REST API

import requests

# method
method_name = "crm.deal.list"

# Адрес api метода для запроса get 
url_param = "https://domain.ru/rest/1/854984lkjdsijd432/" + method_name

params = {"filter[>DATE_CREATE]": "2020-01-01T00:00:01+01:00"}

print(params)

response = requests.post(url_param, data = params)
result = response.json()
total = result['total']
print(total)

Выгрузка данных из Bitrix24 с двумя фильтрами по дате из REST API

import requests

# method
method_name = "crm.deal.list"

# Адрес api метода для запроса get 
url_param = "https://domain.ru/rest/1/854984lkjdsijd432/" + method_name

params = {
    "filter[DATE_CREATE]":"2020-01-01T00:00:01+01:00"
    }

print(params)

response = requests.post(url_param, data = params)
result = response.json()
total = result['total']
print(total)

Пример полноценной выгрузки данных из Bitrix24 API в Excel с помощью библиотек Requests & Pandas

# Импортируем библиотеку requests 
import requests 
import pandas as pd
import datetime
import xlsxwriter

# Старт
print(datetime.datetime.now())

# method
method_name = "crm.deal.list"

# Адрес api метода для запроса get 
url_param = "https://crm.domain.ru/rest/1/oj98lLKHNldoij97tg/" + method_name

# Путь для сохранения данных
excel_path = "C:\\PythonETL\\0_ExtractData\\Bitrix24\\Excel\\crm.deal.list\\"

params = {
    "filter[>=DATE_CREATE]":"2020-01-01 00:00:00"
    }

response = requests.post(url_param, params)
result = response.json()
total_param = result['total']
result_data=[]

print(total_param)


for i in range (0,total_param,50):
    for attempt in range(10):
        try:
            # Задаем параметры для API
            param = {
                "start": str(i),
                "filter[>=DATE_CREATE]":"2020-01-01 00:00:00"
                }
            # Отправляем get request (запрос GET)
            response = requests.post(url_param,param)
                
            result = response.json()
            data = result['result']
            result_data += data
        except:
            print("Ошибка при попытке " + str(attempt))
            continue
        break

print("Данные выгрузились, собираем df")
dict_data = {}

for j in range(0,len(result_data)):
    dict_data[j] = dict(result_data[j])


#Создаем DataFrame из dict (словаря данных или массива данных)
dict_keys = dict_data[0].keys()
df = pd.DataFrame.from_dict(dict_data, orient='index',columns=dict_keys)

print("Выгружаем Excel")
#Выгрузка данных из DataFrame в Excel
df.to_excel(excel_path + method_name + "_2020"  +  ".xlsx", sheet_name='data', index=False, engine='xlsxwriter')


# Конец
print(datetime.datetime.now())

Сообщение Python API Tutorial: Примеры GET POST AUTH requests (HTTP запросов) появились сначала на Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект.

15 библиотек Python, которые должен знать Data Scientist

Шамаев Иван — Mon, 30 Mar 2020 09:35:06 +0000

Сбор данных, очистка, преобразование, визуализация, моделирование, распознавание аудио / изображений и веб-связь

Если вы Data Scientist, Data Analyst или просто энтузиаст, вы не должны пропустить некоторые чрезвычайно популярные и полезные библиотеки для Python.

В этой статье будут кратко представлены 15 библиотек Python. Я считаю, что с большинством из них вы, возможно, уже знакомы, но если нет, то настоятельно рекомендую обратить на них внимание.

Эти библиотеки будут классифицированы по нескольким категориям:

Сбор данных (Data Gathering);
Очистка и преобразование данных (Data Cleansing and Transformation);
Визуализация данных (Data Visualisation);
Моделирование данных (Data Modelling);
Распознавание аудио и изображений (Audio and Image Recognition);
Web.

Сбор данных

Большинство проектов Data Analytics начинаются со сбора и извлечения данных. Иногда набор данных может быть предоставлен, когда вы работаете в определенной компании, чтобы решить существующую проблему. Однако данные могут быть не готовы, и вам может потребоваться собрать их самостоятельно. Наиболее распространенным сценарием является необходимость сканирования данных из Интернета.

1. Скрап / Scrapy

https://scrapy.org/

Scrapy, вероятно, самая популярная библиотека Python, когда вы хотите написать сканер Python для извлечения информации с веб-сайтов. Например, вы можете использовать его, чтобы извлечь все отзывы о всех ресторанах в городе или собрать все комментарии для определенной категории продуктов на веб-сайте электронной коммерции.

Типичное использование состоит в том, чтобы идентифицировать образец интересной информации, появляющейся на веб-страницах, как с точки зрения шаблонов URL, так и шаблонов XPath. После определения этих шаблонов Scrapy может помочь вам автоматически извлечь всю необходимую информацию и упорядочить ее в структуру данных, такую как таблица и JSON.

Вы можете легко установить Scrapy используя pip

pip install scrapy

2. Beautiful Soup

https://www.crummy.com/software/BeautifulSoup/#Download

Beautiful Soup — это еще одна библиотека Python для очистки веб-контента. Общепринято, что он имеет относительно более короткую кривую обучения по сравнению с Scrapy.

Кроме того, Beautiful Soup будет лучшим выбором для относительно небольших по масштабам задач и / или для разовой работы. В отличие от Scrapy, когда вам нужно разработать собственный «паук» и вернуться к командной строке и запустить его, Beautiful Soup позволяет импортировать его функции и использовать их в режиме онлайн. Поэтому вы даже можете использовать его в своих ноутбуках Jupyter.

3. Selenium

https://www.selenium.dev/selenium/docs/api/py/index.html

Изначально Selenium разрабатывался как автоматизированная среда веб-тестирования. Однако разработчики обнаружили, что его довольно удобно использовать в качестве веб-скребка.

Селен обычно используется, когда вам нужно получить интересующие данные после взаимодействия с веб-страницами. Например, вам может потребоваться зарегистрировать учетную запись, затем войти в систему и получить содержимое после нажатия некоторых кнопок и ссылок, и эти ссылки определяются как функции JavaScript. В этих случаях обычно нелегко использовать Scrapy или Beautiful Soup для реализации, а Selenium может.

Тем не менее, важно отметить, что Selenium будет работать намного медленнее, чем обычные библиотеки. Это потому, что он фактически инициализирует веб-браузер, такой как Chrome, а затем имитирует все действия, определенные в коде.

Поэтому, когда вы имеете дело с шаблонами URL и XPath, используйте Scrapy или Beautiful Soup. Выбирайте Selenium, только если это необходимо.

Очистка и преобразование данных

Я предполагаю, что нет необходимости утверждать, насколько важны очистка и преобразование данных в аналитике данных и науке о данных. Кроме того, есть слишком много выдающихся библиотек Python, которые делают это хорошо. Я подберу некоторые из них, которые вы должны знать как Data Scientist или Analyst.

4. Pandas

https://pandas.pydata.org/

Я почти уверен, что перечислять Панд в этом списке нет необходимости. Пока вы имеете дело с данными, вы должны были использовать Панд.

С Pandas вы можете манипулировать данными во фрейме данных Pandas. Есть огромные встроенные функции, которые помогут вам преобразовать ваши данные.

Не нужно слишком много слов. Если вы хотите изучать Python, это библиотека, которую нужно учить.

5. Numpy

https://numpy.org/

Точно так же Numpy — это еще одна обязательная для изучения библиотека для пользователей языка Python, даже не только для ученых и аналитиков данных.

Это расширило объекты списка Python во всеобъемлющие многомерные массивы. Существует также огромное количество встроенных математических функций для поддержки практически всех ваших потребностей с точки зрения расчета. Как правило, вы можете использовать массивы Numpy в качестве матриц, а Numpy позволит вам выполнять матричные вычисления.

Я полагаю, что многие Data Scientist начнут там скрипты Python следующим образом

import numpy as np
import pandas as pd

Итак, несомненно, что эти две библиотеки, вероятно, самые популярные в сообществе Python.

6. Просторность

https://spacy.io/

Spacy, вероятно, не так знаменит, как предыдущие. В то время как Numpy и Pandas являются библиотеками, работающими с числовыми и структурированными данными, Spacy помогает нам преобразовывать свободный текст в структурированные данные.

Spacy — одна из самых популярных библиотек NLP (обработка естественного языка) для Python. Представьте себе, что, когда вы удалили множество обзоров продуктов с веб-сайта электронной коммерции, вы должны извлечь полезную информацию из этого свободного текста, прежде чем сможете их проанализировать. Spacy имеет множество встроенных функций, таких как рабочий токенизатор, распознавание именованных объектов и обнаружение части речи.

Кроме того, Spacy поддерживает множество различных человеческих языков. На его официальном сайте заявлено, что он поддерживает более 55.

Визуализация данных

Визуализация данных является абсолютно необходимой потребностью в аналитике данных. Нам нужно визуализировать результаты и результаты и рассказать историю данных, которую мы нашли.

7. Matplotlib

https://matplotlib.org/

Matplotlib — самая полная библиотека визуализации данных для Python. Кто-то говорит, что Матплотлиб безобразен. Однако, на мой взгляд, как, вероятно, самая базовая библиотека визуализации в Python, Matplotlib предоставляет большинство возможностей для реализации вашей идеи визуализации. Это так же, как разработчики JavaScript могут предпочесть различные виды библиотек визуализации, но когда есть много настраиваемых функций, которые не поддерживаются этими библиотеками высокого уровня, D3.js должен быть вовлечен.

Я написал еще одну статью, чтобы представить Matplotlib. Проверьте это, если вы хотите узнать больше об этом.

8. Plotly

https://plotly.com/

Честно говоря, хотя я считаю, что Matplotlib — это необходимая для изучения библиотека для визуализации, в большинстве случаев я бы предпочел использовать Plotly, потому что она позволяет нам создавать самые причудливые графики с наименьшим количеством строк кода.

Независимо от того, хотите ли вы построить трехмерный поверхностный график, точечный график на основе карты или интерактивный анимированный график, Plotly может выполнить требования в короткие сроки.

Он также предоставляет диаграмму студии, которую вы можете загрузить свою визуализацию в онлайн-хранилище, которое поддерживает дальнейшее редактирование и сохранение.

Моделирование данных

Когда аналитика данных приходит к моделированию, мы обычно отсылаем ее к Advanced Analytics. В настоящее время машинное обучение уже не является новой концепцией. Python также считается самым популярным языком для машинного обучения. Конечно, есть много выдающихся библиотек, поддерживающих это.

9. Scikit Learn

https://scikit-learn.org/

Прежде чем погрузиться в «глубокое обучение», Scikit Learn должна стать библиотекой Python, с которой вы начнете свой путь в машинном обучении.

Scikit Learn имеет 6 основных модулей, которые делают

Предварительная обработка данных
Уменьшение размеров
регрессия
классификация
Кластеризация
Выбор модели

Я уверен, что Data Scientist, который прибил Scikit Learn, уже должен считаться хорошим Data Scientist.

10. PyTorch

https://pytorch.org/

PyTorch создан Facebook и имеет открытый исходный код как фреймворк взаимного машинного обучения для Python.

По сравнению с Tensorflow, PyTorch более «питоничен» с точки зрения синтаксиса. что также сделало PyTorch немного легче в освоении и использовании.

Наконец, в качестве библиотеки для углубленного изучения PyTorch имеет очень богатый API и встроенные функции, помогающие ученым быстро обучать своим моделям глубокого обучения.

11. Tensorflow

https://www.tensorflow.org/

Tensorflow — еще одна библиотека машинного обучения для Python, созданная Google.

Одна из самых популярных функций Tensorflow — это графики потоков данных на Tensorboard. Последняя представляет собой автоматически сгенерированную веб-панель управления, отображающую потоки и результаты машинного обучения, что чрезвычайно полезно для целей отладки и представления.

Распознавание аудио и изображений

Машинное обучение не только по цифрам, но также может помочь с аудио и изображениями (видео рассматривается как серия кадров). Поэтому, когда мы имеем дело с этими мультимедийными данными, этих библиотек машинного обучения будет недостаточно. Вот некоторые популярные библиотеки распознавания аудио и изображений для Python.

12. Librosa

https://librosa.github.io/librosa/

Librosa — очень мощная библиотека Python для обработки звука и голоса. Его можно использовать для извлечения различных видов функций из аудиосегментов, таких как ритм, ритм и темп.

С помощью Librosa эти чрезвычайно сложные алгоритмы, такие как сегментация Лапласа, могут быть легко реализованы в несколько строк кода.

13. OpenCV

https://opencv.org/

OpenCV — наиболее широко используемая библиотека для распознавания изображений и видео. Не будет преувеличением сказать, что OpenCV позволяет Python заменить Matlab с точки зрения распознавания изображений и видео.

Он предоставляет различные API и поддерживает не только Python, но также Java и Matlab, а также выдающуюся производительность, которая заслуживает высокой оценки как в отрасли, так и в научных исследованиях.

Web

Не забывайте, что Python широко использовался в веб-разработке, прежде чем он стал популярным в области науки о данных. Итак, есть также много отличных библиотек для веб-разработки.

14. Джанго — Django

https://www.djangoproject.com/

Если вы хотите использовать Python для разработки бэкэнда Web-сервиса, Django всегда лучший выбор. Он спроектирован как высокоуровневая инфраструктура, которая может создать веб-сайт всего за несколько строк кода.

Он напрямую поддерживает большинство популярных баз данных, чтобы сэкономить ваше время на настройку соединений и разработку модели данных. Вы бы сосредоточились только на бизнес-логике и никогда не беспокоились о манипуляциях CURD с Django, потому что это основанная на базе данных структура.

15. Flask

https://flask.palletsprojects.com/

Flask — это облегченная среда веб-разработки на Python. Наиболее ценной особенностью является то, что он может быть легко настроен с любыми конкретными требованиями очень легко и гибко.

Многие другие известные библиотеки и инструменты Python, которые предоставляют веб-интерфейс, созданы с использованием Flask, например, Plotly Dash и Airflow, благодаря облегченной функции Flask.

Вывод

Действительно, есть более выдающиеся библиотеки Python, которые могут быть перечислены здесь. Всегда приятно видеть, что сообщество Python такое процветающее. В случае, если есть больше библиотек, которые станут одними из самых известных для ученых и аналитиков данных, может возникнуть необходимость организовать их в другой статье.

Сообщение 15 библиотек Python, которые должен знать Data Scientist появились сначала на Python 3 | Data Science | Нейронные сети | AI - Искусственный Интеллект.