Импорт финансовых данных в Python

pandas-datareaderПакет позволяет для чтения в данных из таких источников, как Google, Всемирный банк, … Если вы хотите иметь обновленный список источников данных, которые доступны с этой функцией, перейдите к документации . Раньше вы могли получить доступ к данным из Yahoo! Финансирование напрямую, но с тех пор оно устарело. Чтобы получить доступ к Yahoo! Финансовые данные, посмотрите это видео Мэтта Макарти, которое показывает обходной путь. Для этого урока вы будете использовать пакет для чтения данных из Yahoo! Финансы. Обязательно сначала установите пакет, установив последнюю версию выпуска через pip с помощью pip install pandas-datareader.

Совет : если вы хотите установить последнюю версию для разработчиков или у вас возникли какие-либо проблемы, вы можете прочитать инструкции по установке здесь .

import pandas_datareader as pdr
import datetime 
aapl = pdr.get_data_yahoo('AAPL', 
                          start=datetime.datetime(2006, 10, 1), 
                          end=datetime.datetime(2012, 1, 1))

Обратите внимание, что конечная точка API Yahoo недавно изменилась и что, если вы хотите уже начать работать с библиотекой самостоятельно, вам необходимо установить временное исправление, пока патч не будет объединен с основной веткой, чтобы начать извлечение данных. из Yahoo! Финансы с pandas-datareader. Убедитесь в том , чтобы читать по этому вопросу здесь , прежде чем начать свой собственный!

Не беспокойтесь, однако, для этого урока данные были загружены для вас, чтобы вы не столкнулись с какими-либо проблемами при изучении финансов в Python с помощью Pandas.

Тем не менее, разумно учитывать, что, несмотря на то, что он pandas-datareaderпредлагает множество опций для извлечения данных в Python, это не единственный пакет, который вы можете использовать для извлечения финансовых данных: вы также можете использовать библиотеки, такие как Quandl, для Например, чтобы получить данные из Google Finance:

import quandl 
aapl = quandl.get("WIKI/AAPL", start_date="2006-10-01", end_date="2012-01-01")

Для получения дополнительной информации о том, как вы можете использовать Quandl для получения финансовых данных непосредственно в Python, перейдите на эту страницу .

Наконец, если вы уже какое-то время работали в сфере финансов, вы, вероятно, знаете, что чаще всего вы используете Excel также для манипулирования своими данными. В таких случаях вы должны знать, что вы можете интегрировать Python с Excel.

Ознакомьтесь с Руководством по Python Excel для DataCamp : Подробное руководство для получения дополнительной информации.

Работа с данными временного ряда

Первое, что вы хотите сделать, когда у вас наконец появятся данные в вашем рабочем пространстве, — это испачкать руки. Однако теперь, когда вы работаете с данными временных рядов, это может показаться не таким простым, поскольку ваш индекс теперь содержит значения DateTime.

Не беспокойтесь, хотя! Давайте начнем пошагово и сначала исследуем данные с некоторыми функциями, которые вы, возможно, уже знаете, если у вас есть опыт программирования на R или вы ранее работали с Pandas.

В любом случае, вы увидите, что это довольно просто!

Как вы видели в фрагменте кода выше, вы использовали pandas_datareaderдля импорта данных в вашу рабочую область. Результирующий объект aaplпредставляет собой DataFrame, который представляет собой двумерную помеченную структуру данных со столбцами потенциально разных типов. Теперь, одна из первых вещей , которые вы , вероятно , когда у вас есть регулярные DataFrame на руках, запустив head()и tail()функцию загляните на первый и последнюю строку вашего DataFrame. К счастью, это не меняется, когда вы работаете с данными временных рядов!

Совет : также обязательно используйте describe()функцию, чтобы получить некоторую полезную сводную статистику о ваших данных.

Как вы видели во введении, эти данные содержат четыре столбца с ценами открытия и закрытия за день и экстремальными максимальными и минимальными движениями цены акций Apple за каждый день. Кроме того, вы также получаете два дополнительных столбца: Volumeи Adj Close.

Первый столбец используется для регистрации количества акций, которые были проданы в течение одного дня. Последний, с другой стороны, является скорректированной ценой закрытия: это цена закрытия дня, которая была слегка адаптирована для включения любых действий, которые произошли в любое время до открытия следующего дня. Вы можете использовать этот столбец для изучения исторических результатов или когда вы выполняете подробный анализ исторических результатов.

Обратите внимание, как метки индекса или строки содержат даты, и как ваши столбцы или метки столбцов содержат числовые значения.

Подсказка : если вы сейчас хотите сохранить эти данные в CSV-файл с помощью to_csv()функции pandasи использовать эту read_csv()функцию для чтения данных обратно в Python. Это очень удобно в тех случаях, когда, например, конечная точка API Yahoo изменилась, и у вас больше нет доступа к вашим данным 🙂

import pandas as pd
aapl.to_csv('data/aapl_ohlc.csv')
df = pd.read_csv('data/aapl_ohlc.csv', header=0, index_col='Date', parse_dates=True)

Теперь, когда вы кратко проверили первые строки своих данных и взглянули на некоторую сводную статистику, пришло время немного углубиться.

Один из способов сделать это — проверить индекс и столбцы и выбрать, например, последние десять строк конкретного столбца. Последнее называется подмножеством, потому что вы берете небольшое подмножество ваших данных. Результатом поднабора является Series, который представляет собой одномерный помеченный массив, который может содержать любой тип.

Помните, что структура DataFrame была двумерным помеченным массивом со столбцами, которые потенциально могут содержать различные типы данных.

Проверьте все это в упражнении. Во- первых, использовать indexи columnsатрибуты , чтобы посмотреть на индекс и столбцов ваших данных. Затем установите Close подколонку, выбрав только последние 10 наблюдений для DataFrame. Используйте квадратные скобки, []чтобы выделить последние десять значений. Возможно, вы уже знаете этот способ поднабора из других языков программирования, таких как R. В заключение, присвойте последний переменной, tsа затем проверьте, какой это тип ts, используя type() функцию:

# Inspect the index 
aapl.index

# Inspect the columns
aapl.columns

# Select only the last 10 observations of `Close`
ts = aapl['Close'][-10:]

# Check the type of `ts` 
type(ts)

Квадратные скобки могут быть полезны для подмножества ваших данных, но они, возможно, не самый идиоматичный способ сделать что-то с Pandas. Вот почему вы должны также взглянуть на loc()и iloc()функциях: вы используете бывший для индексации на основе меток , а второй для позиционной индексации.

На практике это означает , что вы можете передать метку строки меток, таких , как 2007и 2006-11-01, к loc()функции, в то время как вы передаете целые числа , такие , как 22и 43в iloc()функции.

Пример:

# Inspect the first rows of November-December 2006
print(aapl.loc[pd.Timestamp('2006-11-01'):pd.Timestamp('2006-12-31')].head())

# Inspect the first rows of 2007 
print(aapl.loc['2007'].head())

# Inspect November 2006
print(aapl.iloc[22:43])

# Inspect the 'Open' and 'Close' values at 2006-11-01 and 2006-12-01
print(aapl.iloc[[22,43], [0, 3])

Совет : если вы внимательно посмотрите на результаты поднабора, вы заметите, что в данных отсутствуют определенные дни; Если вы посмотрите более внимательно на шаблон, вы увидите, что обычно два или три дня не хватает; Эти дни традиционно являются выходными или праздничными днями и не являются частью ваших данных. Это не о чем беспокоиться: это совершенно нормально, и вам не нужно заполнять эти пропущенные дни.

Помимо индексации, вы можете также изучить некоторые другие методы, чтобы лучше узнать ваши данные. Вы никогда не знаете, что еще появится. Давайте попробуем сэмплировать около 20 строк из набора данных, а затем повторим выборку данных, чтобы aaplтеперь на месячном уровне вместо ежедневного. Вы можете использовать sample()и resample()функцию , чтобы сделать это:

# Sample 20 rows
sample = aapl.sample(20)

# Print `sample`
print(sample)

# Resample to monthly level 
monthly_aapl = aapl.resample('M').mean()

# Print `monthly_aapl`
print(monthly_aapl)

Очень просто, не правда ли?

Эта resample()функция часто используется, потому что она обеспечивает сложный контроль и большую гибкость при преобразовании частоты ваших временных рядов: помимо указания новых временных интервалов и определения того, как вы хотите обрабатывать пропущенные данные, у вас также есть возможность указать, как вы хотите выполнить повторную выборку. ваши данные, как вы можете видеть в примере кода выше. Это резко отличается от asfreq()метода, в котором у вас есть только первые два варианта.

Совет : попробуйте сами в консоли IPython вышеупомянутого блока DataCamp Light. Пройдите, aapl.asfreq("M", method="bfill")чтобы увидеть, что происходит!

Наконец, прежде чем перейти к следующему уровню исследования данных и начать с визуализации ваших данных и выполнения некоторых общих финансовых анализов ваших данных, вы уже можете начать рассчитывать разницу между ценами открытия и закрытия в день. Вы можете быстро выполнить эту арифметическую операцию с помощью панд; Просто вычтите значения в Openстолбце ваших aaplданных из значений в Closeстолбце этих же данных. Или, другими словами, вычесть aapl.Closeиз aapl.Open. Вы сохраняете результат в новом столбце с aaplименем DataFrame diff, а затем удаляете его снова с помощью del:

Конечно, знание абсолютной прибыли может уже помочь вам понять, делаете ли вы хорошие инвестиции, но в качестве количественного показателя вы можете быть более заинтересованы в более относительных средствах измерения стоимости ваших акций, например, как стоимость определенной акции выросла или упала. Один из способов сделать это — рассчитать ежедневное процентное изменение.

Это хорошо знать на данный момент, но пока не беспокойтесь об этом; Вы углубитесь в это немного позже!

Этот раздел познакомил вас с некоторыми способами сначала изучить ваши данные, прежде чем приступить к выполнению некоторых предыдущих анализов. Тем не менее, вы все еще можете пойти гораздо дальше в этом; Если хотите узнать больше, рассмотрите возможность нашего анализа данных Python .

Визуализация данных временного ряда

Рядом с изучения данных с помощью head(), tail(), индексации, … Вы также можете визуализировать ваши данные временных рядов. Благодаря интеграции Pandas с Matplotlib эта задача становится легкой; Просто используйте plot()функцию и передайте ей соответствующие аргументы. Кроме того, вы также можете добавить gridаргумент, чтобы указать, что график также должен иметь сетку на заднем плане.

Общий финансовый анализ

Теперь, когда у вас есть представление о ваших данных, о том, что представляют собой данные временных рядов, и как вы можете их использовать pandasдля быстрого изучения ваших данных, пришло время углубиться в некоторые из общих финансовых анализов, которые вы можете сделать, чтобы вы могли реально начать работать к разработке торговой стратегии.

В оставшейся части этого раздела вы узнаете больше о возвратах, перемещающихся окнах, расчете волатильности и Регулярной регрессии наименьших квадратов (OLS).

Возвращает

Простое ежедневное изменение в процентах не учитывает дивиденды и другие факторы и представляет собой величину процентного изменения стоимости акции за один день торговли. Вы обнаружите, что ежедневное процентное изменение легко рассчитывается, так как pct_change()в пакет Pandas включена функция, облегчающая вашу жизнь:

# Import `numpy` as `np`
import numpy as np

# Assign `Adj Close` to `daily_close`
daily_close = aapl[['Adj Close']]

# Daily returns
daily_pct_change = daily_close.pct_change()

# Replace NA values with 0
daily_pct_change.fillna(0, inplace=True)

# Inspect daily returns
print(daily_pct_change)

# Daily log returns
daily_log_returns = np.log(daily_close.pct_change()+1)

# Print daily log returns
print(daily_log_returns)

Обратите внимание, что вы рассчитываете возврат журналов, чтобы лучше понять рост ваших доходов с течением времени.

Зная, как рассчитать ежедневное процентное изменение, приятно, но что, когда вы хотите узнать ежемесячную или квартальную доходность? В таких случаях вы можете воспользоваться тем resample(), что вы уже видели в первой части этого урока.

# Resample `aapl` to business months, take last observation as value 
monthly = aapl.resample('BM').apply(lambda x: x[-1])

# Calculate the monthly percentage change
monthly.pct_change()

# Resample `aapl` to quarters, take the mean as value per quarter
quarter = aapl.resample("4M").mean()

# Calculate the quarterly percentage change
quarter.pct_change()

Использование pct_change()довольно удобно, но также затеняет, как именно рассчитываются ежедневные проценты. Вот почему вы можете использовать shift()функцию Pandas вместо использования pct_change(). Затем вы делите daily_closeзначения на daily_close.shift(1) -1. Однако, используя эту функцию, вы останетесь со NAзначениями в начале результирующего кадра данных.

Совет : сравните результат следующего кода с результатом, который вы получили в первом блоке DataCamp Light, чтобы четко увидеть разницу между этими двумя методами расчета ежедневного процентного изменения.

# Daily returns
daily_pct_change = daily_close / daily_close.shift(1) - 1

# Print `daily_pct_change`
print(daily_pct_change)

Совет : рассчитайте дневной доход с помощью функции Pandas shift(). Попробуйте это в консоли IPython этого блока DataCamp Light! (Для тех, кто не может найти решение , попробуйте эту строку кода:) daily_log_returns_shift = np.log(daily_close / daily_close.shift(1)).

Для справки, расчет ежедневного процентного изменения основан на следующей формуле: rT= рTпт — 1— 1${\mathrm{<span>р</span>}}_{\mathrm{<span>T</span>}}<span>знак\; равно</span>{\displaystyle \frac{{\mathrm{<span>п</span>}}_{\mathrm{<span>T</span>}}}{{\mathrm{<span>п</span>}}_{\mathrm{<span>T</span>}<span>—</span>\mathrm{<span>1</span>}}}}<span>—</span>\mathrm{<span>1</span>}$где p — цена, t — время (в данном случае день), а r — доход.

Кроме того, вы можете построить график распределения daily_pct_change:

# Import matplotlib
import matplotlib.pyplot as plt

# Plot the distribution of `daily_pct_c`
daily_pct_change.hist(bins=50)

# Show the plot
plt.show()

# Pull up summary statistics
print(daily_pct_change.describe())

Распределение выглядит очень симметрично и нормально распределено: центр ежедневных изменений вокруг корзины 0,00. Обратите внимание, как вы можете и должны использовать результатыdescribe() функции, примененной daily_pct_c, чтобы правильно интерпретировать результаты гистограммы. Вы увидите, что среднее значение очень близко к бину 0,00, а стандартное отклонение составляет 0,02. Кроме того, взгляните на процентили, чтобы узнать, сколько ваших точек данных упадут ниже -0,010672, 0,001677 и 0,014306.

Кумулятивная суточная норма прибыли полезно для определения стоимости инвестиций через регулярные промежутки времени. Вы можете рассчитать совокупную дневную норму прибыли, используя значения ежедневного изменения в процентах, добавляя 1к ним и вычисляя совокупный продукт с полученными значениями:

# Calculate the cumulative daily returns
cum_daily_return = (1 + daily_pct_change).cumprod()

# Print `cum_daily_return`
print(cum_daily_return)

Обратите внимание, что вы можете использовать снова использовать Matplotlib для быстрого построения cum_daily_return; Просто добавьте plot()к нему функцию и, при необходимости, определите figsizeразмер или размер рисунка:

# Import matplotlib
import matplotlib.pyplot as plt 

# Plot the cumulative daily returns
cum_daily_return.plot(figsize=(12,8))

# Show the plot
plt.show()