Стандартизация данных

Наша обязанность — не только распознать опечатки, но и поместить каждое значение в один и тот же стандартизированный формат.

Для строк убедитесь, что все значения указаны в нижнем или верхнем регистре.

Для числовых значений убедитесь, что все значения имеют определенную единицу измерения.

Высота, например, может быть в метрах и сантиметрах. Разница в 1 метр считается такой же, как разница в 1 сантиметр. Итак, задача здесь состоит в том, чтобы преобразовать высоты в одну единицу.

Для дат, версия для США отличается от европейской версии. Запись даты в качестве метки времени (количество миллисекунд) не совпадает с записью даты в качестве объекта даты.

Масштабирование / Преобразование — Scaling / Transformation

Масштабирование означает преобразование ваших данных таким образом, чтобы они соответствовали определенному масштабу, например 0–100 или 0–1.

Например, баллы по экзамену студента могут быть пересчитаны в процентах (0–100) вместо среднего балла (0–5).

Это также может помочь упростить построение определенных типов данных. Например, мы могли бы хотеть уменьшить асимметрию, чтобы помочь в построении графика (когда есть такое большое количество выбросов). Наиболее часто используемые функции — это log, square root и инверсия.

Масштабирование также может выполняться для данных, которые имеют разные единицы измерения.

Счета учеников на разных экзаменах, скажем, SAT и ACT, не могут сравниваться, поскольку эти два экзамена имеют разную шкалу. Разница в 1 балл SAT считается такой же, как разница в 1 балл ACT. В этом случае нам нужно изменить шкалу SAT и ACT, чтобы взять числа, скажем, между 0–1.

Масштабируя, мы можем построить и сравнить различные оценки.

Нормализация — Normalization

В то время как нормализация также изменяет значения в диапазоне от 0 до 1, цель здесь состоит в том, чтобы преобразовать данные так, чтобы они нормально распределялись.

Почему?

В большинстве случаев мы нормализуем данные, если будем использовать статистические методы, основанные на нормально распределенных данных. 

Как?

Можно использовать log функцию или, возможно, использовать один из этих методов .

В зависимости от используемого метода масштабирования форма распределения данных может измениться.Например, «Стандартная оценка Z» и «t-статистика Стьюдента» (приведенные в ссылке выше) сохраняют форму, в то время как log функция не может.

Недостающие значения — Missing values

Учитывая тот факт, что отсутствующие значения неизбежны, возникает вопрос: что делать, когда мы сталкиваемся с ними? Игнорирование пропущенных данных — это то же самое, что создание дыр в лодке — она будет тонуть.

Есть три, или, возможно, больше, способов справиться с ними.

— Первый способ. Удаление — Drop.

Если пропущенные значения в столбце встречаются редко и происходят случайным образом, то самое простое и прямое решение — отбросить наблюдения (строки) с пропущенными значениями.

Если большинство значений столбца отсутствуют и встречаются случайным образом, типичным решением является удаление всего столбца.

Это особенно полезно при проведении статистического анализа, поскольку заполнение пропущенных значений может привести к неожиданным или необъективным результатам.

— Второй способ. Внести значение — Impute.

Это значит рассчитать недостающее значение на основе других наблюдений. Есть много способов сделать это.

— Сначала используются статистические значения, такие как среднее значение, медиана. Тем не менее, ни один из них не гарантирует непредвзятых данных, особенно если есть много пропущенных значений.

Среднее значение наиболее полезно, когда исходные данные не искажены, а медиана более устойчива, не чувствительна к выбросам и, таким образом, используется при искажении данных.

В нормально распределенных данных можно получить все значения, которые находятся в пределах 2 стандартных отклонений от среднего. Затем, заполните пропущенные значения, генерируя случайные числа между (mean — 2 * std) & (mean + 2 * std)

rand = np.random.randint(average_age - 2*std_age, average_age + 2*std_age, size = count_nan_age)
dataframe["age"][np.isnan(dataframe["age"])] = rand

Второе. Используя линейную регрессию. На основании существующих данных можно рассчитать линию наилучшего соответствия между двумя переменными, скажем, цена дома против размера м².

Стоит отметить, что модели линейной регрессии чувствительны к выбросам.

— в-третьих. Hot-deck: Копирование значений из других похожих записей. Это полезно, только если у вас достаточно доступных данных. И это может быть применено к числовым и категориальным данным.

Можно использовать случайный подход, где мы заполняем отсутствующее значение случайным значением. Сделав этот подход еще на шаг вперед, можно сначала разделить набор данных на две группы (страты) на основе некоторой характеристики, например, пола, а затем заполнить пропущенные значения для разных полов по отдельности, случайным образом.

При последовательном вменении «горячей колоды» столбец, содержащий пропущенные значения, сортируется в соответствии со вспомогательной(-ыми ) переменной(-ами), поэтому записи, имеющие похожие вспомогательные элементы, появляются последовательно. Затем каждое пропущенное значение заполняется значением первой следующей доступной записи.

Что еще интереснее, так это то, что вложение ближайшего соседа, которое классифицирует похожие записи и объединяет их, также может быть использовано. Пропущенное значение затем заполняется путем нахождения первых ? записей, ближайших к записи с пропущенными значениями. Затем значение выбирается из (или вычисляется из) ? ближайших соседей. В случае вычислений могут использоваться статистические методы, такие как среднее (как обсуждалось ранее).

— Третье. Flag.

Некоторые утверждают, что заполнение пропущенных значений приводит к потере информации, независимо от того, какой метод вменения мы использовали.

Это потому, что утверждение о том, что данные отсутствуют, само по себе информативно, и алгоритм должен знать об этом. В противном случае мы просто усиливаем шаблон, уже существующий другими функциями.

Это особенно важно, когда пропущенные данные не случаются случайно. Возьмем, к примеру, проведенный опрос, в котором большинство людей из определенной расы отказываются отвечать на определенный вопрос.

Пропущенные числовые данные можно заполнить, скажем, 0, но эти нули необходимо игнорировать при вычислении любого статистического значения или построении графика распределения.

В то время как категориальные данные могут быть заполнены, скажем, «Отсутствует»: новая категория, которая сообщает, что этот фрагмент данных отсутствует.

— Принимать во внимание …

Отсутствующие значения не совпадают со значениями по умолчанию. Например, ноль можно интерпретировать как отсутствующий или по умолчанию, но не оба.

Отсутствующие значения не являются «неизвестными». Проведенное исследование, в котором некоторые люди не помнят, подвергались ли они издевательствам в школе или нет, должно рассматриваться и обозначаться как неизвестное и не пропущенное.

Каждый раз, когда мы отбрасываем или приписываем значение, мы теряем информацию. Таким образом, пометка может прийти на помощь.

Выпадающие значения — Outliers

Это значения, которые значительно отличаются от всех других наблюдений. Любое значение данных, которое находится на расстоянии более (1,5 * IQR) от квартилей Q1 и Q3, считается выбросом.

Выбросы невиновны, пока их вина не доказана. С учетом сказанного, их не следует удалять, если для этого нет веских причин.

Например, можно заметить некоторые странные, подозрительные значения, которые вряд ли произойдут, и поэтому решает удалить их. Тем не менее, они заслуживают расследования, прежде чем удалить.

Стоит также отметить, что некоторые модели, такие как линейная регрессия, очень чувствительны к выбросам. Другими словами, выбросы могут отбросить модель, из которой собрана большая часть данных.

Ошибки в записях и между наборами данных — In-record & cross-datasets errors

Эти ошибки возникают из-за наличия двух или более значений в одной строке или между наборами данных, которые противоречат друг другу.

Например, если у нас есть набор данных о стоимости жизни в городах. Общая колонка должна быть эквивалентна сумме арендной платы, транспорта и еды.

city       rent  transportation food  total
libson     500        20         40    560
paris      750        40         60    850

Точно так же ребенок не может быть женат. Заработная плата работника не может быть меньше рассчитанных налогов.

Та же идея применима к связанным данным в разных наборах данных.

Проверка (Верификация) — Verifying

Когда это сделано, следует проверить правильность, повторно проверив данные и убедившись, что они соблюдают правила и ограничения.

Например, после заполнения отсутствующих данных они могут нарушить любое из правил и ограничений.

Это может потребовать некоторой ручной коррекции, если не возможно иначе.

Составление отчетов — Reporting

Отчет о том, насколько здоровы данные, одинаково важен для очистки.

Как упоминалось ранее, программные пакеты или библиотеки могут генерировать отчеты о внесенных изменениях, какие правила были нарушены и сколько раз.

Помимо регистрации нарушений, следует учитывать причины этих ошибок. Почему они произошли в первую очередь?

Заключительная часть

Независимо от того, насколько надежным и сильным является процесс проверки и очистки, он будет страдать по мере поступления новых данных.

Лучше защититься от болезни, чем тратить время и силы на ее устранение.

Эти вопросы помогают оценить и улучшить качество данных:

Как собираются данные и при каких условиях? Среда, в которой были собраны данные, имеет значение. Окружающая среда включает в себя, помимо прочего, местоположение, время, погодные условия и т.д.

Опрос субъектов по поводу их мнения относительно независимо, пока они находятся на пути к работе не то же самое, в то время как они у себя дома. Пациенты в исследовании, которые испытывают трудности с использованием таблеток для ответа на вопросник, могут отбросить результаты.

Что представляют собой данные? Они включают всех? Только люди в городе? Или, возможно, только те, кто решил ответить, потому что у них было твердое мнение по теме.

Какие методы используются для очистки данных и почему? Различные методы могут быть лучше в разных ситуациях или с разными типами данных.

Вы вкладываете время и деньги в улучшение процесса? Инвестиции в людей и процесс так же важны, как и инвестиции в технологии.

Профилирование данных в Python 3 с помощью Pandas

Любой, кто работает с данными в Python, знаком с пакетом pandas. Если это не так, pandas — это пакет для большинства данных, отформатированных по строкам и столбцам. Если у вас еще нет библиотеки Pandas, обязательно установите ее, используя pip install в предпочитаемом вами терминале:

pip install pandas

Теперь давайте посмотрим, что может сделать для нас реализация pandas по умолчанию:

Любой ‘DataFrame’ в Pandas имеет метод .describe(), который возвращает приведенную выше сводку. Однако обратите внимание, что в выходных данных этого метода категориальные переменные отсутствуют. В приведенном выше примере столбец «method» полностью исключен из вывода!

Pandas Data Profiling

В этом разделе будет описана библиотека «Pandas Profiling». Эта библиотека формирует многостраничный отчет (на картинке ниже только небольшая часть этого отчета).

Как бы вам понравилось, если бы я сказал вам, что смогу создать следующую статистику всего с 3 строками Python (фактически, только с 1 строкой, если мы не посчитаем наш импорт.) :

• Основы : тип, уникальные значения, пропущенные значения
• Квантильная статистика, такая как минимальное значение, Q1, медиана, Q3, максимум, диапазон, межквартильный диапазон
• Описательные статистические данные, такие как среднее значение, мода, стандартное отклонение, сумма, среднее абсолютное отклонение, коэффициент вариации, эксцесс, асимметрия
• Наиболее частые значения
• Гистограмма
• Выделение корреляций высококоррелированных переменных, матрицы Спирмена, Пирсона и Кендалла
• Матрица отсутствующих значений , счетчик, тепловая карта и дендрограмма отсутствующих значений

(Список функций прямо из GitHub для профилирования Pandas )

Используя пакет Pandas Profiling!
Чтобы установить пакет Pandas Profiling, просто используйте pip install в своем терминале:

pip install pandas_profiling

Опытные аналитики данных на первый взгляд могут посмеяться над тем, что они пушистые и кричащие, но это, безусловно, может быть полезно для быстрого получения непосредственного представления о ваших данных:

Первое, что вы увидите, это обзор (см. Рисунок выше), который дает вам очень высокую статистику ваших данных и переменных, а также предупреждения, такие как высокая корреляция между переменными, высокая асимметрия и многое другое.

Но это даже не близко ко всему. Прокручивая вниз, мы обнаруживаем, что этот отчет состоит из нескольких частей. Просто показывать результат этого 1-линейного с картинками не будет справедливо, поэтому я вместо этого сделал GIF:

Я настоятельно рекомендую вам изучить возможности этого пакета самостоятельно — в конце концов — это всего лишь одна строка кода, и вы можете найти ее полезной для дальнейшего анализа данных.

import pandas as pd
import pandas_profiling
pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/planets.csv').profile_report()