{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Обработка табличных данных" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "\n", "\n", "### Введение в Pandas \n", "\n", "Pandas - библиотека для работы с табличными данными в питоне." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Чтобы не писать название библиотеки целиком каждый раз, когда понадобится ее использовать, принято сокращать название библиотеки и импортировать ее как \"pd\":" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "import pandas as pd # импортировали библиотеку pandas и назвали ее pd " ] }, { "cell_type": "code", "execution_count": 47, "metadata": {}, "outputs": [], "source": [ "data = pd.read_csv('https://raw.githubusercontent.com/rogovich/Data/master/data/titanic/train.csv')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Функция read_csv читает данные из файла формата csv и преобразует в pandas.DataFrame. Аналогичная функция read_excel может читать данные в офрмате xls(x).\n", "\n", "Посмотрим на наши данные:" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
PassengerIdSurvivedPclassNameSexAgeSibSpParchTicketFareCabinEmbarked
0103Braund, Mr. Owen Harrismale22.010A/5 211717.2500NaNS
1211Cumings, Mrs. John Bradley (Florence Briggs Th...female38.010PC 1759971.2833C85C
2313Heikkinen, Miss. Lainafemale26.000STON/O2. 31012827.9250NaNS
3411Futrelle, Mrs. Jacques Heath (Lily May Peel)female35.01011380353.1000C123S
4503Allen, Mr. William Henrymale35.0003734508.0500NaNS
\n", "
" ], "text/plain": [ " PassengerId Survived Pclass \\\n", "0 1 0 3 \n", "1 2 1 1 \n", "2 3 1 3 \n", "3 4 1 1 \n", "4 5 0 3 \n", "\n", " Name Sex Age SibSp \\\n", "0 Braund, Mr. Owen Harris male 22.0 1 \n", "1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 \n", "2 Heikkinen, Miss. Laina female 26.0 0 \n", "3 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 \n", "4 Allen, Mr. William Henry male 35.0 0 \n", "\n", " Parch Ticket Fare Cabin Embarked \n", "0 0 A/5 21171 7.2500 NaN S \n", "1 0 PC 17599 71.2833 C85 C \n", "2 0 STON/O2. 3101282 7.9250 NaN S \n", "3 0 113803 53.1000 C123 S \n", "4 0 373450 8.0500 NaN S " ] }, "execution_count": 3, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.head() # функция head() показывает первые строки датафрейма, по умолчанию 5" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Описательные статистики в Python\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Максимальное и минимальное значения**" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.42" ] }, "execution_count": 4, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Age.min()" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "80.0" ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Age.max()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Меры центральной тенденции**\n", "\n", "Меры среднего уровня дают усредненную характеристику совокупности объектов по определенному признаку.\n", "\n", "В зависимости от типа шкалы измерения применяются следующие меры среднего уровня:\n", "- для количественных данных - среднее значение (арифметическое среднее), медиана, мода\n", "\n", "- для категориальных:\n", "\n", " для порядковых данных - медиана, мода\n", "\n", " для номинальных данных - мода\n", "\n", "На самом деле таких мер довольно много, например: взвешенное среднее — среднее значение, учитывающее весовые коэффициенты для каждого значения, гармоническое среднее — количество наблюдений, деленное на сумму инвертированных значений наблюдений, и так далее." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Среднее значение (математическое ожидание)**\n", "\n", "*Математическое ожидание* вычисляется по формуле:\n", "\n", "$$\n", " {\\displaystyle {\\bar {x}}={\\frac {1}{n}}\\sum _{i=1}^{n}x_{i}={\\frac {1}{n}}(x_{1}+\\ldots +x_{n})} \n", " $$" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "29.69911764705882" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Age.mean()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Немного усложним задачу**" ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Age
Pclass
138.233441
229.877630
325.140620
\n", "
" ], "text/plain": [ " Age\n", "Pclass \n", "1 38.233441\n", "2 29.877630\n", "3 25.140620" ] }, "execution_count": 7, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data[['Pclass', 'Age']].groupby('Pclass').mean()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Медиана**\n", "\n", "Если $x_1, x_2, ..., x_n$ – упорядоченные по возрастанию или убыванию числовые значения рассматриваемого признака, \n", "$n$ – объем выборки, то *медиана* - это средний элемент для нечетного $n$ и полуcумма средних элементов для четного $n$.\n", "\n", "Для порядковой шкалы медиана является такой точкой на шкале, которая делит всю совокупность опрошенных на две равных части — тех, кто отметил градации меньше этой точки (либо равные ей), и тех, кто отметил градации больше этой точки.\n", "\n", "Вопрос знатокам: можно ли посчитать медиану для категориальных не порядковых данных? 🤔" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "28.0" ] }, "execution_count": 8, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Age.median()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Мода**\n", "\n", "Мода - значение во множестве наблюдений, которое встречается наиболее часто." ] }, { "cell_type": "code", "execution_count": 10, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0 3\n", "Name: Pclass, dtype: int64" ] }, "execution_count": 10, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Pclass.mode()" ] }, { "cell_type": "code", "execution_count": 11, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "Pclass\n", "3 491\n", "1 216\n", "2 184\n", "Name: count, dtype: int64" ] }, "execution_count": 11, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Pclass.value_counts()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Меры разброса**\n", "\n", "Меры разброса показывают, насколько хорошо данные значения представляют совокупность. Как меры разброса применяются:\n", "\n", "- дисперсия случайной величины и среднеквадратическое отклонение\n", "\n", "- коэффициент вариации (это отношение среднеквадратического отклонения к среднему значению, выраженное в процентах, показывает однородность выборки)\n", "\n", "- и так далее" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Дисперсия и среднеквадратическое отклонение**\n", "\n", "*Дисперсия* значений признака является суммой квадратов отклонений этих значений от их среднего, деленной на число наблюдений:\n", "$$\n", "\\sigma^2={\\dfrac {\\sum \\limits _{i=1}^{n}\\left(x_{i}-{\\bar {x}}\\right)}{n}}^{2}\n", "$$\n", "*Среднеквадратическое отклонение*, *стандартное отклонение* или *стандартный разброс* - квадратный корень из дисперсии, равный $\\sigma$\n", "\n", "Стандартное отклонение измеряется в тех же единицах, что и сама случайная величина, а дисперсия измеряется в квадратах этой единицы измерения." ] }, { "cell_type": "code", "execution_count": 12, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Age
Pclass
114.802856
214.001077
312.495398
\n", "
" ], "text/plain": [ " Age\n", "Pclass \n", "1 14.802856\n", "2 14.001077\n", "3 12.495398" ] }, "execution_count": 12, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data[['Pclass', 'Age']].groupby('Pclass').std()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Квантили**\n", "\n", "Квантиль - значение, которое заданная случайная величина не превышает с фиксированной вероятностью. Если вероятность задана в процентах, то квантиль называется процентилем или перцентилем.\n", "\n", "Например, фраза «для развитых стран 99-процентиль продолжительности жизни составляет 100 лет» означает, что ожидается, что 99 % людей проживут не более, чем 100 лет.\n", "\n", "Относительно нашего датасета фраза \"75%-перцентиль возраста пассажиров Титаника равна 38 лет\" означает, что 75% пассажиров были не старше 38 лет.\n", "\n", "Вопросы знатокам:\n", "- Как еще можно назвать 50%-перцентиль? 🤔\n", "- Что значит фраза \"75%-перцентиль стоимости билетов на Титаник была равна 31\"? 🤔" ] }, { "cell_type": "code", "execution_count": 13, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "count 714.000000\n", "mean 29.699118\n", "std 14.526497\n", "min 0.420000\n", "25% 20.125000\n", "50% 28.000000\n", "75% 38.000000\n", "max 80.000000\n", "Name: Age, dtype: float64" ] }, "execution_count": 13, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Age.describe()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**Описание массива нечисловых данных**\n", "\n", "В качестве базовой описательной статистики для категориальных признаков можно использовать следующий набор характеристик:\n", "\n", "- количество уникальных представителей массива\n", "\n", "- частоты встречаемости этих представителей\n", "\n", "- наиболее часто встречающиеся представители (мода распределения)\n", "\n", "- наиболее редко встречающиеся представители" ] }, { "cell_type": "code", "execution_count": 14, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "array([3, 1, 2], dtype=int64)" ] }, "execution_count": 14, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Pclass.unique()" ] }, { "cell_type": "code", "execution_count": 15, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "Pclass\n", "3 491\n", "1 216\n", "2 184\n", "Name: count, dtype: int64" ] }, "execution_count": 15, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Pclass.value_counts()" ] }, { "cell_type": "code", "execution_count": 16, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0 3\n", "Name: Pclass, dtype: int64" ] }, "execution_count": 16, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.Pclass.mode()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## И еще чуть-чуть! Работа с пропущенными значениями." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Вернемся к info(). Мы видим, что из 891 наблюдения у нас только 714 ненулевых значений. Значит, у этих пассажиров возраст неизвестен. Ваши идеи, что можно с этим сделать?" ] }, { "cell_type": "code", "execution_count": 17, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "RangeIndex: 891 entries, 0 to 890\n", "Data columns (total 12 columns):\n", " # Column Non-Null Count Dtype \n", "--- ------ -------------- ----- \n", " 0 PassengerId 891 non-null int64 \n", " 1 Survived 891 non-null int64 \n", " 2 Pclass 891 non-null int64 \n", " 3 Name 891 non-null object \n", " 4 Sex 891 non-null object \n", " 5 Age 714 non-null float64\n", " 6 SibSp 891 non-null int64 \n", " 7 Parch 891 non-null int64 \n", " 8 Ticket 891 non-null object \n", " 9 Fare 891 non-null float64\n", " 10 Cabin 204 non-null object \n", " 11 Embarked 889 non-null object \n", "dtypes: float64(2), int64(5), object(5)\n", "memory usage: 83.7+ KB\n" ] } ], "source": [ "data.info()" ] }, { "cell_type": "code", "execution_count": 18, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "28.0" ] }, "execution_count": 18, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data['Age'].median() # вспомним какая у нас медиана" ] }, { "cell_type": "code", "execution_count": 19, "metadata": {}, "outputs": [], "source": [ "data['Age_Median'] = data['Age'].fillna(data['Age'].median()) # сохраняю результат заполнения в новую колонку" ] }, { "cell_type": "code", "execution_count": 20, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
PassengerIdSurvivedPclassNameSexAgeSibSpParchTicketFareCabinEmbarkedAge_Median
0103Braund, Mr. Owen Harrismale22.010A/5 211717.2500NaNS22.0
1211Cumings, Mrs. John Bradley (Florence Briggs Th...female38.010PC 1759971.2833C85C38.0
2313Heikkinen, Miss. Lainafemale26.000STON/O2. 31012827.9250NaNS26.0
3411Futrelle, Mrs. Jacques Heath (Lily May Peel)female35.01011380353.1000C123S35.0
4503Allen, Mr. William Henrymale35.0003734508.0500NaNS35.0
\n", "
" ], "text/plain": [ " PassengerId Survived Pclass \\\n", "0 1 0 3 \n", "1 2 1 1 \n", "2 3 1 3 \n", "3 4 1 1 \n", "4 5 0 3 \n", "\n", " Name Sex Age SibSp \\\n", "0 Braund, Mr. Owen Harris male 22.0 1 \n", "1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 \n", "2 Heikkinen, Miss. Laina female 26.0 0 \n", "3 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 \n", "4 Allen, Mr. William Henry male 35.0 0 \n", "\n", " Parch Ticket Fare Cabin Embarked Age_Median \n", "0 0 A/5 21171 7.2500 NaN S 22.0 \n", "1 0 PC 17599 71.2833 C85 C 38.0 \n", "2 0 STON/O2. 3101282 7.9250 NaN S 26.0 \n", "3 0 113803 53.1000 C123 S 35.0 \n", "4 0 373450 8.0500 NaN S 35.0 " ] }, "execution_count": 20, "metadata": {}, "output_type": "execute_result" } ], "source": [ "data.head() # А у всех остальных - их нормальный возраст." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Или можно просто удалить пропущенные значения:" ] }, { "cell_type": "code", "execution_count": 48, "metadata": {}, "outputs": [], "source": [ "data2 = data.dropna()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Создание предсказательной модели" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Предварительная обработка данных" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "В наших данных есть несколько признаков, которые принимают значения из фиксированного небольшого набора. Называются такие признаки _категориальными_.\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "\"7\"" ] }, { "cell_type": "code", "execution_count": 35, "metadata": {}, "outputs": [], "source": [ "data_cat = pd.get_dummies(data, drop_first=True)" ] }, { "cell_type": "code", "execution_count": 49, "metadata": {}, "outputs": [], "source": [ "data_cat = data_cat.fillna(data_cat.median())" ] }, { "cell_type": "code", "execution_count": 50, "metadata": {}, "outputs": [], "source": [ "X_cat = data_cat[data_cat.columns.drop(\"Survived\")]#задаем массив с обработанными признаками\n", "Y_cat = data_cat[\"Survived\"] #задаем целевую переменную из массива с обработанными признаками" ] }, { "cell_type": "code", "execution_count": 85, "metadata": {}, "outputs": [], "source": [ "from sklearn.model_selection import train_test_split" ] }, { "cell_type": "code", "execution_count": 96, "metadata": {}, "outputs": [], "source": [ "Xtrain, Xtest, ytrain, ytest = train_test_split(X_cat, Y_cat , test_size=0.2, random_state=42)" ] }, { "cell_type": "code", "execution_count": 97, "metadata": {}, "outputs": [], "source": [ "from sklearn import tree" ] }, { "cell_type": "code", "execution_count": 98, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "DecisionTreeClassifier(max_depth=3, random_state=42)" ] }, "execution_count": 98, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dt_clf_2d = tree.DecisionTreeClassifier(\n", " max_depth=3, #максимальная глубина\n", " random_state=42 #генератор случайных чисел\n", ")\n", "#Обучаем дерево решений по алгоритму CART\n", "dt_clf_2d.fit(Xtrain, ytrain)" ] }, { "cell_type": "code", "execution_count": 99, "metadata": {}, "outputs": [], "source": [ "from sklearn import metrics" ] }, { "cell_type": "code", "execution_count": 100, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ " precision recall f1-score support\n", "\n", " 0 0.71 0.86 0.77 14\n", " 1 0.90 0.78 0.84 23\n", "\n", " accuracy 0.81 37\n", " macro avg 0.80 0.82 0.81 37\n", "weighted avg 0.83 0.81 0.81 37\n", "\n" ] } ], "source": [ "y_pred = dt_clf_2d.predict(Xtest)\n", "#Выводим отчёт о метриках классификации\n", "print(metrics.classification_report(ytest, y_pred))" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.13" } }, "nbformat": 4, "nbformat_minor": 2 }