Краткий справочник

Шпаргалка по API Scikit-Learn и рабочим процессам машинного обучения

Практическое справочное руководство по Scikit-Learn: единая архитектура API (Estimator, Transformer, Predictor), подготовка данных, инженерия признаков, модели обучения с учителем и без, кросс-валидация, метрики оценки и пайплайны без утечки данных.

· Опубликовано · Обновлено

Scikit-Learn (sklearn) — это фундаментальная библиотека с открытым исходным кодом на Python для статистического моделирования и классического машинного обучения, построенная на базе NumPy, SciPy и Matplotlib. Ее главное архитектурное преимущество — строго унифицированный паттерн проектирования из трех интерфейсов:

  • Estimator (Оценщик): Обучает параметры модели на данных с помощью метода fit(X, y).
  • Transformer (Преобразователь): Предобрабатывает и преобразует признаки через transform(X) и fit_transform(X).
  • Predictor (Предиктор): Формирует прогнозы для новых выборок через predict(X), predict_proba(X) и score(X, y).

🔗 Связанные шпаргалки: Шпаргалка по NumPy · Шпаргалка по Pandas · Алгоритмы обучения с учителем · Методы анализа данных · Шпаргалка по Python


1. Сквозной практический пример

Следующий самодостаточный скрипт демонстрирует загрузку датасета, стратифицированное разбиение, масштабирование признаков, обучение и оценку качества модели:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, classification_report

# 1. Загрузка данных
iris = load_iris()
X, y = iris.data, iris.target

# 2. Стратифицированное разбиение на обучение и тест
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

# 3. Масштабирование признаков (обучать ТОЛЬКО на train, чтобы избежать утечки данных)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 4. Обучение модели
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)

# 5. Прогноз и оценка точности
y_pred = knn.predict(X_test_scaled)
print(f"Точность: {accuracy_score(y_test, y_pred):.4f}")
print(classification_report(y_test, y_pred, target_names=iris.target_names))

2. Подготовка и разбиение данных

Scikit-Learn ожидает двумерные числовые структуры: матрицу признаков $X$ формы (n_samples, n_features) и вектор целевых значений $y$ формы (n_samples,). Поддерживаются массивы NumPy ndarray, разреженные матрицы SciPy (scipy.sparse) и DataFrame/Series из Pandas.

2.1 Встроенные и синтетические наборы данных

from sklearn import datasets

# Небольшие демонстрационные датасеты (возвращают объект Bunch)
iris = datasets.load_iris()               # Многоклассовая классификация
digits = datasets.load_digits()           # Изображения рукописных цифр 8x8
diabetes = datasets.load_diabetes()       # Эталонный датасет для регрессии
wine = datasets.load_wine()               # Химический анализ вин 3 классов

# Реальные эталонные датасеты (кэшируются локально)
housing = datasets.fetch_california_housing()

# Генерация синтетических данных для тестирования алгоритмов
X, y = datasets.make_classification(
    n_samples=1000, n_features=20, n_informative=15, n_classes=2, random_state=42
)
X_reg, y_reg = datasets.make_regression(n_samples=500, n_features=10, noise=0.1, random_state=42)
X_blob, y_blob = datasets.make_blobs(n_samples=300, centers=3, n_features=2, random_state=42)

2.2 Разбиение датасета (train_test_split)

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.25,        # Доля тестовой выборки (по умолчанию: 0.25)
    random_state=42,       # Фиксированный seed для воспроизводимости
    shuffle=True,          # Перемешивание перед разбиением
    stratify=y             # Настоятельно рекомендуется для классификации: сохраняет пропорции классов
)

3. Инженерия признаков и предобработка (sklearn.preprocessing & sklearn.impute)

Трансформер Сценарий применения Математическое преобразование / Логика Ключевые параметры
StandardScaler Z-масштабирование (стандартизация) числовых признаков $z = \frac{x - \mu}{\sigma}$ (нулевое среднее, единичная дисперсия) with_mean=True, with_std=True
MinMaxScaler Масштабирование признаков в фиксированный диапазон $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}} \cdot (\max - \min) + \min$ feature_range=(0, 1)
RobustScaler Масштабирование, устойчивое к выбросам Масштабирование по интерквартильному размаху: $x' = \frac{x - Q_2}{Q_3 - Q_1}$ quantile_range=(25.0, 75.0)
Normalizer Построчная нормализация каждого отдельного образца Нормализует каждый образец к единичной норме ($L_1$, $L_2$ или Max) norm='l2' ('l1', 'max')
Binarizer Пороговая бинаризация непрерывных значений $x > \text{threshold} \Rightarrow 1$, иначе $0$ threshold=0.0
SimpleImputer Заполнение пропущенных значений (импутация) Заменяет пропуски средним, медианой, модой или константой missing_values=np.nan, strategy='mean'
OneHotEncoder One-Hot кодирование номинальных категориальных признаков Преобразует категории в бинарные столбцы-индикаторы drop='first', handle_unknown='ignore'
OrdinalEncoder Порядковое кодирование упорядоченных категорий Кодирует категории упорядоченными целыми числами $0, \dots, K-1$ categories='auto', encoded_missing_value
LabelEncoder Кодирование меток целевой переменной $y$ Преобразует строковые метки в целые числа $0 \dots C-1$ ТОЛЬКО для целевой переменной $y$, НИ В КОЕМ СЛУЧАЕ не для признаков $X$
PolynomialFeatures Генерация полиномиальных признаков и взаимодействий Генерирует полиномы $[1, a, b, a^2, ab, b^2]$ degree=2, include_bias=False

3.1 Примеры кода предобработки данных

import numpy as np
from sklearn.preprocessing import (
    StandardScaler, MinMaxScaler, RobustScaler, Normalizer,
    Binarizer, OneHotEncoder, OrdinalEncoder, LabelEncoder, PolynomialFeatures
)
from sklearn.impute import SimpleImputer

# 1. Стандартизация (ни в коем случае не вызывайте fit на тестовых данных!)
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)

# 2. Заполнение пропусков (медианная стратегия)
imputer = SimpleImputer(missing_values=np.nan, strategy='median')
X_train_imp = imputer.fit_transform(X_train)
X_test_imp = imputer.transform(X_test)

# 3. One-Hot кодирование (безопасно обрабатывает новые категории в тесте)
ohe = OneHotEncoder(handle_unknown='ignore', sparse_output=False)
X_train_ohe = ohe.fit_transform(X_train_cat)
X_test_ohe = ohe.transform(X_test_cat)

# 4. Кодирование меток целевой переменной
le = LabelEncoder()
y_train_enc = le.fit_transform(y_train)
y_test_enc = le.transform(y_test)

# 5. Полиномиальное расширение признаков
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

4. Главный каталог популярных моделей

4.1 Обучение с учителем: Классификация

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier

# Логистическая регрессия (линейный базовый классификатор)
clf_lr = LogisticRegression(C=1.0, max_iter=200, random_state=42)

# Метод k ближайших соседей (KNN)
clf_knn = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2)

# Метод опорных векторов (RBF-ядро)
clf_svm = SVC(C=1.0, kernel='rbf', gamma='scale', probability=True, random_state=42)

# Гауссовский наивный байесовский классификатор
clf_gnb = GaussianNB()

# Случайный лес (бэггинг-ансамбль)
clf_rf = RandomForestClassifier(n_estimators=100, max_depth=None, n_jobs=-1, random_state=42)

# Градиентный бустинг на основе гистограмм (быстрый GBDT аналогично LightGBM)
clf_hgb = HistGradientBoostingClassifier(learning_rate=0.1, max_iter=100, random_state=42)

4.2 Обучение с учителем: Регрессия

from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressor

# Обычный метод наименьших квадратов (линейная регрессия)
reg_lr = LinearRegression()

# Гребневая регрессия (Ridge, L2-регуляризация от мультиколлинеарности)
reg_ridge = Ridge(alpha=1.0)

# Регрессия Lasso (L1-регуляризация для отбора признаков)
reg_lasso = Lasso(alpha=0.1)

# Регрессия на опорных векторах (SVR)
reg_svr = SVR(kernel='rbf', C=1.0, epsilon=0.1)

# Регрессор случайного леса
reg_rf = RandomForestRegressor(n_estimators=100, n_jobs=-1, random_state=42)

4.3 Обучение без учителя: Кластеризация и снижение размерности

from sklearn.cluster import KMeans, DBSCAN
from sklearn.decomposition import PCA

# Кластеризация K-Means
kmeans = KMeans(n_clusters=3, init='k-means++', n_init=10, random_state=42)
kmeans.fit(X)
cluster_labels = kmeans.labels_        # Метки назначенных кластеров
cluster_centers = kmeans.cluster_centers_

# Пространственная кластеризация DBSCAN (устойчива к шуму)
dbscan = DBSCAN(eps=0.5, min_samples=5)
db_labels = dbscan.fit_predict(X)      # -1 обозначает шумовые выбросы

# Метод главных компонент (PCA): сохранение 95% дисперсии
pca = PCA(n_components=0.95)
X_pca = pca.fit_transform(X)
print("Число сохраненных компонент:", pca.n_components_)
print("Доля объясненной дисперсии:", pca.explained_variance_ratio_)

5. Сводка стандартных операций унифицированного API

Операция Стандартный метод Тип объекта Семантика и возвращаемое значение
Обучить (Fit) estimator.fit(X, y) Все Estimator Оценивает параметры на обучающих данных; возвращает self
Спрогнозировать predictor.predict(X) Все Predictor Формирует метки классов или непрерывные значения
Вероятность predictor.predict_proba(X) Классификаторы Возвращает матрицу апостериорных вероятностей классов
Решающая граница predictor.decision_function(X) Линейные модели / SVM Расстояние со знаком от образцов до разделяющей гиперплоскости
Преобразовать transformer.transform(X) Все Transformer Проецирует признаки на основе вычисленных параметров
Обучить и преобразовать transformer.fit_transform(X) Все Transformer Вычисляет параметры и трансформирует за один шаг
Базовая оценка estimator.score(X, y) Классификаторы / Регрессоры Accuracy для классификации; коэффициент детерминации $R^2$ для регрессии

6. Метрики оценки качества (sklearn.metrics)

6.1 Метрики классификации

from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    roc_auc_score, confusion_matrix, classification_report,
    ConfusionMatrixDisplay
)

# 1. Метрики дискретных меток (укажите average для многоклассовых задач)
acc = accuracy_score(y_test, y_pred)
prec = precision_score(y_test, y_pred, average='macro')
rec = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')

# 2. Метрики ранжирования (ROC-AUC требует спрогнозированных вероятностей)
y_prob = clf.predict_proba(X_test)[:, 1]   # Вероятности положительного класса
auc = roc_auc_score(y_test, y_prob)

# 3. Матрица ошибок и подробный текстовый отчет
cm = confusion_matrix(y_test, y_pred)
print(classification_report(y_test, y_pred))

# 4. Графическое отображение матрицы ошибок
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot()

6.2 Метрики регрессии

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = mean_squared_error(y_test, y_pred, squared=False)  # Корень из среднеквадратичной ошибки (RMSE)
r2 = r2_score(y_test, y_pred)                            # Коэффициент детерминации R²

6.3 Метрики кластеризации

from sklearn.metrics import (
    adjusted_rand_score, homogeneity_score, v_measure_score, silhouette_score
)

# Внешняя валидация (при наличии истинных меток)
ari = adjusted_rand_score(y_true, cluster_labels)       # Диапазон: [-1, 1], чем выше, тем лучше
homo = homogeneity_score(y_true, cluster_labels)        # Диапазон: [0, 1]
vm = v_measure_score(y_true, cluster_labels)           # Среднее гармоническое однородности и полноты

# Внутренняя валидация (геометрическая, без истинных меток)
sil = silhouette_score(X, cluster_labels)              # Диапазон: [-1, 1], близко к 1 указывает на четкие кластеры

7. Кросс-валидация и подбор гиперпараметров (sklearn.model_selection)

7.1 Кросс-валидация (Cross-Validation)

from sklearn.model_selection import cross_val_score, cross_validate, StratifiedKFold

# Стандартная K-Fold кросс-валидация
scores = cross_val_score(clf, X, y, cv=5, scoring='accuracy')
print(f"5-Fold CV Точность: {scores.mean():.4f} (±{scores.std():.4f})")

# Генератор стратифицированных фолдов (Stratified K-Fold)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores_skf = cross_val_score(clf, X, y, cv=skf, scoring='f1_macro')

# Одновременная оценка по нескольким метрикам
multi_scores = cross_validate(
    clf, X, y, cv=5,
    scoring=['accuracy', 'roc_auc'],
    return_train_score=False
)
print("Средний валидационный AUC:", multi_scores['test_roc_auc'].mean())

7.2 Поиск по сетке и случайный поиск

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from scipy.stats import randint

# 1. Полный перебор по сетке (GridSearchCV)
param_grid = {
    'n_neighbors': [3, 5, 7, 11],
    'weights': ['uniform', 'distance'],
    'metric': ['euclidean', 'manhattan']
}
grid = GridSearchCV(
    estimator=KNeighborsClassifier(),
    param_grid=param_grid,
    cv=5,
    scoring='accuracy',
    n_jobs=-1
)
grid.fit(X_train, y_train)
print("Лучшие параметры:", grid.best_params_)
best_model = grid.best_estimator_

# 2. Случайный поиск гиперпараметров (для обширных пространств параметров)
param_dist = {
    'n_estimators': randint(50, 300),
    'max_depth': [None, 5, 10, 20],
    'min_samples_split': randint(2, 11)
}
rand_search = RandomizedSearchCV(
    estimator=RandomForestClassifier(random_state=42),
    param_distributions=param_dist,
    n_iter=20,             # Количество случайных комбинаций параметров
    cv=5,
    scoring='accuracy',
    random_state=42,
    n_jobs=-1
)
rand_search.fit(X_train, y_train)
print("Лучшие параметры Random Search:", rand_search.best_params_)

8. Лучшие инженерные практики: Pipeline и ColumnTransformer

8.1 Почему конвейеры (Pipeline) обязательны

Глобальное масштабирование или заполнение пропусков до разбиения выборки приводит к утечке данных (Data Leakage): статистика валидационных фолдов проникает в обучающие данные, завышая метрики и приводя к деградации модели в продакшене.

Pipeline объединяет этапы предобработки и оценки в единую неделимую структуру. При кросс-валидации трансформеры обучаются строго на обучающих фолдах и только применяются к проверочным.

8.2 Продакшен-шаблон с ColumnTransformer

Реальные табличные данные объединяют непрерывные числовые столбцы и категориальные признаки:

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestClassifier

# 1. Явное разделение имен признаков
numeric_features = ['age', 'income', 'credit_score']
categorical_features = ['gender', 'occupation', 'city']

# 2. Числовой подконвейер: заполнение медианой -> стандартизация
numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

# 3. Категориальный подконвейер: заполнение константой -> One-Hot кодирование
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])

# 4. Объединение признаков в единый ColumnTransformer
preprocessor = ColumnTransformer(transformers=[
    ('num', numeric_transformer, numeric_features),
    ('cat', categorical_transformer, categorical_features)
])

# 5. Сборка полного конвейера модели
full_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier(n_estimators=100, random_state=42))
])

# 6. Атомарное обучение и прогноз (ноль утечек, надежное развертывание)
full_pipeline.fit(X_train_df, y_train)
y_pred = full_pipeline.predict(X_test_df)
print("Точность конвейера на тестовой выборке:", full_pipeline.score(X_test_df, y_test))

Связанные темы