Scikit-Learn (sklearn) は、NumPy、SciPy、Matplotlib をベースに構築された、統計モデリングと伝統的な機械学習のための Python 標準オープンソースライブラリです。その最大の強みは、厳格に統一された 3 つのインターフェース設計パターンにあります:
- Estimator(推定器):
fit(X, y)を通じてデータからモデルのパラメータを学習します。 - Transformer(変換器):
transform(X)およびfit_transform(X)を通じて特徴量の前処理や射影を行います。 - Predictor(予測器):
predict(X)、predict_proba(X)、score(X, y)を通じて未知のサンプルに対する予測を行います。
🔗 関連チートシート: NumPy チートシート · Pandas チートシート · 教師あり学習アルゴリズム · データ分析手法 · Python チートシート
1. エンドツーエンドのクイックスタート例
以下の完結したスクリプトは、データセットのロード、層化分割、特徴量スケーリング、モデルの学習、および性能評価の一連の流れを示します:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, classification_report
# 1. データのロード
iris = load_iris()
X, y = iris.data, iris.target
# 2. 層化トレイン/テスト分割
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
# 3. 特徴量スケーリング(データリークを防ぐため学習セットのみで fit すること)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 4. 推定器の学習
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)
# 5. 予測と評価
y_pred = knn.predict(X_test_scaled)
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")
print(classification_report(y_test, y_pred, target_names=iris.target_names))
2. データの準備と分割
Scikit-Learn は 2 次元の数値構造を想定しています:形状が (n_samples, n_features) の特徴量行列 $X$ と、形状が (n_samples,) のターゲットベクトル $y$ です。入力データとしては、NumPy の ndarray、SciPy の疎行列(scipy.sparse)、Pandas の DataFrame/Series をサポートしています。
2.1 組み込みデータセットと人工データ生成
from sklearn import datasets
# ベースライン用の小型トイデータセット(Bunch オブジェクトを返却)
iris = datasets.load_iris() # 多クラス分類
digits = datasets.load_digits() # 8x8 手書き数字画像
diabetes = datasets.load_diabetes() # 回帰ベンチマーク
wine = datasets.load_wine() # 3クラスのワイン化学分析
# 実世界のベンチマークデータセット(ローカルキャッシュ)
housing = datasets.fetch_california_housing()
# アルゴリズム検証用の人工データセット生成
X, y = datasets.make_classification(
n_samples=1000, n_features=20, n_informative=15, n_classes=2, random_state=42
)
X_reg, y_reg = datasets.make_regression(n_samples=500, n_features=10, noise=0.1, random_state=42)
X_blob, y_blob = datasets.make_blobs(n_samples=300, centers=3, n_features=2, random_state=42)
2.2 データセットの分割 (train_test_split)
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y,
test_size=0.25, # テストデータの割合(デフォルト: 0.25)
random_state=42, # 再現性を確保するための固定シード
shuffle=True, # 分割前にサンプルをシャッフル
stratify=y # 分類タスクで推奨:クラス比率を維持
)
3. 特徴量エンジニアリングと前処理 (sklearn.preprocessing & sklearn.impute)
| 変換器 (Transformer) | 主な用途 | 数学的変換 / 処理ロジック | 主要パラメータ |
|---|---|---|---|
StandardScaler |
数値特徴量の Z スコア標準化 | $z = \frac{x - \mu}{\sigma}$(平均 0、分散 1) | with_mean=True, with_std=True |
MinMaxScaler |
特徴量を指定した閉区間にスケーリング | $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}} \cdot (\max - \min) + \min$ | feature_range=(0, 1) |
RobustScaler |
外れ値に頑健なスケーリング | 四分位範囲に基づくスケーリング: $x' = \frac{x - Q_2}{Q_3 - Q_1}$ | quantile_range=(25.0, 75.0) |
Normalizer |
サンプル単位(行ベクトル)の正規化 | 各サンプルの $L_1$、$L_2$、または最大ノルムを 1 にスケーリング | norm='l2' ('l1', 'max') |
Binarizer |
連続値の二値化(閾値処理) | $x > \text{threshold} \Rightarrow 1$、それ以外は $0$ | threshold=0.0 |
SimpleImputer |
欠損値の補完 | 平均値、中央値、最頻値、または定数で欠損値を置換 | missing_values=np.nan, strategy='mean' |
OneHotEncoder |
名義カテゴリ特徴量の One-Hot エンコーディング | カテゴリ変数を二値ダミー列に変換 | drop='first', handle_unknown='ignore' |
OrdinalEncoder |
順序カテゴリ特徴量の順序エンコーディング | カテゴリ変数を順序付き整数 $0, \dots, K-1$ に変換 | categories='auto', encoded_missing_value |
LabelEncoder |
目的変数 $y$ のラベルエンコーディング | 文字列ラベルを整数 $0 \dots C-1$ に変換 | 目的変数 $y$ 専用(特徴量 $X$ には絶対に使用しないこと) |
PolynomialFeatures |
高次項・交互作用項の生成 | 多項式特徴量 $[1, a, b, a^2, ab, b^2]$ を生成 | degree=2, include_bias=False |
3.1 前処理の実装コード例
import numpy as np
from sklearn.preprocessing import (
StandardScaler, MinMaxScaler, RobustScaler, Normalizer,
Binarizer, OneHotEncoder, OrdinalEncoder, LabelEncoder, PolynomialFeatures
)
from sklearn.impute import SimpleImputer
# 1. 数値標準化(テストデータには絶対に fit させないこと!)
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)
# 2. 欠損値の補完(中央値による補完)
imputer = SimpleImputer(missing_values=np.nan, strategy='median')
X_train_imp = imputer.fit_transform(X_train)
X_test_imp = imputer.transform(X_test)
# 3. カテゴリ列の One-Hot エンコーディング(未知のカテゴリを安全に処理)
ohe = OneHotEncoder(handle_unknown='ignore', sparse_output=False)
X_train_ohe = ohe.fit_transform(X_train_cat)
X_test_ohe = ohe.transform(X_test_cat)
# 4. 目的変数のラベルエンコーディング
le = LabelEncoder()
y_train_enc = le.fit_transform(y_train)
y_test_enc = le.transform(y_test)
# 5. 多項式特徴量の生成
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)
4. 代表的な推定器マスターインデックス
4.1 教師あり学習:分類タスク
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
# ロジスティック回帰(線形分類ベースライン)
clf_lr = LogisticRegression(C=1.0, max_iter=200, random_state=42)
# k近傍法 (KNN)
clf_knn = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2)
# サポートベクターマシン (RBF カーネル)
clf_svm = SVC(C=1.0, kernel='rbf', gamma='scale', probability=True, random_state=42)
# ナイーブベイズ (GaussianNB)
clf_gnb = GaussianNB()
# ランダムフォレスト (バギングアンサンブル)
clf_rf = RandomForestClassifier(n_estimators=100, max_depth=None, n_jobs=-1, random_state=42)
# ヒストグラム勾配ブースティング (LightGBM に匹敵する高速 GBDT)
clf_hgb = HistGradientBoostingClassifier(learning_rate=0.1, max_iter=100, random_state=42)
4.2 教師あり学習:回帰タスク
from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressor
# 通常の最小二乗線形回帰 (OLS)
reg_lr = LinearRegression()
# リッジ回帰 (L2 正則化:多重共線性の抑制)
reg_ridge = Ridge(alpha=1.0)
# ラッソ回帰 (L1 正則化:スパースな特徴量選択)
reg_lasso = Lasso(alpha=0.1)
# サポートベクター回帰 (SVR)
reg_svr = SVR(kernel='rbf', C=1.0, epsilon=0.1)
# ランダムフォレスト回帰
reg_rf = RandomForestRegressor(n_estimators=100, n_jobs=-1, random_state=42)
4.3 教師なし学習:クラスタリングと次元削減
from sklearn.cluster import KMeans, DBSCAN
from sklearn.decomposition import PCA
# K-Means クラスタリング
kmeans = KMeans(n_clusters=3, init='k-means++', n_init=10, random_state=42)
kmeans.fit(X)
cluster_labels = kmeans.labels_ # クラスタ割り当てラベル
cluster_centers = kmeans.cluster_centers_
# 密度ベース空間クラスタリング (DBSCAN:ノイズに強く任意形状に対応)
dbscan = DBSCAN(eps=0.5, min_samples=5)
db_labels = dbscan.fit_predict(X) # -1 は外れ値ノイズを示す
# 主成分分析 (PCA)
pca = PCA(n_components=0.95) # 累積寄与率 95% の主成分を保持
X_pca = pca.fit_transform(X)
print("保持された主成分数:", pca.n_components_)
print("寄与率:", pca.explained_variance_ratio_)
5. 統一 API 操作チートシート
| 操作カテゴリ | 代表的なメソッド | 対象オブジェクト | 動作セマンティクスと戻り値 |
|---|---|---|---|
| 学習 (Fit) | estimator.fit(X, y) |
すべての Estimator | 学習データからパラメータを推定し、self を返却 |
| 予測 (Predict) | predictor.predict(X) |
すべての Predictor | クラスラベルまたは連続値の予測値を生成 |
| 確率予測 (Probability) | predictor.predict_proba(X) |
分類器 | 事後確率の分布行列を出力 |
| 決定関数 (Decision) | predictor.decision_function(X) |
線形モデル / SVM | 分離超平面までのサンプルの符号付き距離 |
| 変換 (Transform) | transformer.transform(X) |
すべての Transformer | 学習済みパラメータを用いて入力特徴量を変換・射影 |
| 学習と変換 (Fit & Transform) | transformer.fit_transform(X) |
すべての Transformer | パラメータの学習と特徴量変換を 1 ステップで効率実行 |
| デフォルト評価値 | estimator.score(X, y) |
分類器 / 回帰器 | 分類では正解率(Accuracy)、回帰では決定係数($R^2$)を算出 |
6. 評価指標 (sklearn.metrics)
6.1 分類タスクの評価指標
from sklearn.metrics import (
accuracy_score, precision_score, recall_score, f1_score,
roc_auc_score, confusion_matrix, classification_report,
ConfusionMatrixDisplay
)
# 1. ハードラベル分類指標(多クラス分類では average を指定)
acc = accuracy_score(y_test, y_pred)
prec = precision_score(y_test, y_pred, average='macro')
rec = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')
# 2. 連続値ランキング指標(ROC-AUC には予測確率を渡す)
y_prob = clf.predict_proba(X_test)[:, 1] # 二値分類の正例確率
auc = roc_auc_score(y_test, y_prob)
# 3. 混同行列と詳細な分類レポート出力
cm = confusion_matrix(y_test, y_pred)
print(classification_report(y_test, y_pred))
# 4. 混同行列の可視化
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot()
6.2 回帰タスクの評価指標
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = mean_squared_error(y_test, y_pred, squared=False) # 平方根平均二乗誤差 (RMSE)
r2 = r2_score(y_test, y_pred) # 決定係数 R²
6.3 クラスタリングタスクの評価指標
from sklearn.metrics import (
adjusted_rand_score, homogeneity_score, v_measure_score, silhouette_score
)
# 外部評価(正解ラベルが存在する場合)
ari = adjusted_rand_score(y_true, cluster_labels) # 範囲: [-1, 1]、高いほど良好
homo = homogeneity_score(y_true, cluster_labels) # 範囲: [0, 1]
vm = v_measure_score(y_true, cluster_labels) # 均質性と完全性の調和平均
# 内部評価(幾何構造に基づく評価、正解ラベル不要)
sil = silhouette_score(X, cluster_labels) # 範囲: [-1, 1]、1に近いほど明確に分離
7. 交差検証とハイパーパラメータチューニング (sklearn.model_selection)
7.1 交差検証 (Cross-Validation)
from sklearn.model_selection import cross_val_score, cross_validate, StratifiedKFold
# 標準的な K 分割交差検証
scores = cross_val_score(clf, X, y, cv=5, scoring='accuracy')
print(f"5-Fold CV Accuracy: {scores.mean():.4f} (±{scores.std():.4f})")
# 層化 K 分割 (Stratified K-Fold) 生成器
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores_skf = cross_val_score(clf, X, y, cv=skf, scoring='f1_macro')
# 複数指標の同時評価
multi_scores = cross_validate(
clf, X, y, cv=5,
scoring=['accuracy', 'roc_auc'],
return_train_score=False
)
print("平均検証 AUC:", multi_scores['test_roc_auc'].mean())
7.2 グリッドサーチとランダムサーチ
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from scipy.stats import randint
# 1. 網羅的グリッドサーチ (GridSearchCV)
param_grid = {
'n_neighbors': [3, 5, 7, 11],
'weights': ['uniform', 'distance'],
'metric': ['euclidean', 'manhattan']
}
grid = GridSearchCV(
estimator=KNeighborsClassifier(),
param_grid=param_grid,
cv=5,
scoring='accuracy',
n_jobs=-1
)
grid.fit(X_train, y_train)
print("最良パラメータ:", grid.best_params_)
best_model = grid.best_estimator_
# 2. ランダムパラメータサーチ (RandomizedSearchCV: パラメータ探索空間が広い場合)
param_dist = {
'n_estimators': randint(50, 300),
'max_depth': [None, 5, 10, 20],
'min_samples_split': randint(2, 11)
}
rand_search = RandomizedSearchCV(
estimator=RandomForestClassifier(random_state=42),
param_distributions=param_dist,
n_iter=20, # ランダムに試行する候補数
cv=5,
scoring='accuracy',
random_state=42,
n_jobs=-1
)
rand_search.fit(X_train, y_train)
print("最良ランダムサーチパラメータ:", rand_search.best_params_)
8. 産業用ベストプラクティス: Pipeline と ColumnTransformer
8.1 なぜ Pipeline が必須なのか
分割や交差検証の前に、データセット全体に対してグローバルに特徴量スケーリングや欠損値補完を行うと、データリーク (Data Leakage) が発生します。検証フォールドの情報が学習統計量に混入し、オフライン評価は過度に楽観的になるものの、本番環境で精度が大幅に劣化する原因となります。
Pipeline は前処理変換器と推定器を不可分なアトミック単位としてバインドします。交差検証時にも、変換器は各学習フォールドのみで fit され、検証フォールドには自動的に transform のみが適用されます。
8.2 本番向け ColumnTransformer レシピ
実世界のテーブルデータには、連続値の数値列とカテゴリ変数が混在しています:
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestClassifier
# 1. 特徴量カラム名を明示的に分類
numeric_features = ['age', 'income', 'credit_score']
categorical_features = ['gender', 'occupation', 'city']
# 2. 数値特徴量サブパイプライン:中央値補完 -> 標準化スケーリング
numeric_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='median')),
('scaler', StandardScaler())
])
# 3. カテゴリ特徴量サブパイプライン:定数補完 -> One-Hot エンコーディング
categorical_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])
# 4. カラムを一元的な ColumnTransformer にバインド
preprocessor = ColumnTransformer(transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
])
# 5. エンドツーエンドの完全なモデルパイプラインを構築
full_pipeline = Pipeline(steps=[
('preprocessor', preprocessor),
('classifier', RandomForestClassifier(n_estimators=100, random_state=42))
])
# 6. アトミックな fit と推論(リークゼロ、安全なデプロイ)
full_pipeline.fit(X_train_df, y_train)
y_pred = full_pipeline.predict(X_test_df)
print("パイプラインテスト正解率:", full_pipeline.score(X_test_df, y_test))