Γρήγορη αναφορά

Scikit-Learn API & Ροή Εργασίας Μηχανικής Μάθησης Συνοπτικός Οδηγός

Οδηγός αναφοράς για το Scikit-Learn: ενοποιημένη αρχιτεκτονική API (Estimator, Transformer, Predictor), προετοιμασία δεδομένων, μηχανική χαρακτηριστικών, μοντέλα υπό επίβλεψη και χωρίς επίβλεψη, διασταυρούμενη επικύρωση, μετρικές αξιολόγησης και Pipelines χωρίς διαρροή δεδομένων.

· Δημοσιεύτηκε · Ενημερώθηκε

Το Scikit-Learn (sklearn) αποτελεί τη θεμελιώδη βιβλιοθήκη ανοιχτού κώδικα της Python για στατιστική μοντελοποίηση και παραδοσιακή μηχανική μάθηση, βασισμένη στα NumPy, SciPy και Matplotlib. Το μεγάλο της πλεονέκτημα βασίζεται σε ένα αυστηρά ενοποιημένο πρότυπο σχεδίασης τριών διεπαφών:

  • Estimator (Εκτιμητής): Μαθαίνει τις παραμέτρους του μοντέλου από τα δεδομένα μέσω της fit(X, y).
  • Transformer (Μετασχηματιστής): Προεπεξεργάζεται και μετασχηματίζει τα χαρακτηριστικά μέσω των transform(X) και fit_transform(X).
  • Predictor (Προγνώστης): Παράγει προβλέψεις σε νέα δείγματα μέσω των predict(X), predict_proba(X) και score(X, y).

🔗 Σχετικοί οδηγοί: NumPy Συνοπτικός Οδηγός · Pandas Συνοπτικός Οδηγός · Αλγόριθμοι μάθησης υπό επίβλεψη · Μέθοδοι ανάλυσης δεδομένων · Python Συνοπτικός Οδηγός


1. Ολοκληρωμένο παράδειγμα γρήγορης εκκίνησης

Το ακόλουθο αυτόνομο σενάριο παρουσιάζει τη φόρτωση δεδομένων, τον στρωματοποιημένο διαχωρισμό, την κλιμάκωση χαρακτηριστικών, την εκπαίδευση και την αξιολόγηση:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, classification_report

# 1. Φόρτωση συνόλου δεδομένων
iris = load_iris()
X, y = iris.data, iris.target

# 2. Στρωματοποιημένος διαχωρισμός εκπαίδευσης και δοκιμής
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

# 3. Κλιμάκωση χαρακτηριστικών (προσαρμογή ΜΟΝΟ στα δεδομένα εκπαίδευσης για αποφυγή διαρροής)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 4. Εκπαίδευση μοντέλου
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)

# 5. Πρόβλεψη και αξιολόγηση
y_pred = knn.predict(X_test_scaled)
print(f"Ακρίβεια: {accuracy_score(y_test, y_pred):.4f}")
print(classification_report(y_test, y_pred, target_names=iris.target_names))

2. Προετοιμασία και διαχωρισμός δεδομένων

Το Scikit-Learn απαιτεί δισδιάστατες αριθμητικές δομές: έναν πίνακα χαρακτηριστικών $X$ διαστάσεων (n_samples, n_features) και ένα διάνυσμα στόχου $y$ διαστάσεων (n_samples,). Υποστηρίζονται πίνακες NumPy ndarray, αραιοί πίνακες SciPy (scipy.sparse) και αντικείμενα DataFrame/Series του Pandas.

2.1 Ενσωματωμένα & Συνθετικά σύνολα δεδομένων

from sklearn import datasets

# Μικρά σύνολα δεδομένων αναφοράς (επιστρέφει αντικείμενο Bunch)
iris = datasets.load_iris()               # Ταξινόμηση πολλαπλών κλάσεων
digits = datasets.load_digits()           # Εικόνες χειρόγραφων ψηφίων 8x8
diabetes = datasets.load_diabetes()       # Σύνολο αναφοράς για παλινδρόμηση
wine = datasets.load_wine()               # Χημική ανάλυση οίνου σε 3 κλάσεις

# Πραγματικά σύνολα αναφοράς (αποθηκευμένα τοπικά)
housing = datasets.fetch_california_housing()

# Δημιουργία συνθετικών δεδομένων για δοκιμές αλγορίθμων
X, y = datasets.make_classification(
    n_samples=1000, n_features=20, n_informative=15, n_classes=2, random_state=42
)
X_reg, y_reg = datasets.make_regression(n_samples=500, n_features=10, noise=0.1, random_state=42)
X_blob, y_blob = datasets.make_blobs(n_samples=300, centers=3, n_features=2, random_state=42)

2.2 Διαχωρισμός συνόλου δεδομένων (train_test_split)

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.25,        # Ποσοστό συνόλου δοκιμής (προεπιλογή: 0.25)
    random_state=42,       # Σταθερός σπόρος για αναπαραγωγιμότητα
    shuffle=True,          # Ανακάτεμα δειγμάτων πριν τον διαχωρισμό
    stratify=y             # Συνιστάται στην ταξινόμηση: διατηρεί την αναλογία των κλάσεων
)

3. Μηχανική χαρακτηριστικών και προεπεξεργασία (sklearn.preprocessing & sklearn.impute)

Μετασχηματιστής Περίπτωση χρήσης Μαθηματικός μετασχηματισμός / Λογική Βασικές παράμετροι
StandardScaler Τυποποίηση Z-score αριθμητικών χαρακτηριστικών $z = \frac{x - \mu}{\sigma}$ (μέση τιμή 0, διασπορά 1) with_mean=True, with_std=True
MinMaxScaler Κλιμάκωση χαρακτηριστικών σε κλειστό διάστημα $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}} \cdot (\max - \min) + \min$ feature_range=(0, 1)
RobustScaler Κλιμάκωση ανθεκτική σε ακραίες τιμές (outliers) Κλιμάκωση με βάση το ενδοτεταρτημοριακό εύρος: $x' = \frac{x - Q_2}{Q_3 - Q_1}$ quantile_range=(25.0, 75.0)
Normalizer Κανονικοποίηση ανά γραμμή για κάθε δείγμα Κλιμακώνει κάθε δείγμα σε μοναδιαία νόρμα ($L_1$, $L_2$ ή Max) norm='l2' ('l1', 'max')
Binarizer Δυαδικοποίηση συνεχών τιμών με κατώφλι $x > \text{threshold} \Rightarrow 1$, διαφορετικά $0$ threshold=0.0
SimpleImputer Αντικατάσταση ελλειπουσών τιμών (imputation) Αντικαθιστά ελλείψεις με μέση τιμή, διάμεσο, επικρατούσα τιμή ή σταθερά missing_values=np.nan, strategy='mean'
OneHotEncoder Κωδικοποίηση One-Hot για ονομαστικές κατηγορίες Μετατρέπει κατηγορίες σε δυαδικές στήλες-δείκτες drop='first', handle_unknown='ignore'
OrdinalEncoder Διατακτική κωδικοποίηση για διατεταγμένες κατηγορίες Κωδικοποιεί κατηγορίες σε ακέραιους $0, \dots, K-1$ categories='auto', encoded_missing_value
LabelEncoder Κωδικοποίηση ετικετών για τη μεταβλητή στόχο $y$ Μετατρέπει ετικέτες κειμένου σε ακέραιους $0 \dots C-1$ ΜΟΝΟ για τη μεταβλητή στόχο $y$, ΠΟΤΕ για τα χαρακτηριστικά $X$
PolynomialFeatures Δημιουργία πολυωνυμικών όρων και αλληλεπιδράσεων Παράγει όρους ανώτερης τάξης $[1, a, b, a^2, ab, b^2]$ degree=2, include_bias=False

3.1 Παραδείγματα κώδικα προεπεξεργασίας

import numpy as np
from sklearn.preprocessing import (
    StandardScaler, MinMaxScaler, RobustScaler, Normalizer,
    Binarizer, OneHotEncoder, OrdinalEncoder, LabelEncoder, PolynomialFeatures
)
from sklearn.impute import SimpleImputer

# 1. Αριθμητική τυποποίηση (ποτέ μη χρησιμοποιείτε fit στα δεδομένα δοκιμής!)
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)

# 2. Αντικατάσταση ελλειπουσών τιμών (στρατηγική διαμέσου)
imputer = SimpleImputer(missing_values=np.nan, strategy='median')
X_train_imp = imputer.fit_transform(X_train)
X_test_imp = imputer.transform(X_test)

# 3. Κωδικοποίηση One-Hot (ασφαλής χειρισμός άγνωστων κατηγοριών)
ohe = OneHotEncoder(handle_unknown='ignore', sparse_output=False)
X_train_ohe = ohe.fit_transform(X_train_cat)
X_test_ohe = ohe.transform(X_test_cat)

# 4. Κωδικοποίηση μεταβλητής στόχου
le = LabelEncoder()
y_train_enc = le.fit_transform(y_train)
y_test_enc = le.transform(y_test)

# 5. Πολυωνυμική επέκταση χαρακτηριστικών
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

4. Κύριος κατάλογος βασικών εκτιμητών (Estimators)

4.1 Μάθηση υπό επίβλεψη: Ταξινόμηση

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier

# Λογιστική παλινδρόμηση (γραμμικό μοντέλο βάσης)
clf_lr = LogisticRegression(C=1.0, max_iter=200, random_state=42)

# K-Πλησιέστεροι γείτονες (KNN)
clf_knn = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2)

# Μηχανές διανυσμάτων υποστήριξης (RBF πυρήνας)
clf_svm = SVC(C=1.0, kernel='rbf', gamma='scale', probability=True, random_state=42)

# Gaussian Naive Bayes
clf_gnb = GaussianNB()

# Τυχαίο δάσος (σύνολο Bagging)
clf_rf = RandomForestClassifier(n_estimators=100, max_depth=None, n_jobs=-1, random_state=42)

# Gradient Boosting βάσει ιστογραμμάτων (ταχύτατο GBDT τύπου LightGBM)
clf_hgb = HistGradientBoostingClassifier(learning_rate=0.1, max_iter=100, random_state=42)

4.2 Μάθηση υπό επίβλεψη: Παλινδρόμηση

from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressor

# Γραμμική παλινδρόμηση ελαχίστων τετραγώνων (OLS)
reg_lr = LinearRegression()

# Παλινδρόμηση Ridge (L2 κανονικοποίηση κατά της πολυσυγγραμμικότητας)
reg_ridge = Ridge(alpha=1.0)

# Παλινδρόμηση Lasso (L1 κανονικοποίηση για επιλογή χαρακτηριστικών)
reg_lasso = Lasso(alpha=0.1)

# Παλινδρόμηση διανυσμάτων υποστήριξης (SVR)
reg_svr = SVR(kernel='rbf', C=1.0, epsilon=0.1)

# Παλινδρομητής τυχαίου δάσους
reg_rf = RandomForestRegressor(n_estimators=100, n_jobs=-1, random_state=42)

4.3 Μάθηση χωρίς επίβλεψη: Ομαδοποίηση & Μείωση διαστάσεων

from sklearn.cluster import KMeans, DBSCAN
from sklearn.decomposition import PCA

# Ομαδοποίηση K-Means
kmeans = KMeans(n_clusters=3, init='k-means++', n_init=10, random_state=42)
kmeans.fit(X)
cluster_labels = kmeans.labels_        # Αναθέσεις ομάδων
cluster_centers = kmeans.cluster_centers_

# Χωρική ομαδοποίηση βάσει πυκνότητας (DBSCAN: ανθεκτική σε θόρυβο)
dbscan = DBSCAN(eps=0.5, min_samples=5)
db_labels = dbscan.fit_predict(X)      # Το -1 υποδηλώνει σημεία θορύβου (outliers)

# Ανάλυση κύριων συνιστωσών (PCA): διατήρηση 95% της διακύμανσης
pca = PCA(n_components=0.95)
X_pca = pca.fit_transform(X)
print("Διατηρηθείσες συνιστώσες:", pca.n_components_)
print("Αναλογία εξηγούμενης διακύμανσης:", pca.explained_variance_ratio_)

5. Σύνοψη βασικών λειτουργιών ενοποιημένου API

Λειτουργία Μέθοδος Τύπος αντικειμένου Σημασιολογία & Επιστρεφόμενη τιμή
Εκπαίδευση (Fit) estimator.fit(X, y) Όλοι οι Estimators Εκτιμά παραμέτρους από τα δεδομένα εκπαίδευσης; επιστρέφει self
Πρόβλεψη (Predict) predictor.predict(X) Όλοι οι Predictors Παράγει διακριτές ετικέτες ή συνεχείς τιμές στόχου
Πιθανότητα predictor.predict_proba(X) Ταξινομητές Υπολογίζει πίνακα εκ των υστέρων κατανομής πιθανοτήτων
Απόσταση απόφασης predictor.decision_function(X) Γραμμικά μοντέλα / SVM Προσημασμένη απόσταση των δειγμάτων από το υπερεπίπεδο διαχωρισμού
Μετασχηματισμός transformer.transform(X) Όλοι οι Transformers Προβάλλει χαρακτηριστικά βάσει των μαθημένων παραμέτρων
Προσαρμογή & Μετασχηματισμός transformer.fit_transform(X) Όλοι οι Transformers Υπολογίζει παραμέτρους και μετασχηματίζει σε ένα βήμα
Προεπιλεγμένη βαθμολογία estimator.score(X, y) Ταξινομητές / Παλινδρομητές Ακρίβεια για ταξινόμηση; συντελεστής προσδιορισμού $R^2$ για παλινδρόμηση

6. Μετρικές αξιολόγησης (sklearn.metrics)

6.1 Μετρικές ταξινόμησης

from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    roc_auc_score, confusion_matrix, classification_report,
    ConfusionMatrixDisplay
)

# 1. Μετρικές διακριτών ετικετών (ορίστε average σε πολλαπλές κλάσεις)
acc = accuracy_score(y_test, y_pred)
prec = precision_score(y_test, y_pred, average='macro')
rec = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')

# 2. Μετρικές συνεχούς κατάταξης (το ROC-AUC απαιτεί πιθανότητες)
y_prob = clf.predict_proba(X_test)[:, 1]   # Πιθανότητες της θετικής κλάσης
auc = roc_auc_score(y_test, y_prob)

# 3. Πίνακας σύγχυσης και αναλυτική αναφορά ταξινόμησης
cm = confusion_matrix(y_test, y_pred)
print(classification_report(y_test, y_pred))

# 4. Γραφική απεικόνιση πίνακα σύγχυσης
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot()

6.2 Μετρικές παλινδρόμησης

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = mean_squared_error(y_test, y_pred, squared=False)  # Ρίζα μέσου τετραγωνικού σφάλματος (RMSE)
r2 = r2_score(y_test, y_pred)                            # Συντελεστής προσδιορισμού R²

6.3 Μετρικές ομαδοποίησης (Clustering)

from sklearn.metrics import (
    adjusted_rand_score, homogeneity_score, v_measure_score, silhouette_score
)

# Εξωτερική επικύρωση (όταν υπάρχουν πραγματικές ετικέτες)
ari = adjusted_rand_score(y_true, cluster_labels)       # Εύρος: [-1, 1], οι υψηλότερες τιμές είναι καλύτερες
homo = homogeneity_score(y_true, cluster_labels)        # Εύρος: [0, 1]
vm = v_measure_score(y_true, cluster_labels)           # Αρμονικός μέσος ομοιογένειας και πληρότητας

# Εσωτερική επικύρωση (γεωμετρική, χωρίς πραγματικές ετικέτες)
sil = silhouette_score(X, cluster_labels)              # Εύρος: [-1, 1], κοντά στο 1 υποδηλώνει σαφείς ομάδες

7. Διασταυρούμενη επικύρωση και ρύθμιση υπερπαραμέτρων (sklearn.model_selection)

7.1 Διασταυρούμενη επικύρωση (Cross-Validation)

from sklearn.model_selection import cross_val_score, cross_validate, StratifiedKFold

# Τυπική K-Fold διασταυρούμενη επικύρωση
scores = cross_val_score(clf, X, y, cv=5, scoring='accuracy')
print(f"Ακρίβεια 5-Fold CV: {scores.mean():.4f} (±{scores.std():.4f})")

# Στρωματοποιημένος παραγωγέας K-Fold
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores_skf = cross_val_score(clf, X, y, cv=skf, scoring='f1_macro')

# Ταυτόχρονη αξιολόγηση πολλαπλών μετρικών
multi_scores = cross_validate(
    clf, X, y, cv=5,
    scoring=['accuracy', 'roc_auc'],
    return_train_score=False
)
print("Μέσο AUC επικύρωσης:", multi_scores['test_roc_auc'].mean())

7.2 Αναζήτηση σε πλέγμα και τυχαία αναζήτηση

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from scipy.stats import randint

# 1. Εξαντλητική αναζήτηση σε πλέγμα (GridSearchCV)
param_grid = {
    'n_neighbors': [3, 5, 7, 11],
    'weights': ['uniform', 'distance'],
    'metric': ['euclidean', 'manhattan']
}
grid = GridSearchCV(
    estimator=KNeighborsClassifier(),
    param_grid=param_grid,
    cv=5,
    scoring='accuracy',
    n_jobs=-1
)
grid.fit(X_train, y_train)
print("Βέλτιστες παράμετροι:", grid.best_params_)
best_model = grid.best_estimator_

# 2. Τυχαία αναζήτηση παραμέτρων (για μεγάλους χώρους αναζήτησης)
param_dist = {
    'n_estimators': randint(50, 300),
    'max_depth': [None, 5, 10, 20],
    'min_samples_split': randint(2, 11)
}
rand_search = RandomizedSearchCV(
    estimator=RandomForestClassifier(random_state=42),
    param_distributions=param_dist,
    n_iter=20,             # Αριθμός τυχαίων συνδυασμών
    cv=5,
    scoring='accuracy',
    random_state=42,
    n_jobs=-1
)
rand_search.fit(X_train, y_train)
print("Βέλτιστες παράμετροι Random Search:", rand_search.best_params_)

8. Βέλτιστες πρακτικές παραγωγής: Pipeline και ColumnTransformer

8.1 Γιατί η χρήση Pipelines είναι υποχρεωτική

Η εφαρμογή κλιμάκωσης ή αντικατάστασης ελλείψεων καθολικά πριν τον διαχωρισμό προκαλεί Διαρροή Δεδομένων (Data Leakage): πληροφορίες από τα τμήματα δοκιμής εισέρχονται στην εκπαίδευση, οδηγώντας σε απατηλά αισιόδοξα αποτελέσματα που αποτυγχάνουν στην παραγωγή.

Το Pipeline ενώνει μετασχηματιστές και εκτιμητές σε μια ενιαία δομή χωρίς διαρροές. Κατά τη διασταυρούμενη επικύρωση, οι μετασχηματιστές προσαρμόζονται αυστηρά μόνο στα δεδομένα εκπαίδευσης κάθε τμήματος.

8.2 Πρότυπο παραγωγής με ColumnTransformer

Τα πραγματικά δεδομένα πινάκων περιλαμβάνουν συνεχή αριθμητικά χαρακτηριστικά και κατηγορικές μεταβλητές:

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestClassifier

# 1. Ρητός διαχωρισμός ονομάτων στηλών
numeric_features = ['age', 'income', 'credit_score']
categorical_features = ['gender', 'occupation', 'city']

# 2. Αριθμητικός υπο-αγωγός: αντικατάσταση με διάμεσο -> τυποποίηση
numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

# 3. Κατηγορικός υπο-αγωγός: αντικατάσταση με σταθερά -> κωδικοποίηση One-Hot
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])

# 4. Ενοποίηση στηλών σε ενιαίο ColumnTransformer
preprocessor = ColumnTransformer(transformers=[
    ('num', numeric_transformer, numeric_features),
    ('cat', categorical_transformer, categorical_features)
])

# 5. Σύνθεση πλήρους αγωγού μοντέλου
full_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier(n_estimators=100, random_state=42))
])

# 6. Ατομική εκπαίδευση και πρόβλεψη (μηδενική διαρροή, ασφαλής ανάπτυξη)
full_pipeline.fit(X_train_df, y_train)
y_pred = full_pipeline.predict(X_test_df)
print("Ακρίβεια δοκιμής Pipeline:", full_pipeline.score(X_test_df, y_test))

Σχετικά θέματα