Το Scikit-Learn (sklearn) αποτελεί τη θεμελιώδη βιβλιοθήκη ανοιχτού κώδικα της Python για στατιστική μοντελοποίηση και παραδοσιακή μηχανική μάθηση, βασισμένη στα NumPy, SciPy και Matplotlib. Το μεγάλο της πλεονέκτημα βασίζεται σε ένα αυστηρά ενοποιημένο πρότυπο σχεδίασης τριών διεπαφών:
- Estimator (Εκτιμητής): Μαθαίνει τις παραμέτρους του μοντέλου από τα δεδομένα μέσω της
fit(X, y). - Transformer (Μετασχηματιστής): Προεπεξεργάζεται και μετασχηματίζει τα χαρακτηριστικά μέσω των
transform(X)καιfit_transform(X). - Predictor (Προγνώστης): Παράγει προβλέψεις σε νέα δείγματα μέσω των
predict(X),predict_proba(X)καιscore(X, y).
🔗 Σχετικοί οδηγοί: NumPy Συνοπτικός Οδηγός · Pandas Συνοπτικός Οδηγός · Αλγόριθμοι μάθησης υπό επίβλεψη · Μέθοδοι ανάλυσης δεδομένων · Python Συνοπτικός Οδηγός
1. Ολοκληρωμένο παράδειγμα γρήγορης εκκίνησης
Το ακόλουθο αυτόνομο σενάριο παρουσιάζει τη φόρτωση δεδομένων, τον στρωματοποιημένο διαχωρισμό, την κλιμάκωση χαρακτηριστικών, την εκπαίδευση και την αξιολόγηση:
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, classification_report
# 1. Φόρτωση συνόλου δεδομένων
iris = load_iris()
X, y = iris.data, iris.target
# 2. Στρωματοποιημένος διαχωρισμός εκπαίδευσης και δοκιμής
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
# 3. Κλιμάκωση χαρακτηριστικών (προσαρμογή ΜΟΝΟ στα δεδομένα εκπαίδευσης για αποφυγή διαρροής)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 4. Εκπαίδευση μοντέλου
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)
# 5. Πρόβλεψη και αξιολόγηση
y_pred = knn.predict(X_test_scaled)
print(f"Ακρίβεια: {accuracy_score(y_test, y_pred):.4f}")
print(classification_report(y_test, y_pred, target_names=iris.target_names))
2. Προετοιμασία και διαχωρισμός δεδομένων
Το Scikit-Learn απαιτεί δισδιάστατες αριθμητικές δομές: έναν πίνακα χαρακτηριστικών $X$ διαστάσεων (n_samples, n_features) και ένα διάνυσμα στόχου $y$ διαστάσεων (n_samples,). Υποστηρίζονται πίνακες NumPy ndarray, αραιοί πίνακες SciPy (scipy.sparse) και αντικείμενα DataFrame/Series του Pandas.
2.1 Ενσωματωμένα & Συνθετικά σύνολα δεδομένων
from sklearn import datasets
# Μικρά σύνολα δεδομένων αναφοράς (επιστρέφει αντικείμενο Bunch)
iris = datasets.load_iris() # Ταξινόμηση πολλαπλών κλάσεων
digits = datasets.load_digits() # Εικόνες χειρόγραφων ψηφίων 8x8
diabetes = datasets.load_diabetes() # Σύνολο αναφοράς για παλινδρόμηση
wine = datasets.load_wine() # Χημική ανάλυση οίνου σε 3 κλάσεις
# Πραγματικά σύνολα αναφοράς (αποθηκευμένα τοπικά)
housing = datasets.fetch_california_housing()
# Δημιουργία συνθετικών δεδομένων για δοκιμές αλγορίθμων
X, y = datasets.make_classification(
n_samples=1000, n_features=20, n_informative=15, n_classes=2, random_state=42
)
X_reg, y_reg = datasets.make_regression(n_samples=500, n_features=10, noise=0.1, random_state=42)
X_blob, y_blob = datasets.make_blobs(n_samples=300, centers=3, n_features=2, random_state=42)
2.2 Διαχωρισμός συνόλου δεδομένων (train_test_split)
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y,
test_size=0.25, # Ποσοστό συνόλου δοκιμής (προεπιλογή: 0.25)
random_state=42, # Σταθερός σπόρος για αναπαραγωγιμότητα
shuffle=True, # Ανακάτεμα δειγμάτων πριν τον διαχωρισμό
stratify=y # Συνιστάται στην ταξινόμηση: διατηρεί την αναλογία των κλάσεων
)
3. Μηχανική χαρακτηριστικών και προεπεξεργασία (sklearn.preprocessing & sklearn.impute)
| Μετασχηματιστής | Περίπτωση χρήσης | Μαθηματικός μετασχηματισμός / Λογική | Βασικές παράμετροι |
|---|---|---|---|
StandardScaler |
Τυποποίηση Z-score αριθμητικών χαρακτηριστικών | $z = \frac{x - \mu}{\sigma}$ (μέση τιμή 0, διασπορά 1) | with_mean=True, with_std=True |
MinMaxScaler |
Κλιμάκωση χαρακτηριστικών σε κλειστό διάστημα | $x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}} \cdot (\max - \min) + \min$ | feature_range=(0, 1) |
RobustScaler |
Κλιμάκωση ανθεκτική σε ακραίες τιμές (outliers) | Κλιμάκωση με βάση το ενδοτεταρτημοριακό εύρος: $x' = \frac{x - Q_2}{Q_3 - Q_1}$ | quantile_range=(25.0, 75.0) |
Normalizer |
Κανονικοποίηση ανά γραμμή για κάθε δείγμα | Κλιμακώνει κάθε δείγμα σε μοναδιαία νόρμα ($L_1$, $L_2$ ή Max) | norm='l2' ('l1', 'max') |
Binarizer |
Δυαδικοποίηση συνεχών τιμών με κατώφλι | $x > \text{threshold} \Rightarrow 1$, διαφορετικά $0$ | threshold=0.0 |
SimpleImputer |
Αντικατάσταση ελλειπουσών τιμών (imputation) | Αντικαθιστά ελλείψεις με μέση τιμή, διάμεσο, επικρατούσα τιμή ή σταθερά | missing_values=np.nan, strategy='mean' |
OneHotEncoder |
Κωδικοποίηση One-Hot για ονομαστικές κατηγορίες | Μετατρέπει κατηγορίες σε δυαδικές στήλες-δείκτες | drop='first', handle_unknown='ignore' |
OrdinalEncoder |
Διατακτική κωδικοποίηση για διατεταγμένες κατηγορίες | Κωδικοποιεί κατηγορίες σε ακέραιους $0, \dots, K-1$ | categories='auto', encoded_missing_value |
LabelEncoder |
Κωδικοποίηση ετικετών για τη μεταβλητή στόχο $y$ | Μετατρέπει ετικέτες κειμένου σε ακέραιους $0 \dots C-1$ | ΜΟΝΟ για τη μεταβλητή στόχο $y$, ΠΟΤΕ για τα χαρακτηριστικά $X$ |
PolynomialFeatures |
Δημιουργία πολυωνυμικών όρων και αλληλεπιδράσεων | Παράγει όρους ανώτερης τάξης $[1, a, b, a^2, ab, b^2]$ | degree=2, include_bias=False |
3.1 Παραδείγματα κώδικα προεπεξεργασίας
import numpy as np
from sklearn.preprocessing import (
StandardScaler, MinMaxScaler, RobustScaler, Normalizer,
Binarizer, OneHotEncoder, OrdinalEncoder, LabelEncoder, PolynomialFeatures
)
from sklearn.impute import SimpleImputer
# 1. Αριθμητική τυποποίηση (ποτέ μη χρησιμοποιείτε fit στα δεδομένα δοκιμής!)
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)
# 2. Αντικατάσταση ελλειπουσών τιμών (στρατηγική διαμέσου)
imputer = SimpleImputer(missing_values=np.nan, strategy='median')
X_train_imp = imputer.fit_transform(X_train)
X_test_imp = imputer.transform(X_test)
# 3. Κωδικοποίηση One-Hot (ασφαλής χειρισμός άγνωστων κατηγοριών)
ohe = OneHotEncoder(handle_unknown='ignore', sparse_output=False)
X_train_ohe = ohe.fit_transform(X_train_cat)
X_test_ohe = ohe.transform(X_test_cat)
# 4. Κωδικοποίηση μεταβλητής στόχου
le = LabelEncoder()
y_train_enc = le.fit_transform(y_train)
y_test_enc = le.transform(y_test)
# 5. Πολυωνυμική επέκταση χαρακτηριστικών
poly = PolynomialFeatures(degree=2, include_bias=False)
X_train_poly = poly.fit_transform(X_train)
4. Κύριος κατάλογος βασικών εκτιμητών (Estimators)
4.1 Μάθηση υπό επίβλεψη: Ταξινόμηση
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
# Λογιστική παλινδρόμηση (γραμμικό μοντέλο βάσης)
clf_lr = LogisticRegression(C=1.0, max_iter=200, random_state=42)
# K-Πλησιέστεροι γείτονες (KNN)
clf_knn = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2)
# Μηχανές διανυσμάτων υποστήριξης (RBF πυρήνας)
clf_svm = SVC(C=1.0, kernel='rbf', gamma='scale', probability=True, random_state=42)
# Gaussian Naive Bayes
clf_gnb = GaussianNB()
# Τυχαίο δάσος (σύνολο Bagging)
clf_rf = RandomForestClassifier(n_estimators=100, max_depth=None, n_jobs=-1, random_state=42)
# Gradient Boosting βάσει ιστογραμμάτων (ταχύτατο GBDT τύπου LightGBM)
clf_hgb = HistGradientBoostingClassifier(learning_rate=0.1, max_iter=100, random_state=42)
4.2 Μάθηση υπό επίβλεψη: Παλινδρόμηση
from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressor
# Γραμμική παλινδρόμηση ελαχίστων τετραγώνων (OLS)
reg_lr = LinearRegression()
# Παλινδρόμηση Ridge (L2 κανονικοποίηση κατά της πολυσυγγραμμικότητας)
reg_ridge = Ridge(alpha=1.0)
# Παλινδρόμηση Lasso (L1 κανονικοποίηση για επιλογή χαρακτηριστικών)
reg_lasso = Lasso(alpha=0.1)
# Παλινδρόμηση διανυσμάτων υποστήριξης (SVR)
reg_svr = SVR(kernel='rbf', C=1.0, epsilon=0.1)
# Παλινδρομητής τυχαίου δάσους
reg_rf = RandomForestRegressor(n_estimators=100, n_jobs=-1, random_state=42)
4.3 Μάθηση χωρίς επίβλεψη: Ομαδοποίηση & Μείωση διαστάσεων
from sklearn.cluster import KMeans, DBSCAN
from sklearn.decomposition import PCA
# Ομαδοποίηση K-Means
kmeans = KMeans(n_clusters=3, init='k-means++', n_init=10, random_state=42)
kmeans.fit(X)
cluster_labels = kmeans.labels_ # Αναθέσεις ομάδων
cluster_centers = kmeans.cluster_centers_
# Χωρική ομαδοποίηση βάσει πυκνότητας (DBSCAN: ανθεκτική σε θόρυβο)
dbscan = DBSCAN(eps=0.5, min_samples=5)
db_labels = dbscan.fit_predict(X) # Το -1 υποδηλώνει σημεία θορύβου (outliers)
# Ανάλυση κύριων συνιστωσών (PCA): διατήρηση 95% της διακύμανσης
pca = PCA(n_components=0.95)
X_pca = pca.fit_transform(X)
print("Διατηρηθείσες συνιστώσες:", pca.n_components_)
print("Αναλογία εξηγούμενης διακύμανσης:", pca.explained_variance_ratio_)
5. Σύνοψη βασικών λειτουργιών ενοποιημένου API
| Λειτουργία | Μέθοδος | Τύπος αντικειμένου | Σημασιολογία & Επιστρεφόμενη τιμή |
|---|---|---|---|
| Εκπαίδευση (Fit) | estimator.fit(X, y) |
Όλοι οι Estimators | Εκτιμά παραμέτρους από τα δεδομένα εκπαίδευσης; επιστρέφει self |
| Πρόβλεψη (Predict) | predictor.predict(X) |
Όλοι οι Predictors | Παράγει διακριτές ετικέτες ή συνεχείς τιμές στόχου |
| Πιθανότητα | predictor.predict_proba(X) |
Ταξινομητές | Υπολογίζει πίνακα εκ των υστέρων κατανομής πιθανοτήτων |
| Απόσταση απόφασης | predictor.decision_function(X) |
Γραμμικά μοντέλα / SVM | Προσημασμένη απόσταση των δειγμάτων από το υπερεπίπεδο διαχωρισμού |
| Μετασχηματισμός | transformer.transform(X) |
Όλοι οι Transformers | Προβάλλει χαρακτηριστικά βάσει των μαθημένων παραμέτρων |
| Προσαρμογή & Μετασχηματισμός | transformer.fit_transform(X) |
Όλοι οι Transformers | Υπολογίζει παραμέτρους και μετασχηματίζει σε ένα βήμα |
| Προεπιλεγμένη βαθμολογία | estimator.score(X, y) |
Ταξινομητές / Παλινδρομητές | Ακρίβεια για ταξινόμηση; συντελεστής προσδιορισμού $R^2$ για παλινδρόμηση |
6. Μετρικές αξιολόγησης (sklearn.metrics)
6.1 Μετρικές ταξινόμησης
from sklearn.metrics import (
accuracy_score, precision_score, recall_score, f1_score,
roc_auc_score, confusion_matrix, classification_report,
ConfusionMatrixDisplay
)
# 1. Μετρικές διακριτών ετικετών (ορίστε average σε πολλαπλές κλάσεις)
acc = accuracy_score(y_test, y_pred)
prec = precision_score(y_test, y_pred, average='macro')
rec = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')
# 2. Μετρικές συνεχούς κατάταξης (το ROC-AUC απαιτεί πιθανότητες)
y_prob = clf.predict_proba(X_test)[:, 1] # Πιθανότητες της θετικής κλάσης
auc = roc_auc_score(y_test, y_prob)
# 3. Πίνακας σύγχυσης και αναλυτική αναφορά ταξινόμησης
cm = confusion_matrix(y_test, y_pred)
print(classification_report(y_test, y_pred))
# 4. Γραφική απεικόνιση πίνακα σύγχυσης
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot()
6.2 Μετρικές παλινδρόμησης
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = mean_squared_error(y_test, y_pred, squared=False) # Ρίζα μέσου τετραγωνικού σφάλματος (RMSE)
r2 = r2_score(y_test, y_pred) # Συντελεστής προσδιορισμού R²
6.3 Μετρικές ομαδοποίησης (Clustering)
from sklearn.metrics import (
adjusted_rand_score, homogeneity_score, v_measure_score, silhouette_score
)
# Εξωτερική επικύρωση (όταν υπάρχουν πραγματικές ετικέτες)
ari = adjusted_rand_score(y_true, cluster_labels) # Εύρος: [-1, 1], οι υψηλότερες τιμές είναι καλύτερες
homo = homogeneity_score(y_true, cluster_labels) # Εύρος: [0, 1]
vm = v_measure_score(y_true, cluster_labels) # Αρμονικός μέσος ομοιογένειας και πληρότητας
# Εσωτερική επικύρωση (γεωμετρική, χωρίς πραγματικές ετικέτες)
sil = silhouette_score(X, cluster_labels) # Εύρος: [-1, 1], κοντά στο 1 υποδηλώνει σαφείς ομάδες
7. Διασταυρούμενη επικύρωση και ρύθμιση υπερπαραμέτρων (sklearn.model_selection)
7.1 Διασταυρούμενη επικύρωση (Cross-Validation)
from sklearn.model_selection import cross_val_score, cross_validate, StratifiedKFold
# Τυπική K-Fold διασταυρούμενη επικύρωση
scores = cross_val_score(clf, X, y, cv=5, scoring='accuracy')
print(f"Ακρίβεια 5-Fold CV: {scores.mean():.4f} (±{scores.std():.4f})")
# Στρωματοποιημένος παραγωγέας K-Fold
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores_skf = cross_val_score(clf, X, y, cv=skf, scoring='f1_macro')
# Ταυτόχρονη αξιολόγηση πολλαπλών μετρικών
multi_scores = cross_validate(
clf, X, y, cv=5,
scoring=['accuracy', 'roc_auc'],
return_train_score=False
)
print("Μέσο AUC επικύρωσης:", multi_scores['test_roc_auc'].mean())
7.2 Αναζήτηση σε πλέγμα και τυχαία αναζήτηση
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from scipy.stats import randint
# 1. Εξαντλητική αναζήτηση σε πλέγμα (GridSearchCV)
param_grid = {
'n_neighbors': [3, 5, 7, 11],
'weights': ['uniform', 'distance'],
'metric': ['euclidean', 'manhattan']
}
grid = GridSearchCV(
estimator=KNeighborsClassifier(),
param_grid=param_grid,
cv=5,
scoring='accuracy',
n_jobs=-1
)
grid.fit(X_train, y_train)
print("Βέλτιστες παράμετροι:", grid.best_params_)
best_model = grid.best_estimator_
# 2. Τυχαία αναζήτηση παραμέτρων (για μεγάλους χώρους αναζήτησης)
param_dist = {
'n_estimators': randint(50, 300),
'max_depth': [None, 5, 10, 20],
'min_samples_split': randint(2, 11)
}
rand_search = RandomizedSearchCV(
estimator=RandomForestClassifier(random_state=42),
param_distributions=param_dist,
n_iter=20, # Αριθμός τυχαίων συνδυασμών
cv=5,
scoring='accuracy',
random_state=42,
n_jobs=-1
)
rand_search.fit(X_train, y_train)
print("Βέλτιστες παράμετροι Random Search:", rand_search.best_params_)
8. Βέλτιστες πρακτικές παραγωγής: Pipeline και ColumnTransformer
8.1 Γιατί η χρήση Pipelines είναι υποχρεωτική
Η εφαρμογή κλιμάκωσης ή αντικατάστασης ελλείψεων καθολικά πριν τον διαχωρισμό προκαλεί Διαρροή Δεδομένων (Data Leakage): πληροφορίες από τα τμήματα δοκιμής εισέρχονται στην εκπαίδευση, οδηγώντας σε απατηλά αισιόδοξα αποτελέσματα που αποτυγχάνουν στην παραγωγή.
Το Pipeline ενώνει μετασχηματιστές και εκτιμητές σε μια ενιαία δομή χωρίς διαρροές. Κατά τη διασταυρούμενη επικύρωση, οι μετασχηματιστές προσαρμόζονται αυστηρά μόνο στα δεδομένα εκπαίδευσης κάθε τμήματος.
8.2 Πρότυπο παραγωγής με ColumnTransformer
Τα πραγματικά δεδομένα πινάκων περιλαμβάνουν συνεχή αριθμητικά χαρακτηριστικά και κατηγορικές μεταβλητές:
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import RandomForestClassifier
# 1. Ρητός διαχωρισμός ονομάτων στηλών
numeric_features = ['age', 'income', 'credit_score']
categorical_features = ['gender', 'occupation', 'city']
# 2. Αριθμητικός υπο-αγωγός: αντικατάσταση με διάμεσο -> τυποποίηση
numeric_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='median')),
('scaler', StandardScaler())
])
# 3. Κατηγορικός υπο-αγωγός: αντικατάσταση με σταθερά -> κωδικοποίηση One-Hot
categorical_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))
])
# 4. Ενοποίηση στηλών σε ενιαίο ColumnTransformer
preprocessor = ColumnTransformer(transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
])
# 5. Σύνθεση πλήρους αγωγού μοντέλου
full_pipeline = Pipeline(steps=[
('preprocessor', preprocessor),
('classifier', RandomForestClassifier(n_estimators=100, random_state=42))
])
# 6. Ατομική εκπαίδευση και πρόβλεψη (μηδενική διαρροή, ασφαλής ανάπτυξη)
full_pipeline.fit(X_train_df, y_train)
y_pred = full_pipeline.predict(X_test_df)
print("Ακρίβεια δοκιμής Pipeline:", full_pipeline.score(X_test_df, y_test))