Adaboost - XGboost

AdaBoost :

from sklearn.ensemble import AdaBoostClassifier
ac = AdaBoostClassifier()
ac.fit(X, y)
y2 = ac.predict(X2)

ac.score(X2, y2) : donne l'accuracy de la prédiction faite avec X2 par rapport à la réalité y2 (équivalent à accuracy_score(ac.predict(X2), y2)
les principaux paramètres sont :
- n_estimators : le nombre d'arbres à utiliser (par défaut 50)
- learning_rate : règle la contribution de chaque classifieur élémentaire. Par défaut, 1.
ac.predict_proba(X2) : donne une array 2 x n (si 2 classes et n individus qui donne pour chaque classe sa probabilité.
ac.predict_log_proba(X2) : la même chose que predict_proba, mais en donnant le log (à base e) de la probabilité.

classifier XGBoost (interface scikit-learn du package xgboost) :

on construit un classifier avec différents paramètres : clf = XGBClassifier(objective = 'binary:logistic', n_estimators = 3, max_depth = 4, learning_rate = 0.1)
puis, fitting sur les données de training : clf.fit(Xtrain, yTrain).
clf.get_params() : donne le dictionnaire des paramètres utilisés.
Paramètres par défaut :
- n_estimators : 100
- learning_rate : 0.3
- gamma : 0
- max_depth : 6
- reg_lambda : 1

programmer en python, tutoriel python, graphes en python, Aymeric Duclert