Gradient Boosting

Idee

Gradient Boosting versucht sich durch mehrer Iterationen an den minimalen Fehler anzunähern. Das geschieht durch Anwendung der stepest descent Methode. Hierfür wird zu jedem Merkmalvektor ein Gradient gebildet, welchen der Algorithmus für das Training berücksichtigt. So nähert er sich durch viele Iterationen mehr und mehr dem Minimum. [1]

Algorithmus

Erklärung

Praktische Umsetzungen

Literatur

[1] Hastie T., Tibshirani R. and Friedman J. (2009): Elements of Statistical Learning - Data Mining, Inference, and Prediction; Springer