Edición de «Gradient boosting»

'''''Gradient boosting''''' o '''potenciación del gradiente,''' es una técnica de aprendizaje automático utilizado para el [[análisis de la regresión]] y para problemas de [[clasificación estadística]], el cual produce un modelo predictivo en forma de un conjunto de modelos de predicción débiles, típicamente [[Aprendizaje basado en árboles de decisión|árboles de decisión.]] Construye el modelo de forma escalonada como lo hacen otros métodos de [[boosting]], y los generaliza permitiendo la optimización arbitraria de una [[función de pérdida]] [[Función diferenciable|diferenciable]].

La idea de la [[potenciación]] del [[gradiente]] fue originada en la observación realizada por Leo Breiman<ref name="Breiman1997">Breiman, L. "[http://statistics.berkeley.edu/sites/default/files/tech-reports/486.pdf Arcing The Edge]" (June 1997)</ref> en donde el Boosting puede ser interpretado como un [[algoritmo]] de optimización en una función de coste adecuada. Posteriormente Jerome H. Friedman<ref name="Friedman1999a">Friedman, J. H. "[http://www-stat.stanford.edu/~jhf/ftp/trebst.pdf Greedy Function Approximation: A Gradient Boosting Machine.]" (February 1999)</ref><ref name="Friedman1999b">Friedman, J. H. "[https://statweb.stanford.edu/~jhf/ftp/stobst.pdf Stochastic Gradient Boosting.] {{Wayback|url=https://statweb.stanford.edu/~jhf/ftp/stobst.pdf |date=20140801033113 }}" (March 1999)</ref> desarrolló algoritmos de aumento de gradiente de regresión explícita, simultáneamente con la perspectiva más general de potenciación del gradiente funcional de Llew Mason, Jonathan Baxter, Peter Bartlett y Marcus Frean.<ref name="MasonBaxterBartlettFrean1999a">{{cite conference|last1=Mason|first1=L.|last2=Baxter|first2=J.|last3=Bartlett|first3=P. L.|last4=Frean|first4=Marcus|year=1999|title=Boosting Algorithms as Gradient Descent|booktitle=Advances in Neural Information Processing Systems 12|editor=S.A. Solla and T.K. Leen and K. Müller|publisher=MIT Press|pages=512–518|url=http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf}}</ref><ref name="MasonBaxterBartlettFrean1999b">{{Cita enciclopedia|apellido1=Mason|apellido2=Baxter|apellido3=Bartlett|apellido4=Frean|nombre1=L.|nombre2=J.|nombre3=P. L.|nombre4=Marcus|fecha=Domingo, 16 de mayo de 1999|título=Boosting Algorithms as Gradient Descent in Function Space|url=http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf|fechaacceso=29 de septiembre de 2017|urlarchivo=https://web.archive.org/web/20181222170928/http://maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf|fechaarchivo=22 de diciembre de 2018}}</ref> En sus últimos dos trabajos presentaron la visión abstracta de los algoritmos de potenciación como algoritmos iterativos de descenso de gradientes funcionales. Es decir, algoritmos que optimizan una ''función de coste'' sobre el espacio de función mediante la elección iterativa de una función (hipótesis débil) que apunta en la dirección del gradiente negativo. Esta visión de gradiente funcional de potenciación ha llevado al desarrollo de algoritmos de potenciación en muchas áreas del [[aprendizaje automático]] y estadísticas más allá de la regresión y la clasificación.

Una característica distintiva del Potenciación del Gradiente es su capacidad para manejar diferentes tipos de funciones de pérdida, lo que le permite ser adaptable a una variedad de problemas estadísticos y de aprendizaje automático. Además, la técnica emplea métodos como el "shrinkage" (reducción de la tasa de aprendizaje) y la potenciación estocástica para mejorar la precisión y prevenir el [[sobreajuste]].<ref>https://machinelearningmastery.com/gentle-introduction-gradient-boosting-algorithm-machine-learning/</ref>

== Uso ==
La potenciación del gradiente puede ser utilizado en el campo de [[aprendizaje de clasificación]]. Los motores de búsqueda de web comerciales [[Yahoo!|Yahoo]]<ref>Cossock, David and Zhang, Tong (2008). [http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf Statistical Analysis of Bayes Optimal Subset Ranking] {{Wayback|url=http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf |date=20100807162855 }}, page 14.</ref> y [[Yandex]]<ref name="snezhinsk">[http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 Yandex corporate blog entry about new ranking model "Snezhinsk"] {{Wayback|url=http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 |date=20120301165959 }} (in Russian)</ref> utilizan variantes de ''gradient boosting'' en sus motores de búsqueda.

== Véase también ==
* [[Random forest|Bosque aleatorio]]

== Referencias ==
{{listaref}}

{{Control de autoridades}}
[[Categoría:Análisis de la regresión]]
[[Categoría:Aprendizaje automático]]
[[Categoría:Algoritmos de clasificación]]