Edición de «Backtesting»

'''Backtesting''' es un término que se usa en modelado para referirse a probar un modelo predictivo utilizando datos históricos. El backtesting es un tipo de retrodicción y un tipo especial de [[validación cruzada]] aplicada a períodos de tiempo anteriores.

== Análisis financiero ==
En una estrategia comercial, una estrategia de inversión o un modelo de riesgo, el backtesting busca estimar el desempeño de una estrategia o modelo si se hubiera empleado durante un período anterior. Esto requiere simular condiciones pasadas con suficiente detalle, lo que hace que una limitación del backtesting sea la necesidad de disponer de datos históricos detallados. Una segunda limitación es la incapacidad de modelar estrategias que afectarían los precios históricos. Finalmente, el backtesting, al igual que otros modelos, está limitado por un posible [[sobreajuste]]. Es decir, a menudo es posible encontrar una estrategia que hubiera funcionado bien en el pasado, pero que no necesariamente funcionará bien en el futuro.<ref>{{cite web|title=Does Backtesting Really Work?|url=http://www.backtestbroker.com/backtestingfaq.aspx|author=BacktestBroker|fechaacceso=31 de octubre de 2020|fechaarchivo=23 de octubre de 2020|urlarchivo=https://web.archive.org/web/20201023084417/https://backtestbroker.com/backtestingfaq.aspx|deadurl=yes}}</ref> A pesar de estas limitaciones, el backtesting proporciona información que no está disponible cuando los modelos y estrategias se prueban con datos sintéticos.

Históricamente, el backtesting solo ha sido realizado por grandes instituciones y administradores de dinero profesionales debido al costo de obtener y usar conjuntos de datos detallados. Sin embargo, el backtrading se utiliza cada vez más de manera amplia y han surgido plataformas independientes de backtesting basadas en la web. Aunque la técnica se usa ampliamente, es propensa a debilidades. Las [[Acuerdos de Basilea|regulaciones financieras de Basilea]] requieren que las grandes instituciones financieras realicen backtesting de ciertos modelos de riesgo.

Para un [[valor en riesgo]] de 1 día al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99,99-100%), según la siguiente tabla:<ref>{{cite web| title=Supervisory framework for the use of "backtesting" in conjunction with the internal models approach to market risk capital requirements|url=https://www.bis.org/publ/bcbs22.pdf | publisher=Basle Committee on Banking Supervision |date=January 1996 | page=14}}</ref>

[[Imagen:Backtesting exceptions 1Dx250.png|excepciones de backtesting 10Dx250|thumb|500x500px]]

{| class="wikitable alternance"
 |+ VaR de 1 día al 99% probado 250 días
 |-
 ! scope="col" | Zona
 ! scope="col" | Excepciones numéricas
 ! scope="col" | Probabilidad
 ! scope="col" | Cumul
 |-
 | rowspan="5" | Verde
 ! scope="row" | 0
 | 8.11%
 | 8.11%
 |-
 ! scope="row" | 1
 | 20.47%
 | 28.58%
 |-
 ! scope="row" | 2
 | 25.74%
 | 54.32%
 |-
 ! scope="row" | 3
 | 21.49%
 | 75.81%
 |-
 ! scope="row" | 4
 | 13.41%
 | 89.22%
 |-
 | rowspan="5" | Naranja
 ! scope="row" | 5
 | 6.66%
 | 95.88%
 |-
 ! scope="row" | 6
 | 2.75%
 | 98.63%
 |-
 ! scope="row" | 7
 | 0.97%
 | 99.60%
 |-
 ! scope="row" | 8
 | 0.30%
 | 99.89%
 |-
 ! scope="row" | 9
 | 0.08%
 | 99.97%
 |-
 | rowspan="3" | Rojo
 ! scope="row" | 10
 | 0.02%
 | 99.99%
 |-
 ! scope="row" | 11
 | 0.00%
 | 100.00%
 |-
 ! scope="row" | ...
 | ...
 | ...
 |}

Para un [[valor en riesgo]] de 10 días al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99.99-100%) según la siguiente tabla:

[[Image:Backtesting exceptions 10Dx250.png|Excepciones de backtesting 10Dx250|thumb|500x500px]]

{| class="wikitable alternance"
 |+ VaR a 10 días con 99% prueba bachtest de 250 días 
 |-
 ! scope="col" | Zona
 ! scope="col" | Excepciones numéricas 
 ! scope="col" | Probabilidad
 ! scope="col" | Cumul
 |-
 | rowspan="9" | Verde
 ! scope="row" | 0
 | 36.02%
 | 36.02%
 |-
 ! scope="row" | 1
 | 15.99%
 | 52.01%
 |-
 ! scope="row" | 2
 | 11.58%
 | 63.59%
 |-
 ! scope="row" | 3
 | 8.90%
 | 72.49%
 |-
 ! scope="row" | 4
 | 6.96%
 | 79.44%
 |-
 ! scope="row" | 5
 | 5.33%
 | 84.78%
 |-
 ! scope="row" | 6
 | 4.07%
 | 88.85%
 |-
 ! scope="row" | 7
 | 3.05%
 | 79.44%
 |-
 ! scope="row" | 8
 | 2.28%
 | 94.17%
 |-
 | rowspan="3" | Naranja 
 ! scope="row" | 9
 | 1.74%
 | 95.91%
 |-
 ! scope="row" | ...
 | ...
 | ...
 |-
 ! scope="row" | 24
 | 0.01%
 | 99.99%
 |-
 | rowspan="2" | Rojo
 ! scope="row" | 25
 | 0.00%
 | 99.99%
 |-
 ! scope="row" | ...
 | ...
 | ...
 |}

== Hindcast ==
[[Archivo:Hindcasting.jpeg|200px|thumb|right|Representación temporal de la retroacción.<ref>Taken from p.145 of [https://archive.org/details/TECA2004 Yeates, L.B., ''Thought Experimentation: A Cognitive Approach'',  Graduate Diploma in Arts (By Research) dissertation, University of New South Wales, 2004.]</ref>]]

En [[oceanografía]]<ref>{{cite web|title= Hindcast approach|url= https://www.oceanweather.com/research/HindcastApproach.html|publisher= OceanWeather Inc.|accessdate= 2013-01-22}}</ref> y [[meteorología]],<ref>{{cite journal|url=http://www.atmos-chem-phys.net/12/4341/2012/acp-12-4341-2012.html|title=Hindcast experiments of tropospheric composition during the summer 2010 fires over western Russia|journal=Atmos. Chem. Phys.|volume=12|issue=9|pages=4341–4364|accessdate=2013-01-22|bibcode=2012ACP....12.4341H|doi=10.5194/acp-12-4341-2012|author3=J. W. Kaiser|author4=A. Inness|author5=J. Leitão|author6=A. Heil|author7=H. J. Eskes|author8=M. G. Schultz|author9=A. Benedetti|year=2012|last=Huijnen|author12=M. Eremenko|first=V.|author10=J. Hadji-Lazaro|author2=J. Flemming|author11=G. Dufour}}</ref> el ''backtesting'' también se conoce como ''hindcasting'': un '''hindcast''' es una forma de probar un [[modelo matemático]]; los investigadores ingresan en el modelo entradas conocidas o estimadas para eventos pasados y así analizar qué tan bien la salida coincide con los resultados conocidos.

El hindcasting generalmente se refiere a la integración de un [[Simulación por computadora|modelo numérico]] de un período histórico del cual no existe registro de observaciones. Esto distingue una ejecución retrospectiva de un reanálisis. Las observaciones oceanográficas de [[salinidad]] y [[temperatura]], así como las observaciones de los [[Ola|parámetros de las olas]], como la altura significativa de las olas, son mucho más escasas que las observaciones meteorológicas, lo que hace que la predicción posterior sea más común en la oceanografía que en la meteorología. Además, dado que las ola superficiales representan un sistema forzado en el que el viento es la única fuerza generadora, el pronóstico de las olas se considera a menudo adecuado para generar una representación razonable del [[clima]] de las olas con poca necesidad de un nuevo análisis completo. Los hidrólogos utilizan la predicción retrospectiva para los flujos de modelos de arroyos.<ref>{{cite web|title= Guidance on Conducting  Streamflow Hindcasting in  CHPS|url= http://www.nws.noaa.gov/om/water/RFC_support/HEFS_doc/Streamflow_Hindcasting_Guidance_V3.pdf|publisher= NOAA|accessdate= 2013-01-22}}</ref>

Un ejemplo de análisis retrospectivo sería introducir forzamientos [[Clima|climáticos]] (eventos que fuerzan el cambio) en un [[modelo climático]]. Si la retrospectiva mostrara una respuesta climática razonablemente precisa, el modelo se consideraría exitoso.

El reanálisis del ECMWF es un ejemplo de un reanálisis atmosférico combinado junto con una integración de modelo de ola donde no se asimilaron parámetros de ola, lo que hace que la parte de ola sea una ejecución retrospectiva.

=== Resultados inesperados de la aplicación ===
En 2003, Dake Chen y sus colegas [[Red neuronal artificial|"entrenaron" inicialmente una computadora]], utilizando los datos de la temperatura de la superficie de los océanos de los últimos 20 años.<ref>Chen, D., Cane, M.A., Kaplan, A., Zebiak, S.E. & Huang, D., "Predictability of El Niño Over the Past 148 Years", ''Nature'', Vol.428, No.6984, (15 April 2004), pp.733-736; Anderson, D., "Testing Time for El Niño", ''Nature'', Vol.428, No.6984, (15 April 2004), pp.709, 711.</ref>

Luego, después de haber "entrenado" la computadora, realizaron un ejercicio de predicción retrospectiva utilizando datos que se habían recopilado sobre la temperatura de la superficie de los océanos durante el período de 1857 a 2003. No solo descubrieron que su simulación predijo con precisión todos los eventos de [[El Niño (fenómeno)|El Niño]] durante los últimos 148 años, sino que también descubrieron, como una "[[Consecuencias imprevistas|consecuencia no buscada]]" de ese ejercicio, que su simulación también identificó el presagio que se avecina (hasta 2 años) de ''cada uno de esos eventos de El Niño''.<ref>Not only did hindcasting demonstrate that the computerized simulation models could predict the onset of El Niño climatic events from changes in the temperature of the ocean's surface temperature that occur up to two years earlier — meaning that there was now, potentially, at least 2 years' lead time — but the results also implied that El Niño events seemed to be the effects of some causal regularity; and, therefore, were not due to simple chance, or to some other "chaotic" event.
</ref>

== Véase también ==
* [[Caja negra (sistemas)]]
* [[Clima]]
* [[Experimento mental]]
* [[Pronóstico (estadística)]]
* [[Validación de datos]]
* [[Valor en riesgo]]

== Referencias ==
{{Listaref}}

{{Control de autoridades}}
[[Categoría:Exámenes y pruebas]]
[[Categoría:Análisis técnico]]
[[Categoría:Pronósticos estadísticos]]