Edición de «OpenAI Five»

'''OpenAI Five''' es un [[programa informático]] de [[OpenAI]] que juega al [[videojuego]] de cinco contra cinco ''[[Dota 2]]''. Su primera aparición pública tuvo lugar en 2017, donde fue probado en una partida en vivo de uno contra uno contra el jugador profesional Dendi, que perdió contra él. Al año siguiente, el sistema había avanzado hasta el punto de actuar como un equipo completo de cinco personas, y empezó a jugar contra equipos profesionales y a demostrar su capacidad para derrotarlos.

Al elegir un juego tan complejo como ''[[Dota 2]]'' para estudiar el [[aprendizaje automático]], OpenAI pensó que podría capturar con mayor precisión la imprevisibilidad y la continuidad que se observan en el mundo real, construyendo así sistemas de resolución de problemas más generales. Los algoritmos y el código utilizados por OpenAI Five acabaron siendo tomados prestados por otra [[Red neuronal artificial|red neuronal]] en desarrollo por la empresa, una que controlaba una mano robótica física. ¡OpenAI Five se ha comparado con otros casos similares de [[inteligencia artificial]] (IA) que juega contra humanos y los derrota, como [[AlphaStar]] en el videojuego [[StarCraft|StarCraft II]], AlphaGo en el juego de mesa [[Go]], [[Deep Blue (computadora)|Deep Blue]] en ajedrez y [[Watson (inteligencia artificial)|Watson]] en el programa de televisión ''[[Jeopardy!]]''

== Historia ==
El desarrollo de los algoritmos utilizados para los ''[[Bot|bots]]'' comenzó en noviembre de 2016. OpenAI decidió utilizar ''[[Dota 2]]'', un videojuego competitivo de cinco contra cinco, como base debido a su popularidad en la plataforma de retransmisión en directo [[Twitch]], a su compatibilidad nativa con [[GNU/Linux|Linux]] y a que disponía de una [[API|interfaz de programación de aplicaciones]] (API).<ref>{{Cita web|url=https://openai.com/research/openai-five-defeats-dota-2-world-champions|título=OpenAI Five defeats Dota 2 world champions|fechaacceso=2023-07-07|sitioweb=openai.com|idioma=en-US}}</ref> Antes de convertirse en un equipo de cinco, la primera demostración pública tuvo lugar en [[The International 2017]] en agosto, el principal torneo anual del juego, donde Dendi, un jugador profesional ucraniano, perdió contra un ''bot'' de OpenAI en un enfrentamiento en directo de uno contra uno.<ref>{{Cita web|url=https://www.theverge.com/2017/8/14/16141938/dota-2-openai-bots-elon-musk-artificial-intelligence|título=My favorite game has been invaded by killer AI bots and Elon Musk hype|fechaacceso=2023-07-07|apellido=Savov|nombre=Vlad|fecha=2017-08-14|sitioweb=The Verge|idioma=en-US}}</ref><ref>{{Cita web|url=https://venturebeat.com/2017/08/11/openais-bot-beats-top-dota-2-player-so-badly-that-he-quits/|título=OpenAI's bot beats top Dota 2 player so badly that he quits {{!}} VentureBeat {{!}} AI {{!}} by Blair Hanley Frank|fechaacceso=2023-07-07|fecha=2017-08-12|sitioweb=web.archive.org|fechaarchivo=12 de agosto de 2017|urlarchivo=https://web.archive.org/web/20170812065202/https://venturebeat.com/2017/08/11/openais-bot-beats-top-dota-2-player-so-badly-that-he-quits/|deadurl=}}</ref> Tras el enfrentamiento, el director técnico [[Greg Brockman]] explicó que el bot había aprendido jugando contra sí mismo durante dos semanas en tiempo real, y que el software de aprendizaje era un paso en la dirección de crear software que pueda manejar tareas complejas "como ser un cirujano".<ref>{{Cita web|url=https://blog.openai.com/dota-2/|título="Dota 2"|fechaacceso=10 de julio de 2023|fechaarchivo=11 de agosto de 2017|urlarchivo=https://web.archive.org/web/20170811235617/https://blog.openai.com/dota-2/|deadurl=yes}}</ref><ref>{{Cita web|url=https://blog.openai.com/more-on-dota-2/|título=More on Dota 2|fechaacceso=10 de julio de 2023|fechaarchivo=16 de agosto de 2017|urlarchivo=https://web.archive.org/web/20170816161246/https://blog.openai.com/more-on-dota-2/|deadurl=yes}}</ref> OpenAI utilizó una metodología llamada [[aprendizaje por refuerzo]], ya que los bots aprenden con el tiempo jugando contra sí mismos cientos de veces al día durante meses, en los que son recompensados por acciones como matar a un enemigo y destruir torres.<ref name=":0">{{Cita noticia|título=Can Bots Outwit Humans in One of the Biggest Esports Games?|url=https://www.wired.com/story/can-bots-outwit-humans-in-one-of-the-biggest-esports-games/|periódico=Wired|fechaacceso=2023-07-07|issn=1059-1028|idioma=en-US|nombre=Tom|apellidos=Simonite}}</ref><ref>{{Cita noticia|título=A Bot Backed by Elon Musk Has Made an AI Breakthrough in Video Game World|url=https://www.bloomberg.com/news/articles/2018-06-25/musk-backed-bot-conquers-e-gamer-teams-in-ai-breakthrough|periódico=Bloomberg.com|fecha=2018-06-25|fechaacceso=2023-07-07|idioma=en}}</ref><ref name=":2">{{Cita web|url=https://www.cnbc.com/2018/06/27/bill-gates-openai-robots-beating-humans-at-dota-2-is-ai-milestone.html|título=Bill Gates says gamer bots from Elon Musk-backed nonprofit are 'huge milestone' in A.I.|fechaacceso=2023-07-07|apellido=Clifford|nombre=Catherine|fecha=2018-06-28|sitioweb=CNBC|idioma=en}}</ref>

En junio de 2018, la capacidad de los bots se amplió para jugar juntos como un equipo completo de cinco personas y fueron capaces de derrotar a equipos de jugadores aficionados y semiprofesionales.<ref>{{Cita web|url=https://blog.openai.com/openai-five-benchmark/|título="OpenAI Five Benchmark|fechaacceso=10 de julio de 2023|fechaarchivo=13 de febrero de 2019|urlarchivo=https://web.archive.org/web/20190213165905/https://blog.openai.com/openai-five-benchmark/|deadurl=yes}}</ref><ref name=":0" /><ref>{{Cita web|url=https://www.theverge.com/2018/6/25/17492918/openai-dota-2-bot-ai-five-5v5-matches|título=AI bots trained for 180 years a day to beat humans at Dota 2|fechaacceso=2023-07-07|apellido=Vincent|nombre=James|fecha=2018-06-25|sitioweb=The Verge|idioma=en-US}}</ref><ref>{{Cita web|url=https://www.theverge.com/2018/8/6/17655086/dota2-openai-bots-professional-gaming-ai|título=The OpenAI Dota 2 bots just defeated a team of former pros|fechaacceso=2023-07-07|apellido=Savov|nombre=Vlad|fecha=2018-08-06|sitioweb=The Verge|idioma=en-US}}</ref> En The International 2018, OpenAI Five jugó en dos partidas contra equipos profesionales, una contra el equipo brasileño [[paiN Gaming]] y la otra contra un equipo de estrellas formado por antiguos jugadores chinos.<ref>{{Cita noticia|título=Pro-‘Dota 2’ Players Fend off Elon Musk-Backed AI Bots—for Now|url=https://www.wired.com/story/pro-gamers-fend-off-elon-musks-ai-bots/|periódico=Wired|fechaacceso=2023-07-07|issn=1059-1028|idioma=en-US|nombre=Tom|apellidos=Simonite}}</ref><ref>{{Cita web|url=https://www.theregister.com/2018/08/24/openai_bots_eliminated_dota_2/|título=Game over, machines: Humans defeat OpenAI bots once again at video games Olympics|fechaacceso=2023-07-07|apellido=Quach|nombre=Katyanna|sitioweb=www.theregister.com|idioma=en}}</ref> Aunque los bots perdieron ambos partidos, OpenAI siguió considerándolo una aventura exitosa, afirmando que jugar contra algunos de los mejores jugadores de ''Dota 2'' les permitió analizar y ajustar sus algoritmos para futuras partidas.<ref>{{Cita web|url=https://blog.openai.com/the-international-2018-results/|título=The International 2018: Results}}</ref> La demostración pública final de los bots tuvo lugar en abril de 2019, donde ganaron una serie al mejor de tres contra los campeones de The International 2018, OG, en un evento en vivo en [[San Francisco (California)|San Francisco]].<ref>{{Cita web|url=https://venturebeat.com/ai/openai-five-defeats-a-team-of-professional-dota-2-players/|título=OpenAI Five defeats professional Dota 2 team, twice|fechaacceso=2023-07-08|fecha=2019-04-13|sitioweb=VentureBeat|idioma=en-US}}</ref> Ese mismo mes tuvo lugar un evento en línea de cuatro días para jugar contra los bots, abierto al público.<ref name=":3">{{Cita web|url=https://www.theverge.com/2019/4/13/18309459/openai-five-dota-2-finals-ai-bot-competition-og-e-sports-the-international-champion|título=OpenAI’s Dota 2 AI steamrolls world champion e-sports team with back-to-back victories|fechaacceso=2023-07-08|apellido=Statt|nombre=Nick|fecha=2019-04-13|sitioweb=The Verge|idioma=en-US}}</ref> Allí, los bots jugaron en 42 729 partidas públicas, ganando el 99,4% de esas partidas.<ref>{{Cita web|url=https://venturebeat.com/ai/openais-dota-2-bot-defeated-99-4-of-players-in-public-matches/|título=OpenAI’s Dota 2 bot defeated 99.4% of players in public matches|fechaacceso=2023-07-08|fecha=2019-04-22|sitioweb=VentureBeat|idioma=en-US}}</ref>

== Arquitectura ==
Cada bot de OpenAI Five es una [[Red neuronal artificial|red neuronal]] que contiene una sola capa con una [[Memoria a corto plazo]] de 4096 unidades<ref>{{Cita web|url=https://colah.github.io/posts/2015-08-Understanding-LSTMs/#lstm-networks|título=Understanding LSTM Networks -- colah's blog|fechaacceso=2023-07-08|sitioweb=colah.github.io}}</ref> que observa el estado actual del juego extraído de la API del desarrollador de Dota. La red neuronal realiza acciones a través de numerosas cabezas de acción posibles (no hay datos humanos implicados), y cada cabeza tiene un significado. Por ejemplo, el número de ''ticks'' para retrasar una acción, qué acción seleccionar, la coordenada X o Y de esta acción en una cuadrícula alrededor de la unidad. Además, las cabezas de acción se calculan de forma independiente. El sistema de IA observa el mundo como una lista de 20.000 números y realiza una acción llevando a cabo una lista de ocho valores de enumeración. Además, selecciona diferentes acciones y objetivos para comprender cómo codificar cada acción y observar el mundo.<ref name=":1">{{Cita web|url=https://blog.openai.com/openai-five/|título=OpenAI Five}}</ref>

OpenAI Five se ha desarrollado como un sistema de formación de aprendizaje por refuerzo de uso general en la infraestructura "''Rapid''". Rapid consta de dos capas: hace girar miles de máquinas y las ayuda a "hablar" entre sí, y una segunda capa ejecuta software. En 2018, OpenAI Five había jugado alrededor de 180 años de juegos de aprendizaje por refuerzo ejecutados en 256 [[Unidad de procesamiento gráfico|GPU]] y 128 000 núcleos de [[Unidad central de procesamiento|CPU]],<ref>{{Cita web|url=https://qz.com/1348177/why-are-ai-researchers-so-obsessed-with-games|título=Why are AI researchers so obsessed with games?|fechaacceso=2023-07-08|fecha=2018-08-04|sitioweb=Quartz|idioma=en}}</ref> utilizando [[Proximal Policy Optimization]], un método de gradiente de políticas.<ref name=":1" /><ref>{{Cita libro|apellidos=Schulman|nombre=John|título=Proximal Policy Optimization Algorithms|año=2017|apellidos2=Wolski|nombre2=Filip|apellidos3=Dhariwal|nombre3=Prafulla|apellidos4=Radford|nombre4=Alec|apellidos5=Klimov|nombre5=Oleg}}</ref>
{| class="wikitable"
|+Cuadro comparativo
!
!OpenAI 1v1 bot (2017)
!OpenAI Five (2018)
|-
|CPU
|60.000 núcleos de CPU en [[Microsoft Azure]]
|128.000 núcleos de CPU preferentes en [[Google Cloud|Google Cloud Platform]] (GCP)
|-
|GPU
|256 GPU K80 en Azure
|256 GPU P100 en el GCP
|-
|Experiencia adquirida
|~300 años por día
|~180 años por día
|-
|Tamaño de la observación
|~3,3kB
|~36.8kB
|-
|Observaciones por segundo de juego
|10
|7.5
|-
|Tamaño del lote
|8.388.608 observaciones
|1.048.576 observaciones
|-
|Lotes por minuto
|~20
|~60
|}

== Comparaciones con otros sistemas de juegos de IA ==
Antes de OpenAI Five, ya se habían utilizado con éxito otros experimentos y sistemas de IA contra humanos, como ''[[Jeopardy!]]'' con Watson, ajedrez con [[Deep Blue (computadora)|Deep Blue]] y [[Go]] con [[AlphaGo]].<ref>{{Cita noticia|título=IBM computer Watson wins Jeopardy clash|url=https://www.theguardian.com/technology/2011/feb/17/ibm-computer-watson-wins-jeopardy|periódico=The Guardian|fecha=2011-02-17|fechaacceso=2023-07-10|issn=0261-3077|idioma=en-GB|nombre=Adam|apellidos=Gabbatt}}</ref><ref>{{Cita web|url=https://www.businessinsider.com/garry-kasparov-talks-about-artificial-intelligence-2017-12|título=Chess grandmaster Garry Kasparov on what happens when machines 'reach the level that is impossible for humans to compete'|fechaacceso=2023-07-10|apellido=Edwards|nombre=Jim|sitioweb=Business Insider|idioma=en-US}}</ref><ref>{{Cita web|url=https://www.theverge.com/2017/10/18/16495548/deepmind-ai-go-alphago-zero-self-taught|título=DeepMind’s Go-playing AI doesn’t need human help to beat us anymore|fechaacceso=2023-07-10|apellido=Vincent|nombre=James|fecha=2017-10-18|sitioweb=The Verge|idioma=en-US}}</ref> En comparación con otros juegos que han utilizado sistemas de IA para jugar contra jugadores humanos, ''Dota 2'' difiere como se explica a continuación:<ref name=":1" />

Vista de larga duración: Los bots funcionan a 30 [[fotogramas por segundo]] durante un tiempo medio de partido de 45 minutos, lo que se traduce en 80.000 ticks por partida. OpenAI Five observa cada cuatro fotogramas, lo que genera 20.000 movimientos. En comparación, el ajedrez suele terminar antes de 40 movimientos, mientras que el Go lo hace antes de 150.

Estado del juego parcialmente observado: Los jugadores y sus aliados sólo pueden ver el mapa directamente a su alrededor. El resto está cubierto por una [[niebla de guerra]] que oculta las unidades enemigas y sus movimientos. Por lo tanto, jugar a Dota 2 requiere hacer inferencias basadas en estos datos incompletos, así como predecir lo que su oponente podría estar haciendo al mismo tiempo. En comparación, el Ajedrez y el Go son "juegos de información completa", ya que no ocultan elementos al jugador contrario.<ref name=":4">{{Cita web|url=https://www.technologyreview.com/2018/06/25/2604/a-team-of-ai-algorithms-just-crushed-expert-humans-in-a-complex-computer-game/|título=A team of AI algorithms just crushed humans in a complex computer game|fechaacceso=2023-07-10|sitioweb=MIT Technology Review|idioma=en}}</ref>

Espacio de acción continua: Cada personaje jugable en una partida de ''Dota 2'', conocido como héroe, puede realizar docenas de acciones dirigidas a otra unidad o a una posición. Los desarrolladores de OpenAI Five dejan el espacio en 170.000 acciones posibles por héroe. Sin contar los aspectos perpetuos del juego, hay una media de ~1000 acciones válidas cada tick. En comparación, la media de acciones en ajedrez es de 35 y de 250 en Go.

Espacio de observación continuo: ''Dota 2'' se juega en un gran mapa con diez héroes, cinco en cada equipo, junto con docenas de edificios y unidades de [[Personaje no jugador|personajes no jugadores]] (PNJ). El sistema OpenAI observa el estado de una partida a través de la API bot de los desarrolladores, como 20.000 números que constituyen toda la información a la que un humano puede acceder. Un tablero de ajedrez se representa como unas 70 listas, mientras que un tablero de Go tiene unas 400 enumeraciones.

== Recepción ==
OpenAI Five han recibido el reconocimiento de la comunidad de la IA, la tecnología y los videojuegos en general. El fundador de [[Microsoft]], [[Bill Gates]], lo calificó de "gran cosa", ya que sus victorias "requirieron trabajo en equipo y colaboración".<ref name=":2" /><ref>{{Cita web|url=https://www.businessinsider.com/bill-gates-hails-huge-milestone-for-ai-as-bots-beat-humans-at-dota-2-2018-6|título=Bill Gates hails 'huge milestone' for AI as bots work in a team to destroy humans at video game 'Dota 2'|fechaacceso=2023-07-10|apellido=Hamilton|nombre=Isobel Asher|sitioweb=Business Insider|idioma=en-US}}</ref> El ajedrecista [[Garri Kaspárov|Garry Kasparov]], que perdió contra la IA [[Deep Blue (computadora)|Deep Blue]] en 1997, declaró que, a pesar de su derrota en The International 2018, los robots acabarían "llegando, y antes de lo esperado".<ref>{{Cita web|url=https://twitter.com/Kasparov63/status/1033108573151092736|título=https://twitter.com/Kasparov63/status/1033108573151092736|fechaacceso=2023-07-10|sitioweb=Twitter|idioma=es}}</ref>

En una conversación con [[MIT Technology Review]], los expertos en IA también consideraron el sistema OpenAI Five como un logro significativo, ya que señalaron que ''Dota 2'' era un "juego extremadamente complicado", por lo que incluso vencer a jugadores no profesionales era impresionante<ref name=":4" /> ''[[PC Gamer]]'' escribió que sus victorias contra jugadores profesionales era un acontecimiento significativo en el aprendizaje automático.<ref>{{Cita noticia|título=How the OpenAI Five tore apart a team of Dota 2 pros|url=https://www.pcgamer.com/how-the-openai-five-tore-apart-a-team-of-dota-2-pros/|periódico=PC Gamer|fecha=2018-08-11|fechaacceso=2023-07-10|idioma=en|nombre=Morgan Park|apellidos=published}}</ref> Por el contrario, ''Motherboard'' escribió que la victoria era "básicamente una trampa" debido a la simplificación de los grupos de héroes en ambos bandos, así como al hecho de que los bots tuvieran acceso directo a la API, en lugar de utilizar la visión por ordenador para interpretar los píxeles de la pantalla.<ref>{{Cita web|url=https://www.vice.com/en/article/gy3nvq/ai-beat-humans-at-dota-2|título=OpenAI Is Beating Humans at ‘Dota 2’ Because It’s Basically Cheating|fechaacceso=2023-07-10|apellido=Gault|nombre=Matthew|fecha=2018-08-17|sitioweb=Vice|idioma=en}}</ref> ''[[The Verge]]'' escribió que los bots eran la prueba de que el enfoque de la compañía sobre el aprendizaje por refuerzo y su filosofía general sobre la IA estaban "produciendo hitos".<ref name=":3" />

En 2019, [[DeepMind]] dio a conocer un bot similar para ''[[StarCraft|Starcraft II]]'', [[AlphaStar]]. Al igual que OpenAI Five, AlphaStar utilizó el aprendizaje por refuerzo y el juego automático. ''The Verge'' informó que "el objetivo con este tipo de investigación de IA no es solo aplastar a los humanos en varios juegos solo para demostrar que se puede hacer. Por el contrario, se trata de demostrar que, con tiempo, esfuerzo y recursos suficientes, un sofisticado software de IA puede superar a los humanos en prácticamente cualquier desafío cognitivo competitivo, ya sea un juego de mesa o un videojuego moderno". Añadieron que las victorias de DeepMind y OpenAI eran también un testimonio del poder de ciertos usos del aprendizaje por refuerzo.<ref>{{Cita web|url=https://www.theverge.com/2019/10/30/20939147/deepmind-google-alphastar-starcraft-2-research-grandmaster-level|título=DeepMind’s StarCraft 2 AI is now better than 99.8 percent of all human players|fechaacceso=2023-07-10|apellido=Statt|nombre=Nick|fecha=2019-10-30|sitioweb=The Verge|idioma=en-US}}</ref>

La esperanza de OpenAI era que la tecnología pudiera tener aplicaciones fuera del ámbito digital. En 2018, pudieron reutilizar los mismos algoritmos de aprendizaje por refuerzo y el código de entrenamiento de OpenAI Five para Dactyl, una mano robótica similar a la humana con una red neuronal construida para manipular objetos físicos.<ref>OpenAI; Andrychowicz, Marcin; Baker, Bowen; Chociej, Maciek; Józefowicz, Rafał; McGrew, Bob; Pachocki, Jakub; Petron, Arthur; Plappert, Matthias; Powell, Glenn; Ray, Alex; Schneider, Jonas; Sidor, Szymon; Tobin, Josh; Welinder, Peter; Weng, Lilian; Zaremba, Wojciech (2019) "''Learning Dexterous In-Hand Manipulation"''</ref> En 2019, Dactyl resolvió el [[cubo de Rubik]].<ref>OpenAI; Akkaya, Ilge; Andrychowicz, Marcin; Chociej, Maciek; Litwin, Mateusz; McGrew, Bob; Petron, Arthur; Paino, Alex; Plappert, Matthias; Powell, Glenn; Ribas, Raphael (2019). ''"Solving Rubik's Cube with a Robot Hand''"</ref>

== Véase también ==
* [[Transformador generativo preentrenado]]

== Referencias ==
{{listaref|2}}

== Enlaces externos ==
* https://openai.com/five/ Sitio web oficial
* https://blog.openai.com/openai-five/ Blog oficial 

{{Control de autoridades}}
[[Categoría:OpenAI]]
[[Categoría:Dota]]
[[Categoría:Inteligencia artificial]]
[[Categoría:Aprendizaje automático]]