Benchmark Único para Medir la AGI ARC Prize utiliza el ARC-AGI benchmark, un conjunto de tareas diseñadas para evaluar la capacidad de los sistemas de IA para resolver problemas abiertos y adaptarse a desafíos novedosos. Aunque estas tareas son fáciles para los humanos, han demostrado ser extremadamente difíciles para los sistemas de IA actuales, incluso para los modelos más avanzados como GPT-4 o Gemini. El benchmark se enfoca en la capacidad de adquirir nuevas habilidades y no solo en la ejecución de tareas específicas, lo que lo convierte en una herramienta clave para medir el progreso hacia la AGI

Incentivo Económico y Colaboración Abierta La plataforma ofrece un premio mayor de $1,000,000 para quien logre superar el benchmark con un puntaje de al menos 85%. Además, incentiva la investigación abierta al requerir que las soluciones ganadoras sean de código abierto. Esto fomenta la colaboración entre investigadores, equipos académicos y startups, asegurando que los avances en AGI no se mantengan como secretos comerciales de grandes corporaciones

Enfoque en Nuevas Ideas y Técnicas ARC Prize busca romper el paradigma actual en el que las grandes empresas tecnológicas controlan la mayoría de los avances en AGI, manteniendo sus investigaciones cerradas al público. La plataforma fomenta la exploración de nuevas técnicas y arquitecturas que vayan más allá de los modelos de lenguaje tradicionales, como los LLMs. Esto incluye enfoques como la síntesis de programas guiada por aprendizaje profundo y el entrenamiento en tiempo de prueba (test-time training), que han demostrado ser efectivos en mejorar el rendimiento en el benchmark