Compartiendo el progreso de la IA en matemáticas
OpenAI está publicando un lote de nuevos resultados matemáticos producidos por un modelo frontera interno, en un repositorio de GitHub. La empresa dice que consultó al Grupo Asesor independiente sobre Matemáticas e Inteligencia Artificial del Institute for Advanced Study y que se basó en las recomendaciones públicas del grupo, mientras sigue explorando alternativas alojadas por la comunidad que cumplan los lineamientos del comité. El repositorio incluye formalizaciones en Lean de muchas de las pruebas, diez resúmenes del razonamiento del modelo, estimaciones de cómputo (unas tres horas de razonamiento de ChatGPT Pro por resultado) y estadísticas de los problemas intentados. OpenAI dice que financiará talleres sobre los grandes resultados producidos por IA y que trabaja en publicar el modelo mismo.
La discusión
La mayoría de los comentarios coincide en que la publicación en sí es bienvenida, porque publicar los artículos, las pruebas en Lean y los resúmenes del razonamiento en GitHub pone todo frente a todos sin muro de pago, y varios tratan los resultados de Riemann, Hodge y unique games como un progreso genuinamente importante. La objeción más aguda es que OpenAI aun así no siguió las recomendaciones reales del grupo asesor de IAS: el comité pidió espacios alojados por la comunidad y protocolos de revisión más fuertes, y los comentaristas señalan que solo unas pocas de sus sugerencias se aplicaron, lo que deja lo que uno llamó un volcado de artículos escritos por LLM estacionados en GitHub, que varios consideran un archivo de largo plazo peor para resultados importantes que arXiv. Un segundo debate vuelve sobre el episodio de Navier-Stokes: algunos dicen que la acusación de robo quedó resuelta cuando la investigación de OpenAI encontró que los prompts de los investigadores no pudieron haber llegado al modelo, mientras otros lo llaman una verdad corporativa a medias pues el trabajo abarcó más de dos meses. Bajo ambos hay una disputa real sobre si las pruebas que los humanos no pueden seguir cuentan como progreso, con un lado llamando al botín equivalente a 50 o 100 años de trabajo humano y otro respondiendo que un teorema que nadie comprende cambia poco hasta que alguien aprende de él.