SWE-Bench, el popular benchmark para evaluar la habilidad de codificación de modelos de inteligencia artificial, ha tenido toda la atención desde su lanzamiento en noviembre de 2024. Con más de 2,000 problemas de programación reales tomados de proyectos públicos en GitHub, se ha convertido en un elemento básico en el desarrollo y lanzamiento de modelos….
Desde su lanzamiento en noviembre de 2024, SWE-Bench ha emergido como uno de los principales benchmarks para evaluar las habilidades de programación de modelos de IA. Con más de 2,000 problemas de programación extraídos de repositorios públicos de GitHub, ha establecido un estándar que muchos desarrolladores buscan alcanzar. Sin embargo, esta carrera por el puntaje…
SWE-Bench, el popular benchmark de IA que mide habilidades de programación, ha explotado en popularidad desde su lanzamiento. Creado por investigadores de Princeton, se basa en problemas del mundo real extraídos de repositorios públicos de GitHub. A pesar de su éxito, han surgido críticas sobre la validez de las puntuaciones obtenidas, señalando que muchos desarrolladores…
Desde su lanzamiento en noviembre de 2024, SWE-Bench se ha convertido en uno de los principales referentes para evaluar las habilidades de codificación de modelos de inteligencia artificial. Utilizando más de 2,000 problemas de programación reales recopilados de GitHub, ha sido ampliamente adoptado por gigantes de la IA como OpenAI y Google. Sin embargo, a…