El desarrollo de benchmarks para evaluar modelos de inteligencia artificial está experimentando un cambio notable. Desde el lanzamiento de SWE-Bench en noviembre de 2024, este nuevo sistema ha ganado popularidad al medir habilidades de programación a partir de más de 2,000 problemas extraídos de repositorios públicos de GitHub. Sin embargo, a medida que su uso…
SWE-Bench, el popular benchmark para evaluar la habilidad de codificación de modelos de inteligencia artificial, ha tenido toda la atención desde su lanzamiento en noviembre de 2024. Con más de 2,000 problemas de programación reales tomados de proyectos públicos en GitHub, se ha convertido en un elemento básico en el desarrollo y lanzamiento de modelos….
Desde su lanzamiento en noviembre de 2024, SWE-Bench ha emergido como uno de los principales benchmarks para evaluar las habilidades de programación de modelos de IA. Con más de 2,000 problemas de programación extraídos de repositorios públicos de GitHub, ha establecido un estándar que muchos desarrolladores buscan alcanzar. Sin embargo, esta carrera por el puntaje…
SWE-Bench, el popular benchmark de IA que mide habilidades de programación, ha explotado en popularidad desde su lanzamiento. Creado por investigadores de Princeton, se basa en problemas del mundo real extraídos de repositorios públicos de GitHub. A pesar de su éxito, han surgido críticas sobre la validez de las puntuaciones obtenidas, señalando que muchos desarrolladores…