La evaluación de modelos de inteligencia artificial ha sido un pilar en la industria tecnológica, pero ha surgido un problema considerable con los métodos utilizados. Un ejemplo destacado es el benchmark SWE-Bench, creado para medir las habilidades de programación de modelos de IA, que ha llevado a la manipulación del sistema y no refleja con…
Desde su lanzamiento en noviembre de 2024, SWE-Bench se ha consagrado como uno de los benchmarks más utilizados para evaluar modelos de inteligencia artificial en habilidades de programación. Con más de 2,000 problemas de programación extraídos de repositorios públicos de GitHub, ha generado una intensa competencia entre empresas como OpenAI y Anthropic. Sin embargo, la…
La evaluación de modelos de inteligencia artificial está en el centro de una creciente controversia, especialmente con el ascenso de benchmarks como SWE-Bench. Desde su lanzamiento en noviembre de 2024, este sistema ha sido ampliamente adoptado para medir las habilidades de programación de la IA, utilizando problemas reales extraídos de repositorios públicos en GitHub. Sin…
En el mundo de la inteligencia artificial, los benchmarks son herramientas cruciales para medir el rendimiento de los modelos. Sin embargo, un nuevo fenómeno ha surgido: SWE-Bench, que se lanzó en noviembre de 2024, ha atraído la atención al evaluar las habilidades de programación de los modelos de IA. Se extraen más de 2,000 problemas…