Benchmarks de SWE-2: resultados, límites y cómo probarlo
Por CodeAgentSwarm · Actualizado el 24 de septiembre de 2026
¿Qué es SWE-2 y qué relación tiene con Devin?
SWE-2 es el modelo de programación de Cognition. Devin CLI es un agente que puede utilizarlo junto con otros modelos. SWE-bench es el nombre de un benchmark, no otro nombre de SWE-2. Distingue modelo, agente y evaluación al leer un resultado o decidir qué instalar.
Para probarlo, sigue la instalación de Devin CLI, abre /model y selecciona SWE-2 en el catálogo de tu cuenta. Revisa la guía de precios y cuotas antes de una prueba larga. La comparación publicada se contrastó con la fuente de Cognition el 22 de septiembre de 2026.
Resultados publicados por Cognition
Cognition publicó esta comparación el 10 de septiembre de 2026. Son cifras del fabricante, no pruebas ejecutadas por CodeAgentSwarm.
| Benchmark | SWE-2 | Fable 5.1 | GPT-6 Astra |
|---|---|---|---|
| FrontierCode 1.1 Main | 50,0% | 50,9% | 53,3% |
| DeepSWE 1.1 | 73,0% | 67,4% | 74,1% |
| Terminal-Bench 2.1 | 92,8% | 91,4% | 89,9% |
| Terminal-Bench 4 | 27,3% | 55,8% | 57,9% |
SWE-2 destaca en Terminal-Bench 2.1, pero queda bastante por detrás en Terminal-Bench 4. La elección depende del tipo de tarea.
Cómo leer esta comparación
El apéndice metodológico combina resultados públicos y evaluaciones internas, utiliza distintos agentes y elige el mejor nivel de esfuerzo por modelo. No es una prueba con configuración idéntica.
FrontierCode 1.1 Main contiene las 100 tareas más difíciles de Extended. Cognition desarrolla tanto este benchmark como SWE-2. Ten en cuenta esa relación al interpretar los resultados.
Conserva el nombre y la versión de cada prueba al comparar cifras. Tampoco conviertas una puntuación agregada en la probabilidad de que el agente resuelva tu siguiente bug: tu proyecto puede usar otras herramientas, lenguajes y restricciones.
Elige un nivel de esfuerzo concreto
La documentación de modelos enumera SWE-2 Medium, High y Max. Anota cuál pruebas para poder repetir la comparación.
Empieza con el esfuerzo que usarías habitualmente y repite solo los fallos que merezcan más tiempo. Si cambias de nivel, registra también esa ejecución fallida: descartarla haría que la comparación pareciera mejor de lo que fue.
Una prueba pequeña en tu repositorio
Esta es nuestra propuesta de evaluación local; no hemos ejecutado este protocolo como benchmark de SWE-2. Elige un bug reproducible, un cambio de interfaz y una tarea de mantenimiento que conozcas bien.
- Prepara el mismo commit inicial, dependencias y pruebas para cada intento.
- Entrega la misma petición y permite las mismas herramientas. Mantén separados los cambios de cada modelo.
- Registra tiempo total, intervención humana y consumo real, incluidos los reintentos.
- Revisa el diff y ejecuta las pruebas antes de puntuar la solución.
Tarea | Modelo + esfuerzo | Pruebas superadas | Correcciones de revisión | Tiempo total | Consumo
Corrección de bug | SWE-2 High | ... | ... | ... | ...Un resultado útil es una solución que aceptarías en el proyecto. Cuenta los arreglos que hiciste tú y el tiempo de revisión; una respuesta rápida puede resultar cara si necesita correcciones.
Define el éxito antes de leer la respuesta
Arregla la prueba que falla descrita a continuación. Parte del commit indicado.
Conserva la API pública y evita cambios ajenos en dependencias.
Explica la causa, aplica la corrección mínima y ejecuta las pruebas relevantes.
Indica comandos, resultados y lo que no hayas podido verificar.Sustituye “la prueba que falla” por una reproducción real y el comportamiento esperado. Ejecuta tú la comprobación desde el estado final del repositorio. Descarta una solución que pase borrando la aserción o cambiando el requisito. Cuenta una corrección manual como intervención aunque el diff final sea bueno.
| Anota | Por qué cambia la conclusión |
|---|---|
| Primer intento y repeticiones | Un segundo intento que funciona también consume tiempo y uso. |
| Minutos de revisión humana | Comprobar código que parece correcto puede costar más que generarlo. |
| Pruebas superadas y no ejecutadas | Un mensaje final seguro no demuestra que el cambio funcione. |
Conserva los fallos y los intentos incompletos: si los eliminas, la tasa de éxito solo describe los resultados que decidiste guardar.
Valora el coste después de comprobar la calidad
Para el precio de Pro, la promoción temporal y sus fechas, consulta la guía de modelos y cuotas de Devin. Guarda las condiciones que tenía tu cuenta el día de la prueba para que el resultado siga siendo interpretable cuando cambie la oferta.
Si aún no has instalado el agente, empieza por instalación y login de Devin CLI.
Preguntas frecuentes
¿Estos benchmarks los ha ejecutado CodeAgentSwarm?
No. La tabla recoge resultados publicados por Cognition. La prueba local propuesta es una forma de evaluar el modelo en tu propio proyecto.
¿SWE-2 es el mejor modelo para cualquier tarea?
La tabla no permite afirmarlo. Prueba tareas representativas y valora corrección, revisión humana, tiempo y consumo antes de elegir.
¿Puedo comparar la beta de CodeAgentSwarm con otra CLI?
Sí, pero estarás comparando el modelo junto con su entorno de ejecución. Anota las herramientas, permisos y configuración de cada entorno.