Artificial Analysis Coding Agent Index v2.0: costo por tarea

Según Artificial Analysis Coding Agent Index v2.0, empieza con Codex + GPT-6.1 Sol (max) para trabajos de programación variados, o prueba primero Codex + DeepSeek V4.1 Flash (max) si el gasto en API es tu principal restricción. Claude Code + Claude Opus 5.5 (max) es el candidato con mayor puntuación que conviene probar cuando un cambio aceptado justifica un presupuesto más alto. Estas recomendaciones se basan en los resultados del benchmark para distintas cargas de trabajo; las cifras en dólares representan uso de API, no precios de suscripción ni costos de producción garantizados.

Esta comparación parte del anuncio de Artificial Analysis del 23 de octubre, con la metodología y la comparación vigente verificadas a fecha de 2026-10-25. La unidad que se compara es un modelo junto con su sistema de agente, o agent harness: la aplicación que gestiona el contexto, las herramientas, la ejecución y la interacción con el modelo.

Compara las cuatro configuraciones destacadas

Entre estas cuatro opciones, GPT-6.1 Sol es el punto de partida más útil para comprobar calidad y presupuesto en una carga de trabajo variada. DeepSeek reduce considerablemente el gasto en API, mientras que Opus aumenta la puntuación global. Astra necesita una justificación más específica.

AA destacó las siguientes combinaciones en su anuncio. Las cuatro usan el nivel de razonamiento max indicado en los resultados.

Agente + modelo	Puntuación del índice v2.0	Puntuación en FrontierCode v1.1	Costo de API por tarea
Codex + DeepSeek V4.1 Flash	47.3	52.6%	$0.39
Codex + GPT-6.1 Sol	54.1	49.4%	$1.50
Codex + GPT-6 Astra	54.7	49.3%	$7.04
Claude Code + Claude Opus 5.5	61.7	56.0%	$11.42

Los costos son promedios en USD para la carga de trabajo del benchmark. La comparación actual entre Claude Code y Codex sigue mostrando estos cuatro importes a fecha de 2026-10-25, aunque redondea las puntuaciones que presenta.

Esta selección no es la clasificación completa ni incluye todos los puntos de su frontera de costo y rendimiento. La comparación actual también incluye Codex + GPT-6 Luna (max) a $0.16 por tarea, con una puntuación del índice redondeada a 31. DeepSeek es la opción más barata de las cuatro destacadas, no de todas las configuraciones evaluadas.

Opus encabeza la clasificación del anuncio. Le siguen Claude Code + Sonnet 5.5 (max), con 59.3, y Muse Code + Muse Wonder Full (max), con 58.9. Una posición alta no basta para determinar qué opción se ajusta mejor a tu carga de trabajo o a tu límite de gasto.

Elige según el trabajo que necesitas completar

Usa la puntuación del componente más relevante para decidir qué combinación probar primero. El índice global da el mismo peso a tres tipos de trabajo; probablemente tu lista de tareas no tenga esa distribución.

Parches repetidos en repositorios: prueba DeepSeek primero

Empieza con Codex + DeepSeek V4.1 Flash cuando tengas muchos cambios de alcance acotado y puedas comprobar cada resultado con pruebas y revisión. Su puntuación de 52.6% en FrontierCode supera el 49.4% de Sol y el 49.3% de Astra, aunque su índice global sea menor.

Eso justifica experimentar con una cola de parches de bajo costo, pero no demuestra que ya funcione bien en producción. Cambia de opción si los parches rechazados, los intentos adicionales o las correcciones del revisor eliminan el ahorro en API.

Código y terminal en la misma carga de trabajo: empieza con Sol

Elige Codex + GPT-6.1 Sol como referencia inicial para trabajos que alternan cambios de código con operaciones en el entorno de desarrollo. Suma 6.8 puntos de índice frente a DeepSeek por $1.11 adicionales en cada intento del benchmark.

Los resultados redondeados de Terminal-Bench 4.0 en la comparación oficial son 53% para Sol y 28% para DeepSeek. Esa diferencia respalda probar Sol primero cuando el trabajo exige usar mucho el terminal; no demuestra que la brecha sea igual al reparar tu CI o tus scripts de despliegue. Elige DeepSeek si alcanza tu propio umbral de aceptación con un costo total menor.

Cuando los fallos salen caros: compara Opus con tu referencia

Prueba Claude Code + Opus 5.5 cuando el costo de un resultado inadecuado supere el aumento del gasto en API. Tiene la mayor puntuación global anunciada, 61.7, y la mejor puntuación de FrontierCode entre estas cuatro opciones, 56.0%.

A $11.42 por intento del benchmark, cuesta aproximadamente 7.61 veces los $1.50 de Sol. Resérvalo para una categoría de tareas solo si tu comparación muestra una mejora suficiente en cambios aceptados, tiempo de revisión o reintentos como para justificar ese costo adicional.

Antes de elegir Astra, exige una ventaja en tus tareas

No pases de Sol a Astra solo por subir de 54.1 a 54.7 en el índice. El costo publicado aumenta de $1.50 a $7.04: aproximadamente 4.69 veces el gasto por 0.6 puntos adicionales.

Astra puede ganar con una distribución concreta de tareas. Por ejemplo, su resultado redondeado en Terminal-Bench es 56%, frente al 53% de Sol. Empieza con Sol y elige Astra únicamente después de observar una ventaja que importe en tu trabajo; la pequeña diferencia global no la demuestra por sí sola.

Calcula el presupuesto sin confundir puntuaciones con tasas de éxito

Multiplica el costo publicado por el número de intentos y trata el resultado como una estimación que depende de la carga de trabajo. No multipliques la cantidad de tareas por el porcentaje del índice para obtener una supuesta cantidad de correcciones terminadas.

Como ejemplo, para 1,000 intentos con la misma mezcla de tareas de AA y sin cambios en el costo medio de los tokens:

Configuración	Gasto estimado en API para 1,000 intentos
Codex + DeepSeek V4.1 Flash	$390
Codex + GPT-6.1 Sol	$1,500
Codex + GPT-6 Astra	$7,040
Claude Code + Opus 5.5	$11,420

El cálculo consiste en multiplicar los intentos por el costo medio publicado de API por intento: attempts × reported mean API cost per attempt. Estas estimaciones excluyen tu infraestructura, las herramientas externas de pago y la revisión humana. No son presupuestos para 1,000 solicitudes de incorporación de cambios aceptadas, o pull requests.

Para reproducir el cálculo de costo por punto del índice, usa la escala publicada de 0–100:

• DeepSeek: $0.39 / 47.3 ≈ $0.00825 por punto del índice.
• Sol: $1.50 / 54.1 ≈ $0.02773 por punto del índice.
• Astra: $7.04 / 54.7 ≈ $0.12870 por punto del índice.
• Opus: $11.42 / 61.7 ≈ $0.18509 por punto del índice.

Esta relación describe ese conjunto de resultados; no es el costo por tarea resuelta. El índice combina sistemas de puntuación distintos, y sus ponderaciones por benchmark no coinciden con la agregación de la métrica de costo. Una relación baja también puede favorecer a una configuración barata cuyo rendimiento absoluto no llegue a tu mínimo aceptable.

Para decidir dónde gastar, mide el gasto total dividido entre los resultados aceptados en tu propio conjunto de tareas. Incluye en el numerador los intentos fallidos y las nuevas ejecuciones con configuraciones más potentes.

¿Qué cambió en Coding Agent Index v2.0?

La versión 2.0 sustituye el componente de ingeniería de software y cambia la evaluación de preguntas y respuestas sobre repositorios. Terminal-Bench 4.0 permanece igual que en el índice v1.5.

La metodología publicada del índice especifica:

Componente	Tareas	Qué mide	Puntuación
FrontierCode v1.1 Main	100	Cambios en repositorios reales	Cero si falla una comprobación obligatoria; de lo contrario, 70–100%
Terminal-Bench 4.0	66	Tareas completadas mediante un terminal	Se aprueba o se suspende el conjunto de pruebas
SWE-Atlas-QnA-AA	124	Preguntas sobre el comportamiento del repositorio	Una tarea se aprueba solo si cumple todos los criterios de la rúbrica

Son 290 tareas distintas. AA ejecuta tres intentos por tarea y promedia los resultados; no elige el mejor de los tres. Después calcula el promedio de las puntuaciones de los tres benchmarks, con el mismo peso para cada uno.

Por tanto, el componente de 124 preguntas no pesa más que el de 66 tareas de terminal. Y una puntuación del índice de 61.7 no significa que se vayan a completar el 61.7% de los tickets de programación habituales.

FrontierCode premia los cambios que cumplen los requisitos del mantenedor

FrontierCode sustituye a DeepSWE v1.1 e incorpora la calidad del código a la evaluación. El diseño del benchmark de Cognition considera si un cambio cumple los requisitos del mantenedor del repositorio, incluidos el alcance y la calidad del código, en lugar de comprobar únicamente su corrección funcional.

AA usa el conjunto privado Main de 100 tareas. Incumplir cualquier requisito obligatorio da una puntuación de cero; superar todos permite obtener una puntuación de 70–100%, según las comprobaciones restantes.

El acceso a internet sigue disponible. Las reglas de uso legítimo de FrontierCode 1.1 permiten leer documentación, mientras que obtener material con la solución puede invalidar un intento. AA aplica una versión modificada del escáner de Cognition y asigna cero a los intentos que este marca por infringir esas reglas.

Mantener privado el conjunto de tareas reduce una fuente de contaminación de la evaluación; no significa que la solución original no pueda existir en internet.

SWE-Atlas-QnA-AA cambia el juez y la redacción de los criterios

Las preguntas sobre los repositorios siguen siendo las mismas, pero cambia su evaluación. AA conserva 124 tareas y 1,306 criterios, reformula 127 criterios y utiliza GPT-6 Luna con xhigh como juez, con cinco votos por criterio.

El conjunto de datos y la configuración del juez publicados establecen una decisión por mayoría para cada criterio. Para aprobar una tarea sigue siendo necesario superar todos los criterios, de modo que una respuesta técnicamente plausible puede fallar si omite un detalle exigido.

AA afirma que los cambios hacen más consistentes los veredictos. Para comparar resultados, lo importante es que la nueva puntuación corresponde a este evaluador revisado, no a la combinación anterior de rúbrica y juez.

Por qué una puntuación menor no demuestra que el modelo haya empeorado

La caída entre versiones del índice refleja un cambio en la evaluación y no puede interpretarse como un deterioro de los mismos modelos. Compara las configuraciones dentro de v2.0 antes de enfrentar sus puntuaciones numéricas con las de un índice anterior.

En el hilo oficial del anuncio, AA informa de que el índice medio de 21 configuraciones presentes en ambas versiones bajó de 54.8 a 47.4, con descensos en 20 de las 21. Esas mismas configuraciones promediaron 65.6% en DeepSWE v1.1 y 45.1% en su sustituto, FrontierCode v1.1.

Las puntuaciones de preguntas y respuestas sobre repositorios también bajaron en promedio, de 58.8% a 57.1%; 14 de las 21 configuraciones descendieron. Terminal-Bench no cambió. Con el mismo peso para cada benchmark, esas variaciones publicadas explican la caída global de 7.4 puntos:

((45.1 - 65.6) + (57.1 - 58.8) + 0) / 3 = -7.4

La escala de medición es distinta. También cambian los resultados relativos: una evaluación más estricta no resta el mismo número de puntos a todas las configuraciones.

Qué incluye el costo de API y qué deja fuera

La métrica de costo de AA representa la facturación de tokens, incluida la caché cuando se admite. No calcula el precio de una suscripción a Claude o ChatGPT ni todo el trabajo de ingeniería necesario para entregar un cambio.

Las secciones de costo y uso de tokens distinguen entrada sin caché, entrada recuperada de caché, escrituras en caché y salida. La página pública también ofrece vistas de distribución de tokens y de tasa de aciertos de caché. Tratar cada token de entrada como si se cobrara a precio completo, sin caché, distorsionaría el cálculo.

El costo se agrega a partir de los intentos de las tareas, mientras que el índice global da el mismo peso a los tres benchmarks. AA excluye la telemetría ausente de los promedios de eficiencia en vez de sustituirla por cero. Es otra razón para no interpretar el costo dividido por la puntuación como costo por incidencia resuelta.

Tus gastos pueden cambiar con el tamaño del contexto, los reintentos, el nivel de razonamiento y el comportamiento de la caché del proveedor. Un endpoint o un harness distinto puede alterar la comparación aunque el nombre del modelo resulte familiar.

Mantén separada también la evaluación separada de modelos en FrontierCode de AA: utiliza el harness Stirrup de AA. Sus puntuaciones no son intercambiables con las de las configuraciones de Claude Code y Codex de la tabla anterior.

Haz una comparación pequeña en tu repositorio

Prueba dos configuraciones con los mismos criterios de aceptación antes de asignarles toda una lista de tareas. Un piloto pequeño debe ayudarte a decidir sobre tu categoría de trabajo, no a afirmar que has reproducido el benchmark privado de AA.

1. Selecciona tareas representativas. Empieza con diez tareas reales de la categoría que quieras automatizar. Define el comportamiento esperado y el alcance aceptable antes de ejecutar cualquiera de los agentes.
2. Mantén las mismas condiciones iniciales. Usa el mismo commit del repositorio, la misma instrucción de tarea, las mismas herramientas y los mismos permisos. Registra la versión de la CLI, el ID o la revisión exactos del modelo, el nivel de razonamiento y la ruta del proveedor.
3. Ejecuta cada configuración de forma independiente. Usa una copia de trabajo limpia y una sesión nueva en cada intento. Registra los intentos fallidos y las repeticiones en lugar de conservar solo el parche que parezca mejor.
4. Evalúa si el resultado es utilizable. Para los parches, ejecuta las pruebas pertinentes y revisa corrección, alcance y mantenibilidad. Para las preguntas sobre el repositorio, contrasta la explicación con el código y con cualquier evidencia de ejecución que se exija.
5. Compara resultados aceptados y costos completos. Registra los cargos de API, las herramientas de pago y los costos de ejecución, y valora el tiempo de revisión con la tarifa por hora que elija tu equipo. Divide el gasto total entre los resultados aceptados; si evalúas acceso mediante suscripción, registra por separado las cuotas y los cargos por superar lo incluido.

La identidad del modelo merece especial atención con DeepSeek. A fecha de 2026-10-25, su documentación de API nativa indica el nombre deepseek-flash, servido actualmente por DeepSeek-V4.1-Flash-1017. La etiqueta breve de la clasificación no demuestra por sí sola que una nueva solicitud llegue a la misma versión que evaluó AA.

Si usas BetterToken para el piloto, sigue sus guías separadas de integración de API para Codex y Claude Code, y mide los cargos de esa conexión. Este acceso a la API es independiente de las suscripciones a las aplicaciones de los proveedores.

Conserva la configuración más barata donde cumpla tu umbral de aceptación. Usa la configuración más potente para las categorías de tareas en las que el costo adicional se justifique por mejores resultados aceptados o menos trabajo de revisión.