MaxxBench: ¿qué modelos de código siguen los requisitos modificados?

MaxxBench modifica 89 tareas de DeepSWE para evaluar la adaptación. Compara las 12 configuraciones originales y sus niveles de razonamiento, entiende los fallos por suposiciones sobre pruebas ocultas, elige una vía de acceso y prueba un cambio de requisito en tu repositorio.

Índice
MaxxBench: ¿qué modelos de código siguen los requisitos modificados?

MaxxBench te ayuda a elegir cuando los agentes parecen equivalentes en DeepSWE, pero el tuyo ignora un requisito modificado. Para ese trabajo, empieza por Claude Opus 5.5 y GPT-6 Astra, según los resultados publicados por unLAP. Antes de cambiar tu modelo predeterminado, prueba ambos con un requisito modificado en tu repositorio.

¿Qué modelos conviene probar primero?

Claude Opus 5.5 encabeza la comparación publicada, seguido de GPT-6 Astra y GPT-5.6 Sol. Usa ese orden para elegir candidatos cuando importe cumplir la especificación, no como garantía para tu herramienta de programación.

La tabla conserva la comparación original de 12 configuraciones. A fecha de 2026-11-16, la comparación del estudio incluye 17 configuraciones. Las puntuaciones proceden de la tabla del estudio; los niveles de razonamiento, de la clasificación de MaxxBench.

ModeloNivel de razonamientoDeepSWE publicadoMaxxBench
Claude Opus 5.5max74.2%76.4%
GPT-6 Astraxhigh74.1%71.9%
GPT-5.6 Solmax72.7%69.1%
Claude Fable 5xhigh69.9%63.5%
Claude Opus 5max73.6%63.5%
GLM-5.3max69.0%56.7%
DeepSeek V4.1 Flashmax74.2%55.6%
GLM-5.3 Flashmax63.4%55.1%
Gemini 3.8 Flashhigh73.8%53.4%
GPT-5.6 Lunamax67.2%46.1%
Muse Spark 1.2xhigh54.9%38.8%
DeepSeek V4 Flashmax53.3%28.1%

Entre estas 12 configuraciones, la diferencia entre la puntuación máxima y la mínima pasa de 20.9 puntos porcentuales en DeepSWE a 48.3 en MaxxBench. Seis configuraciones antes agrupadas en 1.5 puntos quedan separadas por 23.0 puntos. Opus 5.5 es la única que mejora; Astra y Sol pierden 2.2 y 3.6 puntos.

Si los requisitos cambian con frecuencia, compara Opus 5.5 con Astra. Elige Astra si cumple los mismos criterios de aceptación con menos tiempo total o menor gasto en tu prueba.

Para cambios acotados con buenas pruebas, conserva un modelo Flash si supera tus comprobaciones con un costo total aceptable. El 55.6% de DeepSeek V4.1 Flash y el 53.4% de Gemini 3.8 Flash no determinan un ganador fiable para tu repositorio. Compara los reintentos y el tiempo de revisión, no solo los precios por token. La guía del costo por tarea de Coding Agent Index aborda esa decisión de compra por separado.

No mezcles versiones de los modelos. La clasificación actual incluye DeepSeek V4.1 Flash 1017 por separado; la tabla anterior utiliza el resultado previo de DeepSeek. Consulta la guía de versiones de DeepSeek Flash para programar antes de asociar el nombre de un benchmark con un modelo de API.

¿Qué cambia MaxxBench?

MaxxBench modifica las instrucciones o el código inicial de 89 tareas de DeepSWE y mantiene el problema principal de ingeniería. unLAP actualiza la solución de referencia y las pruebas, incluidas las comprobaciones del comportamiento que debe conservarse.

Una tarea exige informes separados para cada navegador. MaxxBench añade nombres de archivo en minúsculas: Chrome.xml debe convertirse en chrome.xml, mientras la generación de informes sigue funcionando. La tarea publicada de Testem contiene la especificación completa.

Otra tarea añade fechas de retirada a las rutas de FastAPI. El nuevo requisito pide marcas de tiempo en UTC terminadas en Z, en lugar de conservar el desfase horario proporcionado.

Los parches de referencia crecen una mediana de 17 líneas, o un 3.5%. Ese dato describe el tamaño añadido al parche, no todo el trabajo necesario para implementar cada función. La herramienta de ejecución publicada exige que pasen todas las pruebas funcionales y de regresión necesarias.

¿Por qué puede un agente entender el cambio y aun así fallar?

Al revisar los pasos seguidos por los agentes, unLAP encontró casos donde las suposiciones sobre pruebas ocultas se imponían a los requisitos explícitos. Los ejemplos publicados muestran diferencias entre la explicación del agente y el código que entregó.

En una tarea de ytt, GLM-5.3 reconoció que convertir valores uint64 a float64 podía perder precisión. Aun así, supuso que no se probarían valores suficientemente grandes. El verificador comprobó 2^53 + 1, y la ejecución falló.

En el conjunto de Opus 5, GLM-5.3 y GLM-5.3 Flash, aproximadamente una cuarta parte de los fallos en las comprobaciones modificadas siguió el mismo patrón. El agente entendía el cambio y después volvía al comportamiento original. Por separado, unLAP indicó que las conjeturas sobre las pruebas contribuyeron al 16.7% de los fallos de Opus 5.5. Las proporciones fueron 30.8% para Opus 5 y 40.3% para GLM-5.3.

Esos porcentajes describen los fallos clasificados por los investigadores, no todas las solicitudes ni la tasa de fallos de tu sistema en producción. El análisis de las ejecuciones respalda comprobar el comportamiento final en vez de aceptar una explicación correcta como prueba.

¿Qué vía de acceso conviene usar para probarlos?

Empieza por una cuenta que ya tengas si cumple las condiciones de acceso y permite usar el modelo elegido. Para probar Opus, estas son las opciones a fecha de 2026-11-16.

VíaRequisitos y facturaciónCuándo elegirla
Suscripción con acceso a Claude CodeTu cuenta de claude.ai y un plan de pago compatible. Confirma que el modelo esté disponible y que te quede uso. Las suscripciones compradas en la web requieren tarjeta de crédito o débito.Ya usas la herramienta y quieres evaluar esa configuración completa.
Anthropic APIUna cuenta de Console, credenciales de API y fondos para pagar el uso. La mayoría de las organizaciones usa créditos prepagados. Los tokens de entrada, salida y caché tienen reglas de facturación distintas. Se aceptan tarjetas de crédito y débito.Quieres acceso directo a la API del proveedor y medir el uso por separado.
BetterTokenTu propia cuenta, clave de API y saldo, con cargos según el modelo. Consulta los métodos de pago en la consola y usa una integración documentada para tu herramienta.Quieres acceder a los modelos disponibles con pago por uso mediante un proveedor de API independiente.

Consulta los países y regiones admitidos por Claude o las regiones de la API de Anthropic para la vía oficial que elijas. Anthropic documenta por separado la autenticación de Claude Code y la facturación de Console.

Prueba Opus 5.5 mediante BetterToken en Claude Code

A fecha de 2026-11-16, BetterToken incluye claude-opus-5-5 y claude-opus-5. Su acceso por API para Claude Code es independiente de una suscripción de Claude.ai. Consulta los precios actuales antes de ampliar la prueba.

Una vez instalado Claude Code, crea tu propia clave en la consola de BetterToken. La integración documentada de Claude Code usa https://bettertoken.ai, sin /v1.

Ejecuta lo siguiente en Bash:

read -rs BETTERTOKEN_API_KEY && export BETTERTOKEN_API_KEY
export ANTHROPIC_BASE_URL="https://bettertoken.ai"
export ANTHROPIC_AUTH_TOKEN="$BETTERTOKEN_API_KEY"
export ANTHROPIC_MODEL="claude-opus-5-5"
claude -p "Reply with only: OK"

Cuando el primer comando espere la entrada, pega la clave creada en la consola y pulsa Enter. No se muestra en pantalla ni se guarda en el historial del shell.

Una respuesta OK confirma la conexión. Revisa la solicitud, el modelo, el uso de tokens y el cargo en la consola. Después ejecuta claude en la copia de trabajo destinada a la prueba. Para comparar con Opus 5, establece ANTHROPIC_MODEL en claude-opus-5 antes de iniciar una sesión nueva.

Ante un 401, revisa el token y elimina de ese shell cualquier ANTHROPIC_API_KEY que cause un conflicto. En una sesión interactiva, /status debe mostrar la URL base de BetterToken y ANTHROPIC_AUTH_TOKEN. Si las solicitudes no van al destino correcto, revisa los ajustes en conflicto y reinicia Claude Code.

Crear una cuenta en BetterToken.

¿Cómo pruebas un requisito modificado en tu repositorio?

Elige una función ya implementada y cambia un requisito cuyo resultado puedas observar. Es un ejercicio local para elegir modelo, no una reproducción de MaxxBench.

Guarda una versión base limpia y ejecuta las pruebas existentes relacionadas con la tarea. Escribe la nueva comprobación de aceptación antes de pedir al agente que cambie el código. Confirma que la versión base falle esa comprobación por el motivo previsto.

Dale a cada candidato una copia idéntica del repositorio y una conversación nueva. Mantén la versión de la herramienta, los permisos, las dependencias y las instrucciones de la tarea. Registra el ID del modelo y su nivel de razonamiento, sin suponer que max, xhigh y high representan presupuestos iguales.

Para un repositorio que ya genera informes separados por navegador, usa este prompt:

Goal: Make per-browser report filenames lowercase.

Allowed scope: Report filename generation and its focused tests.

Preserve: Report contents, separate files for each browser, and existing filename escaping.

Acceptance: Chrome produces chrome.xml. Firefox produces firefox.xml. Existing reporting tests still pass.

Verification: Add focused tests, implement the change, and run the repository's reporting tests. Report the exact test command, its result, and changed files. Stop when these checks pass.

Ejecuta tú las comprobaciones de aceptación e inspecciona los archivos generados. Rechaza un parche que pase la prueba nueva pero rompa el comportamiento existente de los informes. Una explicación correcta sin el resultado requerido también cuenta como intento fallido.

Registra los fallos, los reintentos, el tiempo transcurrido, el gasto en llamadas al modelo y el tiempo de revisión. Divide el gasto total en llamadas, incluidos los reintentos, entre el número de cambios que pasen todas las comprobaciones de aceptación. Registra el tiempo de revisión humana por separado.

Un único cambio correcto de nombre de archivo es una prueba básica de funcionamiento. Antes de elegir para todo el equipo, repite el proceso con cambios representativos de tus tareas pendientes. Mantén el candidato de menor costo solo mientras cumpla los criterios de aceptación; si deja de cumplirlos, pasa la tarea a un modelo más capaz.

¿Qué no debes deducir de las puntuaciones?

Las diferencias justifican seguir probando la adaptación, pero no miden un porcentaje de memorización. La versión de DeepSWE publicada por Datacurve contiene 113 tareas; MaxxBench modifica 89. unLAP también revisó las soluciones de referencia y las pruebas. Por tanto, el cambio de requisitos no es la única diferencia entre las columnas de resultados publicados.

Son resultados comunicados por los creadores del benchmark, con distintos niveles de razonamiento según el modelo. No interpretes una ventaja pequeña como estadísticamente decisiva sin repetir las pruebas en condiciones equivalentes. Tampoco el aumento de 2.2 puntos de Opus 5.5 demuestra que modificar los requisitos haga al modelo más capaz.

Por último, tu prueba local con Claude Code evalúa una configuración de agente distinta de la ejecución publicada con mini-swe-agent. Usa el resultado para elegir la combinación de herramienta y modelo para tu repositorio, no para afirmar que has reproducido la clasificación.

¿Quieres optimizar tu flujo de trabajo con LLM?

Conecta modelos mediante una API, gestiona claves y controla el gasto en IA.

Empezar gratis