LLM autoalojado o API: cómo comparar el coste total del equipo

1. Fije primero el workload y el nivel de calidad

Elija entre 3 y 5 tareas recurrentes: clasificar documentos con una schema fija, consultar una base interna, revisar código ejecutando un test, generar un informe estructurado o procesar lotes en segundo plano. Para cada tarea anote tamaño de entrada y salida, ejecuciones de un día normal, concurrencia máxima, tiempo permitido y criterio de aceptación. Puede exigir JSON válido, fuentes verificables o un test aprobado.

Como rama API medible, el Dashboard de BetterToken muestra hora, modelo, estado HTTP, input, output, cache Token y cargo. Consulte modelos y tarifas actuales, abra el Workspace y lleve al cuadro los datos observados del piloto. BetterToken no es una plataforma de self-hosting: aquí representa únicamente una alternativa API.

2. TCO autoalojado: cuente más que la GPU

Mida un ciclo operativo completo, con varios días normales y al menos un pico previsto:

self_hosted_tco =
  hardware_amortization
  + hosting_and_electricity
  + storage_and_network
  + engineer_time
  + monitoring_and_security
  + backup_or_overflow
  + incident_cost

Use la configuración que realmente desplegaría, su amortización y memoria disponible. Una cifra publicada puede omitir chasis, red, redundancia, envío o electricidad local. Compruebe que modelo y contexto caben sin cambiar la tarea ni rebajar la calidad. Registre horas de instalación del runtime, verificación del modelo, serving, actualizaciones, profiling, colas, observabilidad, control de acceso e incidentes.

El alojamiento local puede dar más control sobre la ubicación de datos, pero no aporta seguridad automáticamente. Incluya parches, secretos, segmentación de red, audit logs, copias y acceso administrativo. Mida indisponibilidad y trabajos pendientes. Un segundo nodo, una cola de recuperación o una API aprobada para overflow no sensible también cuestan. Si ciertos datos no pueden salir, trátelo como restricción obligatoria.

3. TCO de API: los Token son solo el comienzo

Normalice el usage según la schema real del provider y no duplique cache Token incluidos en input.

api_tco =
  uncached_input_cost
  + cache_read_cost
  + cache_write_cost
  + output_cost
  + retry_cost
  + integration_and_operations
  + incident_or_fallback_cost

El 23 de agosto de 2026, los datos públicos de BetterToken para claude-sonnet-5 en el grupo Claude indicaban $1.36 por millón de Token de entrada y $6.80 por millón de salida. Sin caché, 100 000 de entrada y 20 000 de salida costarían $0.272. El ejemplo está ligado al modelo, grupo y fecha: vuelva a comprobar la página actual antes del piloto y calcule cache read/write con la schema y tarifas vigentes. Añada integración, gestión de 401/429/5xx, retries limitados, colas, observabilidad y validación.

4. Separe carga normal y pico

1. Normal: flujo típico de una semana laboral.
2. Pico: concurrencia y lote definidos de antemano, sin desactivar controles de calidad.

Estas mediciones describen solo la configuración probada; no prometen estabilidad futura.

5. Ejecute un piloto reversible

No migre todo el producto. Elija un escenario, conserve una interfaz común y coloque cada provider tras un adaptador. Fije entradas, calidad y datos prohibidos; ejecute la misma muestra; mida normal y pico; contabilice Token, infraestructura y horas en igual periodo; simule la caída del nodo local y de la API externa; repita tras cambios de configuración. No incluya API Key, .env, prompts privados ni respuestas sensibles completas en el informe.

6. Decisión y criterios de salida

El autoalojamiento puede encajar si la ubicación de datos es obligatoria, el workload es estable y el equipo asume operaciones. Una API puede encajar con carga variable, necesidad de arrancar rápido o sin equipo para mantener el runtime. Un diseño híbrido puede dejar datos sensibles en local y enviar picos o casos permitidos a la API.

• Detenga el piloto local si no alcanza calidad, pico o actualización dentro de las horas disponibles.
• Detenga el piloto API si los datos obligatorios no pueden salir o el coste por tarea aceptada es inmanejable.
• Recalcule al cambiar modelo, tarifa, hardware o workload.
• No acepte un total menor obtenido reduciendo calidad o eliminando fallback.

El resultado debe ser una tabla TCO fechada con configuración, calidad, pico y responsable, no una disputa abstracta entre servidor y nube.

Fuentes

• Modelos y precios actuales de BetterToken
• Documentación de BetterToken
• BetterToken Public Pricing API, claude-sonnet-5, revisado el 23 de agosto de 2026
• BetterToken Product Fact Sheet, versión del 31 de julio de 2026