Cuadro de Mandos para superadmin: KPIs, IA, monitoreo 24h e infraestructura

Llevamos meses hablando del Cuadro de Mandos en los artículos del blog. Hoy 10 de abril sale a producción. Para el equipo es un hito interno: por primera vez vemos en una sola pantalla qué pasa en presupuestaIA en directo — sesiones, empresas, salud de infraestructura y, lo más importante para esta era, qué hace cada llamada IA, en qué modelo, cuánto cuesta y cuánto tarda.

Por qué la observabilidad IA es categoría propia

Hace cinco años "monitorización" era CPU, RAM, latencia HTTP y errores 5xx. Hoy a eso le sumas una capa nueva: observabilidad de modelos. Necesitas saber qué endpoint funcional llama a qué modelo, cuánto te cuesta cada llamada, qué proveedor está sirviendo, cuál es el ratio de fallback, y qué errores específicos de IA están saliendo (rate-limit, max-tokens, contenido bloqueado).

Nada de eso es visible en herramientas clásicas tipo Datadog o Grafana sin instrumentación específica. Por eso hicimos algo propio.

Qué tiene el Cuadro de Mandos

Tres bloques diferenciados:

• Negocio: sesiones 24h, empresas activas, distribución por tier, conversiones Trial→Contratado, churn.
• Infraestructura: uptime 30d, monitoring_pings (un ping cada minuto desde 4 regiones), latencia p95, errores 5xx por endpoint.
• IA: llamadas por modelo, coste agregado, latencia p95 por endpoint funcional, ratio de fallback, top empresas por consumo, top errores por modelo.

Y un panel de alertas configurable que cuando algo se sale de SLA manda mensaje a Telegram del equipo y, según severidad, llama por teléfono al on-call (la guardia que tenemos rotando).

Lo que aprendimos construyendo esto

Una sorpresa que no esperábamos: la métrica más útil del día a día no es la latencia ni el coste, es el ratio de fallback. Si un endpoint de repente sube su fallback del 1% habitual al 8%, es señal de que el proveedor primario está degradado antes de que nadie lo anuncie. Hemos detectado tres incidentes de proveedor por esta vía antes que el propio proveedor los reconociese en su status page.

Próximo episodio

El martes 14 abril volvemos a Anthropic con noticia jugosa: los leaks de Claude 4.7 que han aparecido en el código de Claude Code. Spoiler interno: lo que sea que viene se ve grande. Y nosotros mientras tanto metemos en producción el importador BC3 con parser FIEBDC-3.