Soy Platform Engineer / SRE y vivo en España. Construyo y opero plataformas cloud, sobre todo en AWS y Kubernetes, y herramientas pequeñas para los problemas que me voy encontrando.
Ahora mismo estoy estudiando cómo se sirven los modelos de IA en producción: GPUs, batching, el KV cache y la infraestructura que hay detrás de cada llamada a una API. Voy apuntando aquí lo que aprendo, en el orden en que me habría gustado leerlo.
Escritos
Las primeras notas están en camino. Mientras tanto, este es el plan:
- 01 Qué cuesta generar un token pendiente
- 02 Prefill y decode pendiente
- 03 Cómo medirlo: TTFT, TPOT y throughput pendiente
- 04 El KV cache, con números pendiente
- 05 Batching: estático, dinámico y continuo pendiente
- 06 PagedAttention y la memoria de la GPU pendiente
- 07 Cuantización: qué pierdes y qué ganas pendiente
- 08 Motores de inferencia: vLLM, SGLang y compañía pendiente
- 09 Servir en Kubernetes: GPUs, autoescalado y colas pendiente