Actualizada 10 de octubre de 2026
Inferencia de IA, desde cero
Qué pasa entre que envías un prompt y te vuelven los tokens, y qué hace falta para llevar eso a producción. Son las notas que escribí mientras lo estudiaba, en el orden en que me habría gustado leerlas. Cada capítulo termina con los recursos que usé.
Capítulos
- 01 Qué cuesta generar un token pendiente
- 02 Prefill y decode pendiente
- 03 Cómo medirlo: TTFT, TPOT y throughput pendiente
- 04 El KV cache, con números pendiente
- 05 Batching: estático, dinámico y continuo pendiente
- 06 PagedAttention y la memoria de la GPU pendiente
- 07 Cuantización: qué pierdes y qué ganas pendiente
- 08 Motores de inferencia: vLLM, SGLang y compañía pendiente
- 09 Servir en Kubernetes: GPUs, autoescalado y colas pendiente
Por dónde empezar
- Transformer Inference Arithmetic kipply
- Making Deep Learning Go Brrrr From First Principles Horace He
- Orca: A Distributed Serving System for Transformer-Based Generative Models Yu et al., OSDI 2022
- Efficient Memory Management for LLM Serving with PagedAttention Kwon et al., 2023
- vLLM documentation vLLM project