Anatomía de los LLM – de las Matemáticas a la Producción

Este curso está diseñado para desarrolladores de nivel medio y senior, ingenieros de datos y científicos con base matemática que deseen dominar los fundamentos y la práctica de modelos de lenguaje a gran escala, desde la teoría cuantitativa hasta la operación en producción. No es un recorrido superficial: cubre la aritmética de hardware que condiciona el rendimiento, las arquitecturas modernas y alternativas a Transformers, técnicas de entrenamiento a escala, depuración rigurosa, sistemas distribuidos, RAG y mecanismos de interpretabilidad. El objetivo es que puedas construir, entrenar, perfilar, optimizar, desplegar y monitorizar tu propia infraestructura de LLM con criterio ingenieril y evidencias empíricas.

Al finalizar, entenderás por qué el ancho de banda de memoria a menudo domina sobre los FLOPS, cuándo FP16 falla y BF16 salva el entrenamiento, cómo se implementa un optimizador desde cero y qué decisiones de compilación y kernels marcan la diferencia. Entrarás en la mecánica interna de Transformers, el papel del encoding posicional, la gestión de KV-cache y técnicas como speculative decoding y Mixture of Experts. Conocerás modelos de espacio de estados como Mamba, sus compromisos frente a self-attention, y cómo se relacionan con leyes de escalado.

En entrenamiento, recorrerás funciones de pérdida, regularización y scheduling de learning rate, efectos del orden de datos, estrategias de fine-tuning (full, LoRA, adapters) y aprendizaje por refuerzo con feedback humano (RLHF), incluyendo fallos clásicos como reward hacking y catastrophic forgetting. La sección de depuración te dará herramientas para diagnosticar picos de pérdida, localizar fugas de memoria en GPU, detectar neuronas y gradientes moribundos y recuperar sesiones afectadas por NaN de forma sistemática.

El bloque de infraestructura profundiza en paralelismo de tensor y pipeline, sobrecargas de comunicación (AllReduce, AllGather), FlashAttention, checkpointing, mixed precision y frameworks de entrenamiento distribuido como DeepSpeed y FSDP/ZeRO. Verás cómo preparar datasets en streaming, servir inferencia con vLLM o TGI, y cuantizar modelos a int8 o int4 evaluando el compromiso entre calidad y coste.

En recuperación aumentada (RAG) trabajarás con bases vectoriales (FAISS, Milvus), elección de modelos de embeddings, diseño de chunks y búsqueda híbrida densa + dispersa, además de trazabilidad y atribución de fuentes. En interpretabilidad practicarás activation patching, probing, análisis de circuitos, edición de conocimiento y evaluación de riesgos de jailbreaking y contaminación de datos, con métodos reproducibles.

El cierre está orientado a producción: perfilado de cuellos de botella en escenarios reales, A/B testing robusto, economía de horas GPU y monitorización de degradación. Las prácticas guiadas te fuerzan a medir, comparar y justificar decisiones, acercando el aprendizaje al trabajo de un ingeniero que opera sistemas críticos.

Requisitos recomendados: dominio de álgebra lineal y probabilidad, programación en Python y experiencia con PyTorch o JAX, comodidad en Linux, Git y nociones básicas de CUDA. No necesitas experiencia previa con LLM, pero sí rigor técnico y curiosidad. El curso combina explicaciones concisas con ejercicios cuantitativos y prácticas de laboratorio, para que desarrolles intuiciones medibles y hábitos de ingeniería reproducibles. Al terminar, contarás con un toolkit conceptual y práctico para llevar modelos del cuaderno a producción con seguridad, eficiencia y trazabilidad.