M8IF 1.1 Introducción: qué es un LLM, historia, mitos y realidades

M8IF 1.2 Álgebra lineal: matrices, tensores, operaciones en redes neuronales

M8IF 1.3 Probabilidad, entropía, entropía cruzada

M8IF 1.4 Aritmética de coma flotante: IEEE 754, FP16, BF16, errores numéricos

M8IF 1.5 Cuellos de botella en el ancho de banda de memoria: por qué importa más que los FLOPS

M8IF 1.6 Optimizaciones de compilador: kernels CUDA, XLA, TorchInductor

M8IF 1.7 Rendimiento en GPU/TPU: FLOPS, VRAM, interconexiones

M8IF 1.8 PCA, SVD: compresión y representaciones

M8IF 1.9 Inestabilidades numéricas: gradientes explosivos/vanishing

M8IF 1.10 Paisajes de pérdida y puntos de silla

M8IF 1.11 Práctica: implementar tu propio optimizador SGD/Adam

M8IF 1.12 Práctica: perfilado de operaciones matriciales

M8IF 1.13 Práctica: simulación de entrenamiento en FP16 vs BF16

M8IF 1.14 Práctica: medir ancho de banda de memoria en GPU

M8IF 1.15 Práctica: pipeline mínimo en PyTorch y detección de cuellos de botella

M8IF 1. Quiz

M8IF 2.1 RNN, LSTM, GRU: la era pre-transformers

M8IF 2.2 Attention y seq2seq

M8IF 2.3 Arquitectura Transformer: multi-head self-attention

M8IF 2.4 Positional encoding

M8IF 2.5 KV-cache: mecánica y optimización

M8IF 2.6 Speculative decoding: acelerar el inference con modelos pequeños

M8IF 2.7 Mixture of Experts (MoE): estrategia de escalado

M8IF 2.8 Modelos de espacio de estados (S4, Mamba) como alternativa a Transformers

M8IF 2.9 Scaling laws: tamaño vs. calidad

M8IF 2.10 Dropout, LayerNorm, residuals

M8IF 2.11 Tokenización: BPE, SentencePiece, byte-level

M8IF 2.12 Embeddings y representaciones latentes

M8IF 2.13 Práctica: construir un mini-transformer en PyTorch

M8IF 2.14 Práctica: inference con KV-cache y speculative decoding

M8IF 2. Quiz

M8IF 3.1 Funciones de pérdida y label smoothing

M8IF 3.2 Batch, epochs, data shuffling

M8IF 3.3 Learning rate warmup y cosine schedules

M8IF 3.4 Gradient clipping: estrategias y efectos

M8IF 3.5 Data ordering effects: cómo el orden de los batches impacta la convergencia

M8IF 3.6 Fine-tuning: full, LoRA, adapters

M8IF 3.7 Aprendizaje autosupervisado

M8IF 3.8 RLHF: modelos de recompensa y PPO

M8IF 3.9 Reward hacking: cómo los modelos engañan al reward

M8IF 3.10 Catastrophic forgetting

M8IF 3.11 Práctica: fine-tuning de LLaMA/Mistral

M8IF 3.12 Práctica: comparación LoRA vs fine-tune completo

M8IF 3. Quiz

M8IF 4.1 Diagnóstico de picos en la pérdida

M8IF 4.2 Memory profiling: herramientas y fugas de memoria en GPU

M8IF 4.3 Análisis de gradientes: normas, neuronas muertas

M8IF 4.4 Inestabilidades de entrenamiento: detección y recuperación de NaN

M8IF 4.5 Práctica: visualización de gradientes

M8IF 4.6 Práctica: perfilado de GPU durante entrenamiento

M8IF 4.7 Práctica: depuración de NaN en una sesión de entrenamiento

M8IF 4.8 Práctica: comparar optimizadores en estabilidad (Adam vs LAMB vs Lion)

M8IF 4. Quiz

M8IF 5.1 Model parallelism: tensor parallel, pipeline parallel

M8IF 5.2 Sobrecarga de comunicación: AllReduce, AllGather

M8IF 5.3 Flash Attention y variantes eficientes en memoria

M8IF 5.4 Checkpointing y gradient accumulation

M8IF 5.5 Mixed precision training: FP16/BF16 y sus problemas

M8IF 5.6 DeepSpeed, FSDP, ZeRO

M8IF 5.7 Dataset streaming

M8IF 5.8 Servidores de inference: vLLM, TGI

M8IF 5.9 Práctica: ejecutar LLaMA en vLLM

M8IF 5.10 Práctica: quantization (int8, int4) y comparación de calidad

M8IF 5. Quiz

M8IF 6.1 Bases vectoriales: FAISS, Milvus

M8IF 6.2 Modelos de embeddings

M8IF 6.3 Estrategias de chunking: dividir documentos

M8IF 6.4 Hybrid search: búsqueda densa + dispersa

M8IF 6.5 Citation y tracking de fuentes

M8IF 6.6 Práctica: RAG sobre documentación

M8IF 6.7 Práctica: RAG con atribución de fuentes

M8IF 6. Quiz

M8IF 7.1 Activation patching: edición de estados ocultos

M8IF 7.2 Técnicas de interpretabilidad: probing, Grad-CAM en transformers

M8IF 7.3 Circuit analysis: algoritmos internos del modelo

M8IF 7.4 Knowledge editing: modificación local de hechos

M8IF 7.5 Jailbreaking techniques: ataques a alignment

M8IF 7.6 Detección de data contamination: fugas en datasets de evaluación

M8IF 7. Quiz

M8IF 8.1 Perfilado de cuellos de botella en inference real

M8IF 8.2 A/B testing para actualizaciones de modelos

M8IF 8.3 Optimización de costes: economía de horas GPU

M8IF 8.4 Monitoring en producción: métricas de degradación

M8IF 8. Quiz