Esta es la guía que necesitas para armar tu IA local

Introducción y razones para la IA local00:00:00

Se explica por qué empresas y desarrolladores optan por modelos locales, destacando la privacidad de los datos, el cumplimiento normativo (como PCI o datos médicos) y el control absoluto sobre la configuración del modelo.

Selección de modelos según capacidades00:01:54

Diferencias técnicas entre modelos como Qwen 2.5B y Llama 70B, enfatizando cómo el tamaño del modelo y el número de parámetros influyen directamente en los requisitos de hardware y la velocidad de inferencia.

Gestión de memoria VRAM y contexto00:05:09

La importancia crítica de cargar los modelos en la memoria de video (VRAM). Se discute cómo el tamaño del contexto de uso afecta la memoria disponible y por qué es necesario un margen operativo.

Ancho de banda de memoria y rendimiento00:10:12

Análisis sobre cómo el ancho de banda de memoria impacta la generación de tokens por segundo y la comparación entre arquitecturas de memoria unificada (Mac, Strix Halo) frente a GPUs dedicadas.

Comparativa de hardware: AMD vs Nvidia00:14:35

Análisis de costos y rendimiento entre GPUs de AMD y Nvidia, detallando cuándo cada una es preferible basándose en la productividad, el uso de aceleradores y el escalado para múltiples usuarios.

Software y optimización00:19:57

Recomendaciones de herramientas como LM Studio, Ollama y VLLM, comparando su consumo de recursos y capacidad para manejar solicitudes paralelas, además de consejos sobre el sistema operativo óptimo.

Resumen práctico y conclusiones00:22:31

Un paso a paso para configurar tu IA local: elegir el modelo, calcular la VRAM necesaria, considerar el ancho de banda, determinar el número de usuarios y seleccionar el software adecuado para tus necesidades.