Glosario de Ingeniería de IA y LLM

Definiciones técnicas claras de 30 términos esenciales de inteligencia artificial, grandes modelos de lenguaje, cuantización, RAG y agentes.

Mostrando 30 de 30

Agente de IA: Un sistema de software autónomo impulsado por un LLM que planifica objetivos, ejecuta herramientas externas (búsquedas, terminales, APIs) y resuelve flujos de trabajo sin supervisión humana constante.
Ajuste fino (Fine-Tuning): El proceso de entrenar adicionalmente un modelo base con datos especializados de un dominio concreto (como diagnóstico médico o análisis legal) para optimizar su rendimiento en tareas específicas.
Alucinación: Cuando un modelo de IA afirma con total seguridad datos que son fácticamente incorrectos o inventados. Reducir la tasa de alucinación es un indicador clave de fiabilidad.
Benchmark: Un conjunto estandarizado de pruebas para evaluar y comparar objetivamente las capacidades de distintos modelos de IA en tareas como programación (SWE-bench) o matemáticas avanzadas (AIME).
Caché KV: Una optimización de memoria GPU que almacena matrices de atención previas (Key y Value) para evitar recalcular tokens ya procesados, acelerando la generación de respuestas en streaming.
Cadena de pensamiento (CoT): Una técnica de razonamiento paso a paso donde el modelo genera pensamientos intermedios antes de formular la respuesta final, mejorando radicalmente la resolución de problemas matemáticos y lógicos.
Cuantización: La técnica de reducir la precisión numérica de los pesos del modelo (como de FP16 a INT8 o INT4) para disminuir drásticamente el uso de memoria GPU y acelerar la inferencia local.
Decodificación especulativa: Una técnica de aceleración de inferencia que emplea un modelo ligero para predecir secuencias de tokens tentativas en paralelo, validadas de golpe por el modelo principal para multiplicar la velocidad sin perder precisión.
Entrada en caché (Cached Input): Una optimización donde los proveedores almacenan estados de atención previos para prefijos de prompts frecuentes, reduciendo el coste de entrada hasta en un 90% y acelerando la respuesta.
Incrustaciones semánticas (Embeddings): Representaciones vectoriales de alta dimensión que transforman palabras o textos en coordenadas numéricas según su significado semántico, facilitando la búsqueda por similitud en arquitecturas RAG.
Inferencia: El proceso operativo de enviar entradas a un modelo de IA ya entrenado para generar respuestas, código o predicciones. Los precios de las API cubren el coste de cómputo durante esta fase.
Latencia: El tiempo total transcurrido desde el envío de una petición hasta la recepción completa de la respuesta del modelo, englobando la red, el TTFT y el tiempo total de generación.
Llamada a herramientas (Tool Calling): La capacidad de un modelo de detectar la necesidad de una función externa y emitir argumentos JSON estructurados para ejecutar API, búsquedas web o consultas a bases de datos.
Mecanismo de atención: Un algoritmo en modelos transformer que permite a cada token calcular ponderaciones dinámicas con respecto a todos los demás tokens, conectando conceptos clave a lo largo de textos extensos.
Mezcla de expertos (MoE): Una arquitectura donde el modelo se divide en redes especializadas y solo activa unas pocas por token, reduciendo los costes de cómputo mientras mantiene cientos de miles de millones de parámetros totales.
Modelo de Lenguaje Grande (LLM): Un modelo de IA de aprendizaje profundo entrenado con enormes volúmenes de texto para comprender, resumir y generar lenguaje natural similar al humano. Ejemplos modernos incluyen GPT-4o, Claude 3.7 Sonnet y Gemini 2.0 Flash.
Modelo de razonamiento: Un modelo de IA entrenado para invertir cómputo adicional en pensar y validar hipótesis lógicas antes de responder, diseñado para problemas complejos de ingeniería y matemáticas.
Modelo de visión y lenguaje (VLM): Una red neuronal multimodal diseñada para interpretar, razonar y generar contenido combinando simultáneamente imágenes, diagramas, capturas de pantalla y texto en lenguaje natural.
Multimodal: Un modelo de IA capaz de procesar y generar de forma nativa múltiples formatos de datos (texto, imágenes, audio, vídeo y código) dentro de una única arquitectura neuronal.
Parámetros: Las variables internas o ponderaciones que una red neuronal ajusta durante el entrenamiento para almacenar conocimiento. Por ejemplo, Llama 3.3 70B cuenta con 70.000 millones de parámetros.
Prompt del sistema (System Prompt): Un conjunto prioritario de instrucciones iniciales que define la personalidad, tono, restricciones éticas y directrices operativas que el modelo de IA debe respetar en todas sus respuestas.
Protocolo de contexto de modelos (MCP): Un protocolo abierto desarrollado por Anthropic que permite a los agentes de IA conectarse de forma estandarizada a sistemas de archivos locales, entornos de desarrollo y servicios externos.
RAG (Generación aumentada por recuperación): Una arquitectura que recupera documentos relevantes de bases de datos vectoriales para insertarlos en el contexto del modelo, garantizando respuestas actualizadas y basadas en datos propios sin reentrenamiento.
RLHF (Aprendizaje por refuerzo con retroalimentación humana): Una técnica de entrenamiento que optimiza los modelos de lenguaje a partir de puntuaciones y preferencias humanas, alineando sus respuestas con valores éticos, utilidad y precisión factual.
Temperatura: Un parámetro de muestreo que regula la aleatoriedad y creatividad en las respuestas del modelo. Valores bajos (0,1 a 0,3) garantizan respuestas deterministas y precisas para código o cálculo, mientras que valores altos (0,7 a 1,0) generan mayor variedad creativa.
Tiempo hasta el primer token (TTFT): La latencia en milisegundos desde que se envía una solicitud hasta que el modelo emite el primer token de respuesta, evaluando el tiempo de procesamiento de la entrada.
Token: La unidad básica de texto que procesa un modelo de lenguaje, que normalmente equivale a 3 o 4 caracteres o aproximadamente 0,75 palabras. Por ejemplo, una frase típica se divide en varios tokens.
Tokens por segundo (TPS): La métrica que mide la velocidad de generación de un modelo de IA, indicando cuántos tokens emite por segundo en respuestas en tiempo real.
Transformer: La arquitectura de red neuronal introducida en 2017 que impulsa los LLM modernos, empleando mecanismos de autoatención para procesar secuencias completas en paralelo.
Ventana de contexto: La cantidad máxima de tokens que un modelo puede considerar a la vez, incluyendo tanto la entrada que lee como la salida que genera. Una ventana de 1.000.000 de tokens puede procesar unas 750.000 palabras en una sola petición.

Preguntas frecuentes

Can DeepSeek R1 run locally on a 24GB VRAM GPU like RTX 4090?+

The full 671B DeepSeek R1 requires multi-GPU clusters, but distilled versions (such as DeepSeek-R1-Distill-Qwen-14B or 32B with 4-bit quantization) run smoothly on a single 24GB RTX 4090.

Which model has lower latency for real-time voice streaming: Gemini 2.0 Flash or GPT-4o-mini?+

Gemini 2.0 Flash leads with native multimodal audio-to-audio streaming and sub-200ms time-to-first-token (TTFT), making it faster than text-pipelined GPT-4o-mini setups.

How does Gemini 2.0 Pro 2 million token context window process entire code repositories?+

Gemini 2.0 Pro ingests up to 1.5 million words of code in a single prompt with near 100% needle-in-a-haystack retrieval accuracy, eliminating the need for complex RAG chunking pipelines.

Is self-hosting Llama 3.3 70B cheaper than using GPT-4o API?+

Self-hosting Llama 3.3 70B on cloud GPUs becomes cheaper than GPT-4o when processing over 50 million tokens per month, offering complete data privacy with zero licensing fees.

What is the best open-source LLM to replace proprietary APIs in 2026?+

DeepSeek V3 (671B MoE) and Meta Llama 3.3 70B are the top open-weight models matching closed frontier APIs in coding, tool execution, and multilingual reasoning.

How does EAGLE-3 speculative decoding achieve 2x to 4x inference speedup?+

EAGLE-3 generates draft tokens using lightweight autoregressive draft heads trained on target model intermediate representations, verifying candidate tokens in a single target forward pass to accelerate bandwidth-bound generation.

What is Parallel-EAGLE (P-EAGLE) in vLLM and how does it eliminate drafting bottlenecks?+

Parallel-EAGLE (P-EAGLE) drafts all candidate tokens in a single parallel draft step instead of sequential autoregressive iterations, delivering an additional 20% to 30% latency reduction over standard EAGLE in vLLM.

When does speculative decoding decrease LLM throughput instead of speeding it up?+

Speculative decoding decreases throughput when the draft model acceptance rate falls below 50%—such as highly creative writing or mismatched temperature distributions—causing drafting and verification overhead to exceed direct generation costs.

How to select the best draft model for speculative decoding in vLLM or SGLang?+

The optimal draft model should share the same vocabulary and tokenizer, feature a high distribution alignment (>70% acceptance rate), and execute draft steps in under 15% of the target model single-step forward pass time.