El despliegue acelerado de modelos generativos y sistemas autónomos en los entornos corporativos expone una fractura conceptual que genera fallos de diseño, presupuestos mal asignados y vulnerabilidades críticas. En la jerga técnica anglófona conviven dos términos que en español suelen traducirse bajo la misma palabra: Safety y Security.
Esta coincidencia lingüística oculta una distinción operativa fundamental. Mientras la seguridad tradicional se enfoca en proteger los sistemas frente a agentes maliciosos externos, la seguridad funcional busca garantizar que el modelo no cause daños imprevistos por su propio diseño, comportamiento degradado o fallos en el alineamiento con la intención humana. Confundir ambos frentes deja vacíos defensivos insostenibles para cualquier organización.
Organismos como el Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST), mediante su AI Risk Management Framework, y la Agencia de Ciberseguridad y Seguridad de Infraestructuras (CISA) han comenzado a exigir una demarcación clara entre ambas disciplinas. Entender dónde termina la protección de la infraestructura y dónde empieza el control del comportamiento algorítmico se ha convertido en la nueva prioridad de las direcciones de tecnología.
La anatomía del problema: ¿proteger el sistema o controlar el comportamiento?
Para dimensionar la brecha conviene analizar la naturaleza de las amenazas a las que se enfrenta un sistema basado en aprendizaje profundo. La diferencia radicará en el origen del fallo y la intención detrás de la interacción.
+------------------------------------------+
| SISTEMA DE INTELIGENCIA ARTIFICIAL |
+------------------------------------------+
|
+-----------------------+-----------------------+
| |
v v
[ AI SECURITY (Protección) ] [ AI SAFETY (Control) ]
• Vulnerabilidades de código • Hallazgos no deseados / Alucinaciones
• Inyección de prompts (Prompt Injection) • Sesgos algorítmicos discriminatorios
• Extracción y envenenamiento de datos • Comportamiento no alineado o descontrol
• Infiltración en la cadena de suministro • Fallos en decisiones autónomas críticas
AI Security: la defensa frente al adversario
Esta dimensión abarca las prácticas diseñadas para salvaguardar la confidencialidad, integridad y disponibilidad del modelo y sus datos. Se centra en evitar que un atacante externo explote vulnerabilidades del software o del propio flujo de entrenamiento.
Entre las amenazas más comunes documentadas por la OWASP (Open Worldwide Application Security Project) para aplicaciones LLM destacan:
- Inyección de instrucciones (Prompt Injection): manipulación de las entradas para saltarse los controles del sistema y ejecutar órdenes no autorizadas.
- Envenenamiento de datos (Data Poisoning): alteración maliciosa del conjunto de entrenamiento para introducir puertas traseras o sesgar la toma de decisiones.
- Exfiltración del modelo: robo de los pesos algorítmicos o reconstrucción de datos privados a través de consultas inversas.
AI Safety: la contención del riesgo inherente
Por otro lado, la seguridad funcional o AI Safety busca mitigar los riesgos derivados del funcionamiento probabilístico del modelo, incluso cuando no existe un atacante malintencionado. Se trata de prevenir que el sistema cause un impacto negativo debido a un diseño deficiente, datos de entrenamiento sesgados o una falta de alineamiento con los valores operativos de la organización.
Los principales retos en este ámbito comprenden:
- Alucinaciones y desinformación: generación de respuestas sintácticamente correctas pero fácticamente falsas que pueden llevar a decisiones corporativas erróneas.
- Sesgos y discriminación: replicación y amplificación de patrones inequitativos presentes en los datos de origen.
- Deriva del modelo (Model Drift): pérdida paulatina de precisión en las predicciones a medida que la realidad operativa se aleja de los datos históricos.
Marcos regulatorios: la norma europea y el estándar ISO/IEC 42001
La convergencia de ambos conceptos es el eje central de las directivas internacionales recientes. El Reglamento de Inteligencia Artificial de la Unión Europea (EU AI Act) califica a los sistemas de «alto riesgo» —como aquellos aplicados en salud, infraestructura crítica, contratación o evaluación crediticia— bajo criterios estrictos que exigen auditorías tanto de Security como de Safety.
Paralelamente, la norma ISO/IEC 42001, el primer estándar internacional para la gestión de sistemas de IA, establece que las organizaciones deben implantar controles específicos para monitorizar la equidad, la transparencia y el comportamiento de los modelos durante todo su ciclo de vida, sumándose a los controles habituales de seguridad de la información contemplados en la ISO 27001.
| Dimensión | AI Security | AI Safety |
| Objetivo principal | Defender el sistema contra ataques maliciosos externos. | Garantizar un comportamiento seguro, ético y predecible. |
| Origen del riesgo | Hackers, competidores, ciberdelincuentes. | Fallos intrínsecos del modelo, datos sesgados, mal alineamiento. |
| Vulnerabilidades típicas | Inyección de prompts, exfiltración de modelos, envenenamiento. | Alucinaciones, sesgos algorítmicos, fallos de razonamiento. |
| Estándares de referencia | OWASP Top 10 for LLM, NIST SP 800-53, ISO 27001. | NIST AI RMF, ISO/IEC 42001, EU AI Act (Anexo III). |
| Métrica clave | Ausencia de brechas y accesos no autorizados. | Tasa de error, precisión, equidad y ausencia de alucinaciones. |
Impacto operativo en la empresa: cuando la infraestructura aguanta pero el modelo falla
Un ciberataque tradicional que compromete la base de datos de una compañía representa un fallo explícito de Security. Sin embargo, un asistente virtual de atención al cliente que ofrece descuentos no autorizados debido a una mala interpretación contextual o que revela información sesgada a un usuario representa una falla directa de Safety.
Las implicaciones financieras e impositivas de este segundo tipo de errores son sustanciales. No requieren un Malware sofisticado; basta con la interacción cotidiana de los usuarios para exponer inconsistencias en la lógica del algoritmo.
«Asumir que proteger la API de un modelo de lenguaje equivale a garantizar que la herramienta no devuelva un diagnóstico médico erróneo o un sesgo de contratación es confundir la fortificación del edificio con la cordura de quien habita en él.»
Estrategias integradas para la gestión del riesgo algorítmico
Garantizar la estabilidad operativa exige articular ambas disciplinas dentro del marco de gobernanza tecnológica de la empresa.
1. Implementación de capas de validación (Guardrails)
Desplegar filtros intermedios entre el usuario y el modelo que verifiquen las entradas y salidas. Herramientas de código abierto y soluciones comerciales permiten bloquear intentos de inyección y filtrar salidas que contengan lenguaje tóxico, alucinaciones probables o fuga de datos personales (PII).
2. Equipos Red Teaming especializados
Efectuar ejercicios de simulación que evalúen de forma combinada la resistencia técnica (ciberseguridad) y el alineamiento ético-operativo (safety). Estos ensayos deben medir hasta qué punto el sistema puede ser manipulado o desviado de sus parámetros normativos.
3. Trazabilidad y linaje de datos
Establecer un inventario riguroso de las fuentes utilizadas para el entrenamiento y el ajuste fino (fine-tuning). Saber exactamente qué información alimentó al modelo permite auditar la presencia de sesgos o detectar vectores de envenenamiento de datos.
4. Monitorización continua del rendimiento
Supervisar las métricas de respuesta en producción para identificar la deriva algorítmica. Un sistema que funcionaba correctamente tras su despliegue puede degradedarse conforme varían los patrones de uso de los clientes o los datos del entorno.
El horizonte de la gobernanza algorítmica
A medida que los agentes autónomos asuman roles con capacidad de ejecución directa en la infraestructura corporativa —desde la gestión de inventario hasta la respuesta ante incidentes—, la línea divisoria entre el comportamiento del software y la seguridad del entorno físico se volverá difusa.
El reto para las direcciones de tecnología no consiste en elegir entre Safety o Security, sino en romper los silos que separan la ciberseguridad defensiva de las áreas de ciencia de datos. Solo un enfoque holístico permitirá aprovechar el potencial transformador de los modelos avanzados sin exponer la continuidad del negocio a fallos imprevistos.
Deja una respuesta