Secuestro del objetivo del agente

Descripción

Los atacantes alteran los objetivos del agente mediante inyección indirecta de prompts incrustada en el contenido recuperado, lo que provoca que los agentes persigan objetivos adversarios en lugar de su misión prevista.

Mitigaciones

Separación de instrucciones y datos

Diseñar un límite claro entre las instrucciones del sistema (confiables) y el contenido recuperado (no confiable). Nunca concatenar contenido recuperado sin procesar directamente en el prompt del sistema. Utilizar formatos de mensaje estructurados en los que los datos recuperados se coloquen en bloques de contenido de usuario etiquetados explícitamente, que el modelo tenga instrucciones de tratar únicamente como datos.

Aislamiento de contenido

Procesar todo el contenido recuperado a través de una capa de sanitización antes de que llegue a la ventana de contexto del agente:

• Eliminar caracteres Unicode invisibles (espacios de ancho cero, anulaciones de dirección, homoglifos)
• Eliminar HTML/CSS que pueda ocultar texto (display:none, font-size:0, color que coincide con el fondo)
• Extraer y descartar los campos de metadatos que puedan transportar cargas útiles de inyección
• Normalizar los espacios en blanco y la codificación para exponer contenido oculto

Puntos de control de validación de objetivos

Implementar una validación periódica de objetivos a lo largo de la ejecución del agente:

• Antes de cada llamada a herramienta, verificar que la acción propuesta se alinee con el objetivo original de la tarea
• Mantener una copia inmutable del objetivo original que no pueda ser sobrescrita por el contenido recuperado
• Utilizar una llamada de modelo separada e independiente para evaluar si la trayectoria actual del agente coincide con su mandato
• Registrar todas las transiciones de estado de objetivo para auditoría posterior

Filtrado de salidas

Aplicar controles del lado de la salida como medida de defensa en profundidad:

• Bloquear las solicitudes salientes a dominios que no estén en la lista de aprobados
• Marcar y poner en cuarentena las respuestas que contengan patrones de datos que coincidan con información sensible (PII, credenciales, datos financieros)
• Limitar la tasa de invocaciones de herramientas para evitar una exfiltración rápida

Señuelos de comportamiento

Inyectar instrucciones señuelo conocidas como inofensivas en documentos de prueba para verificar que los agentes ignoren las directivas incrustadas. Monitorear la activación de señuelos como alerta temprana de susceptibilidad al secuestro de objetivos.

Ejemplos de código

Verificador de integridad de objetivos

import hashlib
from dataclasses import dataclass
from typing import Optional


@dataclass
class ObjetivoAgente:
    objetivo: str
    restricciones: list[str]
    herramientas_permitidas: list[str]
    dominios_permitidos: list[str]
    huella: str


class VerificadorIntegridadObjetivos:
    """Valida que el comportamiento del agente permanezca alineado con los objetivos originales."""

    def __init__(self, objetivo: ObjetivoAgente):
        self._objetivo_original = objetivo
        self._huella = self._calcular_huella(objetivo)
        self._registro_acciones: list[dict] = []

    def _calcular_huella(self, objetivo: ObjetivoAgente) -> str:
        carga_util = f"{objetivo.objetivo}|{'|'.join(objetivo.restricciones)}"
        return hashlib.sha256(carga_util.encode()).hexdigest()

    def validar_accion(self, accion_propuesta: dict) -> dict:
        """Verifica la acción propuesta contra el objetivo original antes de la ejecución."""
        resultado = {"permitido": True, "violaciones": []}

        # Verificar que la integridad del objetivo no haya sido alterada
        if self._calcular_huella(self._objetivo_original) != self._huella:
            resultado["permitido"] = False
            resultado["violaciones"].append("CRÍTICO: la huella del objetivo no coincide — posible secuestro")
            return resultado

        # Verificar que la herramienta esté en la lista de permitidos
        herramienta = accion_propuesta.get("herramienta", "")
        if herramienta not in self._objetivo_original.herramientas_permitidas:
            resultado["permitido"] = False
            resultado["violaciones"].append(f"Herramienta '{herramienta}' no está en el conjunto permitido")

        # Verificar que el dominio de destino esté permitido
        destino = accion_propuesta.get("dominio_destino", "")
        if destino and destino not in self._objetivo_original.dominios_permitidos:
            resultado["permitido"] = False
            resultado["violaciones"].append(f"Dominio '{destino}' no está en los dominios permitidos")

        # Registrar cada acción para la auditoría
        self._registro_acciones.append({
            "accion": accion_propuesta,
            "resultado": resultado,
        })

        return resultado


def sanitizar_contenido_recuperado(contenido_bruto: str) -> str:
    """Elimina contenido que pudiera transportar cargas útiles de inyección ocultas."""
    import re
    # Eliminar caracteres de ancho cero
    limpio = re.sub(r'[\u200b\u200c\u200d\u2060\ufeff]', '', contenido_bruto)
    # Eliminar etiquetas HTML que ocultan contenido
    limpio = re.sub(r'<[^>]*style=[^>]*display\s*:\s*none[^>]*>.*?</[^>]*>', '', limpio, flags=re.DOTALL)
    limpio = re.sub(r'<[^>]*style=[^>]*font-size\s*:\s*0[^>]*>.*?</[^>]*>', '', limpio, flags=re.DOTALL)
    # Colapsar espacios en blanco excesivos
    limpio = re.sub(r'\s{10,}', ' ', limpio)
    return limpio.strip()

Requisitos de evidencia

• Registro de auditoría de huellas de objetivos que muestra todas las decisiones de validación de acciones
• Informes de sanitización de contenido que documentan los intentos de inyección eliminados
• Panel de monitoreo de activación de señuelos con umbrales de alerta
• Registros de respuesta a incidentes para cualquier evento detectado de desviación de objetivos
• Informes periódicos de evaluaciones de red team enfocadas en la integridad de objetivos del agente