Diccionario TN Tecno: qué es prompt injection, la nueva modalidad de ciberataque que …

Esta nueva técnica aprovecha el funcionamiento de los chatbots con inteligencia artificial para alterar respuestas, esquivar controles y conseguir información sensible.

Diccionario TN Tecno: qué es prompt injection, la nueva modalidad de ciberataque que hace estragos en internet

Diccionario TN Tecno: qué es prompt injection, la nueva modalidad de ciberataque que hace estragos en internet. (Imagen: ChatGPT)

La inteligencia artificial (IA) sumó una nueva palabra al diccionario de la ciberseguridad: prompt injection. La expresión -que ya forma parte del vocabulario de empresas, investigadores y organismos especializados- define a una de las amenazas más letales de los últimos tiempos.

El término describe un tipo de ataque que busca manipular a un sistema de IA mediante instrucciones maliciosas, con el objetivo de alterar su comportamiento, esquivar restricciones o empujarlo a revelar información y ejecutar acciones no previstas.

Organizaciones como OWASP (Open Web Application Security Project) y NIST (National Institute of Standards and Technology), dos pilares fundamentales de la ciberseguridad, ya lo identifican como uno de los riesgos más serios en aplicaciones que integran modelos de lenguaje basados en inteligencia artificial.

Diccionario TN Tecno: qué es prompt injection, la nueva modalidad de ciberataque que hace estragos en internet. (Imagen: ChatGPT)

Diccionario TN Tecno: qué es prompt injection, la nueva modalidad de ciberataque que hace estragos en internet. (Imagen: ChatGPT)

Cómo funciona el prompt injection

El mecanismo puede darse de dos maneras. La primera es directa: alguien escribe un mensaje pensado para torcer la respuesta del chatbot o asistente. La segunda es indirecta: la instrucción maliciosa queda escondida dentro de una página web, un archivo, un mail o cualquier otro contenido que la IA vaya a leer.

Cuando el sistema procesa ese material, puede confundir ese texto con una orden válida. Al respecto, OpenAI explicó que el problema aparece porque, en muchos productos actuales, la conversación no solo incluye lo que escribe el usuario, sino también contenido tomado de internet o de otras fuentes.

Cómo puede afectar el prompt injection a usuarios comunes

El riesgo del prompt injection adquiere su verdadera dimensión cuando se lo lleva a situaciones reales de uso.

Por ejemplo, una persona usa un asistente de IA para resumir sus correos electrónicos. Entre esos mensajes hay uno que incluye texto oculto o instrucciones diseñadas para el modelo. Si la herramienta no distingue correctamente ese contenido, podría interpretar esa instrucción como válida y modificar su comportamiento.

Algo similar puede ocurrir con agentes que navegan en internet para investigar un tema. Si una página incluye instrucciones maliciosas pensadas para la IA, el sistema puede procesarlas como parte de su tarea y actuar en consecuencia, aunque el usuario nunca haya pedido eso.

Leé también: La Unión Europea impulsa una app para verificar la edad en internet sin exponer datos personales

También aplica a herramientas internas de empresas que leen documentos o PDFs. Si uno de esos archivos contiene una instrucción oculta, el modelo podría no solo resumirlo, sino también ejecutar acciones no previstas en otros sistemas conectados.

Estos casos muestran por qué el problema no es solo técnico. A medida que la inteligencia artificial se integra en tareas cotidianas, el prompt injection deja de ser un riesgo teórico y pasa a tener impacto directo en el uso diario de estas herramientas.

Qué diferencia hay entre prompt injection y jailbreaking

Aunque suelen usarse como sinónimos, no son exactamente lo mismo. El prompt injection es un concepto más amplio. Como vimos, se refiere a cualquier intento de manipular a un modelo de inteligencia artificial mediante instrucciones diseñadas para alterar su comportamiento.

El jailbreaking, en cambio, es un tipo específico de prompt injection. Su objetivo es hacer que el sistema ignore sus reglas internas o restricciones de seguridad, por ejemplo para obtener respuestas que normalmente estarían bloqueadas.

La diferencia es importante: mientras que el jailbreaking apunta a “romper” los límites del modelo, el prompt injection puede ir más allá y buscar que la IA ejecute acciones indebidas, acceda a información sensible o interactúe de forma incorrecta con otros sistemas.

Leé también: El peligro de la inteligencia artificial sin control: qué es la Shadow IA y cómo afecta a las empresas

Por qué preocupa a expertos y empresas

La gravedad del problema depende de qué puede hacer la herramienta atacada. Si la IA solo responde preguntas, el daño puede limitarse a una salida incorrecta o manipulada. Pero si además tiene acceso a archivos, correos, calendarios, navegadores o sistemas corporativos, el riesgo crece y el prompt injection puede servir para esquivar controles, exponer datos sensibles o inducir acciones no autorizadas. Y a medida que la adopción de agentes de IA crece y los sistemas ganan capacidad de actuar en nombre de las personas, el desafío se vuelve cada vez más grande.

Las recomendaciones de organismos y compañías del sector para combatir esta amenaza apuntan a combinar varias barreras: separar contenido confiable de contenido no confiable, limitar permisos, evitar que la IA tenga acceso innecesario a datos sensibles y exigir validación humana antes de acciones importantes. El consenso actual es que no hay una solución única, sino una serie de medidas para reducir el riesgo.

fuente: GOOGLE NEWS

Artículos Relacionados

Volver al botón superior

Adblock Detectado

Considere apoyarnos deshabilitando su bloqueador de anuncios