Shadow AI: el riesgo de usar inteligencia artificial en las empresas sin controles ni reglas claras – TN

Cada octubre, el Mes de la Ciberseguridad convoca a personas y organizaciones de todo el mundo a repensar cómo protegen su información y qué tan seguros son, en realidad, los hábitos digitales que ya dan por naturales. Este año, la conversación tiene un protagonista ineludible: la inteligencia artificial, cuya adopción masiva y veloz abrió una puerta que muchas empresas todavía no terminaron de entender, y mucho menos de controlar.

La IA entró por la ventana

El primer problema es de origen: la tecnología llegó a las compañías antes que las políticas para regularla. “La IA generativa entró a las empresas por la ventana, no por la puerta principal: la adoptaron los empleados antes que los equipos de sistemas”, explica Facundo Balmaceda, especialista en Ciberseguridad de SONDA Argentina. “Eso significa que hoy tenemos modelos tomando decisiones y procesando datos sin que exista un marco claro sobre qué información pueden ver o qué acciones pueden ejecutar”.

Esa falta de marco habilita lo que se conoce como shadow AI: el uso de herramientas de inteligencia artificial fuera del control del área de sistemas, con consecuencias que van desde filtraciones hasta decisiones sesgadas. El caso más habitual, señala el especialista, ni siquiera parece un ataque: es un empleado que copia un contrato o una base de clientes en un chatbot gratuito para agilizar una tarea, sin saber que esa información ya salió del perímetro de control de la empresa.

Frente a este panorama, el referente de SONDA insiste en que el punto de partida no es elegir una plataforma de IA, sino clasificar la información: “La clave es la gobernanza de datos. Antes de preguntarse qué herramienta utilizar, la empresa debe tener identificado qué información es crítica, cuál es sensible y cuál es pública. En criollo, no se trata de prohibir la IA, sino de establecer reglas claras”.

Los desarrollos a medida tampoco están exentos de riesgos. “Un chatbot corporativo mal desarrollado es como dejar una puerta trasera abierta en la recepción de tu empresa”, compara el ejecutivo, sobre todo cuando falta segmentación entre la información que el bot puede consultar y la que debería mostrar, o cuando no hay controles frente a las inyecciones de prompt.

Otro fenómeno que crece, en especial en Recursos Humanos y en cotizaciones comerciales, es el uso de texto oculto en documentos -letras blancas sobre fondo blanco o tamaños de fuente invisibles- para intentar manipular el análisis de una IA e influir en la selección de un candidato o de un presupuesto. El riesgo, aclara Balmaceda, no es que el sistema “obedezca” a ciegas esas instrucciones, sino que puedan sesgar el resultado si no hay supervisión humana ni herramientas capaces de detectar ese contenido oculto.

Cuánto criterio le delegamos a un algoritmo

Para el especialista, lo más preocupante no es la tecnología en sí, sino la velocidad con la que se delegan decisiones -en la aprobación de créditos, el filtrado de postulantes o la gestión de accesos- sin mantener un control humano efectivo. “Cuanto mayor es el impacto de una decisión sobre un cliente, un empleado o el negocio, mayor debería ser el nivel de supervisión humana. La IA puede acelerar procesos, pero la responsabilidad final no debería dejar de estar en manos de las personas”.

En el sector público, agrega, la vara debería ser todavía más alta, con auditorías independientes, trazabilidad completa de las decisiones automatizadas y soberanía sobre dónde y bajo qué jurisdicción se procesan los datos del Estado. Su límite ético es simple: si una tecnología puede afectar la vida, la plata o los derechos de una persona, tiene que poder explicarse; de lo contrario, ya cruzó una línea peligrosa, esté regulada por ley o no.

Frente al riesgo de las plataformas gratuitas, el especialista pone como ejemplo a soluciones empresariales como Copilot de Microsoft, que operan dentro de un entorno con controles de seguridad y gobernanza definidos por la organización: los datos no se usan para entrenar modelos públicos y las interacciones quedan sujetas a los mismos permisos y acuerdos de confidencialidad de la empresa.

De cara a los próximos años, anticipa una región donde la transformación digital seguirá corriendo más rápido que la maduración en seguridad de buena parte de las organizaciones.

“A la inteligencia artificial le dimos un poder enorme, pero todavía no le pusimos el mismo nivel de responsabilidad. Esa distancia, hoy, es la vulnerabilidad más grande de todas”, finaliza Balmaceda.