¿Podrían los LLM convertirse en la próxima amenaza interna para las organizaciones?

Hoy en día, los equipos de seguridad consideran a los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) como una herramienta fundamental y confiable en el ámbito empresarial, capaz de automatizar tareas, liberar a los empleados para que se enfoquen en funciones más estratégicas y proporcionar una ventaja competitiva a la organización.

Los LLM representan una sofisticada categoría de inteligencia artificial que se especializa en entender y producir texto en lenguaje humano. Su principal característica es la habilidad de procesar grandes cantidades de datos y aprender patrones complejos del lenguaje natural.

La inteligencia innata de los LLM les confiere habilidades sin precedentes, superando a cualquier otra herramienta empresarial anterior. Sin embargo, también son inherentemente vulnerables a la manipulación, lo que puede llevarlos a comportarse de maneras no deseadas. Por esta razón, aumentar sus capacidades puede intensificar el impacto de estos riesgos.

Este riesgo se vuelve especialmente grave cuando el LLM se integra con otros sistemas, como una base de datos que alberga información financiera sensible. Es comparable a una empresa que otorga a un proveedor desconocido acceso a sistemas confidenciales, le indica que siga cualquier orden que reciba y confía en que no será susceptible a la manipulación.

Dado que los LLM no poseen habilidades de pensamiento crítico y están programados para responder únicamente a consultas con limitadas medidas de seguridad, es fundamental que las organizaciones evalúen si deben considerarse como “insiders” o posibles adversarios internos. Además, es necesario que las arquitecturas de seguridad se diseñen bajo un nuevo paradigma que asuma la posibilidad de una infracción. Esto implica que los equipos de seguridad deben operar bajo la premisa de que el LLM podría actuar en beneficio de un atacante, lo que requiere establecer protecciones adecuadas a su alrededor.

En este sentido, los LLM pueden presentar diversos riesgos de seguridad para las empresas. Uno de los peligros más comunes es que se les permita operar de manera no prevista por su diseño original. Esto puede ocurrir al introducir un mensaje que comprometa la alineación de seguridad del modelo. Por ejemplo, muchos LLM están programados para no proporcionar instrucciones específicas sobre cómo fabricar un malware, respondiendo que no pueden contestar esa pregunta. Sin embargo, existen técnicas que pueden evadir estas medidas de seguridad. Un LLM con acceso a datos internos de recursos humanos y de usuarios corporativos podría ser manipulado para revelar información sobre los salarios de los empleados, su historial y el rol que cumplen en el organigrama, lo que podría ser utilizado para llevar a cabo ataques de phishing y otras amenazas cibernéticas. Otra amenaza para las organizaciones es que los LLM pueden aumentar las vulnerabilidades de ejecución remota de código (RCE) en diferentes sistemas o entornos.

Los LLM, como ChatGPT, Bard, LLaMA y la herramienta LangChain, pueden estar expuestos a diversas vulnerabilidades de seguridad. ChatGPT, desarrollado por OpenAI, y Bard, de Google, son susceptibles a ataques de inyección de comandos, manipulación de datos y posibles filtraciones de información confidencial. Por su parte, LLaMA, de Meta, puede ser vulnerable a manipulaciones en sus respuestas y envenenamiento de datos de entrenamiento. LangChain, que integra LLM en diversas aplicaciones, enfrenta riesgos de acceso no autorizado a APIs y datos sensibles. Las vulnerabilidades más comunes incluyen la inyección de comandos, la manipulación insegura de salidas, el envenenamiento de datos, el acceso a información confidencial y los ataques de denegación de servicio (DoS).

En la actualidad, las medidas de seguridad disponibles son insuficientes para abordar estos problemas. Aunque existen sistemas de filtrado de contenido destinados a identificar y bloquear materiales maliciosos o perjudiciales, estos a menudo se basan en análisis estáticos, filtrado y listas de bloqueo.

No es un problema sencillo de resolver debido a la dificultad para identificar la causa raíz. En el caso de vulnerabilidades tradicionales, es posible aplicar parches a líneas de código específicas que presentan problemas. Sin embargo, los LLM son más complejos y no se tiene la visibilidad necesaria para llevar a cabo correcciones de código de esta naturaleza.

Un aspecto preocupante es que, aunque los principales proveedores de LLM están realizando esfuerzos para mejorar la seguridad, esta no es su prioridad principal. Todos están en competencia por aumentar su participación en el mercado, lo que les lleva a centrarse más en el desarrollo de funciones atractivas para los usuarios en lugar de priorizar el lanzamiento de modelos seguros.

Debido a lo anterior, y dado que la industria se halla en las etapas iniciales de investigación en este ámbito y el ritmo de desarrollo y adopción ha sido tan acelerado, las empresas deben adoptar el paradigma de amenazas internas para protegerse contra los riesgos asociados a los LLM. Este enfoque se refiere a los peligros y vulnerabilidades que pueden surgir desde el interior de una organización, donde empleados o personas con acceso autorizado pueden poner en peligro la seguridad de sistemas, datos o procesos.

Los riesgos potenciales de los LLM deben ser abordados de la misma manera en que se implementa una estrategia de ciberseguridad orientada a gestionar amenazas internas provocadas por insiders. Es importante recordar que los insiders son individuos con acceso legítimo a los sistemas y datos de una organización que, ya sea de forma intencionada o accidental, pueden comprometer su seguridad.

Existen tres tipos principales de insiders: los usuarios malintencionados, que utilizan su acceso para causar daño deliberado, como empleados descontentos que roban información; los usuarios descuidados, que representan una amenaza no intencional debido a errores humanos o falta de atención a las políticas de seguridad; y los usuarios comprometidos, cuyas credenciales han sido robadas por ciberdelincuentes y se utilizan para realizar acciones maliciosas sin su conocimiento.

A pesar de las limitaciones actuales, las empresas pueden llevar a cabo diversas acciones para protegerse, tales como:

- Otorgue sólo el privilegio mínimo necesario para llevar a cabo una tarea con LLM. Evalúe cómo la concesión de privilegios puede suponer más riesgos que beneficios.

- No utilice un LLM como un perímetro de seguridad. Proporcione únicamente las capacidades que desea que emplee y no dependa de un aviso o alineación del sistema para garantizar la seguridad, ya que estos mecanismos pueden ser insuficientes o vulnerables. Los avisos del sistema pueden no ser capaces de detectar todas las amenazas o comportamientos anómalos, especialmente en entornos complejos.

Es fundamental restringir el ámbito de acción del LLM, de modo que el modelo opere como si fuera el usuario que lo está utilizando. Esta medida puede contribuir a disminuir el riesgo de que el LLM lleve a cabo acciones no deseadas o inapropiadas.

- Antes de utilizar cualquier LLM, es importante garantizar que no se introduzcan datos confidenciales en el sistema y validar todos los resultados. Por ejemplo, elimine las cargas útiles de tipo XSS o etiquetas HTML. Si desea utilizar el LLM para ejecutar código, es necesario mantenerlo en un entorno seguro.

Los LLM podrían representar una nueva y potencial amenaza interna para las organizaciones. Aunque son herramientas poderosas, su capacidad para acceder y manipular información sensible puede ser explotada tanto por usuarios malintencionados como por aquellos que actúan sin intención de causar daño. Esto genera un desafío significativo en términos de seguridad, ya que los LLM pueden facilitar ataques sofisticados, como la generación de contenido engañoso y la extracción de datos confidenciales. Por lo tanto, es crucial que las organizaciones implementen medidas de seguridad adecuadas para mitigar estos riesgos y proteger sus activos de posibles abusos.

* Fundador de SILIKN | Emprendedor Tecnológico | (ISC)² Certified in Cybersecurity℠ (CC) | Cyber Security Certified Trainer (CSCT™) | EC-Council Ethical Hacking Essentials (EHE) | EC-Council Certified Cybersecurity Technician (CCT) | Cisco Ethical Hacker | Líder del Capítulo Querétaro de OWASP.

Twitter: https://twitter.com/silikn

Instagram: https://www.instagram.com/silikn

YouTube: https://www.youtube.com/@silikn7599