Los ciberdelincuentes aprovechan los grandes modelos de lenguaje para automatizar sus ataques

Cisco Talos ha constatado que los ciberdelincuentes están aprovechando cada vez más los grandes modelos de lenguaje (LLMs) para automatizar y mejorar sus ataques. Los actores maliciosos están explotando los servicios de IA públicos y utilizando modelos personalizados y versiones con jailbreak, lo que les permite llevar a cabo campañas de phishing convincentes y escribir código malicioso complejo. 

Los LLMs están ganando popularidad en todos los sectores gracias a su capacidad para generar texto persuasivo, resolver problemas y escribir código. Según Hugging Face, plataforma que aloja LLMs, actualmente hay más de 1,8 millones de modelos disponibles y la mayoría están equipados con salvaguardas y limitaciones incorporadas (barandillas y alineaciones) para evitar usos delictivos.
 

La división de ciberinteligencia de Cisco ha identificado un importante número de LLMs sin restricciones que permiten a los ciberdelincuentes elaborar mensajes de phishing realistas y comunicaciones fraudulentas, a menudo libres de errores gramaticales o frases sospechosas. Esto aumenta la probabilidad de que las víctimas revelen información personal o corporativa. 

Ejemplos de estos modelos son Ollama y WhiteRabbitNeo, este último promocionado como herramienta para operaciones de ciberseguridad tanto defensivas como ofensivas. El análisis de Cisco también destaca los métodos para eliminar las restricciones integradas (alineaciones). Los usuarios pueden modificar los conjuntos de datos de entrenamiento y ajustar los modelos base para eliminar restricciones, facilitando así un uso indebido. 

LLMs maliciosos personalizados

Algunos ciberdelincuentes han ido más allá desarrollando sus propios LLMs y promoviéndolos en la web oscura. Estos LLMs maliciosos pueden crear software dañino de forma autónoma, como ransomware, troyanos de acceso remoto, shellcode y diversos scripts.

Además, estas herramientas maliciosas ayudan a generar correos de phishing, páginas de destino y archivos de configuración. También pueden verificar datos de tarjetas de crédito robadas, escanear sitios web en busca de vulnerabilidades e idear nuevas estrategias delictivas. Ejemplos de este tipo de aplicaciones maliciosas son GhostGPT, WormGPT, DarkGPT, DarkestGPT y FraudGPT. Talos ha detectado que FraudGPT, en particular, forma parte de una campaña de estafa más amplia.

Abuso de LLMs legítimos

Dada la viabilidad limitada de los LLMs sin restricciones y al alto riesgo de estafa con modelos maliciosos, muchos ciberdelincuentes optan por explotar modelos legítimos. Estos modelos ofrecen una plataforma potente, siempre que los atacantes puedan eludir las medidas de seguridad integradas.

Las principales barreras son las directrices de formación y las medidas de seguridad que impiden respuestas a consultas poco éticas o ilegales. Para superarlas, los ciberdelincuentes emplean técnicas como la inyección inmediata, que intenta hacer jailbreak a los modelos y eludir sus limitaciones.

“Para combatir el uso indebido de grandes modelos de lenguaje, las organizaciones deben adaptar sus medidas de seguridad en consecuencia”, destaca Ángel Ortiz, director de Ciberseguridad en Cisco España. “Esto implica monitorizar el tráfico relacionado con la IA, detectar avisos sospechosos y capacitar a los empleados para reconocer los correos electrónicos de phishing generados por la IA. Además, recomendamos encarecidamente trabajar exclusivamente con modelos de confianza y plataformas bien protegidas”.