La IA se está expandiendo a velocidad de vértigo, así que unos expertos han creado el primer gusano para sistemas GenAI
La inteligencia artificial parece haber llegado para quedarse. En la actualidad, ChatGPT o Microsoft Copilot pueden ayudarnos a escribir correos electrónicos, programar, estudiar idiomas y mucho más. Sin embargo, algunos creen que esto es tan solo en comienzo de una revolución tecnológica mucho más grande. Bill Gates, por ejemplo, imagina un futuro donde los agentes de AI harán tareas pos nosotros y “cambiarán por completo la forma en la que vivimos”.
Este puerto al que aparentemente nos dirigimos tiene el potencial de desatar un aumento en la productividad, pero también llega acompañado de desafíos de ciberseguridad. Un grupo de expertos de la Universidad de Cornell, situada en Estado de Nueva York, han creado “el primer gusano diseñado para atacar ecosistemas GenAI”. Se trata de un novedoso malware funcional en laboratorio que tiene como objetivo alertar sobre la posibilidad real de crear este tipo de amenazas.
Un gusano para hacer spam y robar datos
El gusano, denominado Morris II en relación al primer gusano de Internet creado por Robert T. Morris en 1988, fue utilizado para demostrar múltiples ataques de día cero contra un servicio de correo electrónico capaz de responder mensajes de manera automática con IA generativa. Los investigadores consiguieron que el malware se autoreplicara y robara datos de la víctima en pruebas con dos grandes modelos de lenguaje populares: Gemini Pro de Google y GPT-4 de OpenAI.
Para comprometer la seguridad del sistema de correo electrónico (creado específicamente para la investigación), Morris II utiliza una técnica conocida como Adversarial Self-Replicating Prompt. Se trata un tipo específico de prompt que se incluye en el cuerpo del mensaje o de manera disimulada incrustado en una imagen y que engaña a la IA generativa adyacente cuando procesa el mensaje. Este ataque, explican, puede infectar otros hosts y difundir contenido personalizado.
Morris II también es capaz de comprometer una funcionalidad conocida como RAG. Se trata de una herramienta utilizada por algunas aplicaciones de inteligencia artificial para mejorar las respuestas extrayendo información de fuentes externas. En este caso, el gusano fue capaz de comprometer la base de datos de la aplicación de correo electrónico simulada de modo tal que sus respuestas incluyeron datos confidenciales del usuario y, además, fue capaz de replicarse.
En Xataka Anthropic quiere desafiar la hegemonía de ChatGPT: Claude 3 es multimodal y puede absorber 150.000 palabras por consulta
Los investigadores dicen que han enviado sus hallazgos a Google y OpenAI, aunque añaden que el gusano que han creado se aprovecha de un mal diseño en la arquitectura de ecosistemas de GenAI representada en el programa de correo que ellos mismos crearon y no en vulnerabilidades de los modelos de lenguaje. Todos los detalles de esta interesante investigación se pueden consultar en un artículo disponible públicamente.
Imágenes | Xataka con Copilot Designer (DALL·E 3)
–
La noticia La IA se está expandiendo a velocidad de vértigo, así que unos expertos han creado el primer gusano para sistemas GenAI fue publicada originalmente en Xataka por Javier Marquez .
