1
La generación y el procesamiento de imágenes utilizando herramientas de inteligencia artificial (IA) se ha vuelto habitual. Por lo tanto, garantizar la seguridad en cada etapa del proceso es crucial. Recientemente, investigadores han revelado una nueva estrategia de ataque que utiliza la IA para la exfiltración de datos a través de imágenes. Este ataque combina la conocida amenaza de los ataques de escalado de imágenes con inyecciones de comandos, mostrando cómo se pueden realizar acciones maliciosas de forma encubierta.
Combinación de Ataques por Inyección de Comandos y Escalado de Imágenes
Un grupo de expertos de la firma de ciberseguridad Trail of Bits publicó información sobre cómo los ataques de inyección pueden explotar el escalado de imágenes en herramientas de IA. Estos ataques pueden variar desde abrir aplicaciones hasta la exfiltración de datos, todo sin que las víctimas se den cuenta.
Los ataques por escalado de imágenes, que se mostraron por primera vez en 2020 por investigadores de la Tecnische Universität Braunschweig en Alemania, involucran la manipulación del proceso de escalado en los sistemas de IA. Cuando las IA procesan imágenes, ajustan su tamaño para optimizarlas. Un atacante puede aprovechar esta reducción para alterar cómo el modelo interpreta la imagen. En el caso de los investigadores de Trail of Bits, utilizaron este escalado para realizar ataques de inyección de comandos.
Fuente: Trail of Bits
Los investigadores inyectaron un comando malicioso en una imagen. Este comando permanece oculto cuando se visualiza la imagen a gran escala. Sin embargo, al reducir el tamaño de la imagen, el comando se vuelve visible para el sistema. Luego, al enviarse al modelo de IA, este lo considera parte de las instrucciones. Como resultado, el modelo lleva a cabo la acción maliciosa sin que el usuario lo sepa.
Una Amenaza Generalizada para Sistemas de IA
Según los expertos, este ataque puede afectar a la mayoría de los sistemas, con algunas modificaciones según el modelo de IA específico. Algunos de los sistemas vulnerables incluyen:
- Herramientas de análisis de datos.
- Aplicaciones de procesamiento de imágenes.
- Plataformas de gestión de contenido.
Para facilitar pruebas adicionales, los investigadores han lanzado una herramienta de código abierto llamada Anamorpher en GitHub. Esta herramienta, respaldada por una API de Python, permite visualizar ataques contra sistemas de IA multimodales. Actualmente en fase beta, genera imágenes diseñadas para inyecciones de comandos cuando se reducen.
Recomendaciones para Mitigar el Riesgo
Los expertos advierten que limitar los algoritmos de escalado no será suficiente para prevenir estos ataques. En su lugar, sugieren restricciones en las dimensiones de carga y evitar el escalado de imágenes. Además, garantizar una vista previa exacta de la imagen que procesará el modelo puede ayudar a detectar inyecciones de comandos que podrían pasar desapercibidas.
Finalmente, los investigadores enfatizan la importancia de implementar estrategias de defensa robustas. Por ejemplo, se podría requerir una confirmación de usuario antes de ejecutar cualquier instrucción contenida en imágenes. Estos pasos resultan esenciales para salvaguardar los datos de los usuarios y proteger los sistemas de IA.
Déjanos tus comentarios y opiniones al respecto.
Recibe actualizaciones en tiempo real sobre esta categoría de publicaciones directamente en tu dispositivo, suscríbete ahora.
Como joven medio de comunicación independiente, Seguridad y Firewall necesita tu ayuda. Apóyanos siguiéndonos y marcándonos como favoritos en Google News. Gracias por tu apoyo.
