El equipo «Friendly Hackers» de Thales, líder mundial en protección de datos y ciberseguridad, consiguió superar el desafío de la CAID1 organizado por el Ministerio de Defensa francés durante la quinta edición de la Semana Cibernética Europea, que se celebra en Francia del 21 al 23 de noviembre de 2023.
El desafío, el primero de este tipo organizado por el Ministerio de Defensa francés, tenía como finalidad evaluar hasta qué punto los equipos de hackers eran capaces de explotar ciertas vulnerabilidades intrínsecas de los modelos de IA.
El trabajo de Thales en materia de seguridad y confianza en la IA concuerda con los requisitos tanto de la comunidad de defensa como de las organizaciones civiles, como son los proveedores de infraestructuras críticas, que se enfrentan a los mismos problemas a la hora de proteger sus bancos de datos de formación y su propiedad intelectual, y de garantizar que los resultados generados por la IA sean dignos de confianza para la toma de decisiones críticas.
MEUDON, Francia–(BUSINESS WIRE)–El desafío de seguridad de la IA del Ministerio de Defensa francés
Los participantes en este reto de la CAID tuvieron que realizar dos tareas:
1. En un conjunto dado de imágenes, determinar qué imágenes se utilizaron para entrenar el algoritmo de IA y cuáles para la prueba.
Las aplicaciones de reconocimiento de imágenes basadas en IA aprenden a partir de un gran número de imágenes de entrenamiento. Al estudiar el funcionamiento interno del modelo de IA, el equipo «Friendly Hackers» de Thales determinó correctamente qué imágenes se habían utilizado para crear la aplicación, obteniendo información valiosa sobre los métodos de entrenamiento empleados y la calidad del modelo.
2. Encontrar todas las imágenes sensibles de aeronaves utilizadas por un algoritmo de IA soberana que habían sido protegidas mediante técnicas de «desaprendizaje».
La técnica del «desaprendizaje» consiste en borrar los datos utilizados para entrenar un modelo, como las imágenes, con el fin de preservar su confidencialidad. Dicha técnica puede utilizarse, por ejemplo, para proteger la soberanía de un algoritmo en caso de exportación, robo o pérdida. Por ejemplo, en el caso de un dron equipado con IA: debe ser capaz de reconocer cualquier avión enemigo como una amenaza potencial; en cambio, tendría que aprender a identificar el modelo del avión de su propio ejército como amistoso, y luego habría que borrarlo mediante una técnica conocida como desaprendizaje. De este modo, aunque el dron fuera robado o se perdiera, los datos sensibles de la aeronave contenidos en el modelo de IA no podrían extraerse con fines maliciosos. Sin embargo, el equipo «Friendly Hackers» de Thales consiguió volver a identificar los datos que, supuestamente, se habían borrado del modelo, lo que anula el proceso de desaprendizaje. Ejercicios como este ayudan a evaluar la vulnerabilidad de los datos de entrenamiento y los modelos entrenados, que son herramientas valiosas y pueden ofrecer un rendimiento excepcional, pero también representan nuevos vectores de ataque para las fuerzas armadas. Un ataque a los datos de entrenamiento o a los modelos entrenados podría tener consecuencias catastróficas en un contexto militar, donde este tipo de información daría grandes ventajas a un adversario. Los riesgos incluyen el robo de modelos, el robo de los datos utilizados para reconocer el hardware militar u otras características en un teatro de operaciones, y la infección con malware y puertas traseras para perjudicar el funcionamiento del sistema que utiliza la IA. Aunque la IA en general, y la IA generativa en particular, ofrece importantes ventajas operativas y dota al personal militar de herramientas de apoyo a la toma de decisiones con formación intensiva para reducir su carga cognitiva, la comunidad encargada de la defensa nacional debe abordar con carácter prioritario las nuevas amenazas que se ciernen sobre esta tecnología.
El enfoque BattleBox de Thales para hacer frente a las vulnerabilidades de la IA
La protección de los datos de entrenamiento y de los modelos entrenados es fundamental a nivel de defensa. La ciberseguridad de la IA es cada vez más crucial, y necesita autonomía para frustrar las muchas nuevas oportunidades que el mundo de la IA está abriendo a quienes actúan de forma maliciosa. En respuesta a los riesgos y amenazas que conlleva el uso de la inteligencia artificial, Thales ha desarrollado un conjunto de contramedidas denominado BattleBox para ofrecer una mayor protección frente a posibles vulneraciones.
BattleBox Training ofrece protección contra el envenenamiento de datos de entrenamiento, lo que impide que los hackers introduzcan una puerta trasera.
BattleBox IP marca digitalmente el modelo de IA para garantizar su autenticidad y confiabilidad.
BattleBox Evade tiene como objetivo proteger a los modelos de los ataques de inyección de mensajes, que pueden manipular indicaciones para eludir las medidas de seguridad de los «chatbots» que utilizan Large Language Models (LLM), y contrarrestar los ataques adversarios a imágenes, como añadir un parche para engañar al proceso de detección en un modelo de clasificación.
BattleBox Privacy proporciona un marco para entrenar algoritmos de aprendizaje automático, utilizando criptografía avanzada y protocolos seguros de intercambio de secretos para garantizar altos niveles de confidencialidad.
Para evitar el hackeo de la IA en el caso de las tareas de desafío de la CAID, una de las soluciones que podrían aplicarse son contramedidas como el cifrado del modelo de IA.
«La IA aporta considerables beneficios operativos, pero requiere niveles elevados de seguridad y protección de la ciberseguridad para evitar filtraciones de datos y usos indebidos. Thales implementa una amplia gama de soluciones basadas en IA para todo tipo de casos de uso civil y militar. Se pueden explicar, incorporar e integrar en sistemas críticos robustos, y también están diseñadas para ser soberanas, austeras y confiables gracias a los métodos y herramientas avanzados utilizados para su calificación y validación. Thales cuenta con la doble experiencia en IA y línea de negocio necesaria para incorporar estas soluciones a sus sistemas y mejorar sus capacidades operativas de forma significativa», declaró David Sadek, vicepresidente de Investigación, Tecnología e Innovación de Thales a cargo de la Inteligencia Artificial.
Thales y la IA
En los últimos cuatro años, Thales ha desarrollado las capacidades técnicas necesarias para poner a prueba la seguridad de los algoritmos de IA y las arquitecturas de redes neuronales, detectar vulnerabilidades y proponer contramedidas eficaces. El equipo «Friendly Hackers» de Thales, que trabaja desde el laboratorio ThereSIS de Palaiseau, formaba parte de la decena de equipos que participaron en el desafío de IA, y logró el primer puesto en ambas tareas.
El Centro de Evaluación de la Seguridad de las Tecnologías de la Información (Information Technology Security Evaluation Facility, ITSEF) de Thales está acreditado por la Agencia Nacional Francesa de Ciberseguridad (ANSSI) para realizar evaluaciones de seguridad previas a la certificación. Durante la Semana Cibernética Europea, el equipo del ITSEF también presentó el primer proyecto de este tipo en el mundo destinado a comprometer las decisiones de una IA integrada explotando la radiación electromagnética de su procesador.
Los equipos de consultoría y auditoría de ciberseguridad de Thales ponen estas herramientas y metodologías a disposición de los clientes que quieran desarrollar sus propios modelos de IA o establecer un marco para el uso y entrenamiento de modelos comerciales.
Dado que las actividades de defensa y seguridad del Grupo abordan requisitos críticos, muchas veces con implicaciones para la seguridad de la vida humana, Thales ha desarrollado un marco ético y científico para el desarrollo de IA de confianza basado en los cuatro pilares estratégicos de validez, seguridad, explicabilidad y responsabilidad. Las soluciones de Thales combinan los conocimientos de más de 300 expertos en IA y más de 4.500 especialistas en ciberseguridad con la experiencia operativa de las empresas aeroespaciales, de defensa terrestre, defensa naval, espacio y otras actividades de defensa y seguridad del Grupo.
Acerca de Thales
Thales (Euronext Paris: HO) es líder mundial en tecnologías avanzadas en tres ámbitos: Defensa y Seguridad, Aeronáutica y Espacio, e Identidad Digital y Seguridad. Desarrolla productos y soluciones que contribuyen a que el mundo sea más seguro, más ecológico y más integrador.
El Grupo invierte cerca de €4.000 millones al año en Investigación y Desarrollo, especialmente en áreas clave como las tecnologías cuánticas, Edge computing, 6G y ciberseguridad.
Thales tiene 77.000 empleados en 68 países. En 2022, el Grupo generó unas ventas de €17.600 millones.
VISITE
Thales GroupSeguridad
1 Conferencia sobre Inteligencia Artificial para la Defensa
El texto original en el idioma fuente de este comunicado es la versión oficial autorizada. Las traducciones solo se suministran como adaptación y deben cotejarse con el texto en el idioma fuente, que es la única versión del texto que tendrá un efecto legal. Contacts
CONTACTO DE PRENSAThales, Relaciones con la prensaSeguridad, ciberseguridad, IAMarion Bonnet
[email protected]