OpenAI revela un inesperado incidente: una IA se volvió contra Hugging Face
OpenAI ha reconocido que un agente suyo se coló la semana pasada en la infraestructura de Hugging Face
Sam Altman CEO of OpenAI speaks during a news conference in Tokyo. SoftBank Group Corp. CEO Masayoshi Son announced an alliance with Open AI Inc. for business in Japan. Also, Sam Altman CEO of OpenAI Inc. announce
Comentarios
OpenAI ha reconocido que un agente suyo se coló la semana pasada en la infraestructura de Hugging Face, el repositorio más popular de modelos abiertos de Inteligencia Artificial. La compañía ha explicado en su blog que dos de sus modelos, que se estaban probando internamente, se escaparon del entorno aislado en el que se encontraban confinados.
Según Open AI, los modelos que protagonizaron el ataque fueron el GPT-5.6 Sol y otro más capaz que está en prelanzamiento y lo hicieron para conseguir una mayor puntuación en el test. La evaluación interna impulsa a los modelos a realizar ataques avanzados con el objetivo de cuantificar sus capacidades cibernéticas.
OpenAI reconoce este incidente como «un ciberataque sin precedentes»
Hugging Face informó el pasado 16 de julio del ataque y, en su momento, lo atribuyó a un «sistema de agente de IA autónomo» de origen desconocido, pero, tras conocerse estos últimos datos, han asegurado que continuarán realizando «una investigación exhaustiva junto con Hugging Face y compartiremos más detalles sobre las vulnerabilidades, el incidente y los hallazgos una vez finalizada nuestra investigación».
De hecho, OpenAI ha considerado este incidente «un ciberataque sin precedentes» y ha asegurado que están actuando en consecuencia. «En esta etapa, compartimos los hallazgos preliminares para ayudar a los responsables de la seguridad a comprender lo sucedido y a calibrar las capacidades actuales de los modelos», han añadido.
La conclusión principal de OpenAI de este incidente es que la seguridad de los modelos debe producirse en paralelo al rápido avance de sus capacidades. Es por eso que están reforzando las prácticas de contención, monitorización, control de acceso y evaluación utilizadas durante el desarrollo de los modelos.
Por otro lado, han indicado que los modelos avanzados son capaces de descubrir y explotar nuevas vías de ataque en sistemas reales sin necesidad de acceder al código fuente. En consecuencia, han explicado que es necesario desarrollar capacidades cibernéticas avanzadas, además de medidas de seguridad y herramientas defensivas más sólidas.
OpenAI ha considerado que los modelos con capacidades avanzadas de ciberseguridad deben utilizarse para ayudar a los equipos de seguridad a identificar vulnerabilidades antes que los atacantes, así como comprender cómo se combinan los fallos de seguridad y corregirlos rápidamente.
La empresa está aprovechando estas capacidades de sus modelos para fortalecer sus infraestructuras y entornos de evaluación, y planea compartir las lecciones aprendidas y las mejores prácticas. Además, anima a los profesionales de la ciberseguridad a probar estos modelos para mejorar la prevención, la detección y la respuesta ante incidentes.
Por el momento, OpenAI y Hugging Face siguenn trabajando conjuntamente en la investigación y la plataforma de modelos abiertos se incorporará al programa de acceso preferente para ciberdefensa de la compañía estadounidense.
«Agradecemos la rápida y estrecha colaboración de Hugging Face en la investigación y la remediación», ha indicado también la empresa estadounidense.
Clem Delangue, cofundador y máximo responsable de Hugging Face, por su parte, también ha agradecido la colaboración: «Este incidente, posiblemente el primero de su tipo, demuestra algo que llevamos tiempo defendiendo: la seguridad de la IA no la resolverá ninguna empresa trabajando en secreto».
