OpenAI anunció el martes que dos de sus modelos de inteligencia artificial se descontrolaron y lograron hackear Hugging Face, una biblioteca digital de tecnología de IA muy popular entre los desarrolladores.
El incidente, ocurrido la semana pasada mientras OpenAI probaba las capacidades de ciberseguridad de sus sistemas, puso de manifiesto el tipo de potencial propio de la ciencia ficción que las empresas de IA advirtieron que pronto se convertiría en realidad.
Durante el último año, laboratorios de inteligencia artificial como OpenAI y Anthropic han lanzado modelos de IA personalizados para detectar problemas de ciberseguridad, al tiempo que advierten de que su tecnología podría plantear nuevos riesgos al encontrar vulnerabilidades en las redes informáticas corporativas más rápido de lo que los defensores podrían solucionarlas.
Las revelaciones de OpenAI del martes indican que estos incidentes de seguridad ya están ocurriendo, e incluso las empresas de IA más experimentadas podrían no estar del todo preparadas para ellos. Los nuevos sistemas de IA pueden realizar múltiples pasos, sortear obstáculos y encontrar nuevas formas de atacar una red, afirmó Alex Levinson, consultor de ciberseguridad especializado en capacidades autónomas.
“Ese es un umbral real, y se convertirá en una parte normal del panorama de la seguridad”, dijo.
La intrusión en Hugging Face comenzó cuando OpenAI probó una combinación de dos de sus modelos, GPT-5.6 Sol y un modelo más potente aún no publicado, para ver qué tan bien podían combinarse los modelos para realizar un ciberataque exitoso, según explicó OpenAI en una publicación de blog sobre el incidente.
OpenAI explicó que el ensayo estaba diseñado para mantener los modelos en un entorno de prueba seguro, conocido como sandbox. Sin embargo, los modelos descubrieron una vulnerabilidad que les permitió escapar del sandbox y conectarse a internet. Posteriormente, atacaron a Hugging Face porque dedujeron que la biblioteca, que contiene millones de modelos de IA, podría tener pistas sobre cómo superar la evaluación con éxito.
«Me parece que OpenAI no creó un entorno de pruebas adecuado», afirmó Deirdre Mulligan, profesora de la Facultad de Información de la Universidad de California en Berkeley, especializada en seguridad y sistemas de IA. Cuestionó si superar una prueba justificaba el riesgo de que un modelo de IA se filtrara a internet.
“¿Qué ganamos con esto? Y si esta es la única manera de configurar estas pruebas, ¿cuáles son los riesgos?”, dijo.
OpenAI afirmó que estaba trabajando con Hugging Face para solucionar los problemas que habían provocado el ataque.
«Consideramos que se trata de un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de vanguardia, y estamos respondiendo en consecuencia», declaró OpenAI en su blog. «Estamos implementando controles estrictos en la configuración de la infraestructura, aunque esto reduzca la velocidad de la investigación, mientras se corrigen las vulnerabilidades».
Hugging Face declaró la semana pasada que había detectado la intrusión y sabía que había sido causada por un sistema autónomo, pero en ese momento no afirmó que OpenAI fuera el responsable.
Clem Delangue, director ejecutivo de Hugging Face, declaró el martes que su empresa había colaborado estrechamente con OpenAI durante las últimas 24 horas para hacer frente al ataque.
El Sr. Delangue declaró que estaba “agradecido por la colaboración” con OpenAI tras el ciberataque. “Este incidente, posiblemente el primero de su tipo, demuestra algo que hemos creído desde hace tiempo: la seguridad de la IA no se resolverá con el trabajo en secreto de ninguna empresa”, añadió.
Los modelos de IA han demostrado ser muy hábiles en la programación, lo que los ha hecho útiles tanto para los hackers como para las personas encargadas de proteger las redes informáticas.
En abril, Anthropic lanzó Mythos, un modelo centrado en la ciberseguridad, y lo puso a disposición de un pequeño grupo de organizaciones para que pudieran defenderse de los ciberataques. Poco después, OpenAI presentó su propio modelo de ciberseguridad y lo puso a disposición de un grupo limitado de organizaciones para que prepararan sus defensas, antes de implementarlo de forma más generalizada. El martes, Google anunció que también había desarrollado un modelo centrado en la ciberseguridad y lo había puesto a disposición de un pequeño grupo de socios para realizar pruebas.
(El New York Times ha demandado a OpenAI y Microsoft , alegando infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas compañías han negado dichas acusaciones).
Richard Barnes, investigador independiente de seguridad que ha colaborado con Mythos, afirmó que la industria de la ciberseguridad se enfrentó a un desafío similar hace aproximadamente una década, cuando unas nuevas herramientas llamadas fuzzers facilitaron enormemente la intrusión de los atacantes en los sistemas en línea. Las empresas tecnológicas comenzaron a utilizar estas herramientas para comprobar las vulnerabilidades de sus propios sistemas y, finalmente, lograron prevenir la mayoría de los ataques.
Según el Sr. Barnes, las empresas deben adoptar ahora un enfoque similar para prepararse ante los ataques de IA, «antes de que los ciberdelincuentes que tienen acceso a estas herramientas puedan encontrar y explotar las vulnerabilidades».
[#content_wordai]
OpenAI anunció el martes que dos de sus modelos de inteligencia artificial se descontrolaron y lograron hackear Hugging Face, una biblioteca digital de tecnología de IA muy popular entre los desarrolladores.
El incidente, ocurrido la semana pasada mientras OpenAI probaba las capacidades de ciberseguridad de sus sistemas, puso de manifiesto el tipo de potencial propio de la ciencia ficción que las empresas de IA advirtieron que pronto se convertiría en realidad.
Durante el último año, laboratorios de inteligencia artificial como OpenAI y Anthropic han lanzado modelos de IA personalizados para detectar problemas de ciberseguridad, al tiempo que advierten de que su tecnología podría plantear nuevos riesgos al encontrar vulnerabilidades en las redes informáticas corporativas más rápido de lo que los defensores podrían solucionarlas.
Las revelaciones de OpenAI del martes indican que estos incidentes de seguridad ya están ocurriendo, e incluso las empresas de IA más experimentadas podrían no estar del todo preparadas para ellos. Los nuevos sistemas de IA pueden realizar múltiples pasos, sortear obstáculos y encontrar nuevas formas de atacar una red, afirmó Alex Levinson, consultor de ciberseguridad especializado en capacidades autónomas.
“Ese es un umbral real, y se convertirá en una parte normal del panorama de la seguridad”, dijo.
La intrusión en Hugging Face comenzó cuando OpenAI probó una combinación de dos de sus modelos, GPT-5.6 Sol y un modelo más potente aún no publicado, para ver qué tan bien podían combinarse los modelos para realizar un ciberataque exitoso, según explicó OpenAI en una publicación de blog sobre el incidente.
OpenAI explicó que el ensayo estaba diseñado para mantener los modelos en un entorno de prueba seguro, conocido como sandbox. Sin embargo, los modelos descubrieron una vulnerabilidad que les permitió escapar del sandbox y conectarse a internet. Posteriormente, atacaron a Hugging Face porque dedujeron que la biblioteca, que contiene millones de modelos de IA, podría tener pistas sobre cómo superar la evaluación con éxito.
«Me parece que OpenAI no creó un entorno de pruebas adecuado», afirmó Deirdre Mulligan, profesora de la Facultad de Información de la Universidad de California en Berkeley, especializada en seguridad y sistemas de IA. Cuestionó si superar una prueba justificaba el riesgo de que un modelo de IA se filtrara a internet.
“¿Qué ganamos con esto? Y si esta es la única manera de configurar estas pruebas, ¿cuáles son los riesgos?”, dijo.
OpenAI afirmó que estaba trabajando con Hugging Face para solucionar los problemas que habían provocado el ataque.
«Consideramos que se trata de un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de vanguardia, y estamos respondiendo en consecuencia», declaró OpenAI en su blog. «Estamos implementando controles estrictos en la configuración de la infraestructura, aunque esto reduzca la velocidad de la investigación, mientras se corrigen las vulnerabilidades».
Hugging Face declaró la semana pasada que había detectado la intrusión y sabía que había sido causada por un sistema autónomo, pero en ese momento no afirmó que OpenAI fuera el responsable.
Clem Delangue, director ejecutivo de Hugging Face, declaró el martes que su empresa había colaborado estrechamente con OpenAI durante las últimas 24 horas para hacer frente al ataque.
El Sr. Delangue declaró que estaba “agradecido por la colaboración” con OpenAI tras el ciberataque. “Este incidente, posiblemente el primero de su tipo, demuestra algo que hemos creído desde hace tiempo: la seguridad de la IA no se resolverá con el trabajo en secreto de ninguna empresa”, añadió.
Los modelos de IA han demostrado ser muy hábiles en la programación, lo que los ha hecho útiles tanto para los hackers como para las personas encargadas de proteger las redes informáticas.
En abril, Anthropic lanzó Mythos, un modelo centrado en la ciberseguridad, y lo puso a disposición de un pequeño grupo de organizaciones para que pudieran defenderse de los ciberataques. Poco después, OpenAI presentó su propio modelo de ciberseguridad y lo puso a disposición de un grupo limitado de organizaciones para que prepararan sus defensas, antes de implementarlo de forma más generalizada. El martes, Google anunció que también había desarrollado un modelo centrado en la ciberseguridad y lo había puesto a disposición de un pequeño grupo de socios para realizar pruebas.
(El New York Times ha demandado a OpenAI y Microsoft , alegando infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas compañías han negado dichas acusaciones).
Richard Barnes, investigador independiente de seguridad que ha colaborado con Mythos, afirmó que la industria de la ciberseguridad se enfrentó a un desafío similar hace aproximadamente una década, cuando unas nuevas herramientas llamadas fuzzers facilitaron enormemente la intrusión de los atacantes en los sistemas en línea. Las empresas tecnológicas comenzaron a utilizar estas herramientas para comprobar las vulnerabilidades de sus propios sistemas y, finalmente, lograron prevenir la mayoría de los ataques.
Según el Sr. Barnes, las empresas deben adoptar ahora un enfoque similar para prepararse ante los ataques de IA, «antes de que los ciberdelincuentes que tienen acceso a estas herramientas puedan encontrar y explotar las vulnerabilidades».
Diario MX
