La empresa informó que algunos de sus modelos de IA más avanzados se descontrolaron y hackearon una start-up después que perdieran el control sobre ellos en una prueba de seguridad
Buenos Aires-(Nomyc)-La empresa detrás de ChatGPT explicó que su agente de IA, formada por sistemas que pueden actuar de manera autónoma tras recibir instrucciones humanas, era evaluado en un entorno controlado, aunque encontró vulnerabilidades de seguridad y consiguió escapar del entorno de pruebas.
Los modelos, tuvieron como objetivo a Hugging Face, uno de los mayores centros del mundo para compartir modelos de inteligencia artificial y lograron acceder a algunos sistemas internos de la empresa.
OpenAI calificó el incidente de “sin precedentes” y afirmó que realiza una investigación junto a esta compañía, mientras que su director ejecutivo, Clément Delangue, escribió en una publicación en X que era “alucinante que todo esto ocurriera de forma autónoma”.
“La investigación continúa y compartiremos más información sobre lo que podría ser el primer incidente de este tipo”, añadió Delangue.
Entornos de pruebas inseguros: Gina Neff, directora del Centro Minderoo para Tecnología y Democracia de la Universidad de Cambridge, declaró al programa Today de la BCC Radio 4 que las pruebas de seguridad, conocidas como “sandboxes” o entornos aislados de prueba, que “se supone que son espacios seguros donde se puede observar de qué son capaces los modelos”.
“En este caso, parece que OpenAI no creó un entorno aislado lo suficientemente seguro”, añadió.
En cambio, los agentes crearon su propio ciberataque contra el propio entorno aislado, al encontrar una vulnerabilidad que les permitió escapar y una vez fuera, la IA identificó a Hugging Face como una fuente probable de las respuestas que buscaban en la prueba e intentó acceder a ella.
Neil Lawrence, profesor de aprendizaje automático en la Universidad de Cambridge, lo calificó de “hazaña impresionante”, pero advirtió que “se encuentra dentro de las capacidades conocidas de la generación actual” de modelos de IA de alta potencia.
El profesor, señaló que “OpenAI busca cotizar en bolsa y se enfrenta a una intensa presión por parte de su empresa rival, Anthropic, que noticia con su propia y potente herramienta de IA, Mythos”.
“OpenAI ahora está intentando ponerse al día, tratando de demostrar las capacidades de sus propios sistemas en ciberseguridad” agregó Lawrence y continuó “Esto demuestra que OpenAI no es capaz de implementar su propia tecnología de forma segura”.
En su comunicado inicial sobre el ciberataque, publicado el 16 de julio, Hugging Face afirmó que “aún estaba evaluando si se habían visto afectados los datos de algún cliente o socio y que, de ser necesario, se pondría en contacto con las partes afectadas”.
La compañía, afirmó haber subsanado las vulnerabilidades detectadas por el incidente y haber reconstruido los sistemas afectados y señaló que “Las herramientas ofensivas autónomas basadas en inteligencia artificial ya no son una cuestión teórica”.
“Defender una plataforma en línea ahora significa tratar la superficie de datos y modelos como una superficie de ataque de primer nivel, y utilizar la IA en la defensa para mantenerse al día”, agregó.
“Seguiremos invirtiendo allí y seguiremos compartiendo lo que aprendamos” advirtió. Un momento que invita a la reflexión: el incidente generó pruevas sobre las capaciades de los sistemas avanzados de IA y sobre si las medidas deseguridad existentes son suficientes a medida que la tecnología se vuelve más potente.
Spencer Starkey, ejecutivo de la empresa de ciberseguridad SonicWall, declaró a la BBC que el incidente dejó claro que las organizaciones necesitaban “reforzar” sus propias defensas y “tratar la ciberresiliencia como una prioridad operativa fundamental”.
“La incómoda verdad es que demasiadas organizaciones siguen defendiéndose a velocidad humana, mientras que sus adversarios están aumentando la velocidad de las máquinas”, agregó.
Mientras tanto, Travis Lelle, ingeniero principal de seguridad de la consultora de ciberseguridad Guidepoint Security, afirmó que la actualización marcaba un “momento aleccionador para la ciberseguridad” y agregó que “Esto pone de manifiesto una asimetría ya conocida”.
“Los agentes ofensivos no tienen restricciones, mientras que las mejores herramientas defensivas están bloqueadas tras barreras que no pueden comprender el contexto” continuó el ingeniero.porque
Jake Moore, asesor global de ciberseguridad de ESET, dijo que “el anuncio también podría tener una dimensión competitiva porque OpenAI, podría estar tratando de destacar sus propias capacidades de IA, mientras que su rival, Anthropic, atrae cada vez más atención por su modelo Claude Mytho”.
“Esto plantea la posibilidad de que OpenAI esté persiguiendo el éxito de marketing que Anthropic ha estado logrando últimamente”, concluyó.
Esto, además, ocurrió una semana después de que la empresa china emergente de IA, Moonshot, presentara Kimi K3, un nuevo y enorme modelo de inteligencia artificial que, según afirma, podría rivalizar con las principales empresas estadounidenses.
Nomyc-24-7-26
