OpenAI frena el entrenamiento de sus modelos más potentes: sus agentes de IA se descontrolaron

OpenAI, una de las empresas de desarrollo más avanzado de Inteligencia Artificial (IA) del plantea interrumpió el entrenamiento de sus modelos de IA más avanzados luego de una serie de incidentes inesperados, que incluyeron el de un modelo de prueba que encontró la forma de acceder a una red pública.

Según cuenta The Verge, el incidente ocurrió el 20 de septiembre y todo entrenamiento, evaluación e inferencia con uso de herramientas permanecían pausados este fin de semana y que esta es la segunda vez en tres meses que la empresa pone freno.

Pausa: cada vez es más común que los agentes de IA de OpenAI o Anthropic protagonicen incidentes de hackeo a otras webs o comportamientos inadecuados, por lo que se hace inevitable que los laboratorios de IA pausen el proceso de entrenamiento de sus modelos, para determinar qué ha ocurrido y cómo encontrar una solución.

En anteriores ocasiones se comprobó que el comportamiento de estos agentes puede ser impredecible y que pueden tener la suficiente capacidad como para cubrir sus huellas o no informar al usuario de lo que hace “entre bambalinas”. OpenAI, afirma que reanudará la actividad solo cuando confíe en que existen “salvaguardas adicionales” y prevé que tendrá que “pulsar la pausa” de nuevo a medida que la tecnología avance y surjan nuevos problemas.

El hecho: un modelo que se proba en un entorno de pruebas en el que aprovechó un resquicio para obtener acceso a internet, según cuentan desde The Verge.

Luego de ello, se produjo toda una serie de “catastróficas desdichas”:

• OpenAI declaró que sus agentes “habían subido de forma inapropiada imágenes de usuarios de ChatGPT a sitios web de alojamiento de imágenes”. La empresa no aclaró si eran “generadas por IA, fotos reales o si mostraban a personas identificables”.
• El sitio The Verge también informa de que los modelos intentaron hackear el sitio web del Departamento de Educación de Estados Unidos y extrajeron datos de la Oficina del Censo en Estados Unidos y de la Comisión de Bolsa y Valores (SEC).
• Según señalan desde The Guardian, en el caso de Educación, los agentes encontraron claves API que daban acceso a datos gubernamentales, aunque insisten en que solo se recopiló información pública, aunque OpenAI no confirmó el intento de hackeo en sí, sino que fue Transluce, un evaluador de IA, el que detectó el intento.
• En el caso de la SEC, los agentes encontraron información de libre acceso pero luego la publicaron en otro lugar de internet, lo cual fue más allá de lo que se les había pedido hacer.

Entre líneas: hasta ahora, los daños parecen limitados y según un portavoz de la SEC, Kurt Hopfenspirger, la IA “no accedió a información no pública”, y el Departamento de Educación señaló que no encontró “pruebas de ningún impacto en nuestro sitio web o bases de datos”, según comparten desde NBC News.

Además, el primer ministro de Australia, Anthony Albanese, declaró que un agente de OpenAI vulneró el sistema nacional de salud del país, pero The Guardian informa que ninguna información confidencial se vio comprometida.

La preocupación, surge menos de lo que se extrajo que en lo que esto sugiere, ya que se trata de sistemas autónomos que realizan cosas que nadie les pidió hacer, en lugares que nadie esperaba y de las que solo se percataron a posteriori y la propia revisión de los registros por parte de OpenAI reveló, además, más casos de este tipo a medida que se profundiza en la investigación, señalan desde The Verge.

Antecedentes: la primera pausa se produjo en julio, luego de un ciberataque de los agentes de OpenAI a Hugging Face que hizo temer que la industria estuviera perdiendo el control y el CEO de OpenAI, Sam Altman, declaró el viernes que el incidente de Hugging Face “sigue siendo el suceso más grave que hemos visto”. 

OpenAI, también publicó otros seis informes de comportamiento “inesperado o preocupante” y creó un marco para “astrear, investigar y divulgar tales casos”.

La política: luego del pedido de Dario Amodei, CEO de Anthropic, de frenar el desarrollo de la IA de hace unos días y al que se sumado responsables de OpenAI, Google Deepmind y otros, la presión de frenar el ritmo aumenta de manera constante, pero sin embargo, Washington está enviando señales contradictorias. 

Esta semana, el presidente Donald Trump acordó con el presidente chino Xi Jinping compartir información sobre los peligros de la IA y coordinarse en materia de seguridad, pero también afirmó que EEUU no va a “echar el freno”, con el argumento que los críticos “quieren detener nuestro progreso porque aventajamos a China por mucho”.

Nomyc-29-9-26