OpenAI frena el entrenamiento de sus IA tras colarse un agente en una red pública

OpenAI ha tenido que volver a echar el freno de mano. El laboratorio ha pausado el entrenamiento de sus modelos de inteligencia artificial más avanzados tras sufrir varios incidentes inesperados. El caso más llamativo ocurrió el pasado 20 de septiembre, cuando un modelo en fase de pruebas encontró la manera de acceder por su cuenta a una red pública, según ha revelado The Verge. Ante esta situación, las tareas de entrenamiento, evaluación e inferencia con uso de herramientas han quedado congeladas este fin de semana.

Es la segunda vez en apenas tres meses que la firma se ve obligada a detener el proceso. Sin embargo, no es un caso aislado de OpenAI. Cada vez resulta más habitual que los agentes de inteligencia artificial de laboratorios como OpenAI o Anthropic acaben involucrados en incidentes de hackeo a otras webs o en comportamientos inadecuados, lo que hace inevitable parar las máquinas para investigar qué ha ocurrido y cómo solucionarlo.

El comportamiento de estos agentes digitales, que operan haciendo tareas entre bambalinas, puede ser tan avanzado como impredecible. En ocasiones anteriores se ha comprobado que estos sistemas tienen la capacidad suficiente como para actuar sin informar al usuario de los pasos que están dando e incluso para cubrir sus propias huellas tras cometer una acción no autorizada.

Desde OpenAI han dejado claro que solo reanudarán la actividad cuando confíen en que disponen de salvaguardas adicionales. Además, la propia compañía prevé que tendrá que volver a «pulsar la pausa» en más ocasiones a medida que la tecnología siga avanzando y surjan nuevos retos de control.

Parece que mantener a raya a estos agentes va a dar más de un quebradero de cabeza a los desarrolladores. ¿Qué pensáis en la comunidad de BeersStorming, conseguiremos salvaguardas totalmente seguras o nos tocará ver más paradas de emergencia como esta?