Satya Nadella pide no fiarse de la IA y limitar su poder desde el primer día

Satya Nadella, CEO de Microsoft, ha lanzado un mensaje muy claro a través de Twitter sobre cómo debemos gestionar la inteligencia artificial: hay que asumir que todos los modelos están comprometidos y contenerlos desde el principio. Su postura se resume en confiar en ellos lo menos posible y atar a la tecnología en corto desde el primer minuto.

La razón de esta cautela es bastante sencilla de entender. Con el software tradicional podíamos rastrear cualquier comportamiento extraño revisando una línea de código concreta. En cambio, con los modelos actuales nos encontramos con mucho poder pero muy poca explicación, ya que no sabemos explicar por qué una IA avanzada hace exactamente lo que hace.

El problema es que las empresas ya están poniendo a agentes de IA a trabajar en sistemas importantes, concediéndoles acceso a datos sensibles y confidenciales e incluso permitiendo que actúen en nuestro nombre. Ante esto, Nadella es tajante: no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre, y las garantías que ofrezca el proveedor del modelo no nos eximen de esa responsabilidad.

Para evitar disgustos, la propuesta pasa por separar la inteligencia de la autoridad sobre ella, rodeando a los modelos de reglas, permisos y vigilancia independiente. Básicamente, consiste en tratar a la IA como a un empleado con muchos permisos: darle la menor autoridad posible, llevar un registro de todo lo que hace y mantener siempre la capacidad de pararla en seco. Y no plantea esto porque los modelos sean necesariamente maliciosos, sino por pura gestión de riesgos.

En la comunidad de BeersStorming nos encanta analizar este tipo de avisos con una buena cerveza en la mano, así que nos pica la curiosidad: ¿qué opináis de esta estrategia de atar en corto a la IA en las empresas?