Anthropic admite que Claude rozó su uso en investigaciones biológicas peligrosas

La inteligencia artificial de frontera no deja de darnos titulares impactantes. Mientras aún digeríamos cómo un modelo de vanguardia de OpenAI probablemente ha resuelto las complejas ecuaciones de Navier-Stokes, uno de los problemas del milenio pendientes, el laboratorio Anthropic ha soltado su propia bomba informativa.

El pasado 10 de septiembre, la compañía dirigida por Dario Amodei publicó un informe titulado "Detectando y combatiendo el uso indebido de la IA". En este documento, la empresa reconoce haber detenido varios posibles intentos de utilizar su modelo, Claude, en investigaciones que podrían contribuir al desarrollo de armas biológicas.

Ante una noticia así es fácil ponerse en lo peor, pero hay matices muy importantes para no caer en el alarmismo. Anthropic no sostiene haber descubierto a científicos creando directamente este tipo de armas, sino que identificó cinco intentos de investigadores que querían usar sus modelos para llevar a cabo estudios biológicos potencialmente peligrosos.

En estos casos concretos, los investigadores intentaron esquivar los mecanismos de seguridad de los modelos y ocultar la finalidad real de sus búsquedas. Venía a ser como intentar engañar al portero de una discoteca digital para colar peticiones sensibles sin levantar sospechas, aunque finalmente los controles detectaron la jugada.

¿Qué opináis en la comunidad de BeersStorming sobre estos intentos de saltarse los límites de seguridad de los modelos de IA? ¡Nos leemos en los comentarios!