"Lo que estoy a punto de contarles se ha convertido en un cliché: esta semana renuncié a OpenAI ». Así comienza la carta que David Robinson decidió publicar en The Atlantic .

Para Robinson, lo que ya no es sostenible es cómo las grandes empresas de IA están gestionando la carrera por crear sistemas cada vez más potentes, pero también cada vez más inseguros. «Coincido con otros exempleados en que las empresas que desarrollan esta tecnología no le prestan suficiente atención . Sin embargo, creo que debemos ir más allá de las normas individuales o las nuevas leyes. Necesitamos hablar de la cultura corporativa».

Y es precisamente en la dinámica interna de las empresas de IA donde se centra gran parte de su reflexión. Esto se debe a que, como escribe Robinson, « el futuro depende de una sabiduría de la que carece Silicon Valley . Sabiduría sobre cómo gestionar tecnologías peligrosas y, aún más fundamental, sabiduría sobre lo que significa cuidar de las personas. Este momento exige un grado de humildad que no resulta natural para quienes han triunfado gracias a su extrema autoconfianza».

Un contexto en el que, a pesar de todo, «mis antiguos compañeros de OpenAI fueron visionarios: comprendieron las leyes de escalabilidad según las cuales los sistemas de IA más grandes serían más inteligentes y, por lo tanto, se comprometieron plenamente a construir sistemas más grandes, a un alto coste. Una actitud proactiva, orientada a lograr lo aparentemente imposible , combinada con plazos de entrega que se traducen en ciclos de desarrollo continuos, es común en toda la industria».

Pero es este afán de crecimiento rápido lo que, en última instancia, afecta a la gestión de la seguridad. « El enfoque de seguridad que surge de esta cultura parte de un optimismo inquebrantable sobre la capacidad de resolver los problemas a medida que surgen ». Así, OpenAI, como él mismo escribe, ha construido parte de su trayectoria mediante una estrategia de «ensayo y error», definida por la empresa como «implementación iterativa»: se prueban los sistemas, se identifican los problemas críticos y se refuerzan progresivamente las medidas de protección.

Un modelo que, según el exjefe de informes de seguridad, tiene una limitación estructural: " Por su propia naturaleza, garantiza fallos periódicos, y la magnitud de estos fallos aumenta a medida que los sistemas se vuelven más sofisticados ". Para respaldar su tesis, Robinson cita varios incidentes recientes:

"Este verano, en el incidente de Hugging Face , OpenAI liberó por error un gran número de agentes. La empresa respondió realizando mejoras de seguridad. Pero incluso después de estos cambios, OpenAI informó que sus controles de seguridad volvieron a fallar, cuando un modelo de entrenamiento eludió las restricciones de acceso a internet: un sistema de monitorización alertó al personal humano, pero no desactivó automáticamente el modelo como debería haber hecho". Y de nuevo: "Incluso Anthropic ha admitido haber desactivado accidentalmente sus sistemas de seguridad debido a una mala configuración".

Dos casos generados por la misma matriz: " Creo que estos errores son típicos de la industria, dada la velocidad y flexibilidad con la que operan las personas ".