Un grupo de empleados de OpenAI está denunciando lo que consideran una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, que se apresura a construir los sistemas de inteligencia artificial más potentes jamás creados.
El grupo, que incluye a nueve empleados y ex empleados de OpenAI, se ha reunido en los últimos días en torno a la preocupación compartida de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de inteligencia artificial se vuelvan peligrosos.
Los miembros afirman que OpenAI, que comenzó como un laboratorio de investigación sin ánimo de lucro y saltó a la luz pública con el lanzamiento en 2022 de ChatGPT, está dando prioridad a los beneficios y al crecimiento en su intento de crear inteligencia artificial general, o I.A.G., el término industrial para un programa informático capaz de hacer cualquier cosa que pueda hacer un humano.
También afirman que OpenAI ha utilizado tácticas de mano dura para evitar que los trabajadores expresen sus preocupaciones acerca de la tecnología, incluyendo acuerdos restrictivos de no desprestigio que se pidió firmar a los empleados salientes.
“OpenAI está realmente entusiasmada con la creación de la I.G.A., y están corriendo temerariamente para ser los primeros en ello”, dijo Daniel Kokotajlo, antiguo investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
El grupo publicó el martes una carta abierta en la que pide a las principales empresas de Inteligencia Artificial, incluida OpenAI, que establezcan una mayor transparencia y más protecciones para los denunciantes.
Otros miembros son William Saunders, un ingeniero de investigación que abandonó OpenAI en febrero, y otros tres antiguos empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI apoyaron la carta de forma anónima porque temían represalias por parte de la empresa, dijo el Sr. Kokotajlo. También firmaron un empleado actual y otro antiguo de Google DeepMind, el laboratorio central de Inteligencia Artificial de Google.
Una portavoz de OpenAI, Lindsey Held, dijo en un comunicado: “Estamos orgullosos de nuestra trayectoria como proveedores de los sistemas de inteligencia artificial más capaces y seguros, y creemos en nuestro enfoque científico para abordar los riesgos. Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología, y seguiremos colaborando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo”.
Un portavoz de Google declinó hacer comentarios.
La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando de un intento de golpe de estado el año pasado, cuando los miembros de la junta de la compañía votaron a favor de despedir a Sam Altman, el director ejecutivo, por preocupaciones sobre su franqueza. El Sr. Altman fue readmitido días después y el consejo se rehizo con nuevos miembros.
La empresa también se enfrenta a batallas legales con creadores de contenidos que la han acusado de robar obras protegidas por derechos de autor para entrenar sus modelos. (El año pasado, The New York Times demandó a OpenAI y a su socio, Microsoft, por violación de derechos de autor). Y su reciente presentación de un asistente de voz hiperrealista se vio empañada por una disputa pública con la actriz de Hollywood Scarlett Johansson, que afirmó que OpenAI había imitado su voz sin permiso.
Pero nada ha calado tanto como la acusación de que OpenAI ha sido demasiado arrogante con la seguridad.
El mes pasado, dos investigadores de alto nivel –Ilya Sutskever y Jan Leike– abandonaron OpenAI bajo una nube de sospechas. El Dr. Sutskever, que había formado parte del consejo de OpenAI y votó a favor del despido del Sr. Altman, había hecho saltar las alarmas sobre los riesgos potenciales de los potentes sistemas de inteligencia artificial. Su marcha fue vista por algunos empleados preocupados por la seguridad como un revés.
También lo fue la marcha del Dr. Leike, que junto con el Dr. Sutskever había dirigido el equipo de «superalineación» de OpenAI, centrado en la gestión de los riesgos de los potentes modelos de inteligencia artificial. En una serie de mensajes públicos anunciando su marcha, el Dr. Leike dijo que creía que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por antiguos empleados. Pero sus salidas impulsaron a otros antiguos empleados de OpenAI a pronunciarse.
“Cuando me inscribí en OpenAI, no lo hice con esta actitud de ‘Vamos a poner las cosas en el mundo y ver qué pasa y arreglarlas después’”, dijo el Sr. Saunders.
Algunos de los antiguos empleados están vinculados al altruismo efectivo, un movimiento de inspiración utilitarista que en los últimos años se ha preocupado por prevenir las amenazas existenciales de la Inteligencia Artificial. Los críticos han acusado al movimiento de promover escenarios catastrofistas sobre la tecnología, como la idea de que un sistema de Inteligencia Artificial fuera de control podría tomar el poder y acabar con la humanidad.
Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió que pronosticara el progreso de la inteligencia artificial. No era, por decirlo suavemente, optimista.
En su anterior trabajo en una organización de seguridad de la Inteligencia Artificial, predijo que la Inteligencia Artificial podría llegar en 2050. Pero después de ver lo rápido que mejoraba la I.A., acortó sus plazos. Ahora cree que hay un 50% de posibilidades de que la I.G.A. llegue en 2027, en sólo tres años.
También cree que la probabilidad de que la I.A. avanzada destruya o dañe catastróficamente a la humanidad -una sombría estadística a menudo abreviada como «p(doom)» en los círculos de I.A.- es del 70%.
En OpenAI, Kokotajlo vio que, aunque la empresa tenía protocolos de seguridad -incluido un esfuerzo conjunto con Microsoft conocido como “consejo de seguridad de despliegue”, que se suponía que revisaba los nuevos modelos en busca de riesgos importantes antes de que se hicieran públicos-, rara vez parecían frenar algo.
Por ejemplo, dijo, en 2022 Microsoft comenzó a probar silenciosamente en la India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creían que contenía una versión entonces no liberada de GPT-4, el modelo de gran lenguaje de última generación de OpenAI. El Sr. Kokotajlo dijo que se le informó de que Microsoft no había obtenido la aprobación de la junta de seguridad antes de probar el nuevo modelo, y después de que la junta se enteró de las pruebas – a través de una serie de informes de que Bing estaba actuando de manera extraña hacia los usuarios – no hizo nada para detener Microsoft de rodar hacia fuera más ampliamente.
Un portavoz de Microsoft, Frank Shaw, refutó esas afirmaciones. Dijo que en las pruebas realizadas en la India no se había utilizado GPT-4 ni ningún modelo de OpenAI. La primera vez que Microsoft lanzó una tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisada y aprobada por un predecesor de la junta de seguridad.
Con el tiempo, dijo el Sr. Kokotajlo, llegó a estar tan preocupado que, el año pasado, le dijo al Sr. Altman que la compañía debería “pivotar hacia la seguridad” y dedicar más tiempo y recursos a protegerse contra los riesgos de la Inteligencia Artificial en lugar de seguir adelante para mejorar sus modelos. Dijo que Altman había afirmado estar de acuerdo con él, pero que nada había cambiado mucho.
En abril, dimitió. En un correo electrónico a su equipo, dijo que se iba porque había “perdido la confianza en que OpenAI se comportará de forma responsable” a medida que sus sistemas se acercan a la inteligencia humana.
“El mundo no está preparado y nosotros tampoco”, escribió Kokotajlo. “Y me preocupa que nos estemos precipitando a pesar de todo y racionalizando nuestras acciones”.
OpenAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo de Inteligencia Artificial insignia, y que estaba formando un nuevo comité de seguridad y protección para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
A su salida, Kokotajlo se negó a firmar el documento estándar de OpenAI para los empleados que se marchan, que incluye una estricta cláusula de no divulgación que les prohíbe decir cosas negativas sobre la empresa, o de lo contrario corren el riesgo de que se les retire el capital adquirido.
Muchos empleados podían perder millones de dólares si se negaban a firmar. El Sr. Kokotajlo declaró que el valor de sus derechos adquiridos era de aproximadamente 1,7 millones de dólares, lo que representaba la mayor parte de su patrimonio neto, y estaba dispuesto a renunciar a todo ello.
(El mes pasado se desató una pequeña tormenta después de que Vox informara de estos acuerdos. En respuesta, OpenAI afirmó que nunca había recuperado el capital adquirido de antiguos empleados, y que no lo haría. El Sr. Altman dijo que estaba “realmente avergonzado” de no haber sabido de los acuerdos, y la empresa dijo que eliminaría las cláusulas de no descrédito de su documentación estándar y liberaría a los antiguos empleados de sus acuerdos).
En su carta abierta, el Sr. Kokotajlo y los otros ex empleados de OpenAI piden que se ponga fin al uso de los acuerdos de no divulgación y no distanciamiento en OpenAI y otras empresas de Inteligencia Artificial.
“Los amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las propias empresas que pueden estar fallando a la hora de abordar estas cuestiones”, escriben.
También piden a las empresas de inteligencia artificial que “apoyen una cultura de crítica abierta” y establezcan un proceso de denuncia para que los empleados puedan plantear de forma anónima sus preocupaciones relacionadas con la seguridad.
Han contratado a un abogado pro bono, Lawrence Lessig, destacado jurista y activista. Lessig también asesoró a Frances Haugen, ex empleada de Facebook que denunció a la empresa por anteponer los beneficios a la seguridad.
En una entrevista, Lessig dijo que, aunque la protección tradicional de los denunciantes se aplica normalmente a las denuncias de actividades ilegales, es importante que los empleados de las empresas de inteligencia artificial puedan hablar libremente de los riesgos y posibles daños, dada la importancia de la tecnología.
“Los empleados son una importante línea de defensa de la seguridad, y si no pueden hablar libremente sin represalias, ese canal se va a cerrar”, dijo.
Held, la portavoz de OpenAI, dijo que la empresa tiene “vías para que los empleados expresen sus preocupaciones”, incluida una línea directa de integridad anónima.
Kokotajlo y su grupo se muestran escépticos de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por eso piden a los legisladores que también regulen el sector.
“Tiene que haber algún tipo de estructura de gobierno democráticamente responsable y transparente a cargo de este proceso”, dijo Kokotajlo. “En lugar de sólo un par de empresas privadas diferentes compitiendo entre sí y manteniéndolo todo en secreto”.