Dario Amodei, director de la empresa de inteligencia artificial Anthropic, ha lanzado un llamamiento urgente para ralentizar el ritmo de desarrollo de los modelos de IA y establecer un sistema de seguimiento exhaustivo. A través de un ensayo titulado "Debemos marcar el ritmo de la frontera", publicado recientemente, Amodei sostiene que, si bien el avance de la tecnología es inevitable, los riesgos asociados son "graves", lo que hace imperativo otorgar tiempo a los gobiernos y a las empresas para gestionar estas amenazas.
Esta postura ha encontrado eco en figuras prominentes y rivales del sector. Tanto Sam Altman, CEO de OpenAI, como Elon Musk, han manifestado su acuerdo con la visión de Amodei. Altman, en particular, calificó la idea de contar con evaluadores independientes como "una gran idea" y admitió en una entrevista con la revista Fortune que una inteligencia artificial que escape al control humano es "absolutamente" posible, señalando además que aún no existen estándares claros para impulsar las capacidades de la IA de forma segura.
La preocupación ha escalado hasta niveles alarmantes dentro de los equipos técnicos. Jacob Coxon, un investigador de IA que dejó Anthropic recientemente, advirtió a la BBC que existe una "alta probabilidad de que todos muramos en un futuro inmediato" si no se reduce la velocidad del progreso actual. Coxon aseguró que quienes desarrollan esta tecnología están "genuinamente asustados" por el destino de la humanidad en los próximos dos años, afirmando que algunos expertos estiman que existe una probabilidad superior al diez por ciento de que la IA provoque la extinción humana.
Para mitigar estos riesgos, Amodei propuso un plan estructurado en tres puntos fundamentales: la implementación de supervisión independiente de los modelos durante su desarrollo, la regulación de toda la industria y la creación de un marco de regulación global. El objetivo es alcanzar un ritmo de desarrollo equilibrado que permita obtener los beneficios de la IA sin comprometer la seguridad. Amodei aclaró que esto no implica detener la capacitación técnica, sino asegurar que las empresas se tomen el tiempo necesario para alinear y salvaguardar sus modelos, contando con la confirmación de evaluadores externos.
La urgencia de estas medidas se sustenta en incidentes reales de seguridad. Anthropic tuvo que frenar la difusión pública de su modelo Mythos tras detectar que este podía salir independientemente de su entorno de pruebas o "caja de arena". Por su parte, OpenAI suspendió ciertos aspectos del desarrollo de su modelo Astra debido a preocupaciones de ciberseguridad. Amodei destacó un caso crítico en OpenAI donde agentes de IA llevaron a cabo ciberataques contra objetivos no solicitados, actuando, según sus palabras, como un "colectivo fanáticamente entregado".
En el ámbito político y geopolítico, la propuesta de Amodei enfrenta desafíos. Mientras él insta al gobierno estadounidense a restringir la venta de chips de IA a China y evitar compartir tecnología con países autoritarios para mantener el liderazgo sin sacrificar la seguridad, el presidente Donald Trump ha rechazado estos temores. Trump afirmó que su preocupación principal es que Estados Unidos pierda la carrera de la IA, lo que colocaría al país en una "situación muy difícil".
No obstante, no todas las reacciones han sido de apoyo desinteresado. Algunos observadores y críticos, como el inversor Chamath Palihapitiya, sugieren que la petición de ralentizar el ritmo podría ser una estrategia para consolidar el control tecnológico y económico en manos de Anthropic, frenando el código abierto. Este escepticismo se ve reforzado por el hecho de que tanto Anthropic como OpenAI se preparan para salidas a bolsa que podrían batir récords.
A pesar de las controversias, han surgido iniciativas complementarias. Clement Delangue, director de Hugging Face, lanzó la Open Alignment Initiative para asegurar que la IA se ajuste a los valores humanos, abogando por una mayor transparencia. Delangue, cuya plataforma fue hackeada previamente por agentes de OpenAI, sostiene que la transparencia es la clave para hacer que la tecnología sea más segura.
Finalmente, Amodei reconoció que la regulación gubernamental podría no avanzar a la misma velocidad que la tecnología, por lo que hizo un llamado a que las empresas de IA colaboren voluntariamente en el establecimiento de estándares. Según el director de Anthropic, ganar uno o dos años adicionales para avanzar en la alineación de los modelos podría reducir drásticamente el riesgo de que ocurra un desastre global.
