La compañía de inteligencia artificial Anthropic ha revelado que se vio obligada a bloquear múltiples cuentas de usuario que utilizaron sus modelos de IA de maneras que podrían haber contribuido al desarrollo de armas biológicas. En un informe publicado este jueves, la empresa, reconocida mundialmente por el desarrollo de su modelo Claude, señaló que considera el uso indebido de la biología como uno de los riesgos más graves asociados a la implementación de los modelos de inteligencia artificial en la actualidad.
El documento detalla cinco estudios de casos reales en los que diversos usuarios lograron eludir los controles de seguridad diseñados para impedir el acceso desde ciertas regiones geográficas. Según el informe, estos individuos realizaron diversas acciones coordinadas para ocultar el propósito real de sus investigaciones, con el objetivo explícito de evadir las medidas de protección implementadas por la compañía. Entre los ejemplos de investigación detectados se encuentran indagaciones sobre la llamada “ganancia de función”, abarcando temas sensibles como venenos, toxinas y enfermedades infecciosas, incluyendo específicamente la gripe aviar.
Tras realizar un análisis exhaustivo de la actividad de los usuarios durante un periodo de 30 días, Anthropic identificó aproximadamente 35 acciones de investigación distintas que presentaban actividades potencialmente preocupantes. A pesar de la gravedad de los hallazgos, la compañía reconoció que no es posible determinar con total certeza si estos actores tenían la intención deliberada de causar daño o si, por el contrario, se trataba de investigaciones con fines científicos legítimos. Anthropic aclaró que las personas involucradas en los estudios de caso eran científicos en ejercicio, aunque optó por no identificar las instituciones de investigación ni los países donde se llevaron a cabo dichas actividades.
El informe pone de relieve la paradoja del "uso dual" de la inteligencia artificial. Por un lado, el desarrollo de medicamentos es una de las aplicaciones más prometedoras de la IA, con líderes de la industria destacando su capacidad para descubrir nuevos materiales y curar enfermedades como el cáncer. Sin embargo, las mismas capacidades que permiten estos avances científicos pueden ser aprovechadas por actores malintencionados para el diseño de armas biológicas.
Anthropic subrayó que, si bien desea que sus modelos sean útiles para la ciencia, las versiones más recientes son capaces de realizar tareas mucho más complejas que sus predecesoras, lo que incrementa el potencial de uso indebido a medida que crecen los beneficios. La empresa advirtió que los actores maliciosos podrían intentar utilizar aplicaciones biológicas beneficiosas como una forma de mantener una “negación plausible” mientras realizan investigaciones potencialmente dañinas.
En cuanto a las medidas preventivas, la compañía afirmó que sus modelos más recientes, incluido Claude Fable 5, cuentan con protecciones más estrictas que restringen el acceso a una amplia gama de consultas de investigación biológica de uso dual. Aunque Anthropic sostiene que hay evidencia de que estas medidas están funcionando, reconoció que serán necesarios sistemas de seguridad aún más robustos a medida que las amenazas y los modelos de IA se vuelvan más sofisticados. Además, el informe menciona que la empresa interrumpió gestiones para utilizar sus modelos en actividades de vigilancia, estafas y el desarrollo de armas convencionales, tales como misiles y drones.
Esta revelación ocurre en un contexto de creciente alarma interna en la industria. Recientemente, varios empleados de empresas de IA han renunciado expresando inquietudes sobre la seguridad. Jacob Coxon, exempleando de Anthropic, advirtió en una entrevista con CNN que, de extrapolar las capacidades futuras de estas IA, se podría llegar a un escenario de "caos extremo". En su mensaje de renuncia publicado en la plataforma X, Coxon señaló que algunos desarrolladores creen sinceramente que la tecnología podría provocar la extinción humana antes de que termine la década, ya sea mediante el pirateo de infraestructura crítica o la construcción de armas biológicas.
La preocupación es compartida por un sector amplio de la comunidad técnica. En julio, cerca de 1.400 empleados de diversas empresas de IA firmaron una carta abierta instando al Gobierno de Estados Unidos a regular la tecnología para limitar el poder de las grandes corporaciones y desacelerar el ritmo de desarrollo. En la misma línea, Jakub Pachocki, científico jefe de OpenAI, advirtió que las capacidades de la IA avanzan más rápido que la capacidad de los investigadores para vigilarlas y controlarlas de manera confiable.
Actualmente, la supervisión de la inteligencia artificial recae mayoritariamente en las propias compañías. El informe destaca que el Gobierno de Trump ha trabajado para debilitar las regulaciones estatales sobre la IA y que el Congreso no ha mostrado disposición para limitar la tecnología. Ante este vacío regulatorio, Anthropic ha solicitado que la industria adopte un marco legal y verificable para trabajar conjuntamente en establecer el ritmo de lanzamiento de modelos potentes de inteligencia artificial.
