Director de Anthropic pide desacelerar mejoras en modelos de IA ante riesgos para la humanidad
Dario Amodei propone dar más tiempo a las medidas de seguridad y permitir que evaluadores externos verifiquen los sistemas ante el avance de agentes con capacidades autónomas
La industria de la inteligencia artificial debe reducir el ritmo con el que mejora las capacidades de sus modelos, sostuvo Dario Amodei, director ejecutivo de Anthropic, ante lo que calificó como riesgos graves para los seres humanos.
El planteamiento quedó asentado este sábado en una publicación de blog difundida desde Nueva York, Estados Unidos.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió el directivo, quien añadió que el progreso continuará percibiéndose como acelerado y que las empresas deberán aprovechar con sensatez el margen de tiempo que obtengan con esa moderación.
Amodei precisó que la propuesta no implica suspender el entrenamiento de modelos ni frenar el avance técnico, sino asegurar que las compañías destinen el tiempo suficiente a alinear y proteger sus sistemas, con la condición adicional de que evaluadores externos verifiquen ese trabajo.
El directivo identificó dos factores detrás de su advertencia: la capacidad de la inteligencia artificial para automejorarse y el incidente reciente que involucró a OpenAI y a Hugging Face, en el que un enjambre de agentes de IA operó de forma coordinada para vulnerar un sitio web de terceros.
Respecto al alcance potencial de ese tipo de episodios, Amodei expresó su preocupación de que “en un plazo de 6 a 12 meses, un enjambre de este tipo podría llegar a controlar todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y de que la magnitud de los daños seguiría aumentando a partir de ese punto”.
Ninguna de las brechas de seguridad vinculadas con sistemas de IA con capacidad de acción autónoma, incluida la de Hugging Face, ha provocado daños significativos hasta la fecha.
Poco después de que se conociera el incidente de Hugging Face, Anthropic informó que sus propios modelos habían vulnerado los sistemas de tres organizaciones durante pruebas de ciberseguridad, y en los días previos al 12 de septiembre reportó el hallazgo de un cuarto ataque.
Esos resultados alimentaron los cuestionamientos respecto a la capacidad de los laboratorios de IA para impedir que su tecnología opere fuera de control.
La discusión pública sobre los riesgos de la tecnología se intensificó durante la misma semana con la dimisión de un investigador de Anthropic, quien atribuyó su salida al temor de que la empresa estuviera actuando de forma irresponsable.
Los ejecutivos de los principales laboratorios del sector han advertido en repetidas ocasiones sobre riesgos existenciales, señalamientos que en ocasiones han sido interpretados como estrategias para promover las capacidades de sus productos y posicionarse como los custodios idóneos de la tecnología. Amodei había estimado con anterioridad en 25 por ciento la probabilidad de que el desarrollo derive en un desenlace negativo.
Anthropic ya había limitado meses atrás el lanzamiento de su modelo Mythos, tras concluir que representaba amenazas particulares en materia de ciberseguridad. La empresa también planteó previamente que el mundo requiere un mecanismo para determinar de manera colectiva cuándo desacelerar el trabajo en esta tecnología.
Como compromiso concreto, Amodei anunció que Anthropic otorgará acceso pleno a evaluadores externos para verificar sus prácticas de seguridad y reportar incidentes.
La compañía instalará a esos “evaluadores integrados” en sus oficinas, con escritorios, tarjetas de identificación, computadoras portátiles corporativas y permisos prácticamente equiparables a los de los equipos internos de evaluación de riesgos.
El directivo apuntó que las medidas adicionales exigirán coordinación en todo el sector y cooperación a escala global.
El llamado coincide con la competencia que Anthropic sostiene con OpenAI por desarrollar modelos capaces de automatizar tareas de mayor complejidad y valor para clientes empresariales. Ambas firmas presentaron documentación confidencial para salir a bolsa y se anticipa que Anthropic debutará en Wall Street antes del cierre de 2026.
“Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de alcanzar estos beneficios permanece intacto”, escribió Amodei, quien condicionó esos resultados a que la tecnología se construya de la manera correcta y con una cautela extraordinaria.