¿Puede la IA escapar al control humano? El líder de Anthropic advierte sobre sus riesgos

A medida que la Inteligencia Artificial (IA) va evolucionando y formando parte de la vida cotidiana de los seres humanos, existe un amplio debate sobre su uso y los límites que se deberían implementar para cuidar no solo los derechos creativos de una obra, sino también las vidas que se verían en peligro si la IA se utiliza con un fin innoble.

En este sentido, el director general de una de las compañías de IA más conocidas del mundo, Anthropic, Dario Amodei, advirtió este sábado 12 de septiembre sobre el peligro de “perder el control” de los sistemas de IA, así como de su uso indebido para ciberataques y bioterrorismo y su capacidad de generar “graves trastornos económicos”. Por ello, ha propuesto un plan de acción para ralentizar el desarrollo de los sistemas de IA, en un esquema que incluye la presencia de verificadores externos en las compañías desarrolladoras de IA, como la suya, OpenAI y Google, entre otras.

“Sigo creyendo que la IA puede mejorar enormemente la calidad de vida de las personas. Mi deseo de conseguir esos beneficios no ha disminuido. Pero los beneficios solo se alcanzarán si desarrollamos la tecnología de la manera correcta y —si utilizamos bien el tiempo que ganemos— vale la pena actuar con un cuidado extraordinariamente deliberado para hacerlo bien (...). Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA”, desarrolló Amodei en un manifiesto publicado en su blog personal.

El líder de Anthropic propone que organismos externos especializados en seguridad tengan acceso permanente a las compañías que desarrollan los modelos más avanzados. Estos evaluadores deberían poder observar las prácticas de seguridad, investigar incidentes, analizar los modelos y sus procesos de entrenamiento y comprobar si las empresas están cumpliendo sus compromisos. También plantea que puedan publicar sus principales conclusiones, con excepciones limitadas para proteger información sensible.

Amodei además sugiere que las principales compañías deberían acordar estándares comunes de seguridad y límites al desarrollo acelerado de modelos cada vez más capaces. La idea es evitar que la competencia comercial lleve a las empresas a reducir las medidas de seguridad por miedo a quedarse atrás.

Amodei considera que los gobiernos democráticos deberían respaldar y facilitar esta coordinación. Asimismo, plantea que Estados Unidos y otros gobiernos democráticos trabajen también con países que no comparten sus sistemas políticos, especialmente China, para establecer ciertos límites globales al desarrollo de la IA. El objetivo sería reducir los riesgos que podrían trascender las fronteras, particularmente en áreas como la ciberseguridad, las armas biológicas y la pérdida de control sobre sistemas avanzados.

Además, propone reducir el ritmo del desarrollo de las capacidades más avanzadas de la IA para ganar tiempo y mejorar la seguridad. No plantea necesariamente detener todo el progreso, sino establecer controles o “puntos de verificación” según aumenten las capacidades y los riesgos de los modelos. Entre las posibles restricciones menciona limitar la cantidad de cómputo utilizado para entrenarlos, determinados entrenamientos y el uso de IA para desarrollar nuevas generaciones de IA.

Finalmente, plantea una escala progresiva de medidas de seguridad: prohibir usos extremadamente peligrosos, exigir evaluaciones antes del lanzamiento de modelos capaces de generar riesgos graves en biología o ciberseguridad, establecer límites a la automejora recursiva de los sistemas y, en el escenario más extremo, llegar a una desaceleración o pausa general del desarrollo si los riesgos lo justifican. A la vez, considera fundamental que Estados Unidos mantenga su ventaja tecnológica frente a China mediante controles sobre chips avanzados, equipos para fabricar semiconductores y el robo o transferencia ilegal de modelos.

Las respuestas no tardaron en llegar. El líder de OpenAI, Sam Altman, se mostró favorable a una ralentización del desarrollo de la IA y aseguró que la presencia de observadores externos es buena para las empresas que desarrollan esta tecnología, calificándola en redes sociales como “una gran idea”. Aidan McLaughlin, investigador de esta misma compañía, calificó la publicación de Amodei como “excelente” y afirmó que estaba de acuerdo “con cada palabra”.

En cambio, el propietario de la compañía de IA xAI, Elon Musk, publicó en X lo siguiente: “Dario tiene razón”, mientras que el presidente de la compañía Hugging Face, Clément Delangue, dijo que la misiva de Amodei dejaba claro que “la unión es fundamental” para hacer frente a los desafíos que plantea la evolución de la IA. “Hagamos la IA más segura, siendo más transparentes”, exhortó.

La declaración del líder de Anthropic se produce en la misma semana en la que un extrabajador de la compañía, Jacob Coxon, alertó sobre el potencial de la IA para destruir a la humanidad en 10 años, al tiempo que acusó tanto a su antigua compañía como a OpenAI de “estar jugando una apuesta con nuestras vidas”.

Desde el llamado de atención de Coxon, varios empleados de ambas compañías expresaron su voluntad de contribuir a la ralentización del desarrollo de la IA, debido a los incidentes de ciberseguridad registrados en los últimos meses y protagonizados por modelos desarrollados tanto por OpenAI como por Anthropic que actuaron de manera autónoma y fuera de control.

El elemento de la IA que está siendo examinado por su eventual peligrosidad es el conocido como autoperfeccionamiento recursivo, en el que el sistema busca superarse a sí mismo cada vez más, arriesgando la apuesta aunque ello signifique entrar de lleno en un ciberataque. “Todavía no existe un plan científico viable para resolver los riesgos derivados de una IA capaz de mejorarse a sí misma de manera recursiva. ¡Por favor, búsquenlo!”, afirmó Anna Wang, colaboradora de Anthropic, según la cadena CNBC.

De acuerdo con el diario estadounidense The Wall Street Journal, el modelo de IA Claude, desarrollado por Anthropic, fue utilizado por el Ejército estadounidense en la operación “Determinación Absoluta”, la cual resultó en la captura del entonces presidente venezolano Nicolás Maduro.

Las condiciones de uso de Anthropic prohíben utilizar Claude con fines violentos, para desarrollar armas o para realizar labores de vigilancia. Un portavoz de Anthropic se negó a comentar si Claude fue utilizado en la operación, pero señaló que cualquier uso de la herramienta de IA debía cumplir con sus políticas de utilización.

Estados Unidos y otros ejércitos utilizan cada vez más la inteligencia artificial como parte de sus arsenales. El Ejército israelí ha utilizado drones con capacidades autónomas en Gaza, mientras que Ucrania la utiliza para localizar algunos objetivos en el frente de batalla. Sin embargo, este tipo de usos plantea dilemas morales sobre las capacidades de la IA, ya sea para salvar vidas o para violar el derecho internacional en los conflictos.