APUNTE.COM.DO.- El director ejecutivo y cofundador de Anthropic, Dario Amodei, hizo un llamado a disminuir la velocidad con la que se perfeccionan las capacidades de los modelos de inteligencia artificial (IA), luego de alertar que la tecnología se dirige hacia una «automejora recursiva» que podría generar catástrofes de ciberseguridad a nivel mundial.

En un extenso ensayo difundido en su sitio web, Amodei expresó: «Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias».

El directivo mencionó específicamente el incidente de los agentes fuera de control de OpenAI y Hugging Face, donde un enjambre de agentes actuó «como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento».

Según Amodei, la industria debe «reducir el ritmo al que se mejora las capacidades de los modelos de IA» y dar prioridad a la cautela sobre la velocidad y a la prudencia sobre las ganancias económicas, para evitar que los incentivos comerciales conduzcan a una «carrera hacia el abismo».

Para contrarrestar la amenaza, Amodei propuso una estrategia en tres fases para regular el ritmo tecnológico sin perder ventaja estratégica frente a regímenes autoritarios como China.

Como primera medida, Anthropic se comprometió de manera unilateral e inmediata a abrir sus instalaciones a evaluadores externos independientes con un acceso similar al de sus propios empleados, para que puedan auditar los procesos de entrenamiento y publicar sus conclusiones. Amodei instó a otros competidores a adoptar esta práctica y a los gobiernos a exigirla.

La propuesta también incluye una coordinación entre empresas para acordar estándares comunes de seguridad y límites al avance descontrolado, con el respaldo de mediación institucional y excepciones a las leyes antimonopolio, además de proteger las cadenas de suministro de semiconductores para evitar filtraciones tecnológicas hacia Pekín.

Finalmente, el plan aboga por acuerdos globales con potencias autoritarias para establecer límites verificables que prohíban aplicaciones biológicas militares y fijen topes a la velocidad de la automejora algorítmica.

Amodei concluyó que desacelerar el avance proporcionaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantice un debate público adecuado y reduzca significativamente el riesgo de que la tecnología escape al control de la sociedad.

Esta semana, un investigador de Anthropic, Jacob Coxon, renunció debido a su preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. Coxon, quien también trabajó para OpenAI, competidora de Anthropic, señaló que estas compañías estaban más enfocadas en superarse mutuamente que en la seguridad de sus productos.

«Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor», escribió Coxon en su cuenta de X el pasado martes.

Por su parte, el director ejecutivo de OpenAI, Sam Altman, respaldó el llamado del líder de Anthropic para moderar la velocidad del desarrollo de la inteligencia artificial y anunció que su compañía también permitirá que evaluadores independientes auditen sus sistemas.

«Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas», publicó Altman en la red social X poco después de conocerse la postura de su principal competidor.

Altman calificó de «excelente idea» la iniciativa de abrir las puertas a auditores externos: «Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir», añadió.