El director de Anthropic propuso reducir el ritmo de avance de los modelos más potentes para dar tiempo a las medidas de seguridad; OpenAI respaldó el planteamiento y xAI también expresó apoyo.
Tres de las figuras más influyentes de la industria de inteligencia artificial coincidieron este sábado en que el desarrollo de los modelos más avanzados debe desacelerarse mientras las medidas de seguridad y control alcanzan el ritmo de las nuevas capacidades.
El planteamiento partió de Dario Amodei, cofundador y director ejecutivo de Anthropic, empresa desarrolladora de Claude, quien publicó un extenso ensayo titulado We Must Pace the Frontier (“Debemos moderar el ritmo del desarrollo de la IA de frontera”) en el que sostuvo que la industria necesita reducir la velocidad con la que aumenta las capacidades de sus modelos.
Poco después, el director ejecutivo de OpenAI, Sam Altman, respondió públicamente que coincidía con Amodei en la necesidad de “marcar el ritmo de la frontera” y aseguró que el tema ha sido central en las conversaciones internas de su compañía durante las últimas semanas.
Elon Musk, fundador de xAI, se sumó después con una respuesta mucho más breve: “Dario is right” —“Dario tiene razón”—.
La coincidencia resulta particularmente significativa porque Anthropic, OpenAI y xAI son competidores directos en la carrera por desarrollar los modelos de inteligencia artificial más capaces del mundo.
Amodei propone dar tiempo a las salvaguardas
En su ensayo, Amodei sostuvo que la velocidad con la que aumentan las capacidades de la inteligencia artificial está superando la capacidad de la industria para desarrollar mecanismos suficientes de alineamiento, control y seguridad.
Su preocupación se concentra particularmente en dos fenómenos: la creciente capacidad de los modelos para contribuir al desarrollo de sistemas posteriores —lo que podría acelerar aún más el progreso de la propia inteligencia artificial— y las señales recientes de comportamientos autónomos o inesperados durante evaluaciones de ciberseguridad.
Amodei propuso un esquema de tres niveles. El primero consiste en incorporar evaluadores externos independientes con acceso permanente y comparable al de empleados de las compañías, de manera que puedan verificar el cumplimiento de las medidas de seguridad, investigar incidentes y observar el comportamiento de los modelos durante su entrenamiento.
Anthropic anunció que aplicará unilateralmente esa medida.
Altman respaldó específicamente ese punto y anunció que OpenAI también permitirá evaluadores independientes con un nivel de acceso similar al de sus empleados.
Coincido con Dario en que necesitamos moderar el ritmo en la frontera del desarrollo. Este ha sido uno de los principales temas de discusión que hemos tenido en OpenAI durante las últimas semanas”.
Altman agregó que la propuesta de contar con evaluadores independientes le parecía una “gran idea” y que OpenAI adoptaría una medida equivalente.
Incidentes recientes elevaron las alarmas
La discusión ocurre después de una serie de incidentes que han llevado a los principales laboratorios a revisar sus procedimientos de seguridad.
En julio, OpenAI reconoció que varios de sus modelos, durante evaluaciones internas de ciberseguridad y operando con salvaguardas reducidas, evadieron controles destinados a mantenerlos aislados de Internet y accedieron a infraestructura de la propia compañía y de Hugging Face.
La empresa describió posteriormente el episodio como el incidente más grave de ese tipo que había detectado hasta entonces y señaló que los modelos recurrieron a estrategias desalineadas para resolver las tareas que se les habían planteado.
Anthropic, por su parte, informó en julio de tres episodios durante evaluaciones de ciberseguridad en los que modelos Claude alcanzaron Internet desde entornos de prueba de terceros y obtuvieron acceso no autorizado a sistemas reales de distintas organizaciones.
En uno de esos casos, según la compañía, una configuración incorrecta en el entorno de evaluación permitió que el modelo accediera al exterior mientras deliberadamente operaba sin las protecciones habituales de ciberseguridad.
Amodei citó este tipo de incidentes como evidencia de que sistemas más capaces, sometidos a condiciones similares, podrían causar daños mucho mayores si las salvaguardas no avanzan al mismo ritmo. El ejecutivo llegó a advertir que un enjambre de agentes más capaces podría, en un horizonte de meses, representar una amenaza de gran escala para la infraestructura de Internet.
“Están jugando con nuestras vidas”
Precisamente esta semana Jacob Coxon, ingeniero de Anthropic, anunció su renuncia en X (antes Twitter), donde su mensaje generó más de 150 millones de impresiones tras asegurar que las empresas líderes del sector “están jugando con nuestras vidas”.
Coxon externó preocupación de que la firma de inteligencia artificial y sus competidores no estén actuando de manera responsable en el desarrollo de la IA, retomando inquietudes planteadas recientemente en torno a la posibilidad de que esta tecnología escape al control humano.
Coordinación entre empresas y gobiernos
El segundo componente de la propuesta de Amodei plantea que las principales compañías de inteligencia artificial de países democráticos acuerden estándares comunes de seguridad y mecanismos para reducir colectivamente el ritmo de desarrollo cuando las capacidades de los modelos superen determinados umbrales.
La idea busca resolver uno de los principales obstáculos de cualquier desaceleración voluntaria: que una empresa que reduzca unilateralmente su velocidad quede en desventaja frente a competidores que continúen avanzando.
Amodei sostiene por ello que los gobiernos tendrían que participar en la creación de reglas comunes e incluso facilitar mecanismos jurídicos que permitan la coordinación entre compañías sin generar problemas bajo las normas de competencia.
El tercer nivel llevaría esa coordinación al plano internacional. Amodei reconoce que cualquier acuerdo limitado a compañías estadounidenses resultaría insuficiente si otros países continúan desarrollando sistemas de frontera al mismo ritmo. Su propuesta contempla eventualmente acuerdos verificables con otras potencias, incluida China, para establecer límites en determinadas capacidades particularmente peligrosas.
China sigue siendo la pieza pendiente
Hasta el momento de publicación de esta nota, no se había producido una respuesta pública comparable de los principales laboratorios chinos de inteligencia artificial al llamado formulado por Amodei y respaldado por Altman y Musk.
Ese punto resulta crucial porque China concentra algunos de los principales competidores de los laboratorios estadounidenses y Amodei reconoce expresamente que una desaceleración sostenible requeriría algún grado de coordinación internacional.
La tensión tecnológica entre ambos países, sin embargo, añade otra dificultad. Anthropic ha acusado recientemente a laboratorios chinos de utilizar técnicas no autorizadas de destilación para reproducir capacidades de sus modelos, mientras Estados Unidos mantiene restricciones sobre la exportación a China de los chips más avanzados utilizados para entrenar sistemas de inteligencia artificial.
Una discusión que ya venía creciendo
El respaldo público de este sábado no aparece de forma aislada. OpenAI había informado en agosto que redujo temporalmente el ritmo de escalamiento de sus modelos después de que sus avances en capacidades de ciberseguridad aumentaran más rápidamente que sus mecanismos de monitoreo, alineamiento y contención.
Altman también dijo esta semana a empleados de OpenAI que la compañía estaba abierta a moderar el desarrollo de modelos de frontera, idealmente mediante algún tipo de coordinación con otros laboratorios.
Anthropic mantiene desde 2023 una política de escalamiento responsable que establece medidas progresivamente más estrictas conforme aumentan las capacidades potencialmente peligrosas de sus modelos, mientras investigadores y exempleados de varios laboratorios han intensificado durante los últimos meses sus llamados a reducir el ritmo de desarrollo.
La novedad de este sábado está en que el llamado ya no proviene únicamente de investigadores, exempleados o especialistas en seguridad. Esta vez, el director ejecutivo de Anthropic pidió abiertamente desacelerar la frontera tecnológica, el director ejecutivo de OpenAI dijo estar de acuerdo y anunció una primera medida concreta en la misma dirección, y Elon Musk respaldó públicamente el planteamiento desde xAI.