Líderes de IA piden frenar la carrera tecnológica y Musk se suma a la advertencia

Quien dirige un equipo de seguridad dentro de Anthropic, sostuvo que existe una posibilidad superior al 10% de que una inteligencia artificial pueda “matar a todos los humanos” durante la próxima década.

El investigador aclaró además que Anthropic todavía no tiene un plan para resolver el problema de la alineación de una eventual superinteligencia, es decir, conseguir que un sistema extremadamente avanzado actúe de acuerdo con los objetivos y valores humanos.

La renuncia de Coxon

Coxon trabajó durante tres años en tareas vinculadas al entrenamiento de modelos de inteligencia artificial. Primero formó parte del equipo técnico de OpenAI, donde participó en el desarrollo de GPT-4o, y posteriormente se incorporó a Anthropic, atraído precisamente por la reputación de la empresa en materia de seguridad.

Su paso por Anthropic duró apenas dos meses.

Al anunciar su salida, cuestionó la estrategia de ambas compañías y sostuvo que están avanzando hacia sistemas capaces de mejorarse a sí mismos sin contar con garantías suficientes para controlarlos.

Según Coxon, la industria se dirige hacia una etapa que podría convertirse en una “hora límite” para la seguridad de la inteligencia artificial. En declaraciones al Wall Street Journal, planteó incluso que hacia fines de 2027 algunos escenarios podrían quedar fuera de control.

Otros investigadores también se fueron

La salida de Coxon se suma a otras renuncias de especialistas vinculados con la seguridad y la alineación de sistemas de IA.

En febrero había dejado Anthropic el investigador de salvaguardas Mrinank Sharma. En 2024, Jan Leike, quien entonces estaba al frente del equipo de alineación de OpenAI, también abandonó la compañía y cuestionó que la seguridad hubiera perdido peso frente al desarrollo de nuevos productos.

La carrera por desarrollar sistemas de inteligencia artificial cada vez más poderosos comenzó a generar una señal de alarma entre sus propios protagonistas: los líderes de Anthropic y OpenAI coincidieron en la necesidad de desacelerar el avance de los modelos de frontera y reforzar los controles externos, mientras que Elon Musk respaldó públicamente esa posición.

La discusión cobró fuerza después de la denuncia de Jacob Coxon, un investigador que trabajó en OpenAI y Anthropic y que recientemente abandonó esta última compañía con fuertes cuestionamientos sobre la velocidad y las condiciones en las que avanza el desarrollo de la IA.

Coxon advirtió sobre los riesgos de que un reducido grupo de empresas privadas compita por construir sistemas cada vez más capaces sin que existan mecanismos de supervisión suficientes para controlar una tecnología que, según los propios investigadores del sector, podría alcanzar capacidades superiores a las humanas en numerosas tareas.

En ese contexto, el CEO de Anthropic, Dario Amodei, publicó un ensayo titulado "We Must Pace the Frontier", en el que sostuvo que la industria debe reducir la velocidad de la carrera por los modelos de frontera para permitir que los mecanismos de seguridad puedan acompañar el aumento de sus capacidades.

Alarma compartida

Anthropic acompañó la advertencia con una primera decisión concreta: permitirá que evaluadores externos tengan acceso permanente a sus sistemas, en condiciones similares a las de sus empleados, para verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar el alineamiento de los modelos durante su entrenamiento.

La propuesta recibió el respaldo de Sam Altman, CEO de OpenAI y uno de los principales competidores de Amodei en el desarrollo de los modelos más avanzados.

"Estoy de acuerdo con Dario en que necesitamos moderar el avance de la frontera", afirmó Altman, quien además reveló que la cuestión fue uno de los principales temas de las discusiones mantenidas dentro de OpenAI durante las últimas semanas.

Altman también anunció que OpenAI seguirá el camino planteado por Anthropic y dará a evaluadores independientes un nivel de acceso similar al de sus empleados para controlar sus sistemas. "Es una gran idea y nosotros haremos lo mismo", sostuvo.

A la coincidencia entre los responsables de Anthropic y OpenAI se sumó Elon Musk, propietario de SpaceX y fundador de xAI, otra de las compañías que participa de la competencia global por desarrollar modelos más avanzados. "Dario tiene razón", escribió el empresario.

La convergencia entre Amodei, Altman y Musk amplificó así una discusión que hasta ahora estaba concentrada principalmente entre investigadores y especialistas en seguridad de IA: cómo controlar una tecnología cuyo desarrollo se acelera por la propia competencia entre las empresas que buscan liderarla.

El problema radica en que cada compañía tiene incentivos comerciales y tecnológicos para lanzar modelos más capaces antes que sus rivales, mientras que los sistemas de evaluación, regulación y supervisión necesitan tiempo para determinar qué riesgos aparecen a medida que aumenta su autonomía y capacidad.

La denuncia de Coxon y las posteriores posiciones de Amodei, Altman y Musk exponen así una de las principales paradojas de la actual carrera por la inteligencia artificial: las empresas que compiten por llevar la tecnología hasta sus límites comienzan ahora a reconocer públicamente que la velocidad de esa misma competencia puede convertirse en uno de sus mayores riesgos, consignó Cadena3.