CEO de Anthropic delinea plan para ralentizar el desarrollo de IA

Hemos estado viendo advertencias cada vez más graves de investigadores de IA sobre los peligros de la inteligencia artificial, incluso comentarios del CEO de OpenAI Sam Altman de que podría ser hora de "controlar el ritmo" del desarrollo de IA. Pero, ¿qué aspecto tendría realmente eso?

En una nueva publicación de blog, el CEO de Anthropic, Dario Amodei, no solo hizo eco del llamado para "controlar la frontera", sino que también delineó tres estrategias amplias para hacerlo. Y dijo que Anthropic se está "comprometiendo unilateralmente" con una de ellas, con Altman interviniendo para decir que OpenAI seguirá el ejemplo.

Contexto de la Seguridad de IA

El debate sobre la seguridad y alineación de la IA se intensificó esta semana después de que el investigador Jacob Coxon escribiera que está renunciando a Anthropic por preocupaciones de que las principales compañías de IA "están jugando con nuestras vidas" mientras que las personas que construyen la tecnología "creen sinceramente que podría matarnos a todos para fines de esta década", una afirmación repetida por otros en Anthropic.

La publicación de Amodei no mencionó explícitamente la renuncia de Coxon o sus preocupaciones, pero el CEO escribió que dos cosas lo convencieron de que es hora de tomar un enfoque más cauteloso al desarrollo de IA: el hack OpenAI-HuggingFace, y el hecho de que "la IA ha estado avanzando drásticamente más rápido" en los últimos meses, particularmente con su "creciente capacidad de construir la próxima generación de IA".

Estrategias Propuestas

"Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA", escribió Amodei. "El progreso aún parecerá rápido, y debemos hacer un uso sabio del tiempo que ganemos".

Otros ejecutivos de IA parecen haber reaccionado positivamente a la publicación de Amodei, con Altman escribiendo: "Estoy de acuerdo con Dario en que necesitamos controlar la frontera. Este ha sido un tema principal en las discusiones que hemos tenido en OpenAI en las últimas semanas". Y el CEO de SpaceX Elon Musk publicó: "Dario tiene razón".

El primer paso propuesto por Amodei implicaría "evaluadores integrados" de organizaciones de terceros como METR, evaluadores que puedan verificar que las compañías de IA realmente están siguiendo sus compromisos de control del ritmo y seguridad, y también pueden asegurar que los incidentes de seguridad se reporten.

Fuente: TechCrunch