Expertos cuestionan que Moonshot haya distilado el modelo Fable de Anthropic para crear Kimi K3

El asesor científico de la Casa Blanca, Michael Kratsios, afirmó que Moonshot, la empresa china detrás de Kimi K3 —el modelo de peso abierto más grande disponible— construyó su modelo copiando el modelo Fable de Anthropic mientras utilizaba chips que no están autorizados para exportarse a China.

"La distilación industrial a gran escala y encubierta dirigida a robar tecnología de propiedad intelectual estadounidense y socavar la investigación estadounidense es inaceptable", escribió Kratsios, en medio de discusiones reportadas sobre la prohibición de modelos de peso abierto chinos que han generado revuelo en el sector de IA. Moonshot no respondió a preguntas sobre su proceso de entrenamiento, y Kratsios no compartió más detalles sobre las fuentes de sus acusaciones.

Los comentarios de Kratsios hicieron eco de las declaraciones de la secretaria del Tesoro, Scott Bessent, quien advirtió que "estamos encontrando marcas de agua de nuestros modelos de lenguaje estadounidenses en muchos de los modelos chinos, y eso es inaceptable." No está claro qué consisten esas marcas de agua, y el Departamento del Tesoro no respondió a nuestras preguntas.

La perspectiva de los expertos

Sin embargo, expertos en IA son escépticos de que la distilación —el proceso de consultar un modelo de lenguaje para determinar su funcionamiento interno y copiar sus capacidades— sea responsable de las capacidades avanzadas que Kimi K3 muestra.

"No creo que obtengas un modelo tan fuerte y tan rápidamente después de que Fable hiciera únicamente distilación", afirmó Braden Hancock, investigador del Laude Institute y cofundador de Snorkel AI, en una entrevista con TechCrunch. "Simplemente no hay ni siquiera tiempo disponible, ¿verdad? Fable solo ha estado disponible públicamente desde el 1 de julio. No puedes destilar tanta información, entrenar un modelo y lanzarlo en dos semanas."

"He tenido la opinión de que la distilación se vuelve cada vez menos impactante con el tiempo mientras los modelos chinos se acercan a la frontera y el régimen de entrenamiento cambia hacia aprendizaje por refuerzo", comentó Nathan Lambert, investigador de IA en el Allen Institute for AI, en un podcast lanzado ayer. "Si fuera el caso, todos podrían fácilmente ponerse al día con GLM o K3 utilizando sus datos para distilación. Pero no hemos visto esto, ni lo veremos, únicamente con ajuste fino supervisado."

La distilación requiere que un laboratorio consulte sistemáticamente su modelo objetivo para generar datos que puedan usarse para el entrenamiento posterior. Los expertos sugieren que las capacidades superiores de Kimi K3 probablemente provengan de métodos de entrenamiento más sofisticados que la simple copia de resultados.

Fuente: TechCrunch