Anthropic revela detalles sobre cómo funcionarán las marcas de agua de Claude

Anthropic publicó un comunicado el viernes buscando responder preguntas básicas sobre cómo colocará marcas de agua en el texto generado por su chatbot Claude. Preguntas como: ¿Cómo funcionará exactamente el marcado de agua? ¿Se puede ocultar con edición? ¿Y cómo afecta esto al código?

Los usuarios de Claude han estado debatiendo la medida desde que la empresa reveló a principios de esta semana que la realizaría para cumplir con el Código de Transparencia de la Ley de IA de la UE, que requiere que las empresas de IA utilicen sistemas que hagan posible identificar contenido generado por IA.

Reacciones mixtas en redes sociales

En Reddit, por ejemplo, un usuario caracterizó esto como una conspiración contra usuarios inocentes de Claude, mientras que otro afirmó: La única razón por la que no querrías esto es para mentirle a las personas. Y Business Insider reporta que docenas de usuarios en X han afirmado cancelar sus suscripciones a Claude como resultado.

Cómo funcionan las marcas de agua

El comunicado de Anthropic comienza con una descripción general del concepto de marcas de agua, explicando que al hacer opciones de bajo riesgo, como elegir entre las palabras sobrecubierto y gris para describir el clima, Claude puede crear un patrón en sus respuestas que es indetectable para el lector, pero es detectable para cualquiera que tenga una clave que lo codifique.

El marcado de agua no afecta la calidad de la salida de Claude, dijo la empresa. Para un lector, una respuesta marcada es indistinguible de una sin marcar.

Enfoque SynthID-Text

Más específicamente, Anthropic dijo que estará utilizando el enfoque SynthID-Text que el equipo de Google DeepMind describió en 2024, y que planea lanzar una API de detección de marcas de agua. También señaló que el marcado de agua es distinto de los enfoques de detección de IA ofrecidos por empresas como Pangram que buscan evidencia en la escritura (como la construcción no es X, es Y) para revelar el uso de IA: Detectar estos patrones es fundamentalmente diferente de verificar una marca de agua.

Posibilidad de eludir marcas de agua

¿Podría alguien simplemente reescribir el texto para ocultar la marca de agua? Anthropic dijo que es posible, pero la edición ligera probablemente no eliminará la marca de agua por completo, mientras que una reescritura completa donde se reemplaza cada palabra sí lo hará. En este último caso, por supuesto, es cuestionable si el texto puede seguir siendo descrito como generado por IA, dijo la empresa.

Fuente: TechCrunch