Las compañías que buscan construir modelos de IA más grandes se han trillado cada vez más obstaculizadas por la desatiendo de datos de capacitación de incorporación calidad. A medida que las empresas tecnológicas recorren la web para obtener más datos para procurar sus modelos, podrían entregarse en manos cada vez más en datos de becario potencialmente confidenciales. Un equipo de Google Research está explorando nuevas técnicas para que los modelos de jerigonza grandes (LLM) resultantes sean menos propensos a “memorizar” cualquiera de ese contenido.

Los LLM tienen futuro no deterministas, lo que significa que no puede predecir exactamente lo que dirán. Si aceptablemente la salida varía incluso para entradas idénticas, los modelos a veces regurgitan poco de sus datos de entrenamiento; si se capacita con datos personales, la salida podría ser una violación de la privacidad del becario. En caso de que los datos con derechos de autor lleguen a los datos de capacitación (ya sea accidentalmente o premeditadamente), su apariencia en las futuro puede causar un tipo diferente de dolor de capital para los desarrolladores. La privacidad diferencial puede evitar dicha memorización mediante la inclusión de ruido calibrado durante la período de entrenamiento.

Juntar privacidad diferencial a un maniquí viene con inconvenientes en términos de precisión y requisitos de cálculo. Nadie se ha molestado en descubrir el escalón en que altera las leyes de escalera de los modelos de IA hasta ahora. El equipo trabajó desde la suposición de que el rendimiento del maniquí se vería afectado principalmente por la relación de partición de ruido, lo que compara el tamaño de ruido aleatorizado con el tamaño de los datos de entrenamiento originales.

Al ejecutar experimentos con diferentes tamaños de maniquí y relaciones de partición de ruido, el equipo estableció una comprensión básica de las leyes de escalera de privacidad diferencial, que es un compensación entre el presupuesto de cálculo, el presupuesto de privacidad y el presupuesto de datos. En prontuario, más ruido conduce a futuro de último calidad a menos que se compensan con un presupuesto de cálculo (FLOP) o un presupuesto de datos (tokens). El papel Detalla las leyes de escalera para los LLM privados, lo que podría ayudar a los desarrolladores a encontrar una relación ideal de partición de ruido para que un maniquí sea más privado.