LinkedIn es líder en sistemas de recomendación de IA y los ha desarrollado durante los últimos 15 abriles. Pero impresionar a una pila de recomendaciones de próxima engendramiento para los solicitantes de empleo del mañana requirió una técnica completamente nueva. La empresa tuvo que mirar más allá de los modelos disponibles en el mercado para alcanzar precisión, latencia y eficiencia del posterior nivel.

“Simplemente no había guisa de que pudiéramos hacer eso mediante indicaciones”, dice Erran Berger, vicepresidente de ingeniería de productos en LinkedIn, en un nuevo Más allá del piloto podcast. “Ni siquiera lo intentamos con los sistemas de recomendación de próxima engendramiento porque nos dimos cuenta de que no era viable”.

En cambio, su equipo se dispuso a desarrollar un documento de política de producto muy detallado para afinar un maniquí inicialmente masivo de 7 mil millones de parámetros; eso luego se destiló en modelos adicionales de profesores y estudiantes optimizados para cientos de millones de parámetros.

La técnica ha creado un texto de cocina repetible que ahora se reutiliza en todos los productos de inteligencia químico de LinkedIn.

“La admisión de este proceso de evaluación de principio a fin impulsará una prosperidad sustancial de la calidad de los Me gusta que probablemente no hemos conocido en abriles aquí en LinkedIn”, afirma Berger.

Por qué la destilación de varios profesores fue un “gran avance” para LinkedIn

Berger y su equipo se propusieron crear un LLM que pudiera interpretar consultas laborales individuales, perfiles de candidatos y descripciones de puestos en tiempo vivo, y de una guisa que reflejara la política de productos de LinkedIn con la viejo precisión posible.

Al trabajar con el equipo de administración de productos de la empresa, los ingenieros finalmente crearon un documento de 20 a 30 páginas que calificaba la descripción del trabajo y los pares de perfiles “en muchas dimensiones”.

“Hicimos muchas, muchas iteraciones sobre esto”, dice Berger. Luego, ese documento de política de producto se combinó con un “conjunto de datos de oro” que comprende miles de pares de consultas y perfiles; El equipo introdujo esto en ChatGPT durante la engendramiento de datos y la experimentación, lo que hizo que el maniquí, con el tiempo, aprendiera pares de puntuación y, finalmente, generara un conjunto de datos sintéticos mucho más noble para entrenar un maniquí docente de 7 mil millones de parámetros.

Sin requisa, dice Berger, no baste con tener un LLM en producción sólo en política de producto. “Al final del día, es un sistema de recomendación y necesitamos hacer cierta cantidad de personalización y predicción de clics”.

Entonces, su equipo utilizó ese maniquí docente auténtico centrado en la política del producto para desarrollar un segundo maniquí docente orientado a la predicción de clics. Utilizando los dos, destilaron aún más un maniquí de 1.700 millones de parámetros con fines de capacitación. Ese eventual maniquí de estudiante se ejecutó a través de “muchas, muchas ejecuciones de entrenamiento” y se optimizó “en cada punto” para minimizar la pérdida de calidad, dice Berger.

Esta técnica de destilación de varios profesores permitió al equipo “alcanzar mucha afinidad” con la política del producto llamativo y “conseguir” la predicción de clics, afirma. Además lograron “modularizar y componentar” el proceso de formación del estudiante.

Considérelo en el contexto de un agente de chat con dos modelos de docente diferentes: uno entrena al agente sobre la precisión de las respuestas, el otro sobre el tono y cómo debe comunicarse. Esas dos cosas son objetivos muy diferentes, aunque críticos, señala Berger.

“Al mezclarlos ahora, se obtienen mejores resultados, pero incluso se pueden repetir de forma independiente”, afirma. “Eso fue un gran avance para nosotros”.

Cambiando la forma en que los equipos trabajan juntos

Berger dice que no puede subestimar la importancia de anclarse en una política de producto y un proceso de evaluación iterativo.

Obtener una “política de producto positivamente buena” requiere traducir la experiencia del dominio del apoderado de producto en un documento unificado. Históricamente, señala Berger, el equipo de administración de productos se centraba en la organización y la experiencia del sucesor, dejando los enfoques de iteración del modelado a los ingenieros de ML. Ahora, sin requisa, los dos equipos trabajan juntos para “marcar” y crear un maniquí docente en formación.

“La forma en que los gerentes de producto trabajan ahora con los ingenieros de enseñanza inconsciente es muy diferente de todo lo que hemos hecho antiguamente”, afirma. “Ahora es un maniquí para básicamente cualquier producto de inteligencia químico que fabricamos en LinkedIn”.

Mira el podcast completo para memorizar más sobre:

• Cómo LinkedIn optimizó cada paso del proceso de I+D para respaldar la velocidad, lo que generó resultados reales en días u horas en zona de semanas;

• Por qué los equipos deberían desarrollar canales de conectividad y experimentación y probar diferentes modelos para respaldar la flexibilidad;

• La continua importancia de la depuración de la ingeniería tradicional.

Además puedes escuchar y suscribirte Más allá del piloto en Spotify, Manzana o dondequiera que obtengas tus podcasts.