LinkedIn está lanzando esta semana su nueva búsqueda de personas basada en IA, a posteriori de lo que parece una demora muy larga por lo que debería poseer sido una ofrecimiento natural para la IA generativa.

Se produce tres primaveras a posteriori del tirada de ChatGPT y seis meses a posteriori de que LinkedIn lanzara su ofrecimiento de búsqueda de empleo mediante IA. Para los líderes técnicos, esta vírgula de tiempo ilustra una aviso empresarial secreto: implementar IA generativa en entornos empresariales reales es un desafío, especialmente a una escalera de 1.300 millones de usuarios. Es un proceso tardo y enorme de optimización pragmática.

El futuro relato se pedestal en varias entrevistas exclusivas con el equipo de ingeniería y productos de LinkedIn detrás del tirada.

Primero, así es como funciona el producto: un legatario ahora puede escribir una consulta en jerga natural como, "¿Quién tiene conocimientos sobre cómo curar el cáncer?" en la mostrador de búsqueda de LinkedIn.

La antigua búsqueda de LinkedIn, basada en palabras secreto, habría quedado perpleja. Habría buscado sólo referencias a "cáncer". Si un legatario quisiera volverse sofisticado, habría tenido que realizar búsquedas de palabras secreto rígidas y separadas para "cáncer" y luego "oncología" e intente manualmente unir los resultados.

Sin requisa, el nuevo sistema impulsado por IA comprende la intención de la búsqueda porque el LLM bajo el capó capta el significado semántico. Reconoce, por ejemplo, que "cáncer" está relacionado conceptualmente con "oncología" y menos directamente, a "investigación genómica." Como resultado, aparece una cinta mucho más relevante de personas, incluidos líderes e investigadores en oncología, incluso si sus perfiles no usan la palabra exacta. "cáncer."

El sistema asimismo equilibra esta relevancia con utilidad. En sitio de simplemente mostrar al mejor oncólogo del mundo (que podría ser una conexión de tercer cargo inalcanzable), asimismo sopesará quién en su red inmediata, como una conexión de primer cargo, es "suficiente relevante" y puede servir como un puente crucial alrededor de ese hábil.

Vea el vídeo a continuación para ver un ejemplo.

Sin requisa, podría decirse que la aviso más importante para los profesionales empresariales es la "obra de cocina" LinkedIn ha desarrollado: un proceso replicable y de varias etapas de destilación, codiseño y optimización incesante. LinkedIn tuvo que perfeccionar esto en un producto antiguamente de intentarlo en otro.

"No intentes hacer demasiado de una vez," escribe Wenjing Zhang, vicepresidente de ingeniería de LinkedIn, en una publicación sobre el tirada del producto, y quien asimismo habló con VentureBeat la semana pasada en una entrevista. Ella señala que un preliminar "apetencia en expansión" construir un sistema unificado para todos los productos de LinkedIn "progreso estancado."

En cambio, LinkedIn se centró en cobrar primero una tieso. El éxito de su AI Job Search, osado anteriormente, que llevó a solicitantes de empleo sin un título de cuatro primaveras a ser 10% más probabilidades de ser contratadosegún el vicepresidente de ingeniería de productos, Erran Berger, proporcionó el plano.

Ahora, la empresa está aplicando ese plan a un desafío mucho viejo. "Una cosa es poder hacer esto en decenas de millones de puestos de trabajo, y otra es" Berger dijo a VentureBeat. "Otra cosa es hacer esto entre más de mil millones de miembros."

Para los creadores de IA empresarial, el delirio de LinkedIn proporciona un manual técnico para lo que de hecho se necesita para acontecer de un piloto exitoso a un producto a escalera de mil millones de usuarios.

El nuevo desafío: un croquis de 1.300 millones de miembros

El producto de búsqueda de empleo creó una fórmula sólida sobre la que podría demostrar el nuevo producto de búsqueda de personas, explicó Berger.

La fórmula comenzó con un "conjunto de datos dorados" de sólo unos pocos cientos a miles de pares de consultas-perfiles reales, meticulosamente puntuados en un crónica detallado de 20 a 30 páginas. "política de producto" documento. Para ampliar esto para la capacitación, LinkedIn utilizó este pequeño conjunto dorado para impulsar un maniquí de saco vasto para originar un prominencia masivo de sintético datos de entrenamiento. Estos datos sintéticos se utilizaron para entrenar a un 7 mil millones de parámetros "Política de producto" maniquí: un sentenciador de relevancia de ingreso fidelidad que era demasiado tardo para la producción en vivo pero consumado para enseñar modelos más pequeños.

Sin requisa, el equipo chocó contra un pared desde el principio. Durante seis a nueve meses, lucharon por entrenar un maniquí único que pudiera equilibrar el puro cumplimiento de las políticas (relevancia) con las señales de billete de los usuarios. El "ajá momento" Llegó cuando se dieron cuenta de que necesitaban resolver el problema. Destilaron el maniquí de política 7B en un Maniquí docente de 1.700 millones centrado exclusivamente en la relevancia. Luego lo combinaron con modelos de docentes separados capacitados para predecir acciones específicas de los miembros, como solicitudes de empleo para el producto de empleo o conectarse y seguir para la búsqueda de personas. Este "multiprofesor" El conjunto produjo puntuaciones de probabilidad suaves que el maniquí final del estudiante aprendió a imitar mediante la pérdida de disconformidad KL.

La bloque resultante funciona como un proceso de dos etapas. Primero, un viejo maniquí de parámetro 8B maneja una recuperación amplia, lanzando una amplia red para extraer candidatos del croquis. Luego, el maniquí de estudiante en gran medida destilado se hace cargo de la clasificación detallada. Si correctamente el producto de búsqueda de empleo implementó con éxito un 0,6 mil millones (600 millones) estudiante de parámetros, el nuevo producto de búsqueda de personas requirió una compresión aún más agresiva. Como señala Zhang, el equipo redujo su nuevo maniquí de estudiantes de 440 millones a solo 220M parámetroslogrando la velocidad necesaria para 1.300 millones de usuarios con una pérdida de relevancia inferior al 1%.

Pero aplicar esto a la búsqueda de personas rompió la vieja bloque. El nuevo problema incluía no sólo categoría pero asimismo recuperación.

“Mil millones de registros," Berger dijo, es un "bestia diferente."

La pila de recuperación preliminar del equipo se basaba en CPU. Para manejar la nueva escalera y las demandas de latencia de un "rápido" experiencia de búsqueda, el equipo tuvo que mover su indexación a Infraestructura basada en GPU. Este fue un cambio arquitectónico fundamental que el producto de búsqueda de empleo no requería.

Desde el punto de paisaje organizativo, LinkedIn se benefició de múltiples enfoques. Durante un tiempo, LinkedIn tuvo dos equipos separados — búsqueda de empleo y búsqueda de personas — intentando resolver el problema en paralelo. Pero una vez que el equipo de búsqueda de empleo logró su avance utilizando el método de destilación impulsada por políticas, Berger y su equipo de liderazgo intervinieron. Trajeron a los artífices del triunfo en la búsqueda de empleo — Rohan Rajiv, líder de producto, y Wenjing Zhang, líder de ingeniería. — para trasplantar su ‘obra de cocina’ directamente al nuevo dominio.

Destilación para obtener un aumento de rendimiento 10 veces viejo

Una vez resuelto el problema de recuperación, el equipo enfrentó el desafío de clasificación y eficiencia. Aquí es donde se adaptó el obra de cocina con técnicas de optimización nuevas y agresivas.

Puesto técnico de Zhang (Insertaré el enlace una vez que esté activo) proporciona los detalles específicos que nuestra audiencia de ingenieros de IA apreciará. Una de las optimizaciones más importantes fue el tamaño de entrada.

Para alentar el maniquí, el equipo entrenó otro LLM con enseñanza por refuerzo (RL) con un único propósito: resumir el contexto de entrada. Este "resumidor" El maniquí pudo someter el tamaño de entrada del maniquí en 20 veces con una mínima pérdida de información.

¿El resultado combinado del maniquí de 220M de parámetros y la reducción de entrada de 20x? A Aumento de 10 veces en el rendimiento de clasificaciónlo que permite al equipo ofrecer el maniquí de guisa válido a su enorme saco de usuarios.

Pragmatismo sobre exageración: herramientas de construcción, no agentes

A lo liberal de nuestras discusiones, Berger fue inflexible sobre poco más que podría denominar la atención de la muchedumbre: el valencia auténtico para las empresas hoy en día reside en perfeccionar los sistemas de recomendación, no en perseguir "exageración agente." Igualmente se negó a murmurar sobre los modelos específicos que la empresa utilizó para las búsquedas, sugiriendo que casi no importa. La empresa selecciona los modelos en función de cuál considera más válido para la tarea.

La nueva búsqueda de personas impulsada por IA es una manifestación de la filosofía de Berger de que es mejor optimizar primero el sistema de recomendación. La bloque incluye una nueva "capa de enrutamiento de consultas inteligente," Como explicó Berger, eso en sí mismo está impulsado por un LLM. Este enrutador decide pragmáticamente si la consulta de un legatario, como "hábil en confianza" — debería acogerse a la nueva pila semántica de jerga natural o a la antigua y confiable búsqueda léxica.

Todo este complicado sistema está diseñado para ser un "aparejo" que un futuro agente utilizará, no el agente en sí.

"Los productos agentes son tan buenos como las herramientas que utilizan para realizar tareas para las personas," dijo Berger. "Puedes tener el mejor maniquí de razonamiento del mundo, y si intentas utilizar un agente para realizar una búsqueda de personas pero el motor de búsqueda de personas no es muy bueno, no podrás cumplirlo."

Ahora que la búsqueda de personas está habitable, Berger sugirió que algún día la empresa ofrecerá agentes para utilizarla. Pero no proporcionó detalles sobre el momento. Igualmente dijo que la fórmula utilizada para la búsqueda de empleo y personas se extenderá a otros productos de la empresa.

Para las empresas que crean sus propias hojas de ruta de IA, el manual de LinkedIn es claro:

1. Sea pragmático: No intentes hervir el océano. Deseo un tieso, aunque tarde 18 meses.

2. Codificar el "obra de cocina": Convertir esa conquista en un proceso repetible (documentos de políticas, procesos de destilación, codiseño).

3. Optimice sin alivio: Las verdaderas ganancias 10x vienen a posteriori el maniquí original, en poda, destilación y optimizaciones creativas como un resumidor entrenado en RL.

El represión de LinkedIn muestra que, para la IA empresarial del mundo auténtico, el realce en modelos específicos o sistemas agentes geniales debería acontecer a un segundo plano. La preeminencia estratégica y duradera proviene de dominar el tubería – el obra de cocina ‘nativo de la IA’ sobre codiseño, destilación y optimización despiadada.

(Nota del editor: pronto publicaremos un podcast completo con Erran Berger de LinkedIn, que profundizará en estos detalles técnicos, en el feed del podcast VentureBeat).