Dans le livre de recettes de l’IA générative de LinkedIn : comment il recherche 1,3 milliard d’utilisateurs

LinkedIn lance cette semaine sa nouvelle recherche de personnes basée sur l’IA, ce qui semble être une très longue attente pour ce qui aurait dû être une offre naturelle pour l’IA générative.

Cela survient trois ans après le lancement de ChatGPT et six mois après que LinkedIn a lancé son offre de recherche d’emploi par IA. Pour les leaders technologiques, cette chronologie met en évidence une leçon clé pour l’entreprise : le déploiement de l’IA générative dans des environnements d’entreprise réels est un défi, en particulier à l’échelle de 1,3 milliard d’utilisateurs. Il s’agit d’un processus lent et brutal d’optimisation pragmatique.

Le récit suivant est basé sur plusieurs entretiens exclusifs avec les équipes produit et d’ingénierie de LinkedIn à l’origine du lancement.

Tout d’abord, voici comment fonctionne le produit : un utilisateur peut désormais saisir une requête en langage naturel telle que : “Qui connaît le remède contre le cancer ?” Dans la barre de recherche de LinkedIn.

Les anciennes recherches de LinkedIn, basées sur des mots-clés, auraient été bloquées. Il recherchait uniquement des références au « cancer ». Si un utilisateur voulait être sophistiqué, il devrait effectuer des recherches par mots clés distinctes et rigoureuses pour « cancer » puis « oncologie » et essayer de combiner manuellement les résultats.

Le nouveau système basé sur l’IA le fait cependant intention Sous le capot de la raison de recherche, LLM perçoit une signification sémantique. Il reconnaît, par exemple, que le « cancer » est conceptuellement lié à « l’oncologie » et encore moins directement à la « recherche en génomique ». En conséquence, il révèle des listes beaucoup plus pertinentes, incluant des leaders et des chercheurs en oncologie, même si leurs profils n’utilisent pas correctement le mot « cancer ».

Le système équilibre également cette pertinence utilité. Au lieu de montrer le meilleur oncologue du monde (qui pourrait être une connexion de troisième degré inaccessible), il évaluera également qui dans votre réseau immédiat – comme une connexion de premier degré – est « tout à fait pertinent » et peut servir de pont important vers ce spécialiste.

Voir la vidéo ci-dessous pour un exemple.

Cependant, la leçon la plus importante pour les praticiens de l’entreprise est sans doute le « livre de recettes » créé par LinkedIn : un pipeline reproductible et en plusieurs étapes de distillation, de co-conception et d’optimisation continue. LinkedIn a dû le perfectionner sur un produit avant de l’essayer sur un autre.

“N’essayez pas d’en faire trop à la fois”, a écrit Wenjing Zhang, vice-président de l’ingénierie de LinkedIn, dans un article sur le lancement du produit et qui s’est entretenu avec VentureBeat dans une interview la semaine dernière. Il a noté qu’une “ambition globale” avant de créer un système unifié pour tous les produits de LinkedIn a “bloqué les progrès”.

Au lieu de cela, LinkedIn s’est d’abord concentré sur la conquête d’un secteur vertical. Le succès des recherches d’emploi en IA lancées précédemment, entraînant des demandeurs d’emploi sans diplôme de quatre ans 10 % de chances en plus d’être embauchéSelon le vice-président de l’ingénierie des produits, Eran Berger, a fourni le plan.

Aujourd’hui, l’entreprise applique ce modèle à des défis encore plus importants. “C’est une chose de pouvoir faire cela sur des millions d’emplois”, a déclaré Berger à VentureBeat. “C’en est une autre de le faire en réponse à un milliard de membres.”

Pour les créateurs d’IA d’entreprise, le parcours de LinkedIn fournit un manuel technique. en fait Ce qu’il faut pour passer d’un projet pilote réussi à un produit à l’échelle d’un milliard d’utilisateurs.

Le nouveau défi : un graphe de 1,3 milliard de membres

Le produit de recherche d’emploi a créé une recette puissante qui pourrait créer de nouveaux produits de recherche de personnes, a expliqué Berger.

La recette a commencé avec un « ensemble de données en or » de quelques centaines à des milliers de paires de requêtes-profils réels, soigneusement comparées à un document détaillé de « politique produit » de 20 à 30 pages. Pour l’adapter à la formation, LinkedIn utilise ce petit ensemble d’or pour inciter un grand modèle de base à générer un volume important. synthétique Informations sur la formation. Ces données synthétiques ont été utilisées pour une formation 7 milliards de paramètres Modèle « Principe du produit » : un juge de pertinence haute fidélité, trop lent pour la production en direct, mais adapté à l’enseignement de petits modèles.

Cependant, l’équipe s’est heurtée dès le début à un mur. Pendant six à neuf mois, ils ont eu du mal à former un modèle unique capable d’équilibrer le strict respect des politiques (pertinence) et les signaux d’engagement des utilisateurs. Le « moment aha » est arrivé lorsqu’ils ont réalisé qu’ils devaient résoudre le problème. Ils ont distillé le modèle politique 7B en un seul Modèle d’enseignant 1.7B Se concentre uniquement sur la pertinence. Ils ont ensuite combiné cela avec des modèles d’enseignants individuels formés pour prédire les actions spécifiques des membres, telles que les demandes d’emploi pour des produits d’emploi, ou la mise en relation et le suivi de personnes pour des recherches. Cet ensemble « multi-enseignants » a produit des scores de probabilité souples que le modèle final de l’élève a appris à simuler via la perte de divergence KL.

L’architecture résultante fonctionne comme un pipeline en deux étapes. D’abord, un gros Modèle de paramètres 8B Effectue une récupération approfondie, ratissant un large réseau pour extraire les candidats du graphique. Ensuite, le modèle étudiant très raffiné prend le relais pour un classement plus précis. Il est temps de déployer avec succès le produit en recherche de travail 0,6 milliard (600 millions) Étudiants en paramètres, les nouveaux produits de recherche de personnes nécessitent une compression encore plus agressive. Comme le note Zhang, l’équipe a corrigé son nouveau modèle d’étudiant de 440 millions 220 millions de paramètresAtteindre la vitesse requise pour 1,3 milliard d’utilisateurs avec moins de 1 % de perte de pertinence.

Mais son application à la recherche de personnes a brisé l’ancienne architecture. Les nouveaux problèmes ne sont pas seulement inclus classement Mais aussi récupération.

“Un milliard de disques”, a déclaré Berger, est une “bête différente”.

La pile de récupération précédente de l’équipe était basée sur le processeur. Pour gérer les exigences de latence de la nouvelle échelle et offrir une expérience de recherche « géniale », l’équipe a dû déplacer son indexation vers Infrastructure basée sur GPU. Il s’agissait d’un changement architectural fondamental que le produit de recherche d’emploi n’exigeait pas.

Sur le plan organisationnel, LinkedIn a bénéficié de multiples approches. Pendant un certain temps, LinkedIn avait deux équipes distinctes – Recherche d’emploi et recherche de personnes – Essayez de résoudre le problème en parallèle. Mais une fois que l’équipe de recherche d’emploi a obtenu son succès grâce à un processus de distillation piloté par des politiques, Berger et son équipe de direction sont intervenus. Ils ont amené Joy Architects à la recherche d’un emploi – Rohan Rajeev, responsable produit et Wenjing Zhang, responsable ingénierie – Pour remplacer leur « livre de recettes » directement par le nouveau domaine.

Distillation pour un gain de débit 10x

Une fois le problème de récupération résolu, l’équipe a dû relever le défi du classement et de l’efficacité. C’est là que le livre de recettes a été adapté avec de nouvelles techniques d’optimisation agressives.

Poste technique de Zhang (J’insérerai le lien une fois qu’il sera en ligne) Nos ingénieurs en IA fournissent les détails spécifiques que le public appréciera. L’une des optimisations les plus notables était la taille d’entrée.

Pour alimenter le modèle, former l’équipe autre LLM avec Reinforcement Learning (RL) dans un seul but : résumer le contexte d’entrée. Ce modèle « résumé » a permis de réduire la taille d’entrée du modèle. 20 fois avec une perte de données minimale.

Le résultat combiné du modèle à 220 millions de paramètres et de la réduction des entrées 20 ? UN Augmentation de 10 fois du débit de classementPermettre à l’équipe de servir efficacement le modèle à son énorme base d’utilisateurs.

Pragmatisme en matière de propagande : créer des outils, pas des agents

Tout au long de notre discussion, Berger a insisté sur autre chose qui pourrait attirer l’attention des gens : la véritable valeur des entreprises d’aujourd’hui réside dans le perfectionnement des systèmes de recommandation, plutôt que dans la chasse au « battage médiatique des agents ». Il a également refusé de parler des modèles spécifiques utilisés par l’entreprise pour la recherche, suggérant que cela n’avait presque pas d’importance. L’entreprise sélectionne le modèle sur la base qu’elle juge le plus efficace pour le travail.

La nouvelle recherche de personnes basée sur l’IA est une manifestation de la philosophie de Berger selon laquelle il est préférable d’optimiser d’abord le système de recommandation. L’architecture comprend une nouvelle « couche de routage intelligent des requêtes », comme l’explique Berger, elle-même alimentée par LLM. Ce routeur décide pratiquement si la requête d’un utilisateur – telle que “Trust Expert” – doit être dirigée vers la nouvelle pile sémantique en langage naturel ou vers l’ancienne recherche lexicale fiable.

Ce système complet et complexe est conçu comme un « outil » qu’un l’avenir utilisera l’agent, pas l’agent lui-même.

“La qualité des produits des agents dépend des outils que les gens utilisent pour faire avancer les choses”, a déclaré Berger. “Vous pouvez avoir le meilleur modèle logique au monde, et si vous essayez d’utiliser un agent pour rechercher des personnes, le moteur de recherche de personnes n’est pas très bon, vous ne pourrez pas tenir vos promesses.”

Maintenant que la recherche de personnes est disponible, Berger a suggéré qu’un jour l’entreprise proposera aux agents de l’utiliser. Il n’a toutefois pas précisé le calendrier. Il a également déclaré que la recette utilisée pour la recherche d’emploi et de personnes sera étendue aux autres produits de l’entreprise.

Pour les initiatives élaborant leur propre feuille de route en matière d’IA, le manuel de LinkedIn est clair :

1. Soyez réaliste : N’essayez pas de faire bouillir l’océan. Gagnez une verticale, même si cela prend 18 mois.

2. Codifier le « livre de recettes » : Transformez cette victoire en un processus reproductible (document de politique, pipeline de distillation, co-conception).

3. Optimisez sans relâche : Un véritable profit 10x arrive après Modèles primitifs, élagage, distillation et optimisation créative comme un résumé formé par RL.

Le parcours de LinkedIn montre que pour l’IA d’entreprise réelle, l’accent mis sur des modèles fixes ou des systèmes agents cool devrait passer au second plan. L’avantage stratégique et durable vient de la maîtrise pipeline — le livre de recettes « IA-native » de co-conception, de distillation et d’optimisation impitoyable.

(Note de l’éditeur : nous publierons un podcast complet avec Erran Berger de LinkedIn, qui approfondira bientôt ces détails techniques sur le flux du podcast VentureBeat.)