Los investigadores de Apple realizaron una prueba A/B para cronometrar cómo las etiquetas de relevancia generadas por IA afectarían las clasificaciones de búsqueda de la App Store y las descargas de aplicaciones. Esto es lo que encontraron.

Las etiquetas de relevancia generadas por IA mejoraron tenuemente las conversiones de búsqueda en la App Store

En un nuevo estudio titulado Ampliar la relevancia de la búsqueda: aumentar la clasificación de la App Store con juicios generados por LLMun montón de investigadores de Apple exploró si los LLM podrían ayudar a mejorar los resultados de búsqueda de la App Store generando las etiquetas de relevancia utilizadas para entrenar el sistema de clasificación.

Como explica el estudio, la relevancia es obviamente secreto para ayudar a los usuarios a encontrar las aplicaciones que buscan. Y si adecuadamente hay muchas señales que pueden contribuir al ranking de búsqueda, los investigadores se centraron en dos principales:

• Relevancia conductualque refleja cómo los usuarios interactúan con los resultados, por ejemplo, si tocan o descargan una aplicación.
• Relevancia textualque mide qué tan adecuadamente los metadatos de una aplicación (como su nombre, descripción y palabras secreto) coinciden semánticamente con la consulta de búsqueda de un heredero.

En el estudio, los investigadores dicen que si adecuadamente hay muchos datos disponibles sobre la relevancia del comportamiento (ya que se puede cronometrar fácilmente), no ocurre lo mismo con la relevancia textual:

Si adecuadamente las etiquetas de relevancia conductual son abundantes, las etiquetas de relevancia textual generadas por jueces humanos son mucho más raras. Esto crea un problema fundamental: las etiquetas de relevancia textual de entrada calidad son escasas y costosas de producir, lo que crea un cuello de botella en la escalabilidad y deja al objetivo de relevancia textual sin suficiente potencia en el entrenamiento multiobjetivo.

Para acometer este problema, los investigadores ajustaron un LLM de 3 mil millones de parámetros sobre juicios humanos existentes para que pudiera ilustrarse a asignar etiquetas de relevancia a aplicaciones basadas en la consulta de búsqueda de un heredero y los metadatos de la aplicación.

Luego, generaron millones de nuevas etiquetas de relevancia con ese maniquí y volvieron a entrenar el sistema de clasificación de la App Store utilizando tanto los datos originales como las etiquetas generadas por LLM.

Una vez hecho esto, realizaron una evaluación fuera de cuerda, seguida de una prueba A/B mundial en el tráfico en vivo de la App Store:

“(…) el llm-augmented El maniquí demostró un aumento estadísticamente significativo de +0,24 % en nuestra métrica principal, la tasa de conversión, definida como la proporción de sesiones de búsqueda con al menos una descarga de aplicación. Si adecuadamente este número puede parecer pequeño, se considera una progreso significativa para un ranking industrial sensato. Este aumento se observó en el 89% de los escaparates”.

En otras palabras, los usuarios que vieron los resultados de búsqueda clasificados utilizando el maniquí aumentado de LLM descargaron al menos una aplicación un 0,24% más a menudo que los usuarios que vieron los resultados de búsqueda presentados mediante el maniquí de clasificación tradicional.

Y si adecuadamente el 0,24% es obviamente un aumento muy pequeño, aumenta proporcionado rápido si consideramos que la mayoría de las estimaciones cifran las descargas totales de la App Store en 2025 en más o menos de 38 mil millones. En la actos, eso podría traducirse en decenas de millones de descargas adicionales desde las búsquedas en la App Store, poco que los desarrolladores seguramente agradecerían.

Para acertar el estudio completo, sigue este enlace.

Ofertas de accesorios en Amazon