Cuando experimentaron inicialmente con LLM e IA agente, los ingenieros de software de concepto de IA aplicó procreación de código destacamento, esquemas complejos e instrucción intensa.

Sin secuestro, rápidamente, la prueba y el error le enseñaron al equipo que se podía deshazte de todo ese complicado modelado de datos. El líder de ingeniería de inteligencia industrial de Notion, Ryan Nystrom, y su equipo recurrieron a indicaciones simples, representaciones legibles por humanos, meditación mínima y formatos de rebajas familiares. El resultado fue un rendimiento del maniquí dramáticamente mejorado.

Aplicando este enfoque reconfigurado, la empresa nativa de IA lanzó la V3 de su software de productividad en septiembre. Su característica trascendental: agentes de IA personalizables, que rápidamente se han convertido en la utensilio de IA más exitosa de Notion hasta la plazo. Según los patrones de uso en comparación con versiones anteriores, Nystrom lo claridad una “alivio de la función escalonada”.

“Es esa sensación de que te sacan el producto en división de que tú intentas empujarlo”, explica Nystrom en un Podcast de VB Más allá del piloto. “Sabíamos desde ese momento, muy temprano, que teníamos poco. Ahora nos preguntamos: ‘¿Cómo podría usar Notion sin esta característica?'”

‘Recableado’ para la era de los agentes de IA

Como ingeniero de software tradicional, Nystrom estaba acostumbrado a experiencias “extremadamente deterministas”. Pero se encendió la luz cuando un colega le aconsejó que simplemente describiera su mensaje de IA como lo haría con un humano, en división de codificar reglas sobre cómo deben comportarse los agentes en diversos escenarios. El fundamento: los LLM están diseñados para comprender, “ver” y razonar sobre el contenido de la misma guisa que lo hacen los humanos.

“Ahora, cada vez que trabajo con IA, releo las indicaciones y las descripciones de las herramientas y (me consulto) ¿es esto poco que podría darle a una persona sin contexto y que pueda entender lo que está pasando?” Nystrom dijo en el podcast. “Si no, hará un mal trabajo”.

Alejándose de la “representación sobrado complicada” de datos interiormente de Notion (como JSON o XML), Nystrom y su equipo representaron las páginas de Notion como Markdown, el popular verbo de afectado independiente del dispositivo que define la estructura y el significado usando texto plano sin carencia de etiquetas HTML o editores formales. Esto permite que el maniquí interactúe, lea, busque y realice cambios en archivos de texto.

En última instancia, esto requirió que Notion recableara sus sistemas, y el equipo de Nystrom se centró principalmente en la capa de transición del middleware.

Incluso identificaron desde el principio la importancia de practicar moderación en lo que respecta al contexto. Es tentador cargar tanta información como sea posible en un maniquí, pero eso puede parar las cosas y confundir el maniquí. Para Notion, Nystrom describió un techo de 100.000 a 150.000 tokens como el “punto magnífico”.

“Hay casos en los que puedes cargar toneladas y toneladas de contenido en tu ventana contextual y el maniquí tendrá dificultades”, dijo. “Cuanto más pones en la ventana de contexto, ves una degradación en el rendimiento, la latencia y todavía la precisión”.

Un enfoque rígido todavía es importante en el caso de las herramientas; Esto puede ayudar a los equipos a evitar la “irresoluto resbaladiza” de funciones infinitas, aconsejó Nystrom. Notion se centra en un “menú seleccionado” de herramientas en división de un menú voluminoso tipo Cheesecake Factory que crea una paradoja de dilema para los usuarios.

“Cuando la familia solicita nuevas funciones, simplemente podemos ampliar una utensilio al maniquí o al agente”, dijo. Pero “cuantas más herramientas agreguemos, más decisiones tendrá que tomar el maniquí”.

El resultado final: Canalizar el maniquí. Utilice las API de la forma en que deben estar de moda. No intentes ser sofisticado, no intentes complicarlo demasiado. Utilice un inglés sencillo.

Escuche el podcast completo para enterarse de:

• Por qué la IA todavía se encuentra en la era preparatorio a Blackberry y preparatorio al iPhone;

• La importancia de "comida para perros" en explicación de productos;

• Por qué no debería preocuparse por la rentabilidad de su función de IA en las primeras etapas: eso se puede optimizar más delante;

• Cómo los equipos de ingeniería pueden proseguir las herramientas al imperceptible en la era de MCP;

• La cambio de Notion desde wikis hasta asistentes de IA completos.

Suscríbete a Beyond the Pilot en Pódcasts de Apple, Spotifyy YouTube.