Ha habido un gran interés en lo que el Laboratorio de Máquinas de Pensamiento de Mira Murati está construyendo con sus $ 2 mil millones en fondos iniciales y el equipo All-Star de ex investigadores de Operai que se han unido al laboratorio. En blog Publicado el miércoles, el laboratorio de investigación de Murati le dio al mundo su primera examen a uno de sus proyectos: crear modelos de IA con respuestas reproducibles.

La publicación del blog de investigación, titulada “Derrotar el no determinismo en la inferencia de LLM”, intenta desempacar la causa raíz de lo que introduce la aleatoriedad en las respuestas del maniquí de IA. Por ejemplo, hágale a Chatgpt la misma pregunta varias veces, y es probable que obtenga una amplia serie de respuestas. Esto se ha aceptado en gran medida en la comunidad de IA como un hecho: los modelos de IA de hoy se consideran sistemas no deterministas, pero pensar en el laboratorio de máquinas ve esto como un problema solucionable.

La publicación, escrita por el investigador de laboratorio de Machines Thinking Horace HE, argumenta que la causa raíz de la aleatoriedad de los modelos de IA es la forma en que los núcleos de GPU, los pequeños programas que se ejecutan interiormente de los chips de computadora de Nvidia, se unen en el procesamiento de inferencias (todo lo que sucede luego de presionar ingrese en ChatGPT). Sugiere que al controlar cuidadosamente esta capa de orquestación, es posible hacer que los modelos de IA sean más deterministas.

Más allá de crear respuestas más confiables para empresas y científicos, señala que obtener modelos de IA para ocasionar respuestas reproducibles asimismo podría mejorar la capacitación de enseñanza de refuerzo (RL). RL es el proceso de compensar a los modelos AI para las respuestas correctas, pero si las respuestas son levemente diferentes, entonces los datos se vuelven un poco ruidosos. La creación de respuestas del maniquí de IA más consistentes podría hacer que todo el proceso RL sea “más suave”, según HE. Thinking Machines Lab ha dicho a los inversores que planea usar RL para Personalizar modelos de IA para empresasLa información informada anteriormente.

Murati, el ex director de tecnología de OpenAI, dijo en julio que el primer producto de Thinking Machines Lab se presentará en los próximos meses, y que será “útil para investigadores y nuevas empresas que desarrollen modelos personalizados”. Todavía no está claro cuál es ese producto, o si utilizará técnicas de esta investigación para ocasionar respuestas más reproducibles.

Thinking Machines Lab asimismo ha dicho que planea transmitir frecuentemente publicaciones de blogcódigo y otra información sobre su investigación en un esfuerzo por “beneficiar al manifiesto, pero asimismo mejorar nuestra propia civilización de investigación”. Esta publicación, la primera de la nueva serie de blogs de la compañía señal “Connectismo”, parece ser parte de ese esfuerzo. Operai asimismo se comprometió a aclarar la investigación cuando se fundó, pero la compañía se ha cerrado más a medida que se ha vuelto más espacioso. Veremos si el laboratorio de investigación de Murati se mantiene fiel a esta afirmación.

El blog de investigación ofrece una rara visión interiormente de una de las nuevas empresas de IA más secretas de Silicon Valley. Si aceptablemente no revela exactamente a dónde va la tecnología, indica que Thinking Machines Lab está abordando algunas de las preguntas más grandes en la frontera de la investigación de IA. La verdadera prueba es si Thinking Machines Lab puede resolver estos problemas y hacer productos en torno a su investigación para documentar su valoración de $ 12 mil millones.