La codificación con la ayuda de los modelos de IA continúa percibir popularidad, pero muchos han resaltado Los problemas que surgen cuando los desarrolladores confían en asistentes de codificación.

Sin confiscación, investigadores de CON, Universidad McGill, ETH ZURICH, Universidad de Johns Hopkins, Yale y el Instituto de Inteligencia Fabricado de Mila-CoBec han desarrollado un nuevo método para respaldar que los códigos generados por IA sean más precisos y enseres. Este método albarca varios lenguajes de programación e instruye al maniquí de estilo espacioso (LLM) que se adhiera a las reglas de cada idioma.

El congregación encontró que al adaptar nuevos métodos de muestreo, los modelos de IA pueden guiarse para seguir las reglas del estilo de programación e incluso mejorar el rendimiento de los modelos de estilo pequeño (SLM), que generalmente se usan para la engendramiento de código, superando el de los modelos de idiomas grandes.

En el papellos investigadores utilizaron Monte Carlo (SMC) secuencial para “afrontar una serie de problemas de investigación semánticos desafiantes, guiando la engendramiento con investigación quieto y dinámico incremental”. Monte Carlo secuencial se refiere a una grupo de algoritmos que ayudan a encontrar soluciones para los problemas de filtrado.

João Loula, copropietaria del circular, dijo en una entrevista con Papel del campus del MIT que el método “podría mejorar los asistentes de programación, el investigación de datos con IA y las herramientas de descubrimiento sabio”. Además puede estrechar los costos de cálculo y ser más valioso que los métodos de rehabilitación.

Los investigadores señalaron que el código generado por IA puede ser poderoso, pero a menudo asimismo puede conducir a un código que ignora las reglas semánticas de los lenguajes de programación. Otros métodos para evitar esto pueden distorsionar los modelos o son demasiado lentos.

Su método hace que el LLM se adhiera a las reglas de estilo de programación al descartar las panorama de código que pueden no funcionar temprano en el proceso y “asignar esfuerzos con destino a panorama que tienen más probabilidades de ser válidas y precisas”.

Adaptar SMC a la engendramiento de códigos

Los investigadores desarrollaron una edificio que lleva SMC a la engendramiento de códigos “bajo diversas restricciones sintácticas y semánticas”.

“A diferencia de muchos marcos anteriores para la decodificación restringida, nuestro operación puede integrar restricciones que no pueden evaluarse incrementalmente en todo el vocabulario de token, así como restricciones que solo pueden evaluarse a intervalos irregulares durante la engendramiento”, dijeron los investigadores en el documento.

Las características esencia de adaptar el muestreo SMC a la engendramiento de modelos incluyen la distribución de propuestas donde el muestreo token-by-token se plano por limitaciones baratas, pesos importantes que corrigen los sesgos y el remuestreo que reinicia el esfuerzo de calcular las generaciones parciales.

Los investigadores señalaron que si aceptablemente SMC puede dirigir a los modelos con destino a un código más correcto y útil, reconocieron que el método puede tener algunos problemas.

“Si aceptablemente el muestreo de importancia aborda varias deficiencias de la decodificación circunscrito, asimismo sufre de una afición importante: las correcciones de peso y los potenciales costosos no se integran hasta que se ha generado una secuencia completa a partir de la propuesta. Esto es a pesar de que la información crítica sobre si una secuencia puede satisfacer una restricción a menudo está apto mucho más temprano y se puede usar para evitar grandes cantidades de computación innecesaria”, dijeron.

Prueba maniquí

Para probar su teoría, Loula y su equipo realizaron experimentos para ver si usar SMC para diseñar trabajos de código más precisos.

Estos experimentos fueron:

• Python Code Generation on Data Science Tasks, que usó Pasión 3 70B para codificar la vírgula por vírgula y probar versiones tempranas
• Vivientes de texto a SQL con Pasión 3 8B- Instruir
• Inferencia de objetivos en las tareas de planificación para predecir la condición de objetivo de un agente, y asimismo usó LLAMA 3 8B
• Síntesis molecular para el descubrimiento de fármacos

Descubrieron que el uso de SMC mejoró los modelos de estilo pequeño, la mejor precisión y la robustez, y superaron los modelos más grandes.

¿Por qué es importante?

Los modelos de IA han hecho que los ingenieros y otros codificadores trabajen más rápido y de forma más valioso. Además ha entregado puesto a un tipo completamente nuevo de ingeniero de software: el codificador de vibra. Pero ha habido preocupaciones sobre la calidad del código, la equivocación de soporte para la codificación más compleja y los costos de cálculo para la engendramiento de código simple.

Los nuevos métodos, como la acomodo de SMC, pueden hacer que la codificación a IA sea más útil y permitir a los ingenieros fiarse más en el código generado por los modelos.

Otras compañías han explorado formas de mejorar el código generado por IA. Juntos ai y Agente emprendedor DeepCoder-14b, que aprovecha menos parámetros. Google Además mejoró su función de concurso de código para ayudar a mejorar la calidad del código.