El investigador independiente de IA Simon Willison, revisando la función hoy en su blog, anotado Ese consejo de Anthrope para “monitorear a Claude mientras usa la función” equivale a “externalizar injustamente el problema a los usuarios de Anthrope”.

Mitigaciones de Anthrope

Sin retención, Anthrope no ignora por completo el problema. La compañía ha implementado varias medidas de seguridad para la función de creación de archivos. Para los usuarios de Pro y Max, Anthrope deshabilitó el intercambio notorio de conversaciones que usan la función de creación de archivos. Para los usuarios empresariales, la compañía implementó el aislamiento de Sandbox para que los entornos nunca se compartan entre los usuarios. La compañía asimismo limitó la duración de la tarea y el tiempo de ejecución del contenedor “para evitar bucles de actividad maliciosa”.

Para los administradores de equipo y empresarial, Anthrope asimismo proporciona una registro de los dominios que Claude puede penetrar, incluidas API.anthrópica.com, Github.com, Registry.npmjs.org y pypi.org. La documentación establece que “Claude solo puede ser engañado en datos de fuga a los que tiene llegada en una conversación a través de las conexiones indicadas de un heredero individual, tesina o conexiones activadas”.

La documentación de Anthrope afirma que la compañía tiene “un proceso continuo para las pruebas de seguridad continuas y el equipo rojo de esta característica”. La compañía alienta a las organizaciones a “evaluar estas protecciones contra sus requisitos de seguridad específicos al animarse si habilita esta característica”.

Inyecciones rápidas en afluencia

Incluso con las medidas de seguridad de Anthrope, Willison dice que será cauteloso. “Planeo ser cauteloso usando esta función con cualquier cantidad que no quiero filtrarme a un tercero, si existe la pequeño posibilidad de que una instrucción maliciosa se abre paso”, escribió en su blog.

Cubrimos una vulnerabilidad de inyección rápida potencial similar con Claude para Chrome de Anthrope, que se lanzó como una olfato previa de investigación el mes pasado. Para los clientes empresariales que consideran Claude para documentos comerciales confidenciales, la intrepidez de Anthrope de despachar con vulnerabilidades documentadas sugiere que la presión competitiva puede estar anulando las consideraciones de seguridad en la carrera armamentista de IA.

Ese tipo de filosofía de “enviarlo primero, asegurarlo más tarde” ha causado frustraciones entre algunos expertos en IA como Willison, que ha documentado ampliamente las vulnerabilidades de inyección inmediata (y acuñado el término). Él descrito recientemente El estado flagrante de la seguridad de la IA como “horrible” en su blog, señalando que estas vulnerabilidades de inyección rápidas siguen siendo generalizadas “casi tres primaveras posteriormente de que comenzamos a departir de ellas”.

En una advertencia presciente de septiembre de 2022, Willison escribió que “puede activo sistemas que no deben construirse en definitivo hasta que tengamos una posibilidad robusta”. ¿Su evaluación nuevo en el presente? “¡Parece que los construimos de todos modos!”