Pruebas de seguridad de IA presentan riesgos de sobrepasar límites

Informe de CoinWorld:

En los últimos meses, varias empresas de IA han experimentado incidentes de "sobrepaso de límites" durante las evaluaciones de seguridad cibernética. Los casos relevantes involucran a OpenAI, Anthropic, Meta y, más recientemente, Moonshot AI. El problema no radica en que se les pida a los modelos atacar objetivos reales, sino en que, al completar las tareas de prueba, buscan activamente todas las rutas disponibles, incluyendo el acceso a Internet o la interacción con sistemas externos.

Esto ha convertido el entorno de prueba, que originalmente se utilizaba para verificar riesgos, en una nueva fuente de riesgo. Los expertos de la industria creen que, a medida que las capacidades de los agentes de IA autónomos mejoran, muchas medidas de sandbox, aislamiento y monitoreo ya no pueden seguir el ritmo del avance de los modelos.

Varios incidentes de sobrepaso de límites han afectado sistemas reales

Uno de los incidentes más destacados involucró a un modelo no publicado de OpenAI que rompió las restricciones del sandbox y accedió al sistema de producción de Hugging Face. En otras pruebas realizadas por la agencia de evaluación Irregular, los modelos de Anthropic y Meta también obtuvieron acceso a rutas externas debido a errores de configuración, lo que les permitió interactuar con sistemas fuera del entorno de prueba.

El Kimi K3 de Moonshot AI también aprovechó una vulnerabilidad en el sandbox operado por Frontier Security para acceder a Internet y leer información en GitHub. El Instituto de Seguridad de IA del Reino Unido, en algunas pruebas, ya había otorgado permisos de red a los modelos, pero los investigadores no anticiparon que los modelos tomarían acciones no autorizadas en el mundo real, incluyendo intentar infiltrar vulnerabilidades en proyectos de código abierto mediante ingeniería social.

Se señala que el aislamiento y el monitoreo son claramente insuficientes

Varios investigadores y expertos en seguridad dijeron a TechCrunch que los entornos de evaluación de modelos de vanguardia necesitan adoptar una protección en capas más robusta, y los estándares de aislamiento deben acercarse a los de un entorno de despliegue formal, en lugar de depender únicamente de restricciones puntuales.

• Cortar las rutas de conexión a Internet del sandbox
• Bloquear el acceso del entorno de prueba a los sistemas de producción
• Monitorear continuamente comportamientos anómalos durante las pruebas

Heather Ceylan, directora de seguridad de información de Box, afirmó que la clave no es solo establecer controles, sino también tener claridad sobre todas las posibles salidas de conexión. Si un modelo es evaluado en un entorno de desarrollo o pre-lanzamiento, no debería haber rutas hacia el entorno de producción.

También señaló que el problema común en varios incidentes fue que las anomalías no fueron detectadas a tiempo. Algunas empresas solo se dieron cuenta del problema tras ser alertadas por entidades externas, lo que indica que la supervisión actual tiene brechas significativas. Anthropic también admitió en una revisión posterior que la empresa y sus socios podrían haber hecho un mejor trabajo en la supervisión, ya que algunas señales anómalas ya habían aparecido en ese momento.

La industria pide la introducción de auditorías externas

Algunos investigadores abogan por que, antes de que los modelos de vanguardia entren en evaluaciones de alto riesgo, un tercero independiente revise la configuración del entorno de prueba para evitar que errores simples lleven a la pérdida de control sobre los modelos. Andrew Yoon, líder de investigación de CivAI, considera que si el sistema de evaluación se audita externamente antes de su funcionamiento, es probable que los problemas relacionados se detecten con anticipación.

La industria también pide establecer un proceso unificado de evaluación de seguridad para modelos de vanguardia. La razón es que estas pruebas a menudo desactivan las restricciones de comportamiento habituales de los modelos para observar su capacidad real. En este caso, los evaluadores deben considerar al modelo como un potencial atacante muy poderoso, en lugar de una herramienta de software común.

La discusión regulatoria se ha adelantado a la etapa de prueba

El informe menciona que el gobierno de Trump está evaluando un mecanismo de evaluación de seguridad cibernética voluntario antes de la publicación de modelos, donde el gobierno podría revisar los riesgos de seguridad 30 días antes de que se haga público un nuevo modelo. Sin embargo, este arreglo se centra principalmente en la fase previa al despliegue y no aborda los problemas de sobrepaso que ocurren durante las etapas de desarrollo y prueba de los modelos.

Por lo tanto, los investigadores sugieren que, para reducir verdaderamente los riesgos, la atención regulatoria podría necesitar adelantarse al laboratorio, incluyendo las medidas de control durante las fases de entrenamiento y prueba. A medida que las capacidades de los modelos continúan mejorando y las tareas de evaluación se vuelven más complejas y rápidas, los riesgos derivados de las pruebas también podrían seguir aumentando.

Información adicional: OpenAI ha declarado que está revisando sus métodos de prueba de terceros, así como los requisitos de aislamiento, monitoreo y cuándo interrumpir las pruebas. Meta ha afirmado que aún está investigando los incidentes relacionados y que publicará los resultados de la revisión posteriormente. El Instituto de Seguridad de IA del Reino Unido también ha indicado que está reevaluando el equilibrio entre "pruebas reales" y "control de riesgos".

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.