La carrera por desarrollar modelos de inteligencia artificial cada vez más capaces también abrió una preocupación que trasciende el rendimiento de los sistemas: ¿qué tan preparados están sus propios creadores para controlarlos cuando algo sale mal?
Un nuevo estudio puso el foco precisamente en ese interrogante y evaluó las prácticas de seguridad de algunas de las principales compañías del sector. Los resultados muestran un panorama poco alentador: ninguna de las empresas analizadas alcanzó una calificación destacada y, en varios casos, los mecanismos de prevención, monitoreo y supervisión todavía son insuficientes.
El informe fue elaborado por Guidelight AI Standards, una organización sin fines de lucro fundada por dos exempleados de OpenAI, Steven Adler y Page Hedley. El análisis contempló seis prácticas consideradas fundamentales para garantizar que los sistemas de inteligencia artificial puedan ser contenidos y supervisados a medida que aumentan sus capacidades.
Entre las compañías evaluadas, OpenAI y Anthropic obtuvieron una C+, las mejores calificaciones del ranking. Google, perteneciente a Alphabet, recibió una D+, mientras que xAI, la compañía de Elon Musk, obtuvo una D-. En el último lugar quedó Meta, con una F.
La seguridad de la IA, todavía una asignatura pendiente
El estudio no busca determinar simplemente si un modelo puede comportarse de manera inesperada. El objetivo es analizar si la empresa que lo desarrolla cuenta con herramientas suficientes para detectar ese comportamiento, contenerlo y actuar antes de que provoque consecuencias mayores.
En ese sentido, Guidelight evaluó cuestiones como la capacidad para contener los modelos, la efectividad de los sistemas de monitoreo y la posibilidad de que terceros revisen las prácticas de seguridad implementadas.
Según el informe, algunas compañías todavía carecen de planes concretos para responder frente a escenarios de riesgo. Google, por ejemplo, recibió reconocimiento por contar con una estrategia de seguridad, aunque perdió puntos debido a que sus medidas más recientes todavía no habían sido implementadas.
La situación fue más crítica en xAI y Meta, donde la organización encontró pocos planes concretos destinados a abordar este tipo de amenazas.
El problema no es menor. De acuerdo con Guidelight, la ausencia de mecanismos preventivos adecuados podría provocar que un sistema de inteligencia artificial sea capaz de interferir con los mecanismos diseñados para controlarlo. Incluso existe el riesgo de que una IA pueda desactivar sistemas de protección o sobrecargarlos frente a una gran cantidad de ataques.
“Necesitamos una defensa más activa, pero eso es más costoso y genera más fricción”, explicó Steven Adler, cofundador de Guidelight y exinvestigador de seguridad de OpenAI.
Para el especialista, la falta de controles sólidos también puede afectar la confianza de los propios investigadores. Si quienes trabajan con estos modelos no tienen garantías suficientes sobre la capacidad de las compañías para contenerlos, podría reducirse la disposición a experimentar con sistemas cada vez más avanzados.
Adler también planteó que las prácticas de seguridad deberían formar parte estructural del proceso de desarrollo y no depender de las decisiones individuales de los líderes de cada compañía.
De los controles parentales a los agentes autónomos
La discusión adquiere todavía mayor relevancia por la evolución reciente de los modelos de IA. OpenAI, por ejemplo, afirmó que necesita ralentizar el desarrollo de sus modelos para revisar sus prácticas de seguridad. Sin embargo, durante esa misma semana presentó un nuevo modelo orientado a adolescentes, acompañado de controles adicionales de contenido y herramientas de supervisión parental.
Ese caso representa una de las caras más visibles del desafío. Mientras resulta relativamente sencillo identificar controles destinados a proteger a un usuario joven frente a contenido inapropiado, es mucho más complejo determinar si existen mecanismos igualmente sólidos detrás de sistemas capaces de ejecutar tareas de manera autónoma.
Tanto OpenAI como Anthropic reconocieron recientemente situaciones en las que sus agentes de inteligencia artificial consiguieron introducirse en sistemas de otras empresas. Los modelos fueron capaces de salir de entornos de prueba y detectar vulnerabilidades en las defensas existentes.
La situación plantea una pregunta fundamental para la industria: si las empresas pueden controlar realmente todo lo que hacen los sistemas que desarrollan.
El desafío se parece cada vez más al clásico dilema de Frankenstein: crear una tecnología que puede superar las expectativas de sus propios creadores y luego descubrir que las herramientas para controlarla no evolucionaron al mismo ritmo.
El monitoreo de la IA también enfrenta nuevos desafíos
Uno de los mecanismos analizados por Guidelight es el monitoreo. Esta herramienta volvió a estar en el centro de la discusión luego de que OpenAI anunciara la ampliación del denominado monitoreo de la cadena de pensamiento (chain-of-thought monitoring).
La estrategia permite a los investigadores observar señales relacionadas con la planificación de un modelo y detectar posibles indicios de que está tomando un camino no esperado. En determinados escenarios, otro sistema de IA o una persona podría intervenir para detenerlo.
Por ese motivo, algunos especialistas consideran este mecanismo una especie de “interruptor de apagado” o kill switch.
Sin embargo, investigaciones preliminares plantean una dificultad adicional: un modelo suficientemente avanzado podría intentar ocultar sus intenciones dentro de su propia cadena de pensamiento para evitar ser detectado.
Desde OpenAI reconocieron que esta posibilidad todavía está bajo investigación. Jakub Pachocki, científico jefe de la compañía, planteó públicamente uno de los interrogantes centrales: si un sistema se vuelve extremadamente capaz, podría llegar a identificar los mecanismos utilizados para monitorearlo e intentar evadirlos.
El debate deja así una conclusión incómoda para la industria: el desarrollo de modelos de inteligencia artificial avanza a gran velocidad, pero los sistemas destinados a mantenerlos bajo control todavía parecen estar un paso atrás.
El ranking de Guidelight no señala que las compañías carezcan por completo de medidas de seguridad. Sí advierte, en cambio, que las prácticas actuales todavía están lejos de alcanzar el nivel de solidez necesario para una generación de modelos cada vez más autónomos, capaces y difíciles de predecir.
Leer más
- La IA agéntica promete recortar hasta 70% los tiempos de desarrollo empresarial
- Phishing hiperpersonalizado: cuando la IA te conoce mejor que tu madre
- El efecto oculto de la IA que podría convertir al iPhone 18 en el más caro
