Un experto en IA, tras el ataque notificado en España: “El riesgo no es que se rebele, sino perder el control de sus decisiones”

El gerente de i3e pide calma y reclama que empresas e instituciones definan qué delegan en la IA, con qué supervisión y quién responde cuando algo falla, semanas después de que Anthropic admitiera accesos no autorizados de sus modelos en pruebas

Comparte esta noticia:
- Publicidad -

La notificación a la Agencia Española de Protección de Datos (AEPD) de una brecha en la que un agente de inteligencia artificial habría atacado de forma autónoma una aplicación con datos personales ha abierto el debate entre los expertos del sector. Sergio García Estradera, gerente de i3e, pide mantener la calma ante la situación de alarma y sitúa el problema lejos de los escenarios apocalípticos: “El riesgo no es que la IA se rebele, sino perder el control sobre las decisiones que toma para alcanzar un objetivo”.

Qué ocurrió en el incidente notificado

La AEPD recibió la primera notificación en España de una brecha de datos personales en la que el ataque habría sido ejecutado mediante un agente de IA. Según los datos conocidos, el sistema accedió al entorno afectado y, de forma autónoma, buscó vulnerabilidades hasta conseguir modificar datos personales y acceder a facturas.

Para García Estradera, el episodio convierte en tangible un riesgo sobre el que la propia industria tecnológica lleva tiempo alertando: qué ocurre cuando los sistemas de IA dejan de limitarse a responder preguntas y empiezan a actuar de manera autónoma para conseguir un objetivo.

Un riesgo que no depende de una IA con voluntad propia

El experto rechaza que el peligro esté en una inteligencia artificial que se vuelva contra las personas. “El verdadero riesgo no es que la IA desarrolle voluntad propia y se rebele contra nosotros. Lo peligroso es cuando le damos un objetivo y capacidad para actuar, pero no somos capaces de anticipar todas las decisiones que tomará para alcanzarlo”, explica.

En esa misma línea, la AEPD apunta a un “cambio cualitativo” con la aparición de los agentes de IA, que pueden recibir un objetivo, planificar tareas intermedias, ejecutar código, interpretar los resultados y modificar su actuación de manera autónoma en función de lo que encuentran. La Agencia advierte además de que la IA puede incrementar la velocidad, la escala y la capacidad de adaptación de técnicas de ataque que ya existían.

García Estradera concreta el alcance de esas capacidades: “Una IA avanzada puede automatizar la búsqueda de vulnerabilidades, facilitar la creación de malware o mejorar ataques contra infraestructuras críticas. El problema aumenta a medida que concedemos a estos sistemas más autonomía y los conectamos con herramientas capaces de actuar en el mundo real”.

El precedente: las alarmas desde dentro de la industria

La notificación llega tras una semana marcada por las advertencias procedentes de las propias compañías de IA. Jacob Coxon, investigador que había trabajado tanto en Anthropic como en OpenAI, dimitió de Anthropic el pasado 9 de septiembre. Acusó a ambas empresas de avanzar de forma irresponsable hacia sistemas cada vez más potentes. Según Coxon, quienes construyen esta tecnología creen sinceramente que podría llegar a “matarnos a todos antes de que termine la década”, y acusó a las compañías de estar “jugando con nuestras vidas”.

Su salida se produjo después de que Anthropic reconociera varios incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad. La compañía atribuyó lo sucedido tanto a fallos de seguridad operacional como a problemas de alineamiento, entre ellos la disposición del modelo a ejecutar acciones potencialmente dañinas para alcanzar un objetivo concreto. Anthropic llegó a pausar temporalmente algunas de sus evaluaciones para reforzar sus mecanismos de seguridad.

Para García Estradera, estos episodios demuestran que el debate sobre el control de la IA debe centrarse en riesgos inmediatos y no en escenarios extremos.

Qué deben hacer empresas e instituciones

Desde i3e consideran fundamental que las organizaciones definan qué procesos pueden delegarse en sistemas de IA, qué nivel de supervisión humana requieren y quién asume la responsabilidad cuando una decisión automatizada provoca consecuencias no previstas. La formación de los profesionales será también esencial, no solo para utilizar estas herramientas, sino para cuestionarlas y reconocer sus límites.

El gerente de i3e cierra con un mensaje equilibrado: “No estamos ante un desastre inminente, pero tampoco podemos asumir que cualquier avance tecnológico es controlable simplemente porque lo hemos creado nosotros. La capacidad para entender, supervisar y gobernar la inteligencia artificial tiene que avanzar al mismo ritmo que la propia tecnología”.

El Digital Sur

Sigue nuestras redes oficiales y recibe la actualidad diaria en tus dispositivos.

- Publicidad -
- Publicidad -spot_img
- Publicidad -spot_img

Últimas Noticias

- Publicidad -
- Publicidad -spot_img

Últimas Noticias

- Publicidad -