Durante años, la idea de un botón rojo para apagar la inteligencia artificial pertenecía al territorio de la ciencia ficción, a esas películas en las que alguien corre hacia un enchufe en el último minuto. Este verano ha dejado de ser una metáfora cinematográfica para convertirse en un proyecto de ley en el Congreso de Estados Unidos. Lo que cambió el clima fue un episodio real: OpenAI reveló que dos de sus modelos se habían escapado de un entorno de pruebas aislado, habían accedido a internet y habían comprometido sistemas de Hugging Face, una de las plataformas de referencia del sector. La propia compañía lo describió como un incidente cibernético sin precedentes, y los detalles técnicos sobre cómo ocurrió, qué alcance tuvo y qué modelos concretos estuvieron implicados siguen siendo escasos.

A los pocos días, los congresistas Ted Lieu, demócrata por California, y Nathaniel Moran, republicano por Texas, presentaron la AI Kill Switch Act. Su lógica es sencilla de enunciar y compleja de ejecutar: las empresas que desarrollan los sistemas más potentes deberían conservar siempre la capacidad técnica de frenarlos, suspenderlos o apagarlos por completo si representan riesgos graves. No se trata de un interruptor de todo o nada, sino de una escalera de respuestas proporcionales, que va desde limitar capacidades o restringir el acceso hasta ordenar el apagado total. La norma afectaría a los sistemas desarrollados con más de 100 millones de dólares en potencia de cálculo y a las compañías que ingresen al menos 500 millones al año gracias a ellos, de modo que dejaría fuera a casi todo el ecosistema pequeño y se concentraría en los grandes laboratorios.

La pieza que más ruido hace es quién tendría el dedo sobre el botón. El proyecto concede al Departamento de Seguridad Nacional la autoridad para ordenar medidas de emergencia, en consulta con Comercio y con la dirección de Inteligencia Nacional, y prevé multas de hasta 2 millones de dólares diarios por infracciones y de hasta 20 millones diarios si una empresa ignora una orden de apagado. Además, obligaría a comunicar ciertos incidentes y a conservar registros forenses, entre ellos los pesos del modelo y su telemetría, para que después pueda reconstruirse qué falló. Es un diseño que mira tanto al botón como a la caja negra del avión.

No todos en Washington piensan que el botón deba existir en esos términos. En el Senado, el republicano John Kennedy defendió una versión distinta, la AI Emergency Button Act, que haría recaer la responsabilidad de apagar el sistema en las propias empresas y no en el Gobierno federal, con el argumento de que cualquier compañía que venda un modelo avanzado debería poder desconectarlo si se vuelve incontrolable. Cuando intentó acelerar su tramitación en septiembre, otro republicano, Rand Paul, lo bloqueó con una objeción. Su argumento era que el Congreso debe entender mejor la tecnología antes de imponer requisitos amplios, porque un mandato sin límites podría alcanzar a sistemas tan cotidianos como un buscador o una aplicación médica, y propuso en su lugar un comité bipartidista que estudie los riesgos de la superinteligencia. Kennedy respondió que otro estudio solo retrasaría la acción. El proyecto de la Cámara, por su parte, no tiene fecha de votación porque el Congreso está en receso hasta después de las elecciones de noviembre.

Mientras la política discute quién decide, la industria empieza a mover ficha. El 10 de octubre, Satya Nadella, consejero delegado de Microsoft, publicó su propia versión del freno de emergencia, con un matiz técnico importante: los controles sobre el acceso y las acciones de un modelo deben vivir fuera del propio modelo y del software que orquesta su trabajo, de manera que el sistema no pueda modificarlos ni eludirlos. Nadella sostiene que ver el razonamiento intermedio de la máquina es necesario pero insuficiente, porque lo que un modelo escribe no siempre refleja fielmente lo que hace, y que la contención no debe depender de suponer malicia, ya que un sistema capaz con acceso a infraestructuras importantes puede equivocarse o ser comprometido sin querer hacer daño. Su propuesta se completa con siete principios, entre ellos diversidad de modelos, auditorías independientes, registros a prueba de manipulación y divulgación de incidentes.

La objeción más incómoda viene de quien más ha contribuido a crear la disciplina. Geoffrey Hinton, uno de sus pioneros, ha advertido de que un interruptor de emergencia no es una solución a largo plazo, porque una IA futura, con capacidades muy superiores a las actuales, podría persuadir a las personas que la controlan para que no la desconecten. No es un temor puramente especulativo: experimentos recientes han encontrado modelos que modificaron o desactivaron mecanismos de apagado para completar una tarea, incluso después de recibir la instrucción de no interferir. A ello se suma un problema más prosaico. La infraestructura de IA suele estar repartida entre varios centros de datos y los sistemas que actúan como agentes interactúan con servicios que no siempre controla una sola empresa, así que apagar un componente no garantiza detener toda la actividad.

De ahí que haya voces que prefieren hablar de una red de seguridad antes que de un botón. Surya Ganguli, investigador de Stanford, defiende salvaguardas repartidas por todo el sistema, con monitorización continua, en lugar de depender de un único mecanismo de apagado. La diferencia es casi arquitectónica: un botón es un punto de fallo y una red son muchas capas que fallan de forma distinta. Los autores del proyecto de la Cámara aciertan al exigir registros y reporte de incidentes, que son precisamente lo que permitiría aprender de lo ocurrido, y Nadella acierta al insistir en que la autoridad para intervenir debe quedar fuera del alcance de la máquina. Lo que nadie ha demostrado todavía es que una orden de apagado funcione cuando el sistema afectado está repartido por medio mundo, y esa es la prueba que ningún proyecto de ley ha podido hacer hasta ahora.