El concepto del “kill switch”

La medida más llamativa de la orden es la propuesta de desarrollar un “kill switch” o botón de apagado de emergencia para los modelos de IA de frontera. El objetivo es permitir el cese inmediato de un sistema si se detecta un riesgo de seguridad crítico.

Esta propuesta busca establecer mecanismos de control físico y digital que puedan interrumpir el funcionamiento de modelos autónomos en caso de una pérdida de control. La eficacia de este interruptor deberá ser verificada de forma continua por organismos independientes.

Supervisión independiente y auditorías

La orden ejecutiva también busca acelerar la implementación de auditorías obligatorias realizadas por terceros. Se propone que las empresas de IA de frontera permitan la presencia de verificadores independientes en sus propios laboratorios.

Estas organizaciones de verificación tendrían la tarea de realizar evaluaciones periódicas sobre la seguridad y los riesgos de los sistemas. El objetivo es pasar de informes de transparencia auto-gestionados a una validación externa y objetiva.

Respuesta a la inacción federal

Newsom justifica esta acción ante lo que describe como una falta de liderazgo y supervisión por parte del gobierno federal de los Estados Unidos. California busca posicionarse como un referente nacional en la creación de estándares de seguridad.

La administración estatal pretende que su marco regulatorio sirva como una base o “suelo” para futuras leyes federales. Con esto, el estado intenta asegurar que la innovación tecnológica no comprometa la seguridad pública.

Un plazo para las recomendaciones

La orden establece un cronograma estricto para la creación de este nuevo marco de seguridad. Un grupo de expertos de clase mundial tiene un plazo de dos meses para presentar recomendaciones detalladas.

Estas recomendaciones deberán abordar la viabilidad técnica del botón de apagado y los estándares para las auditorías externas. Los resultados de este grupo de trabajo serán la base para futuras leyes estatales más robustas.

Desafíos técnicos y debate

A pesar del impulso político, la implementación de un “kill switch” enfrenta un intenso debate en la industria tecnológica. Algunos expertos cuestionan si es técnicamente factible sin comprometer la estabilidad de los sistemas.

Además, la regulación de modelos de frontera plantea retos sobre cómo definir un “incidente crítico de seguridad”. El gobierno de California busca actualizar estas definiciones para incluir ataques de pérdida de control de agentes autónomos.

Impacto en la industria de la IA

Esta medida marca un hito en la gobernanza de la inteligencia artificial a nivel subnacional. California, al albergar a la mayoría de las grandes empresas tecnológicas, tiene un peso decisivo en la trayectoria de la industria.

La capacidad de imponer auditorías in situ representa un cambio significativo en la relación entre el regulador y los desarrolladores de IA. El resultado de este proceso definirá cómo se gestionará la autonomía de la IA en los próximos años.