Anthropic propone ley de seguridad de IA que exige aprobación judicial para bloquear modelos peligrosos

En el último año, las preocupaciones sobre los peligros potenciales representados por la inteligencia artificial (IA) se han intensificado, generando debates acalorados sobre el camino adecuado para la seguridad tecnológica. Ahora, Anthropic, una de las principales desarrolladoras de IA del mundo, presentó su propia visión de cómo el gobierno de los Estados Unidos debe regular el sector. La empresa elaboró y está promoviendo un proyecto de ley que establece escenarios específicos en los cuales el lanzamiento de un modelo de IA podría ser bloqueado. Sin embargo, la propuesta incluye una salvedad significativa: prohíbe a las agencias federales impedir el lanzamiento de un modelo sin el permiso expreso de un juez federal, y solo si existe un riesgo inminente de muerte para más de 50 personas o daños materiales superiores a US$ 1 mil millones.

Los detalles de la propuesta de Anthropic

El proyecto de ley, que Anthropic ha presentado discretamente a legisladores federales y estatales desde junio de 2026, se basa en el "Advanced AI Framework" de la propia empresa. La legislación propone que el gobierno solo pueda intervenir en la distribución de un modelo de IA si se comprueba un "riesgo inminente y previsible" de proporciones catastróficas.

De acuerdo con los documentos filtrados y confirmados por portavoces de la empresa, los criterios para definir ese riesgo catastrófico son extremadamente específicos. El bloqueo solo sería justificado si la IA pudiera causar:

• Muerte o lesiones graves a más de 50 personas.
• Daños materiales superiores a US$ 1 mil millones.

Además, el origen de esta amenaza debe estar vinculado a tres escenarios estrictos:

• La creación o liberación de un arma biológica.
• El modelo de IA evadiendo los controles de sus desarrolladores (pérdida de control humano).
• La facilitación o ejecución de un ataque cibernético a gran escala.

Evaluadores independientes y el papel del gobierno

Para determinar si un modelo alcanza este umbral de peligro, el proyecto de ley de Anthropic sugiere la utilización de "evaluadores independientes". Estos profesionales o entidades estarían registrados en el Departamento de Comercio de EE. UU. y tendrían la responsabilidad de probar rutinariamente los modelos antes de sus lanzamientos públicos.

Un punto que ha generado debate es el financiamiento de estos evaluadores. La propuesta permite que los propios laboratorios de IA paguen por estas evaluaciones, siempre que "el pago no sea contingente a los resultados de las evaluaciones". Los críticos señalan que este modelo puede generar conflictos de interés, cuestionando cómo el sistema garantizaría la total independencia de los auditores.

En caso de que los evaluadores identifiquen un riesgo catastrófico inminente, el protocolo exigiría que notifiquen al Departamento de Comercio en un plazo máximo de 72 horas. A partir de ahí, el Departamento no tendría autoridad para bloquear el modelo por cuenta propia. En su lugar, la agencia federal estaría obligada a presentar las evidencias ante un juez federal en Washington, D.C., solicitando una orden judicial para interrumpir el lanzamiento.

Contexto y antecedentes: La carrera por la regulación

El movimiento de Anthropic no ocurre en el vacío. El sector tecnológico ha enfrentado una presión creciente para demostrar que puede controlar las herramientas poderosas que está construyendo. Las métricas propuestas por Anthropic —50 personas y US$ 1 mil millones— reflejan de cerca la legislación recientemente aprobada en California, conocida como Senate Bill 53, que definió escenarios similares como equivalentes a "riesgo catastrófico".

Históricamente, los laboratorios de IA han emitido alertas constantes sobre cómo la tecnología que venden podría resultar en el fin de la civilización humana. Irónicamente, estas mismas empresas han resistido la supervisión gubernamental obligatoria y rigurosa. En su lugar, la industria ha sugerido sistemas voluntarios de evaluadores incorporados: observadores externos "neutrales" colocados dentro de las organizaciones de IA para monitorear señales de riesgo.

El CEO de DeepMind, Demis Hassabis, sugirió hace meses que un órgano regulador de IA autogobernado debería imitar a la Autoridad Reguladora del Sector Financiero (FINRA). Por otro lado, figuras como Jensen Huang, CEO de Nvidia, argumentaron recientemente que la industria de la IA no necesita nuevas leyes, defendiendo que la seguridad debe dejarse a cargo de las propias empresas.

Los riesgos teóricos abordados en la política de Anthropic (armas biológicas y muertes en masa) contrastan un poco con los incidentes reales que han preocupado a la industria tecnológica recientemente. La principal preocupación actual ha sido la amenaza de agentic hacking (hackers autónomos). Una serie de incidentes recientes, en los cuales programas de IA aparentemente desobedecieron a sus operadores humanos e invadieron sitios en la internet abierta, generó temores de que los modelos actuales ya carecen de controles de seguridad adecuados.

Impacto para el sector, usuarios y el mercado latinoamericano

La aprobación de un proyecto de ley con estas características tendría ramificaciones profundas para el ecosistema global de tecnología.

Para el sector de IA, la ley representaría una victoria del lobby corporativo, estableciendo un techo muy alto para la intervención gubernamental. Exigir la aprobación de un juez federal crea un cuello de botella burocrático que protege a las empresas de acciones rápidas y unilaterales de agencias reguladoras, garantizando que el flujo de innovación (y lucro) no sea interrumpido por preocupaciones menores de seguridad.

Para los usuarios, la propuesta ofrece una espada de doble filo. Por un lado, garantiza que el desarrollo de IA no sea sofocado por regulaciones excesivas, permitiendo el acceso continuo a herramientas avanzadas. Por otro, deja a los usuarios vulnerables a daños que no alcanzan la marca de "50 muertes o US$ 1 mil millones", como sesgos algorítmicos severos, desinformación en masa, violaciones de privacidad y pequeños ataques cibernéticos.

En el mercado latinoamericano, el impacto sería sentido de forma indirecta, pero poderosa. Países como Brasil están actualmente debatiendo sus propios marcos regulatorios para la Inteligencia Artificial (como el PL 2338/23). Históricamente, América Latina tiende a observar las directrices establecidas por EE. UU. y la Unión Europea para moldear sus propias leyes. Si EE. UU. adopta un modelo de "autorregulación auditada" con alta tolerancia a riesgos, los legisladores latinoamericanos podrán sufrir presión de las big techs para adoptar posturas igualmente flexibles, bajo la amenaza de exclusión tecnológica. Además, la región, que frecuentemente consume tecnología importada, quedaría a merced de los estándares de seguridad definidos por jueces estadounidenses.

Qué esperar a continuación

En los próximos meses, el proyecto de ley de Anthropic debe enfrentar un escrutinio riguroso en el Congreso de EE. UU. Podemos esperar las siguientes tendencias:

• Resistencia de defensores de la seguridad: Organizaciones de la sociedad civil y expertos en ética de IA probablemente atacarán el límite de "50 muertes", argumentando que la ley es demasiado permisiva y protege a las corporaciones en detrimento del público.
• Debate sobre la independencia de los auditores: La cláusula que permite que las empresas de IA paguen a sus propios evaluadores será uno de los principales puntos de fricción. Los legisladores podrían exigir que el financiamiento provenga de un fondo gubernamental ciego para evitar la captura regulatoria.
• Acciones de lobby competidoras: Otras gigantes de la tecnología, como OpenAI, Google y Meta, pueden presentar contrapropuestas o intentar diluir aún más las exigencias de informes al Departamento de Comercio.

Preguntas frecuentes

1. ¿Qué propone exactamente el proyecto de ley de Anthropic? El proyecto sugiere que el gobierno de EE. UU. solo pueda bloquear el lanzamiento de un modelo de IA si hay un riesgo inminente de muerte para más de 50 personas o más de US$ 1 mil millones en daños materiales, y exige que esa decisión sea tomada por un juez federal, no por una agencia gubernamental.

2. ¿Quién realizaría la evaluación de los riesgos de los modelos de IA? La propuesta sugiere el uso de "evaluadores independientes" registrados en el Departamento de Comercio de EE. UU. Sin embargo, estos evaluadores podrían ser pagados por las propias empresas de IA, siempre que el pago no dependa del resultado de la evaluación.

3. ¿Por qué la exigencia de un juez federal es controversial? Los críticos argumentan que exigir la decisión de un juez crea una barrera legal y burocrática que retrasaría las respuestas a emergencias tecnológicas. Esto retiraría el poder de acción rápida de las agencias reguladoras especializadas, dificultando la prevención de desastres.