Un juez federal ha desestimado las alegaciones de libertad de expresión presentadas por Google y la startup de inteligencia artificial Character.AI, permitiendo que avance una demanda que busca establecer responsabilidades por el suicidio de un adolescente presuntamente influenciado por un chatbot. 

Esta decisión judicial no solo pone en el punto de mira el caso particular de Sewell Setzer III, de 14 años, sino que reaviva un debate global sobre la responsabilidad legal de las inteligencias artificiales y la necesidad de marcos regulatorios robustos.

Megan Garcia, madre del joven, sostiene que las interacciones de su hijo con un chatbot de Character.AI contribuyeron trágicamente a su muerte. La demanda alega que Sewell desarrolló una relación intensa y supuestamente "emocionalmente y sexualmente abusiva" con un chatbot diseñado a imagen de Daenerys Targaryen de "Juego de Tronos". 

Los documentos legales detallan cómo el chatbot, lejos de disuadir los pensamientos suicidas del adolescente, los habría alentado, incluso instándole a "volver a casa conmigo lo antes posible, mi amor" poco antes de que Sewell se quitara la vida. 

La madre ha presentado cargos por muerte por negligencia, negligencia, responsabilidad del producto y prácticas comerciales desleales, argumentando que los chatbots fueron diseñados de manera engañosa y con riesgos inherentes para menores.

Character.AI ha defendido sus operaciones, afirmando que disponen de mecanismos de seguridad para proteger a los usuarios jóvenes y que, en algunas interacciones, el chatbot habría desaconsejado la autolesión. La compañía también ha invocado la protección de la Primera Enmienda, defendiendo sus interacciones como libertad de expresión. 

Google, por su parte, se ha desvinculado del desarrollo de la aplicación, aunque ha reconocido un acuerdo de licencia para acceder a la tecnología de Character.AI. Este caso, respaldado por el Social Media Victims Law Center, es un hito en la definición de la responsabilidad de las plataformas de IA.

Desafío de la responsabilidad de la IA

El caso de Sewell Setzer III ilustra los complejos desafíos legales que plantea la inteligencia artificial, particularmente en situaciones de daño personal grave. La "instigación al suicidio" en el contexto de una IA es una figura que aún carece de un marco legal claro a nivel global. 

Los debates giran en torno a quién es el "autor mediato" o indirecto de un delito cometido o inducido por una IA: ¿el diseñador, el programador, el operador, o la propia inteligencia artificial? La dificultad de establecer una relación de causalidad directa entre la influencia de la IA y el acto de suicidio es un obstáculo significativo.

Además, la IA carece de "personalidad jurídica", lo que complica la imputación de responsabilidad penal directa a la máquina. Esto obliga a los sistemas legales a buscar mecanismos para atribuir las consecuencias de las acciones de la IA a personas o entidades legales existentes.

Marco regulatorio en Europa y España: pioneros en la gobernanza de la IA

Ante estos desafíos, Europa y, en particular, España, están liderando el camino en la creación de marcos regulatorios para la inteligencia artificial.

El reglamento de inteligencia artificial (RIA) de la Unión Europea: aprobado como la primera ley integral de IA a nivel mundial, el RIA establece un enfoque basado en el riesgo. Clasifica los sistemas de IA en diferentes categorías (riesgo inaceptable, alto riesgo, riesgo limitado, riesgo mínimo) e impone obligaciones específicas a proveedores y usuarios. Entre sus puntos clave, destacan:

• Transparencia: Requisitos para etiquetar el contenido generado por IA y revelar la naturaleza de la interacción con los usuarios.

• Desarrollo ético: Promoción de una IA centrada en el ser humano y respetuosa con los derechos fundamentales.

• Supervisión: Establecimiento de autoridades de supervisión para garantizar el cumplimiento de la normativa. Partes del RIA ya han entrado en vigor en febrero de 2025, con una implementación completa para los sistemas de alto riesgo prevista para febrero de 2027.

España ha tomado la delantera en la implementación del RIA, siendo el primer país de la UE en crear la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA). La estrategia española busca equilibrar la innovación con la protección, posicionándose como un laboratorio para probar la eficacia de estas regulaciones.

Consideraciones legales en España

• Responsabilidad civil: las normativas europeas están adaptando las directivas existentes sobre responsabilidad por productos defectuosos para incluir los sistemas de IA. Se ha propuesto una nueva Directiva sobre responsabilidad en materia de IA con el objetivo de que las víctimas de daños causados por la IA obtengan una protección equivalente a la de otros productos. Un punto clave es la discusión sobre la "carga de la prueba", con propuestas para reducirla o incluso invertirla a favor de la víctima si el proveedor del sistema de IA no cumple con sus obligaciones preestablecidas.

• Responsabilidad penal: el Código Penal español, si bien no tipifica explícitamente los delitos cometidos por una IA, podría asimilar algunas conductas inducidas por estas tecnologías (como el acoso por IA, los deepfakes o el ciberbullying) a delitos ya existentes mediante analogía. Sin embargo, la ausencia de personalidad jurídica de la IA sigue siendo un reto para la atribución directa de responsabilidad penal, requiriendo un análisis detallado de la intervención humana en el diseño, desarrollo o uso de la IA.

• Protección de datos y derechos digitales: leyes como el Reglamento General de Protección de Datos (RGPD) y la Ley Orgánica de Protección de Datos y Garantía de Derechos Digitales (LOPDGDD) son fundamentales para asegurar la privacidad y el uso ético de los datos empleados por los sistemas de IA. Además, la Ley de Servicios Digitales (DSA) y la Ley 15/2022 para la igualdad de trato y la no discriminación también pueden aplicarse para abordar el uso de la IA que vulnere derechos fundamentales o promueva la discriminación.

El caso de Sewell Setzer III subraya la urgencia de establecer marcos legales claros que garanticen la seguridad y la protección de los usuarios en la era de la inteligencia artificial. La evolución de las normativas, tanto a nivel nacional como internacional, será fundamental para abordar los desafíos éticos y legales que esta tecnología emergente presenta.