En Gobierto, como data-nerds enfocados en la contratación pública, estamos pendientes de las novedades relativas de la legislación sobre inteligencia artificial. Más allá de la teoría, nos centramos en lo que ya está pasando y en lo que nos impactará de verdad. Y lo que está pasando es que hoy, 2 de febrero de 2025, han entrado en vigor importantes obligaciones del Reglamento Europeo de Inteligencia Artificial (RIA).
Este Reglamento, aunque ya está en vigor desde agosto de 2024, establece una implementación escalonada de sus obligaciones. Hoy se activa el primer paquete de medidas que nos obligan, seamos del sector público o privado, a prepararnos para usar la IA de forma responsable.
Así que vamos a analizar, de forma clara y concisa, qué implica esto para todos los operadores, responsables de despliegue y usuarios de sistemas de IA.
Lo que entra en vigor hoy: Obligaciones inmediatas
Dos elementos principales del RIA entran en vigor hoy, 2 de febrero de 2025:
- Alfabetización en IA (art. 4 RIA): La simple utilización de la IA ya no es suficiente. Proveedores y responsables de despliegue deben garantizar que su personal cuenta con la formación necesaria para comprender cómo funcionan estos sistemas, sus limitaciones, sus riesgos y sus oportunidades.
- Prohibición de Sistemas de IA de alto riesgo para la ciudadanía (art. 5 RIA): El RIA prohíbe expresamente ciertos sistemas de IA que plantean riesgos inaceptables para los derechos y libertades de las personas, lo que impacta a todo tipo de organizaciones.
Alfabetización en IA: La obligación de entender lo que usamos
El artículo 4 del RIA establece la obligación de "alfabetización en materia de IA". Pero, ¿qué significa esto en la práctica? El reglamento lo define como la necesidad de garantizar que las personas que utilizan sistemas de IA comprendan:
- Capacidades: Conocimientos sobre lo que los sistemas de IA pueden y no pueden hacer.
- Conocimientos: Información sobre cómo funcionan, los datos que utilizan y los procesos que siguen.
- Comprensión: Entender los riesgos y las oportunidades asociadas al uso de la IA, así como el potencial de causar perjuicios si no se usan de manera adecuada.
Esta obligación se aplica tanto a proveedores como a responsables de despliegue y requiere que se diseñen programas de formación adaptados a las necesidades de cada perfil: desde un nivel técnico hasta la comprensión básica de los usuarios finales de la IA. La norma exige que se tenga en cuenta los conocimientos técnicos, la experiencia, educación y formación, así como el contexto previsto de uso de los sistemas de IA y las personas o los colectivos de personas en que se van a utilizar dichos sistemas.Esto implica que las organizaciones deben:
- Identificar las necesidades de formación: Determinar qué tipo de conocimiento necesitan sus empleados y colaboradores en función de sus roles y responsabilidades.
- Desarrollar programas de formación: Diseñar e implementar planes de formación que cubran tanto los aspectos técnicos de la IA como las implicaciones éticas y legales.
- Evaluar la eficacia de la formación: Medir el impacto de la formación y ajustarla según sea necesario.
A pesar de esta definición, el reglamento no detalla específicamente cómo se verificará este punto, lo que deja cierto vacío sobre como se cumplirá esta obligación.
Sistemas de IA prohibidos: una lista que no puedes ignorar
El artículo 5 del RIA establece una lista de sistemas de IA cuyo uso está prohibido por representar un riesgo inaceptable para los derechos y libertades fundamentales de las personas. Estas son las prácticas prohibidas, que requieren una revisión inmediata de tus procesos y herramientas:
- Manipulación encubierta: Sistemas de IA que usen técnicas subliminales o manipuladoras para alterar el comportamiento de una persona de forma que tome decisiones que no tomaría normalmente.
- Explotación de vulnerabilidades: IA que aproveche las debilidades de personas por edad, discapacidad o situación social para alterar su conducta de forma perjudicial.
- Puntuación social: IA que evalúe a personas según su comportamiento social, con el objetivo de clasificarlas y generar discriminación en la vida real.
- Perfiles delictivos: Sistemas de IA que utilicen perfiles para predecir si una persona va a cometer un delito.
- Reconocimiento facial masivo: Sistemas de IA que creen bases de datos de reconocimiento facial extrayendo imágenes de internet o cámaras de videovigilancia.
- Análisis de emociones en el trabajo y la educación: Sistemas que detecten o infieran las emociones de las personas en el trabajo o en centros educativos, excepto por razones médicas o de seguridad.
- Categorización biométrica para discriminar: Sistemas de IA que clasifiquen a las personas en función de sus características biométricas para deducir su raza, orientación sexual, etc.
- Identificación biométrica en tiempo real en espacios públicos: Se prohíbe, con limitadas excepciones, el uso de sistemas de reconocimiento facial o de otros datos biométricos en espacios públicos en tiempo real con fines de seguridad.
El 2 de agosto también llega el régimen sancionador
A partir del 2 de agosto de 2025 entra en vigor el régimen sancionador del RIA. Incumplir el reglamento tendrá consecuencias económicas importantes:
- Hasta 35 millones de euros o el 7% de la facturación mundial anual: Por incumplir las prohibiciones del artículo 5 (prácticas de IA prohibidas).
- Hasta 15 millones de euros o el 3% de la facturación mundial anual: Por incumplir otras obligaciones como las relativas al sistema de gestión de riesgos, la documentación técnica, transparencia o la puesta en marcha de medidas de supervisión humana.
- Hasta 7.5 millones de euros o el 1% de la facturación mundial anual: Por facilitar información inexacta, incompleta o engañosa a las autoridades.
Además de las sanciones económicas, los Estados miembros pueden imponer otro tipo de medidas correctivas o coercitivas.
Modelos fundacionales de LLMs comerciales: ¿Qué pasa si me baso en ellos?
Si utilizas modelos de IA de uso general como ChatGPT, Gemini, Anthropic... debes tener en cuenta lo siguiente:
- Obligaciones de los proveedores de modelos: Las principales obligaciones de este Reglamento recaen sobre los proveedores de los modelos de IA de uso general. Ellos deben garantizar que estos modelos cumplan con la ley, aunque esto no significa que los usuarios que integren esos modelos en sus sistemas o aplicaciones se libren por completo de obligaciones.
- Integración y responsabilidad: Si un proveedor usa un modelo de IA de uso general en su propio sistema, también se convierte en responsable de que el sistema en su conjunto cumpla con la normativa.
- Obligaciones de Transparencia: Los proveedores de modelos de IA de uso general deben ser transparentes sobre las capacidades y limitaciones del modelo, facilitando información y documentación técnica para el buen uso y la integración por parte de terceros.
- Los proveedores de modelos de IA de uso general deben:
- Elaborar y mantener actualizada documentación técnica sobre el modelo y sus capacidades, para facilitarla a los desarrolladores posteriores.
- Establecer guías para respetar los derechos de autor.
- Publicar un resumen de los contenidos con los que se entrenó el modelo.
- Los proveedores de modelos de IA de uso general deben:
¿Cómo están cumpliendo las grandes empresas esta obligación de transparencia?
Actualmente, si bien existen esfuerzos para cumplir con la transparencia, todavía hay bastante opacidad en torno a los datos con que se entrenan estos grandes modelos de IA.
Algunas empresas publican información genérica y resúmenes poco detallados, pero no ofrecen un acceso real a la información de origen, lo que dificulta el análisis y la comprensión de las limitaciones de los modelos. Además, aún no hay guías específicas para cumplir los derechos de autor.
Gobierto y la inteligencia artificial
En Gobierto Contratación tenemos ya tenemos varios casos de uso reales y funcionando usando inteligencia artificial generativa: generación de informes sobre títulos de licitación y recomendación de CPVs a utilizar, extracción de palabras clave para clasificación, resumen de pliegos y documentos, asistente para la resolución de dudas sobre contratación pública, ...
Y tenemos ya funcionando una versión alfa de nuestro redactor de pliegos y documentos de contratación pública, con resultados muy prometedores.
Recursos y más información
- BOE: Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial
- UE: Política sobre Inteligencia Artificial
- Inteligencia artificial aplicada a contratación pública: para que la estamos utilizando -de verdad- en Gobierto
