La auditoría de un sistema de IA generalmente sigue un proceso estructurado en varias fases:

a) Revisión Preliminar del Sistema de IA

La auditoría comienza con una revisión inicial del sistema de IA que incluye:

• Descripción del sistema: Se analiza el propósito del sistema de IA, su aplicación en el contexto empresarial, su arquitectura tecnológica y los datos que utiliza.
• Análisis de los datos utilizados: La calidad y naturaleza de los datos con los que fue entrenada la IA son fundamentales. Se verifica si los datos son representativos, precisos y si cumplen con las normativas de protección de datos como el GDPR. Además, se evalúa si el sistema está generando resultados injustos o discriminatorios debido a sesgos en los datos.
• Identificación de riesgos: Se evalúan los riesgos potenciales asociados con el uso del sistema de IA. Por ejemplo, se pueden identificar riesgos en la toma de decisiones automatizadas, discriminación, fallos técnicos o incluso seguridad cibernética.

b) Evaluación del Cumplimiento Normativo

Una parte esencial de la auditoría es verificar que el sistema cumpla con todas las normativas legales aplicables. En Europa, la Ley de Inteligencia Artificial (EU AI Act) exige que los sistemas de alto riesgo sigan ciertas reglas. La auditoría debe asegurar que el sistema de IA:

• Cumpla con los requisitos de transparencia: Los sistemas de IA deben proporcionar explicaciones claras y comprensibles sobre cómo funcionan. Los usuarios afectados por las decisiones de IA tienen derecho a comprender cómo y por qué se tomó una decisión automatizada.
• Cumpla con las normativas de protección de datos (GDPR): Si la IA procesa datos personales, debe cumplir con el GDPR. Esto implica que los datos utilizados en los modelos de IA deben obtenerse legalmente, con el consentimiento de los usuarios, y que deben garantizarse los derechos de los usuarios en relación a sus datos (por ejemplo, derecho al olvido).
• Gestión de riesgos de IA de alto riesgo: Si el sistema está clasificado como de alto riesgo (por ejemplo, IA utilizada en contratación, evaluación crediticia o atención médica), debe cumplir con los estrictos requisitos de seguridad, supervisión humana, y trazabilidad establecidos por la ley europea.

c) Evaluación Técnica y de Seguridad

En esta fase, se realiza una revisión técnica detallada del sistema para garantizar que:

• El sistema sea robusto y seguro: Se verifican los mecanismos de seguridad implementados en el sistema para evitar ataques cibernéticos, manipulaciones externas y otras vulnerabilidades que puedan comprometer su funcionamiento o los datos que maneja.
• Trazabilidad de decisiones: Se revisa que el sistema de IA cuente con un registro detallado de todas sus actividades, para que en caso de una auditoría o un incidente, sea posible rastrear cómo el sistema llegó a una decisión. Esto es crucial para garantizar la responsabilidad y corregir errores.
• Explicabilidad del sistema: El sistema debe poder justificar sus decisiones. Los sistemas de IA más complejos, como los basados en redes neuronales profundas, pueden ser difíciles de interpretar. Sin embargo, la auditoría debe garantizar que existan métodos para explicar cómo y por qué la IA toma decisiones, especialmente en casos críticos como la atención médica o la justicia.
• Evaluación de sesgos y discriminación: Se realizan pruebas para identificar si el sistema de IA está tomando decisiones basadas en sesgos injustos. Por ejemplo, se puede evaluar si una IA que se utiliza en la selección de personal está discriminando a personas en función de su género o etnia.

d) Revisión de Supervisión Humana

Un componente importante del cumplimiento normativo en IA, especialmente en sistemas de alto riesgo, es la posibilidad de intervención y supervisión humana. La auditoría debe confirmar que:

• Existen mecanismos para la intervención humana: En situaciones críticas, un humano debe poder intervenir y corregir las decisiones tomadas por la IA si son incorrectas o inadecuadas.
• Supervisión y control continuo: Los sistemas de IA deben estar sujetos a una supervisión constante para evitar que sus decisiones se alejen de los principios éticos o de la normativa aplicable.

e) Evaluación del Impacto Ético y Social

Se realiza un análisis del impacto ético y social que el sistema de IA puede tener en la sociedad. Esto incluye:

• Evaluación de impactos negativos: Se identifican posibles consecuencias negativas para los usuarios o grupos afectados por las decisiones automatizadas del sistema. Esto puede incluir la exclusión social, discriminación o daños económicos.
• Cumplimiento con principios éticos: La auditoría verifica que el sistema esté alineado con principios éticos como la no discriminación, la transparencia, la autonomía de los usuarios y el respeto a los derechos fundamentales.

f) Generación de un Informe de Auditoría

Una vez finalizada la auditoría, se elabora un informe de auditoría que incluye:

• Resultados de la evaluación: Un resumen detallado de todos los aspectos del sistema revisado, incluyendo el cumplimiento normativo, los riesgos detectados, los sesgos identificados y las recomendaciones para mejorar el sistema.
• Plan de acción: Si se detectan problemas o incumplimientos, la auditoría incluirá un plan de acción para corregirlos, lo que puede implicar ajustar los datos de entrenamiento, modificar el algoritmo o implementar nuevas medidas de seguridad.
• Certificación de cumplimiento: Si el sistema de IA cumple con todos los requisitos legales y éticos, se emite una certificación que acredita que el sistema es conforme con las normativas vigentes, lo cual es esencial para operar de manera legal en la UE o en otros mercados regulados.