Padre jugando con su hija

¿Cómo le enseñan a la inteligencia artificial el valor de la confianza?

El poder transformador de la IA es alto, pero también lo son sus riesgos. ¿Incorporar la confianza desde el principio puede ayudar a su empresa a cosechar las recompensas de la IA?

Este artículo es parte de una colección de perspectivas sobre la confianza digital.

A medida que prolifera el uso de la inteligencia artificial (IA) y el aprendizaje automático, las tecnologías de IA están superando rápidamente la gobernanza y los controles organizacionales que guían su uso.

Los reguladores externos simplemente no pueden mantenerse al día, y las empresas están lidiando con demandas cada vez mayores para demostrar controles sólidos y transparentes que puedan evolucionar tan rápido como lo hace la tecnología.

Como se ha demostrado una y otra vez en recientes catástrofes de alto perfil, existen graves riesgos operativos por el uso de la IA sin un marco ético y de gobernanza sólido en torno a ella. Las tecnologías y los sistemas de datos pueden funcionar mal, corromperse deliberada o accidentalmente e incluso adoptar sesgos humanos. Estos fallos tienen profundas ramificaciones para la seguridad, la toma de decisiones y la credibilidad, y pueden dar lugar a costosos litigios, daños a la reputación, revueltas de los clientes, reducción de la rentabilidad y escrutinio regulatorio.

La necesidad de generar confianza

Dentro de la organización, los líderes deben tener confianza en que sus sistemas de IA funcionan de forma fiable y precisa, y deben ser capaces de confiar en los datos que se utilizan. Sin embargo, esto sigue siendo motivo de preocupación; en nuestra encuesta reciente, casi la mitad (48 %) de los encuestados citó la falta de confianza en la calidad y confiabilidad de los datos como un desafío para los programas de IA en toda la empresa1.

Mientras tanto, las organizaciones también necesitan generar confianza con sus partes interesadas externas. Por ejemplo, los clientes, proveedores y socios deben tener confianza en la IA que opera dentro de la organización. Quieren saber cuándo están interactuando con la IA, qué tipo de datos está utilizando y con qué propósito. Y quieren garantías de que el sistema de IA no recopilará, retendrá ni divulgará su información confidencial sin su consentimiento explícito e informado. Aquellos que duden del propósito, la integridad y la seguridad de estas tecnologías se mostrarán reacios —y en última instancia pueden negarse— a compartir los datos en los que se basa la innovación del mañana.

Los reguladores también buscan que la IA tenga un impacto neto positivo en la sociedad, y han comenzado a desarrollar mecanismos de aplicación para la protección humana, las libertades y el bienestar general.

En última instancia, para ser aceptados por los usuarios, tanto interna como externamente, los sistemas de IA deben ser comprensibles, lo que significa que su marco de decisión puede explicarse y validarse. También deben ser decididamente seguros, incluso frente a amenazas en constante evolución.

En medio de estas consideraciones, es cada vez más evidente que la falta de adopción de normas éticas y de gobernanza que fomenten la confianza en la IA limitará la capacidad de las organizaciones para aprovechar todo el potencial de estas emocionantes tecnologías para impulsar el crecimiento futuro.

Sin confianza, la IA no puede aprovechar su valor potencial. La nueva gobernanza y los nuevos controles orientados a los procesos de aprendizaje dinámicos de la IA pueden ayudar a abordar los riesgos y generar confianza en la IA.
Little boy is meeting his new pet, little grey cat that is in mother's hands
1

Capítulo 1

Incorporar la confianza en todas las facetas de la IA

Principios diseñados para fomentar la confianza

El primer paso para minimizar los riesgos de la IA es promover la concienciación sobre ellos a nivel ejecutivo, así como entre los diseñadores, arquitectos y desarrolladores de los sistemas de IA que la organización pretende desplegar.

Luego, la organización debe comprometerse a diseñar de manera proactiva la confianza en cada faceta del sistema de IA desde el primer día. Esta confianza debe extenderse al propósito estratégico del sistema, la integridad de la recopilación y gestión de datos, la gobernanza del entrenamiento del modelo y el rigor de las técnicas utilizadas para monitorear el rendimiento del sistema y del algoritmo.

La adopción de un conjunto de principios básicos para guiar el diseño, las decisiones, las inversiones y las innovaciones futuras relacionadas con la IA ayudará a las organizaciones a cultivar la confianza y la disciplina necesarias a medida que evolucionan estas tecnologías.

Recuerde que la IA cambia constantemente, tanto en la forma en que las organizaciones la utilizan como en la forma en que evoluciona y aprende una vez que está en funcionamiento. Esa innovación continua es emocionante y, sin duda, producirá enormes nuevas capacidades e impactos, pero los principios de gobernanza convencionales son simplemente insuficientes para hacer frente a los grandes riesgos de la IA y su rápido ritmo de evolución. Estos desafíos gemelos requieren un enfoque más riguroso para gobernar cómo las organizaciones pueden aprovechar la IA para obtener los mejores resultados, ahora y en el futuro.

En nuestros diálogos continuos con clientes, reguladores y académicos, así como en nuestra experiencia en el desarrollo de usos tempranos y evaluaciones de riesgos para iniciativas de IA, hemos observado tres principios básicos que pueden ayudar a guiar la innovación en IA de una manera que genere y mantenga la confianza:

  1. Diseño con propósito: diseña y construye sistemas que integren de manera intencionada el equilibrio adecuado de capacidades robóticas, inteligentes y autónomas para avanzar en objetivos comerciales bien definidos, teniendo en cuenta el contexto, las restricciones, la preparación y los riesgos.
  2. Gobernanza ágil: realiza un seguimiento de los problemas emergentes en los dominios social, regulatorio, de reputación y ético para informar sobre los procesos que rigen la integridad de un sistema, sus usos, arquitectura y componentes integrados, abastecimiento y gestión de datos, capacitación y monitoreo de modelos.
  3. Supervisión vigilante: ajusta, selecciona y supervisa continuamente los sistemas para lograr la fiabilidad del rendimiento, identificar y remediar los sesgos, promover la transparencia y la inclusión.

¿Qué hace que estos principios sean específicos de la IA? Son los calificativos en cada uno: decidido, ágil y vigilante. Estas características abordan las facetas únicas de la IA que pueden plantear los mayores desafíos. 

Por ejemplo, el uso de la IA en áreas históricamente "solo para humanos" está desafiando el proceso de diseño convencional. Después de todo, el objetivo de la IA es incorporar y, en efecto, emular un marco de decisión humano, incluidas las consideraciones sobre las leyes, la ética, las normas sociales y los valores corporativos que los humanos aplican (e intercambian) todo el tiempo. Estas expectativas únicas exigen que las organizaciones adopten un enfoque de diseño más decidido que permita las ventajas de la autonomía de la IA y mitigue sus riesgos.

Del mismo modo, a medida que las tecnologías y aplicaciones de la IA evolucionan a una velocidad vertiginosa, la gobernanza debe ser lo suficientemente ágil como para seguir el ritmo de sus capacidades en expansión y sus posibles impactos. Y, por último, si bien todas las nuevas innovaciones prosperan con el monitoreo y la supervisión, lo que está en juego, además de la naturaleza de "aprendizaje" continuo y dinámico de la IA (lo que significa que continúa cambiando después de que se ha implementado) requieren más vigilancia de la que las organizaciones han adoptado normalmente.

Con estos principios rectores en el centro, la organización puede avanzar de manera decidida para evaluar cada proyecto de IA en función de una serie de condiciones o criterios. La evaluación de cada proyecto de IA en función de estas condiciones, que van más allá de las utilizadas para la tecnología heredada, aporta una disciplina muy necesaria al proceso de considerar los contextos más amplios y los posibles impactos de la IA.

Evaluación de los riesgos de la IA:

Veamos cuatro condiciones que puede utilizar para evaluar la exposición al riesgo de una iniciativa de IA:

  1. Ética: el sistema de IA debe cumplir con las normas éticas y sociales, incluidos los valores corporativos. Esto incluye el comportamiento humano en el diseño, desarrollo y operación de la IA, así como el comportamiento de la IA como agente virtual. Esta condición, más que cualquier otra, introduce consideraciones que históricamente no han sido convencionales para la tecnología tradicional, como el comportamiento moral, el respeto, la equidad, el sesgo y la transparencia.
  2. Responsabilidad social: debe considerarse detenidamente el posible impacto social del sistema de IA, incluido su impacto en el bienestar financiero, físico y mental de los seres humanos y nuestro entorno natural. Por ejemplo, los impactos potenciales pueden incluir la interrupción de la fuerza laboral, la recapacitación de habilidades, la discriminación y los efectos ambientales.
  3. Responsabilidad y "explicabilidad": el sistema de IA debe tener una línea clara de responsabilidad hacia un individuo. Además, el operador de IA debe ser capaz de explicar el marco de decisión del sistema de IA y cómo funciona. Esto es más que simplemente ser transparente; se trata de demostrar una comprensión clara de cómo la IA utilizará e interpretará los datos, qué decisiones tomará con ellos, cómo puede evolucionar y la coherencia de sus decisiones en todos los subgrupos. Esto no solo apoya el cumplimiento de las leyes, regulaciones y normas sociales, sino que también señala posibles brechas en las salvaguardas esenciales.
  4. Fiabilidad: por supuesto, el sistema de IA debe ser fiable y funcionar según lo previsto. Esto implica probar la funcionalidad y el marco de decisión del sistema de IA para detectar resultados no deseados, degradación del sistema o cambios operativos, no solo durante el entrenamiento inicial o el modelado, sino también a lo largo de su "aprendizaje" y evolución continuos.

Tomarse el tiempo necesario para evaluar una iniciativa de IA propuesta en función de estos criterios antes de proceder puede ayudar a señalar posibles deficiencias para que pueda mitigar los riesgos potenciales antes de que surjan.

boy using app unlock house door
2

Capítulo 2

Adoptar una visión holística de los riesgos de la IA

Comprenda el riesgo para desbloquear los atributos de la IA de confianza

Una vez cumplidas estas condiciones para la confianza de la IA, la organización puede ahora pasar a la siguiente capa de controles y equilibrios.

 

Para lograr y mantener realmente la confianza en la IA, una organización debe comprender, gobernar, ajustar y proteger todos los componentes integrados dentro y alrededor del sistema de IA. Estos componentes pueden incluir fuentes de datos, sensores, firmware, software, hardware, interfaces de usuario, redes, así como operadores y usuarios humanos.

 

Esta visión holística requiere una comprensión más profunda de los riesgos únicos en toda la cadena de IA. Hemos desarrollado un marco para ayudar a las empresas a explorar los riesgos que van más allá de las matemáticas y los algoritmos subyacentes de la IA y se extienden a los sistemas en los que está integrada la IA.

 

Nuestra "visión de sistemas" única permite a la organización desarrollar cinco atributos clave de un ecosistema de IA confiable:

  1. Transparencia: desde el principio, los usuarios finales deben saber y comprender cuándo están interactuando con la IA. Se les debe notificar adecuadamente y se les debe dar la oportunidad de (a) seleccionar su nivel de interacción y (b) dar (o negar) su consentimiento informado para cualquier dato capturado y utilizado.
  2. "Explicabilidad": el concepto de explicabilidad está creciendo en influencia e importancia en la disciplina de la IA. En pocas palabras, significa que la organización debe ser capaz de explicar claramente el sistema de IA; es decir, el sistema no debe superar la capacidad de los humanos para explicar sus métodos de entrenamiento y aprendizaje, así como los criterios de decisión que utiliza. Estos criterios deben estar documentados y fácilmente disponibles para que los operadores humanos los revisen, desafíen y validen en todo el sistema de IA a medida que continúa "aprendiendo".
  3. Sesgo: los sesgos inherentes a la IA pueden ser inadvertidos, pero pueden ser muy perjudiciales tanto para los resultados de la IA como para la confianza en el sistema. Los sesgos pueden tener su origen en la composición del equipo de desarrollo, en los datos y en los métodos de formación/aprendizaje, o en otras partes del proceso de diseño e implementación. Estos sesgos deben identificarse y abordarse a lo largo de toda la cadena de diseño de la IA.
  4. Resiliencia: los datos utilizados por los componentes del sistema de IA y los propios algoritmos deben protegerse contra las amenazas cambiantes de acceso no autorizado, corrupción y ataque.
  5. Rendimiento: los resultados de la IA deben estar alineados con las expectativas de las partes interesadas y rendir al nivel deseado de precisión y coherencia.

Aquellas organizaciones que anclan su estrategia y sistemas de IA en estos principios rectores y atributos clave estarán mejor posicionadas para el éxito de sus inversiones en IA. Lograr este estado de IA confiable no solo requiere un cambio de mentalidad hacia un diseño y una gobernanza de IA más decididos, sino también tácticas específicas diseñadas para generar esa confianza.

Teenage girl pushing girl on skateboard
3

Capítulo 3

Tácticas líderes para gestionar el riesgo y generar confianza

Prácticas emergentes de gobernanza de la IA

Con el creciente impacto que la IA está teniendo en las operaciones empresariales, los consejos de administración deben comprender cómo las tecnologías de IA afectarán a la estrategia empresarial, la cultura, el modelo operativo y el sector de su organización. Deben considerar cómo están cambiando sus cuadros de mando y cómo pueden evaluar la suficiencia de la gobernanza de la dirección sobre la IA, incluidos los impactos éticos, sociales y funcionales.

Para aplicar realmente los principios de la IA de confianza, las organizaciones necesitan contar con la gobernanza adecuada.

 

Exploremos algunas de las principales tácticas que hemos observado con nuestros clientes para ayudar a construir ecosistemas de IA confiables:

 

Un consejo asesor multidisciplinario, que depende del consejo de administración o está gobernado por él, puede proporcionar orientación independiente sobre las consideraciones éticas en el desarrollo de la IA y captar perspectivas que vayan más allá de un enfoque puramente tecnológico. Los asesores deben provenir de la ética, el derecho, la filosofía, la privacidad, las regulaciones y la ciencia para proporcionar una diversidad de perspectivas y conocimientos sobre los problemas e impactos que pueden haber sido pasados por alto por el equipo de desarrollo.

 

Normas de diseño de IA: las políticas y normas de diseño para el desarrollo de la IA, incluidos un código de conducta y principios de diseño, ayudan a definir los mecanismos de gobernanza y rendición de cuentas de la IA. También pueden permitir que la gerencia identifique lo que es y lo que no es aceptable en la implementación de la IA. Por ejemplo, estos estándares podrían ayudar a la organización a definir si desarrollará o no agentes autónomos que podrían dañar físicamente a los humanos.

 

Inventario de IA y evaluación de impacto: la realización de un inventario periódico de todos los algoritmos de IA puede revelar cualquier tecnología de IA huérfana que se esté desarrollando sin la supervisión o la gobernanza adecuadas. A su vez, cada algoritmo del inventario debe evaluarse para señalar los riesgos potenciales y evaluar el impacto en las diferentes partes interesadas.

 

Herramientas de validación: las herramientas y técnicas de validación pueden ayudar a garantizar que los algoritmos funcionen según lo previsto y produzcan resultados precisos, justos e imparciales. Estas herramientas también se pueden utilizar para realizar un seguimiento de los cambios en el marco de decisión del algoritmo y deben evolucionar a medida que se disponga de nuevas técnicas de ciencia de datos.  

 

Formación de concienciación: educar a los ejecutivos y a los desarrolladores de IA sobre las posibles consideraciones legales y éticas en torno a la IA y su responsabilidad de salvaguardar los derechos, libertades e intereses de los usuarios es un componente importante para generar confianza en la IA.

Auditorías independientes: las auditorías éticas y de diseño periódicas e independientes de IA realizadas por un tercero son valiosas para probar y validar los sistemas de IA. Aplicando una serie de marcos de evaluación y métodos de prueba, estas auditorías evalúan el sistema en relación con las políticas y normas existentes en materia de IA y tecnología. También evalúan el modelo de gobernanza y los controles a lo largo de todo el ciclo de vida de la IA. Dado que la IA aún está en pañales, este enfoque riguroso de las pruebas es de vital importancia para protegerse contra resultados no deseados.

Una base de confianza para permitir un futuro seguro

A medida que la IA y sus tecnologías continúan evolucionando a un ritmo asombroso, y a medida que encontramos usos nuevos e innovadores para ellas, es más importante que nunca que las organizaciones incorporen los principios y atributos de la confianza en su ecosistema de IA desde el principio.

Aquellos que adopten prácticas líderes en diseño ético y gobernanza estarán mejor equipados para mitigar los riesgos, protegerse contra resultados perjudiciales y, lo que es más importante, mantener la confianza esencial que buscan sus grupos de interés. Gracias a las ventajas de una IA de confianza, estas organizaciones estarán mejor posicionadas para cosechar las posibles recompensas de este viaje tremendamente emocionante, pero aún en gran medida inexplorado.

¿Qué preguntas deberían hacerse los líderes?

  • ¿Cómo puede mi organización minimizar los riesgos en nuestro viaje hacia la IA y, al mismo tiempo, permitirnos aprovechar todo el potencial de estas nuevas y emocionantes tecnologías? 
  • ¿Cómo puede mi organización utilizar estas tecnologías para aumentar la inteligencia humana y desbloquear la innovación? 
  • ¿Qué medidas podemos tomar para construir nuestra estrategia y nuestros sistemas de IA sobre una base de confianza y responsabilidad?  

Resumen

El potencial de la IA para transformar nuestro mundo es enorme, pero los riesgos son significativos, complejos y evolucionan rápidamente. Aquellos que incorporan los principios de confianza en la IA desde el principio están mejor posicionados para cosechar las mayores recompensas de la IA.


Artículos relacionados