La inteligencia artificial (IA) ha demostrado ser un arma de doble filo. Si bien lo mismo puede decirse de la mayoría de las nuevas tecnologías, ambas hojas de la espada de IA son mucho más filosas, y ninguna de ellas es adecuadamente comprendida.
Analicemos primero el lado positivo. Estas tecnologías están comenzando a mejorar nuestras vidas de innumerables maneras, desde simplificar las compras a mejorar la experiencia en la atención de la salud. Su valor para las empresas también es innegable: casi el 80 por ciento de los ejecutivos en compañías que están implementando IA manifestaron que ya han podido visualizar parte del valor esperado. Si bien el uso generalizado de IA en los negocios aún es incipiente, y quedan preguntas sin responder sobre el ritmo de los avances, así como de la posibilidad de alcanzar el Santo Grial de la “inteligencia artificial general”, su potencial es enorme. Investigaciones de McKinsey Global Institute sugieren que para 2030, la IA podría generar un valor económico adicional a nivel global equivalente a USD 13 billones anuales.1
Pero pese a que la IA genera tanto beneficios para los consumidores como valor para las empresas, también está causando una gran variedad de consecuencias no deseadas, muchas de ellas serias. Y si bien en este artículo nos enfocaremos en la IA, estos efectos en cadena (y las maneras de prevenirlos o mitigarlos) aplican del mismo modo a la analítica avanzada. Los más visibles, que incluyen violaciones de la privacidad, discriminación, accidentes y manipulación de sistemas políticos, son más que suficientes para llamar a la cautela. Más preocupantes todavía son las consecuencias aún no conocidas o experimentadas. La posibilidad de repercusiones catastróficas es una realidad, como la pérdida de vidas humanas si un algoritmo realiza un cálculo erróneo, o riesgos para la seguridad nacional si un adversario envía información falsa a un sistema informático militar, además de desafíos significativos para las organizaciones, desde daño a la reputación y pérdida de ganancias hasta ofensivas reglamentarias, acusaciones penales y disminución de la confianza pública.
Debido a que la IA es una fuerza relativamente nueva en el mundo de los negocios, son pocos los líderes que han tenido la oportunidad de afinar su percepción acerca de toda la variedad de riesgos organizacionales, sociales e individuales, o de desarrollar un conocimiento práctico de los factores asociados, que van desde los datos cargados en los sistemas de IA hasta la operación de modelos algorítmicos y las interacciones entre humanos y máquinas. Como resultado, los ejecutivos suelen pasar por alto posibles riesgos (“no usamos IA en nada que pueda ‘explotar’, como vehículos autónomos), o sobreestiman las capacidades de mitigación de riesgos de sus organizaciones (“hace tiempo que utilizamos herramientas analíticas, contamos con los controles necesarios y nuestras prácticas son similares a las de nuestros competidores”). También es común para los líderes mezclar los riesgos de la IA con otros a cargo de especialistas en las organizaciones de TI y analytics (“confío en mi equipo técnico, y sé que están haciendo el máximo esfuerzo para proteger a nuestros clientes y a la compañía”).
Los líderes con intenciones de evitar, o al menos mitigar, las consecuencias no deseadas necesitan por un lado desarrollar sus habilidades de reconocimiento de patrones de riesgos, y por el otro involucrar a toda la organización y prepararla para asumir todo el poder y las responsabilidades asociadas a la IA. El nivel de esfuerzo requerido para identificar y controlar todos los riesgos supera por lejos las normas existentes en la mayoría de las empresas. Para lograr un avance real se necesita un abordaje multi-disciplinario que involucre a los líderes del equipo directivo y de toda la compañía, expertos en áreas desde legales y riesgo hasta TI, y gerentes capaces de garantizar la vigilancia en la línea de frente.
Este artículo pretende contribuir a ese objetivo ilustrando como primera medida una serie de errores fáciles de cometer. Luego presentamos metodologías para ayudar a los líderes a identificar sus mayores riesgos e implementar toda la gama de controles requeridos para eludirlos. Por último, echamos un vistazo a algunas iniciativas concretas actualmente en marcha para abordar los riesgos de la IA a través de la aplicación de los abordajes mencionados.
Antes de continuar, deseamos subrayar que nuestro foco aquí está en las consecuencias de primer orden derivadas del desarrollo de soluciones basadas en IA, de su mala aplicación – inadvertida o intencional–, o de la manipulación de los insumos de datos que las alimentan. Existen otras consecuencias importantes, entre las cuales se encuentra la extensamente debatida pérdida potencial de gran número de puestos de trabajo en algunas industrias como resultado de la automatización. También hay efectos de segundo orden, como la posible atrofia de capacidades (por ejemplo, las habilidades de diagnóstico de los profesionales médicos) a medida que los sistemas de IA aumenten en importancia. Estas consecuencias continuarán recibiendo atención en sintonía con la mayor percepción de su relevancia, pero por el momento quedan fuera del alcance de este análisis.
Comprender los riesgos y sus causas
Cuando algo sale mal con la inteligencia artificial, y la causa raíz del problema sale a la luz, muchos parecen no sorprenderse. Visto en retrospectiva, parece inimaginable que nadie haya sido capaz de preverlo. Pero si consultamos a un grupo de ejecutivos bien posicionados acerca del próximo riesgo de IA en ver la luz, difícilmente logremos un nivel mínimo de consenso.
Para cambiar su postura de la retrospectiva a la perspectiva, los líderes necesitan conocer mejor los tipos de riesgos que están asumiendo, sus interdependencias, y las causas subyacentes. Para contribuir a formar esa intuición ausente, a continuación describimos cinco puntos problemáticos capaces de generar riesgos asociados con la IA. Los tres primeros – problemas con los datos, la tecnología y la seguridad – se relacionan con lo que podríamos denominar “facilitadores” de la IA. Los dos restantes están vinculados con los algoritmos y las interacciones hombre-máquina que constituyen el núcleo de la operación de la inteligencia artificial. Claramente, aún nos encontramos en los inicios de comprender qué hay detrás de los riesgos que asumimos, cuya naturaleza y alcance procuramos catalogar en el Gráfico 1.
Problemas con los datos. La ingesta, la clasificación, la vinculación y el uso apropiado de los datos han crecido en dificultad, en sintonía con el aumento exponencial del volumen de datos no estructurados proveniente de fuentes como la web, las redes sociales, dispositivos móviles, sensores y la Internet de las Cosas. Como resultado, resulta fácil caer presa de errores como usar o revelar inadvertidamente información sensible oculta en datos anonimizados. Por ejemplo, el nombre de un paciente puede ser eliminado de una sección de una historia clínica utilizada por un sistema de IA, pero aparecer en la sección de notas del mismo documento. Estas consideraciones son importantes para los líderes a efectos de cumplir las normas sobre privacidad, como el Reglamento General de Protección de Datos (RGPD) de la Unión Europea o la Ley de Privacidad del Consumidor de California (CCPA), y también para prevenir riesgos para la reputación.
Problemas con la tecnología. Los inconvenientes con la tecnología y los procesos a lo largo y a lo ancho de todo el escenario operativo pueden tener impacto negativo en el desempeño de los sistemas de IA. Por ejemplo, una importante institución financiera enfrentó dificultades cuando su software de cumplimiento regulatorio no detectó problemas con las operaciones porque los flujos de datos no incluyeron todas las transacciones de clientes.
Problemas de seguridad. Otro nuevo inconveniente es la posibilidad de que estafadores exploten datos en apariencia no sensibles de marketing, salud y financieros que las compañías recopilan para alimentar sus sistemas de IA. Si las medidas de seguridad son insuficientes, es posible unir todos los hilos para crear identidades falsas. Pese a que las compañías objetivo (que tal vez sean muy efectivas en la protección de datos personales) son cómplices involuntarios, podrían experimentar reacciones adversas de consumidores y consecuencias regulatorias.
Mal comportamiento de modelos.Los propios modelos de IA pueden causar problemas si entregan resultados sesgados (lo que podría suceder, por ejemplo, si una población está sub-representada en los datos utilizados para entrenar el modelo), se vuelven inestables o arrojan conclusiones para las cuales no hay un recurso disponible para los afectados por sus decisiones (como la denegación de un préstamo a una persona sin informarle las causas para intentar revertir la decisión). Consideremos, por ejemplo, el potencial de los modelos de IA para discriminar involuntariamente en contra de grupos protegidos combinando datos de código postal e ingreso para elaborar propuestas a medida. Más difíciles de detectar son las instancias en que los modelos de IA están ocultos en ofertas de software como servicio (SaaS). Cuando los proveedores introducen funcionalidades nuevas e “inteligentes”, muchas veces sin demasiada publicidad, también están creando modelos capaces de interactuar con los datos en los sistemas del usuario y de provocar riesgos inesperados, revelando incluso vulnerabilidades ocultas y susceptibles de ser explotadas por hackers. La consecuencia es que los líderes que creen tener claro que su organización no ha comprado o desarrollado sistemas de IA, o solo los está desplegando en forma experimental, podrían no estar en lo cierto.
Problemas de interacción. Las interfaces entre personas y máquinas representan otra área de riesgo clave. Algunos de los desafíos más visibles están relacionados con los sistemas automatizados de transporte, manufactura e infraestructura. La posibilidad de accidentes o lesiones aumenta si los operadores de maquinaria pesada, vehículos u otros equipos no son capaces de reconocer en qué momento no hacer caso a los sistemas, o tardan en hacerlo porque su atención está puesta en otro lado – una posibilidad concreta en aplicaciones como vehículos sin conductor. A la inversa, el razonamiento humano también puede ser erróneo al desestimar los resultados generados por un sistema. Detrás de escena, en la organización de análisis de datos, los errores de scripting, las fallas en la gestión de datos y los juicios de valor incorrectos al seleccionar datos de entrenamiento para modelos pueden comprometer fácilmente la imparcialidad, la privacidad, la seguridad o el cumplimiento de las normas. El personal de línea también puede contribuir involuntariamente, como cuando una fuerza de ventas más adepta a apuntar a un grupo demográfico determinado entrena inadvertidamente a una herramienta de ventas basada en IA de modo de excluir determinados segmentos de clientes. Y éstas son solo las consecuencias no deseadas. En ausencia de medidas de protección suficientes, un empleado descontento o enemigos externos podrían corromper algoritmos o utilizar una aplicación de IA en forma fraudulenta.
Gestión de riesgos de IA: Tres principios básicos
Además de proveer un indicio de los desafíos por delante, los ejemplos y la categorización precedentes resultan útiles para identificar y priorizar los riesgos y sus causas raíz. Si somos capaces de reconocer dónde los riesgos pueden estar al acecho, ser malinterpretados o simplemente pasados por alto, tendremos mejores chances de atacarlos antes de que ellos lo hagan primero.
Para lograrlo será necesario un esfuerzo conjunto de toda la empresa para pasar de catalogar los riesgos a erradicarlos. Las experiencias de dos bancos líderes ayudan a ilustrar la claridad, la amplitud y el rigor necesarios. El primero de ellos, una institución europea, ha estado trabajando en la aplicación de capacidades de analítica avanzada e inteligencia artificial en el marco de iniciativas de optimización de call center, decisiones de crédito hipotecario, gestión de relaciones y manejo de tesorería. El segundo es un líder global que deseaba aplicar un modelo de aprendizaje automático (ML) a las decisiones de crédito para clientes.
Would you like to learn more about our Analytics Practice?
Estos bancos, al igual que muchos otros, han venido utilizando cierto tipo de analítica avanzada durante años, desde sus primeras aplicaciones para la detección de fraudes con tarjetas de crédito y negociación de acciones. También están sujetos a un alto grado de supervisión regulatoria y por ese motivo llevan largo tiempo aplicando una variedad de protocolos y controles para mitigar los riesgos asociados a su actividad, entre ellos la ciberseguridad, ya que la obvia atracción que generan sus activos los convierte en una presa codiciada por los atacantes.
No obstante ello, las historias de estos bancos reflejan apenas un sub-conjunto de los controles específicos de riesgo que las organizaciones deberían tener en consideración. El Gráfico 2 presenta una lista más completa de potenciales controles que abarcan el proceso analítico completo, desde la planeación y el desarrollo hasta el posterior uso y monitoreo. Nuestra esperanza es que sumados, la herramienta y los ejemplos resulten de ayuda para los líderes que deben enfrentar una gran variedad de situaciones, como evitar sesgos en los motores de recomendación, eliminar el riesgo de identificación, ajustar mejor las respuestas de los bots de servicio a clientes a sus necesidades y muchas más.
Claridad: Usar un método de identificación estructurado para detectar los riesgos más críticos
La primera medida del COO del banco europeo fue reunir a los líderes de unidades de negocios, TI, seguridad y gestión de riesgo a fines de evaluar los principales riesgos y priorizarlos. Los insumos para este ejercicio incluyeron un análisis detallado de los riesgos existentes en la organización y la manera en que podrían verse agravados por las iniciativas analíticas basadas en IA bajo consideración, y de los nuevos riesgos que la inteligencia artificial o cualquiera de sus facilitadores podrían crear. Algunos eran obvios, pero otros no tanto. Uno que inesperadamente estuvo cerca de lo más alto de la lista fue la entrega a los consumidores de recomendaciones sesgadas o de mala calidad. Estas recomendaciones fallidas podrían causar un daño significativo, con consecuencias como pérdida de clientes, repercusiones negativas o multas.
Lo que los líderes del banco obtuvieron por medio de este proceso estructurado de identificación de riesgos fue claridad acerca de los escenarios más preocupantes, lo que les permitió priorizar los riesgos asociados, identificar los controles faltantes y organizar el tiempo y los recursos de manera más eficiente. Naturalmente, los escenarios y la priorización varían en función de la industria y la compañía. Un productor de alimentos probablemente priorizaría un escenario con productos contaminados entre los de mayor riesgo. Un desarrollador de software estaría más preocupado por la divulgación del código de sus soluciones. Del mismo modo, una organización del sector de salud pondría el acento en cuestiones como errores de diagnóstico o daños involuntarios a pacientes. Hacer que un grupo diverso de gerentes se concentre en identificar y priorizar escenarios problemáticos es un buen método para estimular la energía creativa y reducir las chances de que expertos en áreas específicas o un razonamiento cerrado pasen por alto vulnerabilidades relevantes. Las organizaciones no necesitan comenzar de cero con este esfuerzo: a lo largo de los últimos años, la identificación de riesgos se ha convertido en un arte muy desarrollado, capaz de desplegarse directamente en el contexto de la IA.
Amplitud: Implementar controles robustos a nivel de toda la empresa
Agudizar el razonamiento acerca de los riesgos más serios es solo el comienzo. Igual de importante es aplicar controles en toda la empresa para guiar el desarrollo y el uso de sistemas de IA, garantizar una supervisión adecuada, y poner en práctica políticas, procedimientos, entrenamientos y planes de contingencia sólidos. Sin un esfuerzo de base amplia, las chances de que factores de riesgo como los mencionados pasen desapercibidos aumentan.
Preocupado por el potencial riesgo derivado de recomendaciones imperfectas, el banco europeo comenzó a adoptar un conjunto de principios de negocios con el propósito de detallar dónde y cómo podrían utilizarse máquinas para tomar decisiones que afecten la salud financiera de un cliente. Los gerentes identificaron situaciones en que un ser humano (por ejemplo, un gerente de relación o un oficial de préstamos) necesitaba estar bien informado antes de ofrecer una recomendación a un cliente. Estos trabajadores pueden proveer una red de seguridad para detectar si un cliente atraviesa circunstancias especiales, como el fallecimiento de un familiar o problemas financieros, que podrían tornar inoportuna o inapropiada una recomendación.
El comité de supervisión del banco llevó a cabo además un análisis de brechas para identificar áreas en la metodología de gestión de riesgos del banco que debían ser profundizadas, redefinidas o extendidas. Un mecanismo de gobierno riguroso y consistente asegura la correcta definición de políticas y procedimientos, controles específicos para los modelos de IA, principios clave (con apoyo de herramientas) para guiar la elaboración de modelos, separación de tareas y supervisión adecuada. Por ejemplo, las herramientas de elaboración de modelos aseguran que los científicos de datos registren consistentemente el código de los modelos, los datos para entrenamiento y los parámetros elegidos a lo largo de todo el ciclo de desarrollo. También se adoptaron bibliotecas estándar con fines de interpretabilidad, información sobre desempeño de modelos, y monitoreo de modelos y datos en producción. Este mecanismo de gobierno está demostrando ser de gran utilidad tanto para las iniciativas de IA internas como para evaluar y monitorear herramientas de terceros, como un modelo anti-fraude de tipo SaaS adoptado por el banco.
Además, las políticas del banco exigen ahora que todos los involucrados, incluidos los ejecutivos patrocinadores, lleven a cabo planeación de escenarios y preparen planes de contingencia para desviaciones en el desempeño de los modelos de IA, problemas inesperados con los insumos de datos o cambios repentinos en el entorno externo, como un desastre natural. Estos planes de contingencia son parte del proceso regular de evaluación de riesgos del banco, lo que brinda al comité de riesgo del directorio visibilidad acerca de las medidas adoptadas para mitigar los riesgos asociados a advanced analytics e IA.
La capacitación y concientización de los empleados son otro aspecto destacado de los esfuerzos de la institución por controlar los riesgos. Todos los empleados involucrados reciben comunicaciones detalladas acerca de dónde se está utilizando IA, qué pasos está dando el banco para garantizar decisiones correctas y razonables y para proteger la información de clientes, y cómo interactúan los mecanismos de gobierno, las tecnologías de automatización y las herramientas de desarrollo. Adicionalmente, los patrocinadores de los negocios, los equipos de riesgo y el personal de analytics reciben entrenamiento específico para sus roles de identificación y minimización de riesgos. Por ejemplo, los sponsors están aprendiendo a solicitar explicaciones acerca del comportamiento de un modelo, que luego utilizan para dar feedback sobre las hipótesis de negocios subyacentes. Simultáneamente, el equipo de riesgo se capacita para identificar y mitigar mejor contingencias relacionadas con el cumplimiento legal y regulatorio, como la potencial discriminación de grupos protegidos o la aplicación del RGPD.
Derisking machine learning and artificial intelligence
El monitoreo de las actividades basadas en IA es una actividad continua, y no algo que se realiza una única vez. Por tal motivo, los órganos del banco con funciones de supervisión, como el comité de riesgo del directorio, revisan regularmente el programa para ponerse al corriente de nuevos riesgos que podrían haber surgido como consecuencia de regulaciones, tendencias de la industria, interpretaciones legales (como nueva jurisprudencia referida al RGPD), o la evolución de las expectativas de los consumidores y de la tecnología.
Diferenciación: Reforzar controles específicos dependiendo de la naturaleza del riesgo
Más allá de su indudable importancia, los controles empresariales no alcanzan para neutralizar todos los riesgos posibles. Es necesario un nivel superior de rigor y diferenciación, y el tipo de controles dependerá de factores como la complejidad de los algoritmos, sus requerimientos de datos, la naturaleza de las interacciones entre personas y máquinas (o entre éstas), el potencial de uso con fines ilegales, y la medida en que la IA está incorporada a los procesos del negocio. Algunas veces resulta eficaz introducir controles conceptuales, comenzando por un “estatuto” de casos de uso. Lo mismo sucede con los controles analíticos y de datos específicos, incluidos requerimientos de transparencia, así como controles de feedback y monitoreo, tales como análisis de desempeño para identificar degradaciones o sesgos.
Nuestro segundo ejemplo arroja luz sobre la aplicación de controles diferenciados. La institución deseaba lograr visibilidad acerca de la manera en que un modelo de ML tomaba decisiones en un proceso particular de clientes. Después de considerar cuidadosamente los requerimientos de transparencia, la entidad decidió mitigar el riesgo limitando las clases de algoritmos utilizadas. La eliminación de algunos formularios del modelo que resultaban demasiado complejos o poco claros le permitió alcanzar un equilibrio con el que se sentía más a gusto. La decisión provocó la pérdida de cierto poder predictivo, lo cual impactó en los costos, pero la transparencia de los modelos que se utilizaban otorgó al personal mayor confianza en sus decisiones. La simplificación de los modelos facilitó al mismo tiempo la verificación de los datos y de los propios modelos en busca de sesgos derivados del comportamiento de los usuarios o de cambios en las variables o en su ponderación.
Como sugiere este ejemplo, las organizaciones necesitarán una combinación de controles de riesgo específicos, que pueden implementar a través de una serie de protocolos que garanticen su presencia y aplicación a lo largo de todo el proceso de desarrollo de IA. Las instituciones de nuestros ejemplos introdujeron estos protocolos, además de controles a nivel de toda la compañía, usando al menos en parte su infraestructura de riesgo existente. Las compañías que carecen de una organización de riesgo central también pueden poner en operación estás técnicas de gestión de riesgos de IA a través de procesos robustos de gobierno de riesgos.
Aún queda mucho por aprender acerca de los potenciales riesgos que las organizaciones, los individuos y la sociedad enfrentan en materia de inteligencia artificial, el balance adecuado entre innovación y riesgo, y la implementación de controles para administrar lo inimaginable. Hasta ahora, la opinión pública y las respuestas regulatorias han sido relativamente moderadas.
Pero esto puede cambiar rápidamente si más organizaciones vuelven a cometer tropiezos. Con el aumento del costo de los riesgos asociados a la IA, la capacidad para evaluarlos y para involucrar a los trabajadores de todos los niveles en la definición y aplicación de controles pasará a ser una nueva fuente de ventaja competitiva. En el horizonte de muchas organizaciones se vislumbra una re-conceptualización de la “experiencia del cliente” que incorpore la promesa (y los posibles errores) de los efectos causados por la IA. Un imperativo adicional consiste en proponer un debate serio acerca de la ética en la aplicación de la inteligencia artificial y la definición de límites para su uso. La acción colectiva, que podría involucrar una deliberación a nivel de toda la industria acerca del auto-control y la interacción con los reguladores, probablemente también crezca en importancia. Las compañías que desarrollen esas competencias quedarán mejor posicionadas para servir mejor a sus clientes y a la sociedad, prevenir contratiempos de orden ético, comercial, reputacional o regulatorio, y evitar una posible crisis existencial capaz de poner de rodillas a la organización.
