Ser realista con la inteligencia artificial

Las empresas están entrando en una nueva fase con la inteligencia artificial (IA) generativa, ya que se plantean de forma realista cómo desplegar esta potente tecnología de manera responsable y rentable. La respuesta, dice Navrina Singh, fundadora y CEO de Credo AI e invitada de hoy en este episodio del pódcast At the Edge, es una gobernanza adecuada en forma de supervisión humana continua. Singh habla con Lareina Yee, socia sénior de McKinsey, sobre la importancia de monitorear, medir y gestionar el riesgo de la IA por el bien de la humanidad, así como para obtener una ventaja competitiva.

A continuación, se ofrece una transcripción editada de la plática. Para más conversaciones sobre tecnología de vanguardia, siga la serie en su plataforma de pódcast preferida.

Dar prioridad a la gobernanza de la IA

Lareina Yee: Navrina, vemos un gran impulso en términos de inversiones e interés en la IA. Pero también vemos una pausa –y es una pausa importante– en la que las empresas se preguntan: “¿Cómo hacemos esto de manera responsable?”. Usted creó Credo AI para permitir a las empresas adaptarse a este panorama tecnológico en constante cambio. ¿Puede explicar cómo ser responsable y trabajar rápidamente en el mundo de la IA generativa?

Navrina Singh: Qué gran pregunta, Lareina. Creemos que la respuesta es la gobernanza de la IA, que permite obtener resultados responsables. Cuando se dispone de una tecnología tan poderosa, que va a tener un impacto en las empresas, la sociedad y nuestro planeta de formas que antes no creíamos posible, una de las preguntas clave que nos viene a la mente es: “¿Entendemos esta tecnología?”.

Comprender esta tecnología significa responder a preguntas como: “¿Tenemos un buen control de las incógnitas desconocidas? ¿Entendemos el riesgo que entraña esta tecnología? ¿Qué tipo de mecanismos de supervisión hemos puesto en marcha para asegurarnos de que estamos obteniendo resultados empresariales?”. Se trata de hacer un balance sobre la medición de los riesgos y las oportunidades, y asegurarse de que se cuenta con la información adecuada para tomar las decisiones correctas en el momento oportuno, junto con una buena comprensión de las barreras de protección necesarias.

Lareina Yee: Todos estos son conceptos muy grandes, así que vamos a tomar uno por uno. ¿Qué significa realmente la gobernanza de la IA?

Navrina Singh: La IA responsable es un resultado que realmente necesita ser definido por la organización, mientras que la gobernanza de la IA es una práctica que te lleva a esos resultados.

Lareina Yee: El término que utiliza la mayoría de la gente, con razón o sin ella, es “función de cumplimiento” (“compliance function”), que significa examinar los resultados y luego las soluciones. Pero usted está diciendo algo diferente, y es que podemos poner la gobernanza, los sistemas, las herramientas y los marcos por delante a medida que construimos estos modelos y desarrollamos soluciones dentro de nuestras empresas. ¿Puede hablarnos un poco más sobre eso, porque creo que es bastante nuevo?

Navrina Singh: Los sistemas de IA son sistemas sociotécnicos. Sus resultados no solo plantean retos técnicos, sino que también tienen enormes implicaciones sociales, porque los sistemas pueden utilizarse para todo, desde la contratación de talentos hasta la creación de robustas capacidades militares. Y cuando se dispone de una tecnología con resultados sociotécnicos, primero tienen que ocurrir ciertas cosas. Y por eso la gobernanza de la IA no debería ser una ocurrencia tardía, sino lo primero a considerar.

La otra gran diferencia sobre la IA que quiero destacar es la velocidad a la que están surgiendo las capacidades, la omnipresencia de esta tecnología en todas las organizaciones y casos de uso, y la escala a la que las organizaciones están aplicando la inteligencia artificial. Esto cambia toda la dinámica [de gobernanza], que pasa de ser una mera función de cumplimiento a una ventaja competitiva.

Los beneficios de un enfoque que priorice la gobernanza

Lareina Yee: Para las empresas que están siguiendo el ritmo de este cambio, ¿cómo ha sido su gobernanza de la IA esa ventaja competitiva durante el año pasado?

Navrina Singh: Las organizaciones que al menos están intentando hacer lo correcto ahora están haciendo algunas cosas. En primer lugar, están dando un paso atrás y cambiando su mentalidad de un enfoque de cumplimiento de casillas de verificación a un enfoque de IA responsable que da prioridad a la gobernanza. Y al hacer ese cambio de mentalidad, tienen que realinear la organización en torno a los valores fundamentales que deben instituirse para asegurarse de que esta tecnología va a servir realmente bien a sus consumidores y a sus partes interesadas, ya sean internas o externas.

Lareina Yee: ¿Y quién está en la mesa pensando en estos valores que luego guían estos complicados pero poderosos sistemas?

Navrina Singh: Estamos viendo que las organizaciones traen a la mesa a múltiples partes interesadas, incluidos los directores de datos e inteligencia artificial, los responsables de gobernanza y riesgo, los líderes responsables de la gestión del consentimiento y la información de identificación personal (personally identifiable information, o PII) para la privacidad y, lo más importante, los usuarios afectados.

Humanos en el bucle

Lareina Yee: Hemos pasado muy rápidamente de la tecnología a los seres humanos en el centro de todo esto. Así que usted deja claros sus valores mientras trabaja y coexiste con estos sistemas. ¿Cómo contribuye esto a mantener a los seres humanos en el centro de este cambio?

Navrina Singh: Creo que estamos viviendo una revolución de la humanidad. Y una parte de esa revolución de la humanidad se debe no solo a la inteligencia artificial, sino también a esta necesidad cognitiva de pensar realmente en quiénes vamos a ser en este nuevo mundo de la IA. Lo que estamos descubriendo es una oportunidad increíble para que la colaboración entre humanos y máquinas aumente todo lo que los humanos aportan. Y ese aumento, o el copiloto de los humanos, se traducirá realmente en ganancias de productividad, que ya estamos viendo en todas las empresas.

Pero lo más importante es que, cuando se tienen esas ganancias de productividad, una pregunta clave es: “¿Qué nuevas habilidades necesitarán los humanos para aportar a esta nueva era de la IA?”. Y aquí es donde estamos viendo lo que nos gusta llamar “metamorfosis de la persona”. Estamos viendo el surgimiento de nuevos tipos de funciones y habilidades que se están convirtiendo en primordiales para que los humanos los adopten en esta era de la IA. Por ejemplo, en las empresas se están creando nuevos puestos, como el de director de IA y el de especialista en ética de la IA.

Estas nuevas funciones combinan una mezcla muy interesante de conjuntos de habilidades, que requieren personas con experiencia en ciencia de datos e IA básica, así como una comprensión muy buena —y un monitoreo excelente— de lo que está sucediendo en el ecosistema de políticas públicas. Del mismo modo, estamos viendo la aparición de otras nuevas funciones a medida que los líderes de gobernanza de la IA se hacen responsables de gestionar un único panel de gobernanza en una infraestructura de IA generativa muy distribuida y de última generación.

El “efecto Bruselas” en la regulación de la IA

Lareina Yee: ¿Cómo equilibran las empresas la necesidad de crear toda esta gobernanza de la IA con un panorama regulatorio incierto y cambiante, que difiere según la geografía?

Navrina Singh: Una de las cosas que hemos visto en este nuevo panorama de la IA, especialmente en la IA generativa, es que las políticas públicas nunca se han movido tan rápido como en los últimos 18 meses. Y eso es, en realidad, un gran indicador del impacto y la escala de esta tecnología, y también de lo importante que es que participen múltiples partes interesadas con voces diversas para que podamos dirigir y navegar esta tecnología de una manera que sirva a la humanidad.

En cuanto a los cambios regulatorios, una cosa que quiero subrayar es que las organizaciones que adopten la gobernanza solo para marcar casillas y cumplir la normativa no serán las ganadoras en este espacio. El tipo de mentalidad que necesitan las empresas y organizaciones para triunfar en esta era de la IA es ver la gobernanza como un mecanismo de creación de confianza y una ventaja competitiva, de modo que puedan captar clientes más rápido y retenerlos durante más tiempo.

En el frente regulatorio, se reconoce que estas poderosas tecnologías de vanguardia aportan muchos beneficios, pero también conllevan muchos inconvenientes si caen en manos de actores malintencionados. Por eso, en todo el mundo, la regulación de la IA es una de las principales prioridades legislativas, y la Unión Europea (UE) ha sido la primera región en aprobar un marco normativo, denominado Ley de IA de la UE.

Es una declaración audaz cuando un grupo de 27 países dice: “No puedes lanzar ninguna aplicación de IA dentro de la Unión Europea a menos que cumplas estas condiciones, porque queremos que nuestros ciudadanos se beneficien de esto”. Creo que vamos a ver un “efecto Bruselas”, similar a lo que vimos con el Reglamento General de Protección de Datos (General Data Protection Regulation, o GDPR), donde otros países terminan cumpliendo con las regulaciones de la UE. Espero ver marcos normativos similares a la Ley de IA de la UE en todo el mundo.

Cuatro preguntas clave a considerar

Lareina Yee: Usted dijo algo que probablemente sorprenderá a mucha gente, y es que las regulaciones gubernamentales están avanzando más rápido de lo que nunca hemos visto. ¿Cuáles son las cuatro o cinco preguntas que debemos tener en cuenta más allá de lo que dicta la normativa vigente?

Navrina Singh: Creo que siempre se vuelve a algunos principios básicos comunes, que van más allá de los marcos regulatorios, para llegar a esa especie de cociente de confianza que hay que crear para la empresa. Y yo diría, en primer lugar, que implica una comprensión realmente profunda de dónde y cómo se está utilizando la IA dentro de su empresa u organización. Hacer un inventario de sus aplicaciones de inteligencia artificial y crear un registro de dónde se usan realmente estos sistemas es un gran primer paso y un principio común que estamos encontrando en todas nuestras organizaciones.

Lareina Yee: Me encanta lo haya llevado de un principio a algo realmente concreto. ¿Cuáles son la segunda, tercera y cuarta preguntas?

Navrina Singh: Una vez que haya hecho un balance de dónde se está utilizando la IA, la segunda pregunta es: “¿Cómo está entendiendo y midiendo su riesgo? ¿Con qué puntos de referencia y evaluaciones que se alineen con los valores de su empresa necesita poner a prueba sus sistemas?”. Y esa alineación es realmente la segunda pieza central.

La tercera pregunta es: “¿Tiene las personas adecuadas para rendir cuentas de estas evaluaciones y estas alineaciones? ¿Y quiénes están en la mesa?”.

Y una vez que tiene ese registro de IA, la alineación sobre lo que es “bueno” y un conjunto de grandes partes interesadas, la última cuestión es: “¿Es capaz de escalar esto de una manera estandarizada con la infraestructura y las herramientas adecuadas?”. Y aquí es donde entra en juego una combinación de sus herramientas de operaciones de grandes modelos de lenguaje (large language models, o LLM), de operaciones de aprendizaje automático (machine learning operations, o MLO) y de gobernanza y cumplimiento de riesgos.

Nunca dejar de medir y reinventar

Lareina Yee: Es útil dar un paso atrás y describir las medidas que podemos tomar hoy. Si yo pusiera en práctica esos cuatro pasos, ¿qué es lo siguiente en lo que tengo que pensar?

Navrina Singh: El último paso, que nunca se da, es la medición constante. Creo que no se pueden gestionar cosas que no se pueden medir. Y lo que esto significa es una reinvención constante dentro de su organización a medida que revisa los resultados de los primeros cuatro pasos.

Ahora las organizaciones tienen que ser más adaptables. Deben moverse con rapidez, pero sin romper cosas, ser intencionadas a la hora de medir el riesgo adecuado y alinearse con los valores correctos para garantizar el retorno de la inversión. Pero esto tiene que ocurrir en un bucle de retroalimentación constante. Así que este es el viaje sin fin que deben emprender las empresas. Y creemos que las organizaciones que lo han hecho de una manera estandarizada, escalable y muy alineada con la misión son las que van a emerger como ganadoras en esta carrera.

La diversidad es un requisito, no una opción

Lareina Yee: ¿Cuáles son algunos de los valores que usted prioriza para Credo como usuaria de la IA, en comparación con alguien que tiene una solución para apoyarla?

Navrina Singh: Voy a compartir tres valores que son realmente importantes para lo que llamamos nuestro credo. En primer lugar, la diversidad no es una opción; es un requisito. Más del 40 por ciento de mi equipo de liderazgo y de mi empresa son mujeres, y tenemos una gran representación LGBTQ. Aparte de expertos en IA, también tenemos gente que procede de la neurociencia cognitiva y la psicología. Así que realmente hemos reunido a un grupo muy diverso de individuos.

El segundo es lo que yo llamo “moverse rápido, pero con intención”. Dado el ritmo del cambio con la inteligencia artificial, la ejecución se convierte en un hecho, pero la pregunta es: “¿Cómo se está ejecutando?”. Ya no se trata solo de ganar con la IA, sino de cómo se gana con la IA. Seguir el ritmo de esta tecnología que avanza tan rápido se convierte en algo realmente crítico.

El tercero es pensar realmente en lo que es “bueno”. Uno de nuestros valores fundamentales en Credo AI es ser una empresa que sube el listón, y tenemos una serie de principios básicos, como los que estoy compartiendo con ustedes. Pero no tenemos miedo de cambiarlos en función de la información del mercado. Y una cultura organizacional buena y fuerte necesita esa mentalidad de crecimiento para adoptar y adaptarse rápidamente a la nueva información, tecnología y conjuntos de habilidades.

Corregir los sesgos de la IA con “equipos arcoíris”

Lareina Yee: ¿Cómo se amplifican involuntariamente los sesgos con la IA?

Navrina Singh: En primer lugar, el sesgo no se inyecta en un punto concreto del ciclo de vida de la IA. En segundo lugar, el sesgo es algo positivo en la inteligencia artificial, desde la perspectiva de asegurarse de que se reconocen los patrones correctos.

Lo que no es bueno es cuando se producen consecuencias no deseadas y resultados dispares para diferentes tipos de individuos. Cuando se analiza un sistema de IA, ya sea un LLM o un sistema predictivo, ambos se alimentan de datos. Estos datos deben ser cuidadosamente curados –lo que, por cierto, no está sucediendo–, especialmente en los LLM, porque estos modelos están destinados a ser de doble propósito por su propia naturaleza, lo que significa que necesitan entender tanto de todo como sea posible.

Y todos esos datos residen en Internet, incluidos todos los vídeos de YouTube. Así que hay que preguntarse: “¿Esos datos representan realmente la verdad?”. Y a medida que nos adentramos en esa madriguera del conejo para determinar qué es verdad, la verdad podría significar cosas muy diferentes para usted y para mí. Un buen ejemplo de ello es cuando se utiliza un generador de texto a imagen y se le pide que genere una imagen de un CEO o un científico de datos. La mayoría de las veces generará lo que ha aprendido a través de esos datos de Internet, lo que significa que la mayoría [de estas imágenes] serán de hombres. Por lo tanto, los sesgos se infiltran debido a los conjuntos de datos y, como resultado, la supervisión humana se convierte en algo crítico.

Siguiendo con el ciclo de vida de la IA, el segundo lugar donde pueden aparecer estos sesgos es cuando se empaquetan estos LLM para una aplicación. Se puede tomar un sistema GPT-4 y crear sobre él una herramienta de marketing para atender a los consumidores. En ese caso, si se cuenta con un equipo de partes interesadas no diversas que quizá no piensen en el impacto social, lo que termina sucediendo es que se incorporan muchos prejuicios a estos sistemas. Y esos sesgos no se pueden cambiar.

El tercer lugar donde hay que pensar en los sesgos es durante las pruebas. A falta de puntos de referencia y evaluación adecuados, muchas organizaciones recurren a los llamados “equipos rojos” (“red teaming”), en los que se reúne a un conjunto de personas que proporcionan múltiples prompts para probar estos sistemas. Uno de los retos asociados a esto es saber a quién se recluta para estos equipos rojos, porque si todos pertenecen al mismo grupo de partes interesadas, las pruebas serán muy distintas que si se reúne a una muestra más amplia de la sociedad.

Algo que nos ha entusiasmado es la evolución de los “equipos arcoíris” (“rainbow teaming”), en los que se piensa como un equipo más diverso, y cómo estos prompts deben ser curados de manera escalable para que los sistemas puedan probarse adecuadamente.

Así que el sesgo no se produce en un solo lugar. Puede ocurrir en los conjuntos de datos, cuando se crean las aplicaciones de IA, durante las pruebas o cuando el sistema sale al mercado y sigue aprendiendo de los datos disponibles.

Más allá de los LLM en inglés

Lareina Yee: Dado que la mayoría de estos modelos se están entrenando con un conjunto de datos en lengua inglesa, tal vez norteamericana, ¿qué utilidad tienen estos LLM para otros países? Sé que esto es un poco diferente de la IA responsable, pero el costo de construir estos modelos ya es prohibitivo y, con el tiempo, otros países necesitarán sus propios LLM con pruebas y matices igualmente sólidos.

Navrina Singh: En realidad, en el fondo se trata de una cuestión de IA responsable, porque si no pensamos en otras culturas e idiomas, estamos dejando a la mayor parte del mundo fuera de esta revolución de la IA. Y la disparidad que veremos en el ecosistema social es algo que todos deberíamos temer.

Dicho esto, ya están ocurriendo un par de cosas que me entusiasman mucho. En primer lugar, hay empresas que no solo se abastecen de conjuntos de datos muy diversos demográficamente, sino que también pagan a sus etiquetadores humanos tarifas mucho más altas que las del resto del mundo. Porque si se tiene una mano de obra de dos millones de personas alimentando a estos LLM que no reciben una remuneración adecuada, creo que eso es un problema. Así que, en primer lugar, estamos viendo muchas innovaciones en los conjuntos de datos y asegurándonos de que haya diversidad cultural.

Lo segundo que vemos son esfuerzos para preservar parte de esta información demográfica más contextual. Por ejemplo, si pensamos en los nativos americanos, su lengua es increíblemente importante para ellos, por lo que también es muy importante para nosotros mantener ese contexto histórico.

También estamos viendo un despertar en el ecosistema. Mientras que la versión inicial de los LLM se centraba en la lengua inglesa, en los últimos 18 meses hemos comenzado a aumentarla con más información cultural, geográfica y demográfica para lograr esa paridad en todo el mundo.

Una batalla cuesta arriba para sentarse a la mesa

Lareina Yee: Hemos hablado mucho de tecnología y de IA responsable, y probablemente podríamos seguir. Pero usted es una persona increíblemente interesante, y me encantaría saber cuál fue la chispa que la convenció para dejar una gran empresa tecnológica y fundar Credo.

Navrina Singh: Crecí en la India, en una familia muy humilde. Mi padre estuvo 40 años en el ejército indio y mi madre, una reinventora constante, empezó dando clases y luego se convirtió en diseñadora de moda. Y, como puede imaginarse, en la India de hace 20-25 años no se veía a las mujeres como el sostén de la familia, las innovadoras o las catalizadoras. Mi ventaja fue tener una familia que me apoyó mucho y me dejó ser, literalmente, esa renegada.

Así que me mudé a Estados Unidos a los 19 años, estudié aquí y empecé mi carrera corporativa como ingeniero de hardware. Pero fue fascinante la batalla que tuve que librar para conseguir un lugar en la mesa durante mi carrera. Por aquel entonces no había muchas mujeres en puestos directivos, y me aferré firmemente a las pocas que encontré.

En 2011 me interesé por el aprendizaje automático y la inteligencia artificial, y vi que la sociedad estaba introduciendo datos en estos sistemas que, básicamente, volvían a hacer invisible a todo un grupo demográfico: las mujeres. Así que, para mí, este viaje se convirtió más en una misión para asegurarme de que esta tecnología nos sirva a nosotras: los seres humanos, las mujeres, las mujeres morenas. También quería asegurarme de que ya no estamos cubiertas por ese manto invisible que, por desgracia, impide nuestro crecimiento profesional y personal en este ecosistema.

Superar los prejuicios en los consejos de administración

Lareina Yee: Las start-ups financiadas por mujeres atraen alrededor del 2 por ciento del financiamiento de capital riesgo. ¿Cuáles son algunos de los cambios que tendríamos que ver para que la eliminación de esa capa de invisibilidad fuera más común?

Navrina Singh: Sigo buscando respuestas. Creo que hay muchos prejuicios no expresados en la forma en que evaluamos a los fundadores diversos frente a los tradicionales. Y eso tiene que cambiar.

Cuando he entrado en las salas de consejo de empresas de capital riesgo, las preguntas tienden a inclinarse más hacia: “Demuéstreme que puede hacerlo”. Pero para los hombres fundadores, las preguntas tienden a dirigirse hacia la visión: “¿Qué podría usted lograr si tuviera recursos y capital ilimitados?”. Así que ahí, una vez más, estamos atrapadas en este mundo de demostrar frente a amplificar.

Lo segundo que debe cambiar es la forma en que educamos al mundo en inteligencia artificial. La alfabetización en IA necesita un tipo de educación y un conjunto de habilidades muy diversos para que tengamos éxito. Y creo que tenemos que adoptarlos en todas las instituciones educativas para que se produzca un cambio.

Lareina Yee: Ahora voy a hacerle un par de preguntas divertidas. En términos de IA generativa, ¿cuál es su característica favorita?

Navrina Singh: Puede que le sorprenda, o puede que no, pero el inglés no es mi lengua materna. Así que utilizo Google Bard [ahora Gemini], Claude 3 o GPT para escribir correos electrónicos y poder comunicarme de una forma que el usuario final reciba de forma mucho más positiva.

Lareina Yee: Usted también es una madre que piensa profundamente en el mundo que le dejará a su hija. ¿Cuál es la tecnología que, me atrevo a decir, ella podría utilizar mejor que usted?

Navrina Singh: Yo diría que su tecnología favorita ahora mismo es DALL-E. Es una niña muy creativa, así que la usa para generar imágenes.

Lareina Yee: Una de las cosas que usted me contó es que, cuando era pequeña, utilizaba su casa como laboratorio para romper y volver a armar cosas. ¿Cuál fue su mejor experimento por aquel entonces?

Navrina Singh: Vivíamos en comunidades que no tenían electricidad constante. Así que uno de los experimentos que hice fue redirigir la electricidad de algunos de mis vecinos para ver cuánta energía podía generar para mi casa. Ese experimento no acabó bien, sobre todo con mis padres. Pero todos los vecinos vinieron a la casa y querían entender mis objetivos con aquel experimento. Como crecí rebelde y renegada, si no conocía los hechos, siempre quería buscar la verdad en mis propios términos y hacer mi propia diligencia debida. Y mi comunidad me apoyó.