As empresas estão entrando em uma nova fase com a IA generativa (GenAI, na abreviatura em inglês) ao ponderarem de forma realista como implantar essa tecnologia poderosa de forma responsável e lucrativa. A resposta, segundo Navrina Singh, fundadora e CEO da Credo AI e convidada de hoje neste episódio do podcast At the Edge, é a governança adequada na forma de supervisão humana contínua. Singh conversa com Lareina Yee, sócia sênior da McKinsey, sobre a importância de monitorar, medir e gerir o risco da IA para o bem da humanidade, assim como para a obtenção de uma vantagem competitiva.
Mais insights da McKinsey em português
Confira nossa coleção de artigos em português e assine nossa newsletter mensal em português.
Segue uma transcrição editada da discussão. Para mais conversas sobre tecnologias de ponta, acompanhe a série na sua plataforma de podcast preferida.
A governança de IA em primeiro lugar
Lareina Yee: Navrina, estamos observando um grande impulso em termos de investimentos e interesse em IA. Mas também estamos vendo uma pausa – e é uma longa pausa – enquanto as empresas se perguntam: “Como fazer isso de maneira responsável?”. Você criou a Credo AI para permitir que as empresas se adaptem a esse panorama tecnológico em constante mudança. Pode explicar como ser responsável e atuar rapidamente no mundo da IA generativa?
Navrina Singh: É uma ótima pergunta, Lareina. Acreditamos que a resposta é a governança de IA, que permite alcançar resultados responsáveis com a IA. Quando se tem uma tecnologia tão poderosa, que vai impactar os negócios, a sociedade e o nosso planeta de maneiras que não pensávamos ser possíveis, uma das principais perguntas que vêm à mente é: “Nós entendemos essa tecnologia?”.
Entender essa tecnologia significa responder a perguntas como: “Temos uma boa compreensão das incógnitas desconhecidas? Entendemos o risco que essa tecnologia traz consigo? Que tipos de mecanismo de supervisão já implementamos para garantir que estejamos obtendo os resultados de negócios?”. Trata-se de fazer um levantamento para medir os riscos e as oportunidades e assegurar que você tenha as informações certas para tomar as decisões certas no momento certo, juntamente com um bom entendimento das barreiras de proteção necessárias.
Lareina Yee: Todos esses conceitos são bem importantes, então vamos examiná-los um a um. O que significa de fato a governança de IA, em síntese?
Navrina Singh: A IA responsável é um resultado que precisa ser definido pela organização, enquanto a governança de IA é uma prática que leva a esse resultado.
Lareina Yee: O termo que a maioria das pessoas usa, de forma correta ou incorreta, é o de “área de conformidade”, que significa analisar os resultados e depois as correções. Mas você está dizendo algo diferente, ou seja, que podemos implementar a governança, os sistemas, as ferramentas e as estruturas em primeiro lugar, ao criarmos esses modelos e desenvolvermos soluções nas nossas empresas. Pode falar um pouco mais sobre isso, pois acho que é algo bastante novo?
Navrina Singh: Os sistemas de IA são sistemas sociotécnicos. Os resultados deles não só apresentam desafios técnicos, como também têm enormes implicações sociais, já que os sistemas podem ser usados para tudo, desde a contratação de talentos até o desenvolvimento de capacidades militares robustas. E quando você tem uma tecnologia com resultados sociotécnicos, certas coisas precisam acontecer primeiro. É por isso que a governança de IA não pode ficar em segundo plano. Deve ser a primeira coisa a ser levada em consideração.
A outra grande diferença com relação à IA que quero enfatizar é a rapidez com que estão surgindo recursos, a abrangência dessa tecnologia em todas as organizações e todos os casos de uso e a escala na qual as organizações estão utilizando a inteligência artificial. Isso muda toda a dinâmica [da governança], que deixa de ser apenas uma área de conformidade e passa a ser uma vantagem competitiva.
Os benefícios de uma abordagem que coloca a governança em primeiro lugar
Lareina Yee: Para as empresas que estão acompanhando o ritmo dessa mudança, como a governança de IA tem sido uma vantagem competitiva no último ano?
Navrina Singh: As organizações que estão pelo menos tentando fazer a coisa certa agora vêm tomando algumas medidas. Em primeiro lugar, estão dando um passo atrás e mudando sua mentalidade de uma abordagem de lista de itens de conformidade para uma abordagem de IA responsável, com a governança em primeiro lugar. E, ao fazerem essa mudança de mentalidade, elas precisam realinhar a organização em torno dos valores essenciais que devem ser instituídos para garantir que essa tecnologia atenda bem a seus consumidores e stakeholders – sejam internos, sejam externos.
Lareina Yee: E quem está sentado à mesa pensando nesses valores que orientam esses sistemas complicados, mas poderosos?
Navrina Singh: Estamos vendo as organizações trazer vários stakeholders para a mesa, como Diretores de Dados e IA, Diretores de Governança e Risco, líderes responsáveis pela gestão de consentimento e PII [informações de identificação pessoal] referentes à privacidade e, o mais importante, usuários afetados.
Seres humanos no circuito
Lareina Yee: Passamos muito rapidamente da tecnologia para os humanos no centro de tudo isso. Assim, você deixa os seus valores claros ao trabalhar e conviver com esses sistemas. Como isso contribui para manter os seres humanos no centro dessa mudança?
Navrina Singh: Acho que estamos passando por uma revolução da humanidade neste exato momento. E parte dessa revolução se deve não apenas à inteligência artificial, mas também à necessidade cognitiva de pensar em quem seremos nesse novo mundo da IA. O que estamos descobrindo é uma oportunidade incrível de colaboração entre humanos e máquinas para incrementar [“augment”] tudo o que os humanos trazem para a mesa. E esse incremento, ou o copiloto para humanos, vai resultar de fato em ganhos de produtividade que já estamos vendo em todas as empresas.
Porém, o mais importante é que, quando você tem esses ganhos de produtividade, uma pergunta fundamental é: “Que novas habilidades os humanos precisarão trazer para esta nova era da IA?”. E é aqui que estamos observando o que gostamos de chamar de “metamorfose das personas”. Estamos vendo o surgimento de novos tipos de funções e habilidades que estão se tornando fundamentais para os humanos adotarem nesta era da IA. Por exemplo, novos cargos, como o de Diretor de IA e o de Especialista em Ética de IA, estão sendo criados nas empresas.
Essas novas funções são uma combinação muito interessante de conjuntos de habilidades e requerem pessoas com expertise em ciência de dados e IA, além de uma ótima compreensão – e um acompanhamento atento – do que está acontecendo no ecossistema das políticas. Da mesma forma, estamos observando o surgimento de outras novas funções à medida que os líderes de governança de IA passam a ser responsáveis pela gestão de um único painel de governança em uma infraestrutura de IA generativa de última geração bastante distribuída.
O “efeito Bruxelas” na regulamentação da IA
Lareina Yee: Como as empresas estão equilibrando a necessidade de desenvolver toda essa governança de IA com um panorama regulatório incerto, mutável e que é diferente conforme a região?
Navrina Singh: Uma das coisas que vimos nesse novo panorama da IA, sobretudo na IA generativa, é que as políticas nunca mudaram tão rapidamente quanto observamos nos últimos 18 meses. Isso é, na verdade, um ótimo indicador do impacto e da escala dessa tecnologia e também de como é fundamental o envolvimento de vários stakeholders com vozes diversas para que possamos direcionar essa tecnologia e nos orientar de uma forma que sirva à humanidade.
As organizações que adotam a governança apenas para ticar itens e estar em conformidade com os regulamentos não serão as vencedoras nesse espaço.
Em termos de mudanças regulatórias, algo que quero ressaltar é que as organizações que adotam a governança apenas para ticar itens e estar em conformidade com os regulamentos não serão as vencedoras nesse espaço. O tipo de mentalidade necessário para as empresas e organizações vencerem nesta era da IA é ver a governança como um mecanismo de desenvolvimento de confiança e uma vantagem competitiva, de modo que consigam conquistar clientes mais rapidamente e retê-los por mais tempo.
No que diz respeito à regulamentação, há um reconhecimento de que essas poderosas tecnologias de ponta trazem muitos benefícios, mas também têm muitos aspectos negativos se caírem nas mãos de agentes mal-intencionados. Portanto, em todo o mundo, a regulamentação da IA é uma das principais pautas legislativas, sendo a UE a primeira região do mundo a aprovar um arcabouço regulatório, chamado de Lei de IA da UE.
É um posicionamento arrojado quando um grupo de 27 países diz: “Você só pode lançar um aplicativo de IA na União Europeia se cumprir estas diretrizes, porque queremos que os nossos cidadãos se beneficiem disso”. Acho que veremos um “efeito Bruxelas”, semelhante ao que vimos com o GDPR [Regulamento Geral de Proteção de Dados], em que outras nações acabam cumprindo os regulamentos da UE. Minha previsão é o surgimento de arcabouços regulatórios semelhantes à Lei de IA da UE no mundo todo.
Quatro questões importantes a considerar
Lareina Yee: Você disse algo que provavelmente surpreenderá muitas pessoas, que é o fato de as regulamentações governamentais estarem evoluindo mais rapidamente do que nunca. Quais são as quatro ou cinco perguntas que precisamos analisar, além do que está nos regulamentos existentes?
Navrina Singh: Acho que isso sempre volta a alguns princípios básicos comuns, que vão além dos arcabouços regulatórios e chegam a um tipo de quociente de confiança que você precisa desenvolver para a sua empresa. Eu diria, em primeiro lugar, que isso envolve uma compreensão bastante profunda de onde e como a IA está sendo usada na sua empresa ou organização. Fazer um balanço dos seus aplicativos de inteligência artificial e criar um registro de onde esses sistemas são usados de fato é um ótimo primeiro passo e um princípio comum que estamos encontrando em todas as nossas organizações.
Lareina Yee: Gosto muito do fato de você ter passado isso de um princípio para algo realmente concreto. Quais são a segunda, terceira e quarta perguntas?
Navrina Singh: Depois de fazer um balanço de onde a IA está sendo usada, a segunda pergunta é: “Como você está entendendo e medindo o risco dela? Quais são os benchmarks e as avaliações que se alinham aos valores da sua empresa e com os quais você precisa testar os seus sistemas?”. Esse alinhamento é a segunda peça central.
A terceira pergunta é: “Você tem as pessoas certas para prestar contas dessas avaliações e desses alinhamentos? E quem está sentado à mesa?”.
E, depois que você tiver esse registro de IA, alinhamento sobre o que significa “bom” e um conjunto de stakeholders importantes, a última pergunta é: “Você consegue, de forma padronizada, dar escala a isso com a infraestrutura e as ferramentas certas?”. É aí que entra em cena uma combinação das suas ferramentas de operações com grandes modelos de linguagem [LLMs], as suas ferramentas de MLOps [operações de aprendizado de máquina] e as suas ferramentas de governança e conformidade relacionada a riscos.
Nunca pare de medir e reinventar
Lareina Yee: É conveniente darmos um passo atrás e descrevermos as medidas que podemos tomar hoje. Caso eu tenha implementado essas quatro etapas, qual é a próxima coisa na qual preciso pensar?
Navrina Singh: A etapa final, que nunca é concluída, é a medição constante. Acredito que você não consegue gerir aquilo que não consegue medir. E isso significa uma reinvenção constante na sua organização à medida que você analisa os resultados das quatro primeiras etapas.
As organizações precisam ser mais adaptáveis agora. Devem se mover rapidamente, mas sem quebrar as coisas, devem agir de forma intencional na medição dos riscos certos e devem se alinhar aos valores certos para garantir o ROI.
As organizações precisam ser mais adaptáveis agora. Devem se mover rapidamente, mas sem quebrar as coisas, devem agir de forma intencional na medição dos riscos certos e devem se alinhar aos valores certos para garantir o ROI [retorno sobre o investimento, na sigla em inglês]. Mas isso precisa acontecer em um ciclo de feedback constante. Então, essa é a jornada sem fim que as empresas precisam percorrer. E acreditamos que as organizações que fizeram isso de forma padronizada, escalável e bem alinhada à missão são as que sairão vencedoras nessa corrida.
A diversidade é um requisito, e não uma opção
Lareina Yee: Cite alguns valores que você prioriza para a Credo como usuária de IA, e não como uma empresa que tem uma solução de suporte a IA?
Navrina Singh: Vou mencionar três deles que são muito importantes para o que chamamos de nosso credo. Em primeiro lugar, a diversidade não é uma opção; é um requisito. Mais de 40% da minha equipe de liderança e da minha empresa são mulheres, e temos uma ótima representação LGBTQ. Além dos especialistas em IA, também temos pessoas das áreas de neurociência cognitiva e psicologia. Então, reunimos um conjunto muito diversificado de pessoas.
O segundo é o que chamo de “mover-se rapidamente, mas com intenção”. Dado o ritmo das mudanças com a inteligência artificial, a execução se torna algo básico, mas a pergunta é: “Como você está executando?”. Já não se trata apenas de vencer com a IA, mas de como você vence com a IA. Acompanhar o ritmo dessa tecnologia em rápida evolução passa a ser simplesmente crucial.
Já não se trata apenas de vencer com a IA, mas de como você vence com a IA. Acompanhar o ritmo dessa tecnologia em rápida evolução passa a ser simplesmente crucial.
O terceiro é pensar no que significa “bom”. Um dos nossos principais valores na Credo AI é elevar padrões, e temos um conjunto de princípios centrais, como os que estou compartilhando com você. Mas não temos receio de alterá-los com base em informações do mercado. E uma cultura organizacional boa e forte precisa dessa mentalidade de crescimento para adotar e se adaptar rapidamente a novas informações, tecnologias e conjuntos de habilidades.
Correção de vieses da IA com “equipes arco-íris”
Lareina Yee: Como os vieses são amplificados involuntariamente pela IA?
Navrina Singh: Em primeiro lugar, o viés não é inserido em um ponto específico do ciclo de vida da IA. Em segundo, o viés é, na verdade, algo positivo na inteligência artificial, sob a perspectiva de garantir que os padrões corretos estejam sendo reconhecidos.
O que não é bom é quando isso gera consequências não intencionais e resultados díspares para diferentes tipos de indivíduos. Quando você analisa um sistema de IA, seja ele um LLM, seja um sistema preditivo, ambos são alimentados com dados. Esses dados precisam ser selecionados cuidadosamente – o que, a propósito, não está acontecendo – especialmente nos LLMs, porque esses modelos têm uma finalidade dupla por sua própria natureza, o que significa que precisam entender o máximo possível de tudo.
E todos esses dados estão na internet, inclusive todos os vídeos do YouTube. Então, você precisa se perguntar: “Esses dados realmente representam a verdade?”. E, ao entrarmos nessa jornada de determinar o que é verdadeiro, a verdade pode significar coisas muito diferentes para você e para mim. Um bom exemplo disso é quando você usa um gerador de imagens a partir de textos e pede que ele gere a imagem de um CEO ou de um cientista de dados. Na maioria das vezes, ele vai gerar o que aprendeu com os dados da internet, o que significa que a maioria [dessas imagens] será de homens. Portanto, os vieses se infiltram devido aos conjuntos de dados e, como resultado, a supervisão humana passa a ser crucial.
Continuando com o ciclo de vida da IA, a segunda situação na qual esses vieses podem aparecer é quando você está reunindo esses LLMs para um aplicativo. Você pode pegar um sistema GPT-4 e criar uma ferramenta de marketing em cima dele para atender aos seus consumidores. Nesse caso, se você tiver uma equipe de stakeholders sem diversidade e que talvez não esteja pensando no impacto social, o que acaba acontecendo é que muitos vieses são incorporados a esses sistemas. E eles não podem ser alterados.
O terceiro aspecto a ser considerado com relação aos vieses é durante os testes. Na ausência de benchmarks e avaliações adequados, muitas organizações estão adotando algo chamado de “times vermelhos” [“red teaming”], em que você reúne pessoas que fornecem múltiplos prompts para testar esses sistemas. Um dos desafios relacionados a isso é quem você recruta para esses times vermelhos, porque, se todos forem do mesmo grupo de stakeholders, eles vão testar de maneira muito diferente do que se você reunisse uma amostra mais ampla da sociedade.
Uma coisa que está nos entusiasmando é a evolução dos “times arco-íris” [“rainbow teaming”], em que você pensa como uma equipe com maior diversidade, levando em conta como esses prompts precisam ser selecionados de forma escalável para que os seus sistemas possam ser testados de maneira adequada.
Então, o viés não ocorre em apenas um lugar. Ele pode surgir nos seus conjuntos de dados, quando você está desenvolvendo os seus aplicativos de IA, durante os testes ou quando você coloca esse sistema no mercado e ele continua aprendendo com os dados disponíveis.
Para além dos LLMs em inglês
Lareina Yee: Considerando que a maioria desses modelos está sendo treinada em um conjunto de dados baseado no idioma inglês, talvez norte-americano, qual é a utilidade desses LLMs para outros países? Sei que isso é um pouco diferente da IA responsável, mas o custo da criação desses modelos já é proibitivo e, com o tempo, outros países precisarão ter seus próprios LLMs com nuances e testes igualmente robustos.
Navrina Singh: Na verdade, trata-se de uma questão de IA responsável em sua essência porque, se não pensarmos em outras culturas e idiomas, estaremos deixando a maior parte do mundo de fora dessa revolução da IA. E a disparidade que veremos no ecossistema social é algo que todos nós devemos temer.
Dito isso, já estão acontecendo algumas coisas que me deixam muito animada. Primeiro, há empresas que não só estão obtendo conjuntos de dados muito diversificados demograficamente, mas também pagando a seus rotuladores humanos valores muito mais altos do que o resto do mundo. Porque, se você tem uma força de trabalho de dois milhões de pessoas que alimentam esses LLMs sem ser pagas adequadamente, isso me parece um problema. Então, em primeiro lugar, estamos vendo muitas inovações nos conjuntos de dados e assegurando que haja diversidade cultural.
A segunda coisa que estamos observando são iniciativas para preservar algumas dessas informações demográficas mais contextuais. Por exemplo, se pensarmos nos nativos americanos, eles dão extrema importância a seu idioma e, portanto, é igualmente importante mantermos esse contexto histórico.
Também estamos vendo um despertar no ecossistema. Enquanto a versão inicial dos LLMs se concentrava no idioma inglês, nos últimos 18 meses, começamos a incrementá-la com mais informações culturais, geográficas e demográficas para alcançar essa paridade em todo o mundo.
Uma batalha difícil por um lugar à mesa
Lareina Yee: Então, falamos bastante sobre a tecnologia e a IA responsável e provavelmente poderíamos continuar. Mas você é uma pessoa interessantíssima, e eu adoraria saber: qual foi a faísca que convenceu você a sair de uma grande empresa de tecnologia e fundar a Credo?
Navrina Singh: Eu cresci na Índia em uma família muito humilde. Meu pai foi militar na Índia por 40 anos, e minha mãe, que se reinventava constantemente, começou como professora e depois virou estilista. E, como você pode imaginar, na minha juventude na Índia, 20 ou 25 anos atrás, as mulheres não eram vistas como provedoras, inovadoras ou catalisadoras. Minha vantagem foi ter uma família que me apoiava muito e que literalmente me deixava ser insubmissa.
Então, me mudei para os Estados Unidos aos 19 anos, estudei aqui e comecei a minha carreira corporativa como engenheira de hardware. Mas a batalha para conseguir um lugar à mesa ao longo da minha carreira foi fascinante. Não havia muitas mulheres em cargos de liderança naquela época, e me apeguei firmemente às poucas que encontrei.
Em 2011, entrei nas áreas de aprendizado de máquina e inteligência artificial e vi que a sociedade estava alimentando esses sistemas com dados que basicamente tornavam todo um grupo demográfico – as mulheres – invisível de novo. Assim, para mim, essa jornada se tornou mais uma missão para garantir que essa tecnologia sirva a nós: seres humanos, mulheres, mulheres pardas. Eu também queria ter certeza de não estarmos mais cobertos pelo manto invisível que, infelizmente, impede o nosso crescimento profissional e pessoal nesse ecossistema.
Superação dos vieses na sala da diretoria
Lareina Yee: As startups fundadas por mulheres atraem cerca de 2% do financiamento de capital de risco. Quais mudanças precisaríamos ver para tornar a remoção desse manto invisível algo mais comum?
Navrina Singh: Ainda estou buscando respostas. Acho que há muitos vieses não declarados na nossa maneira de avaliar os fundadores diversos em comparação com os tradicionais. E isso definitivamente precisa mudar.
Quando entro em salas de reuniões de capitalistas de risco, as perguntas costumam se inclinar mais para: “Prove que você é capaz de fazer isso”. Mas, para os fundadores do sexo masculino, as perguntas costumam ser direcionadas a imaginar: “O que você é capaz de fazer caso tenha recursos ilimitados e capital ilimitado?”. Então, mais uma vez, estamos presos a esta situação de provar versus amplificar.
A segunda coisa que precisa mudar é a nossa maneira de educar o mundo sobre inteligência artificial. A alfabetização em IA precisa de um tipo muito diversificado de educação e conjuntos de habilidades para termos sucesso. E acho que precisamos adotar isso em todas as instituições educacionais para que haja uma mudança.
Lareina Yee: Agora vou fazer algumas perguntas divertidas. Em termos de IA generativa, qual é o seu recurso favorito?
Navrina Singh: Talvez seja uma surpresa para você, ou talvez não, mas o inglês não é o meu primeiro idioma. Então eu uso o Google Bard [agora Gemini], o Claude 3 ou o GPT para escrever e-mails, para que eu possa me comunicar de uma maneira que seja recebida de forma muito mais positiva pelo destinatário.
Lareina Yee: Você também é uma mãe que pensa profundamente no mundo que vai deixar para a sua filha. Qual é a tecnologia que, ouso dizer, ela talvez use melhor do que você?
Navrina Singh: Eu diria que a tecnologia favorita dela no momento é o DALL-E. Ela é uma criança muito criativa, então o usa para gerar imagens.
Lareina Yee: Uma das coisas que você me contou foi que, na infância, usava a sua casa como laboratório para desmontar e remontar coisas. Qual foi o seu melhor experimento naquela época?
Navrina Singh: Nós vivíamos em comunidades que não tinham eletricidade constante. Então, um dos experimentos que fiz foi redirecionar a eletricidade de alguns dos meus vizinhos para ver quanta energia eu poderia gerar para a minha casa. Esse experimento não terminou bem, especialmente em relação aos meus pais. Mas todos os nossos vizinhos foram até a casa e quiseram entender os meus objetivos para aquele experimento. Eu era rebelde e insubmissa na infância e, quando não sabia os fatos, sempre queria buscar a verdade à minha maneira e fazer a minha própria averiguação. E a minha comunidade apoiava isso.