A IA generativa (genAI) é um avanço tecnológico que arrebatou a atenção de governos, líderes empresariais e do público em geral. Mas traz consigo desafios singulares para os profissionais responsáveis por gerir seus perigos – existentes e potenciais. Neste episódio do podcast Inside the Strategy Room, Ida Kristensen, colíder da Prática de Riscos e Resiliência da McKinsey, e Oliver Bevan, gestor de riscos corporativos, conversam com Sean Brown, diretor global de marketing e comunicações da Prática de Estratégia e Finanças Corporativas, sobre as maneiras como líderes empresariais poderão dar conta do impacto sem precedentes dessa tecnologia.
Mais insights da McKinsey em português
Confira nossa coleção de artigos em português e assine nossa newsletter mensal em português.
Esta é uma transcrição editada da sua conversa.
Sean Brown: Considerando o quanto essa tecnologia é recente, o vigor de sua evolução, desenvolvimento e implantação é quase inacreditável. Todavia, como acontece com toda nova tecnologia, existem riscos – talvez ainda mais com esta do que com algumas outras. Ida, você tem visto seus clientes adotarem a IA generativa em larga escala?
Ida Kristensen: Os primeiros a adotá-la estão incrivelmente entusiasmados. Mas também temos visto muitos que são bastante céticos e dizem: “Bem, talvez seja melhor esperar um pouco para ver como as coisas se desenrolam”. Na McKinsey, estamos inteiramente do lado daqueles que afirmam: “A genAI veio para ficar. Ela oferece oportunidades estratégicas fantásticas em todos os setores de atividade e em quase tudo aquilo que uma empresa faz.”
Mas existe um caminho a ser seguido para extrairmos seus benefícios verdadeiramente assombrosos. Também acreditamos que a ideia de “esperar para ver” não é viável. A genAI está se tornando um imperativo estratégico. E como estamos falando sobre ela do ponto de vista dos riscos, outra forma de dizer a mesma coisa é que existe um risco estratégico substancial em não mergulhar nessa onda.
Dito isto, existem, de fato, alguns riscos reais associados à implantação da IA generativa. Para que uma organização tenha sucesso, uma estratégia defensiva, mas também ofensiva, é necessária.
Sean Brown: Pois, então, Oliver, em vista de todos esses riscos, qual é a dinâmica regulatória à qual as empresas precisam ficar atentas?
Oliver Bevan: É importante compreender como diferentes jurisdições estão adotando diferentes abordagens para encarar os riscos da IA generativa e decidir como desejam geri-los.
Isso é significativamente diferente do que vimos nos primeiros dias da privacidade de dados. No caso da privacidade de dados, havia a sensação de que o GDPR1 [Regulamento Geral de Proteção de Dados] realmente desbravara o caminho. Muitos de nossos clientes adaptaram suas estruturas existentes de privacidade de dados ao GDPR e depois pensaram em adaptá-las em escala global tomando o GDPR como base.
Vimos muita legislação subsequente seguindo os passos do GDPR. Parte do que ocorreu na Califórnia também foi diretamente inspirado no GDPR. Mas temos a sensação de que as coisas serão bem mais complicadas no caso da IA generativa.
Para grande parte do setor público, é bastante claro quanto valor está em jogo e o quanto a IA poderá afetar diretamente os cidadãos. Obviamente, os riscos dizem respeito à privacidade de dados, segurança cibernética e consentimento em torno dos deepfakes (que poderão vir a ter impacto significativo em eleições e outros eventos públicos).
É por isso que muitos atores públicos adotaram uma abordagem muito mais proativa em relação à genAI e ao modo como as organizações devem reagir. Isso é especialmente verdadeiro para quem atua em múltiplas jurisdições e tem de lidar com mudanças regulatórias. Adaptar e incorporar essas respostas à abordagem da empresa será extremamente importante.
Sean Brown: Como os riscos e o cenário regulatório diferem entre a genAI e alguns dos outros avanços em inteligência artificial, como machine learning?
Oliver Bevan: Minha perspectiva é de que a IA analítica (a inteligência artificial desenvolvida a partir de machine learning antes do advento da IA generativa) está ancorada basicamente em dois elementos principais.
Um é a privacidade de dados, ou seja, considerações do tipo: “Como esses modelos utilizam os dados? De que maneiras estamos combinando dados para realizar análises sintéticas ou aumentar o potencial de resultados positivos?”
O segundo elemento, na verdade, são questões relativas à imparcialidade ou equidade da estrutura de modelos. Estamos todos cientes de que esses modelos tendem, infelizmente, a produzir resultados bastante divergentes dependendo de estarmos olhando para este ou aquele tom de pele ou para este ou aquele gênero. A IA analítica suscitou muitos temores, especialmente nos Estados Unidos, no que diz respeito às leis antidiscriminatórias na locação ou aquisição de imóveis e à otimização das decisões de crédito dos serviços financeiros.
E hoje há uma conscientização cada vez maior dos desafios envolvendo a explicabilidade, por exemplo.
Obviamente, existe potencial para deepfakes e utilização mal-intencionada da IA generativa, pois a tecnologia é capaz de criar fac-símiles realistas e bastante convincentes de identidades individuais ou corporativas, o que cria gigantescos riscos e imensos desafios reputacionais – também para os governos.
Ida Kristensen: A evolução tem sido muito rápida; contudo, não deixa de ser uma evolução de riscos que existem há bastante tempo, com algumas variantes.
Existe o aspecto da imparcialidade: na maioria dos setores de atividade, parte da solução tem sido tornar o funcionamento dos modelos verdadeiramente transparente. Assim, se tivermos um modelo analítico mais tradicional, devidamente regulamentado ou não, somos capazes de explicar exatamente o que ele faz. Este é um dos motivos pelos quais precisamos ter confiança na equidade do modelo.
As coisas são muito diferentes no caso da IA generativa, porque a explicabilidade desses modelos, sejamos sinceros, deixa muito a desejar. Embora os riscos possam ser os mesmos, será muito interessante ver como diferentes empresas e reguladores vão reagir a algo que não pode ser aberto e dissecado – algo que nos obriga a confiar em outros indicadores para nos assegurarmos de sua imparcialidade.
Sean Brown: Em termos de riscos, você vê alguma área em que tanto governos como reguladores estejam focando? Ou trata-se principalmente da explicabilidade?
Oliver Bevan: O mais importante é entender mais a fundo como esses modelos funcionam e como quem os utiliza pode ter confiança de que eles produzirão resultados que possam ser explicados de alguma forma.
A explicabilidade é um desafio fundamental nos modelos de IA generativa, assim como as origens dos dados utilizados no seu treinamento. Há muita discussão agora sobre as chamadas “marcas d’água” da genAI. Você é capaz de dizer se algo foi gerado por inteligência artificial ou por nossos processos criativos tradicionais?
Isso desemboca na questão da propriedade intelectual. Suspeito que, em vista das múltiplas eleições que se aproximam em todo o mundo, haverá muito interesse nessas dinâmicas por parte dos governos. Também é extremamente importante refletir sobre a confiança do público nesses sistemas e sobre o quanto as pessoas estarão dispostas a utilizá-los e a se engajarem com eles.
Ida Kristensen: Ninguém ficará chocado se dissermos que ainda estamos engatinhando na regulamentação. Esperamos muito mais pela frente, incluindo regulamentações específicas para setores específicos. Não há dúvida de que os serviços financeiros terão regulamentação própria adicional. De modo que pensar em grandes temas é a maneira certa de ir adiante aqui. Tentar otimizar o que já existe seria uma estratégia míope e de vida muito curta.
Sean Brown: No caso de empresas que já estão nisso há algum tempo, quais princípios elas adotaram para garantir o uso seguro da genAI?
Ida Kristensen: Para começar, nunca se deve deixar as máquinas funcionando por conta própria, pois sempre há algum aspecto humano envolvido. As respostas dadas pelos modelos devem ser utilizadas como insumos para decisões humanas, não como decisões definitivas.
A boa notícia é que a genAI torna muito mais fácil realizar múltiplos testes rápidos de imparcialidade. Ela pode ser uma verdadeira fonte para o bem – inclusive em termos de implementar recursos robustos para a gestão de riscos. Talvez a maior mudança em relação aos programas de IA responsável em que a maioria das organizações já vem trabalhando seja a transparência e a explicabilidade de que já falamos, e também o monitoramento e a avaliação.
Pois a história é totalmente outra quando se trata de ficar de olho na evolução da genAI ao longo do tempo. Assim, clientes com quem trabalhamos têm investido no monitoramento da genAI e perguntado: “Quais são os freios e funcionalidades adicionais que devemos implementar para nos sentirmos seguros com os resultados produzidos?”
Sean Brown: Há outros riscos correndo à solta por aí? Como as empresas devem pensar sobre toda a gama de riscos que podem surgir com a genAI?
Ida Kristensen: Uma grande preocupação é a qualidade da privacidade dos dados. Uma das coisas que fizemos na McKinsey, por exemplo, foi criar uma rede [banco de dados] com todos os nossos conhecimentos proprietários [e muito mais] e utilizá-la como dados de treinamento para alguns de nossos aplicativos. Isso significa que controlamos a qualidade dos dados que entram, o que nos dá bastante tranquilidade.
A utilização mal-intencionada da genAI tem ganhado muito destaque por causa dos deepfakes, golpes e fraudes. Basta imaginar algum mau-caráter capaz de se passar por você e escrevendo um e-mail pedindo ao seu tio que lhe transfira $1.000 amanhã. Sempre foi possível escrever e-mails assim e traduzi-los para qualquer idioma. Estamos todos cientes do risco pessoal que corremos e já nos acostumamos aos e-mails de spam. Mas antes eles costumavam “dar bandeira”, não? Eram mal escritos e continham erros ortográficos e coisas que simplesmente não faziam sentido. Hoje, porém, com a genAI, ficou muito mais fácil criar e-mails de spam de alta qualidade.
Por fim, existem riscos estratégicos e riscos de terceiros. Riscos estratégicos têm a ver com onde atuamos e como nos posicionamos competitivamente, além de todos os aspectos do nosso impacto social. Por exemplo, é sabido que a genAI usa enorme poder computacional; como isso se articula com nossos compromissos ambientais, sociais e de governança (ESG)? Para não falarmos nos efeitos mais amplos sobre os empregos.
E como tudo isso afeta a força de trabalho? Como refletir sobre nosso compromisso com nossos funcionários e sobre as mudanças que a genAI trará? Já mencionamos que esta tecnologia não irá reduzir o número líquido de empregos, mas é uma tecnologia que provocará transformações dramáticas no mercado de trabalho.
Essas são as verdadeiras questões com que temos de lidar.
Sean Brown: Se entendi bem, as consultas que fazemos à genAI podem efetivamente alimentar o modelo. Isso significa que precisamos monitorar o que os funcionários perguntam à genAI?
Ida Kristensen: Isso mesmo. É algo potencialmente assustador, não? Qualquer prompt a que o modelo responda se torna parte do seu corpo de dados. Portanto, sim, a maioria das empresas deve se preocupar com o que seus funcionários estão fazendo.
É preciso educar os funcionários. Não basta confiar apenas nas regras. Temos de garantir que os funcionários entendam as consequências de todo e qualquer prompt que insiram em um sistema.
Sean Brown: Eu adoraria falar um pouco mais sobre qual abordagem de modelo de gestão de riscos seria capaz de abranger todos esses novos riscos. Quais conselhos você tem dado a seus clientes sobre isso?
Oliver Bevan: Existem basicamente quatro categorias. A primeira é princípios e mecanismos de proteção. A segunda é estruturas. A terceira é implantação e governança. E a quarta é mitigação e monitoramento dos riscos.
Quanto aos princípios e mecanismos de proteção, é extremamente importante que a alta gestão tenha uma conversa franca e sincera sobre como e onde deseja utilizar a genAI, enquanto pensa em como segmentar os casos de uso. Algumas dúvidas que costumam surgir são considerações sobre até que ponto se deseja utilizar a genAI para personalizar o marketing, por exemplo, ou em avaliações de desempenho ou no engajamento direto com os funcionários.
Em relação às estruturas, Ida já falou sobre a taxonomia, de modo que não vou entrar nisso, exceto para notar que a genAI apresenta diferentes “sabores” de riscos e que há diferentes maneiras de lidar com eles. Ter algo que funcione é extremamente valioso para uma organização, pois ajudará a comunicar aos funcionários como eles devem refletir sobre a questão.
Quanto à identificação dos riscos, precisamos ter uma boa noção dos tipos de riscos que poderão surgir. O que muitos de nossos clientes estão fazendo é começar com casos de uso de baixo risco e fácil implementação. Isso lhes dá tempo não só para testarem os padrões de governança que instituíram como também para avaliarem os tipos de risco mais comuns a que os próprios casos de uso os tornam suscetíveis.
Sean Brown: Eu adoraria entender um pouco melhor como as empresas devem abordar a mitigação de riscos externos. No caso de ameaças à segurança, por exemplo, que tipos de medidas devem ser implementadas?
Ida Kristensen: O ideal é criar um mix de técnicas de gestão de risco testadas e comprovadas a partir do que já existe, turbinando algumas delas e adicionando algumas novas ferramentas.
Os funcionários precisam realmente entender o bê-á-bá dos riscos da IA generativa para ficarem alertas e saberem identificar e detectar quando algo acontecer. Reúna as pessoas em torno disso.
A segurança é uma área em que devemos combater a genAI com a genAI. A maioria das organizações está hoje bastante interessada nisso: “Como podemos utilizar ferramentas de IA generativa para turbinar nossa defesa cibernética, para turbinar a maneira como realizamos testes de intrusão [pentests], a maneira como avaliamos as diferentes camadas de segurança e aceleramos cada vez mais o tempo de detecção?” A detecção de intrusões precisará ser cada vez mais rápida e o intervalo entre detecção e desligamento do sistema precisará ser cada vez menor. Isso é supercrítico.
Sean Brown: Ida, você mencionou que podemos utilizar a IA para combater a IA. Como você utilizaria a genAI para identificar deepfakes, por exemplo? Posso imaginar um e-mail que pareça em tudo vir do CEO, instruindo-me a tomar certas medidas. Isso começa a parecer coisas que veríamos num filme.
Ida Kristensen: Será preciso haver algumas mudanças nos processos. Como mencionei, você talvez pense que, por estarmos tão acostumados a seguir instruções recebidos por e-mail, continuaremos agindo assim daqui para frente. Não mais! Hoje, se alguém recebe uma mensagem de voz, a política da empresa é nunca seguir as instruções sem antes ligar de volta para obter confirmação.
Existem controles e vistorias que podem ser implementados, é claro, mas nunca serão suficientes. Este é talvez o tópico mais importante que discutimos hoje. Sejamos francos: os controles sempre andam de mãos dadas com a conscientização dos funcionários. Ou seja, você precisará garantir que sempre haverá alguém que diga: “Isso não me cheira bem. Fulano nunca me deixou uma mensagem de voz antes…”
A gestão de riscos é obrigação de todos. Precisa ser incorporada à própria estrutura e à cultura de como trabalhamos juntos.
Sean Brown: Quais as práticas que você mais tem visto os clientes adotarem quando escalam a utilização interna da IA?
Oliver Bevan: Dependência excessiva de um pequeno grupo de especialistas. Obviamente, no início, quando se está construindo os casos de uso, é provável que os recursos internos disponíveis sejam limitados. Mas também haverá um grupo mais fanático de entusiastas que vão querer dedicar quase todo o seu tempo a trabalhar com a genAI. O pequeno grupo de especialistas logo ficará sobrecarregado com a expansão da genAI. Isso gerará muito atrito, muita frustração e tornará tudo mais lento.
Depender exclusivamente de fornecedores também é algo que não recomendamos, para falar a verdade, mesmo nas etapas iniciais. Há uma enorme variação entre o que os fornecedores de grandes modelos de linguagem e os outros ecossistemas terceirizados estão fazendo. Você precisa assumir a responsabilidade por uma diligência prévia de genAI e pensar no que é capaz de fazer internamente, em vez de confiar em soluções de segurança prontas para uso fornecidas por outros. Da mesma forma, simplesmente ter estratégias técnicas de mitigação não costuma ser suficiente.
Ainda temos muito a aprender sobre o funcionamento dos vários tipos de controles e mecanismos de mitigação. Portanto, é essencial incorporar fatores humanos e assegurar uma presença humana bem informada. Grupos de riscos e de desenvolvimento devem ser integrados assim que possível. Dadas a evolução e a dinâmica da genAI, é preciso estar ciente de que tudo isso continuará avançando e mudando ao longo do tempo, e que será preciso ter maneiras de acompanhar essa evolução para que o crescimento da genAI seja bem-sucedido e sustentável.
Sean Brown: Alguma reflexão final antes de encerrarmos?
Ida Kristensen: Sim. Se nossa discussão sobre riscos pareceu meio apocalíptica, pedimos desculpas. A meu ver, estamos diante da ideia clássica de construir freios melhores para andarmos mais depressa. É isso que é. Mas digamos que sou apenas uma profissional de riscos experiente.
Também estou incrivelmente entusiasmada com a ideia de que prevenir é melhor que remediar.2 É algo sobre o qual falamos há muitos anos, mas que tem sido difícil de implementar. Hoje, porém, existe tanto valor em jogo que começamos a ver a viabilidade de uma colaboração mais coerente, mais ágil, entre a gestão de riscos e o desenvolvimento da genAI. De modo que, sim, aproveitemos ao máximo o potencial dessa tecnologia, mas vamos também torcer para que todos consigamos trabalhar juntos e incorporar a gestão de riscos desde o início – o que deixaria uma tarimbada profissional como eu muito feliz.