A fase de lua de mel com a IA generativa (gen AI, na abreviação em inglês) acabou. Como a maioria das organizações está descobrindo, é relativamente fácil criar pilotos de gen AI que causam sensação, mas transformá-los em capacidades em escala é outra história. A dificuldade em dar esse salto ajuda muito a explicar por que apenas 11% das empresas adotaram esse tipo de IA em escala, de acordo com nossas últimas pesquisas sobre tendências tecnológicas.1
Essa fase de amadurecimento é bem-vinda porque dá aos CIOs (diretores de informática) a oportunidade de transformar a promessa da gen AI em valor para a empresa. No entanto, embora a maioria dos CIOs saiba que os pilotos não refletem cenários do mundo real – afinal, esse não é o objetivo de um piloto –, eles geralmente subestimam o volume de trabalho que precisa ser feito para que a gen AI esteja pronta para a operacionalização. Em última análise, obter pleno valor da gen AI requer que as empresas reformulem sua maneira de trabalhar, e a implementação de uma base tecnológica escalável é parte fundamental desse processo.
Exploramos muitas das principais questões tecnológicas iniciais em um artigo anterior.2 No presente artigo, queremos explorar sete verdades sobre o ganho de escala da gen AI para a abordagem “Shaper”, na qual as empresas desenvolvem uma vantagem competitiva conectando grandes modelos de linguagem (LLMs) a fontes de dados e aplicativos internos (para saber mais, vide box “Três abordagens do uso da gen AI”). Aqui vão sete ações que os adeptos da abordagem “Shaper” precisam conhecer e executar:
- Elimine o ruído e foque no sinal. Seja franco sobre quais pilotos funcionaram. Reduza os experimentos. Direcione seu empenho à resolução de problemas importantes que a empresa enfrenta.
- Entenda que o importante é como as peças se encaixam, e não as peças em si. Gasta-se tempo demais avaliando componentes individuais de um mecanismo de gen AI. Muito mais importante é descobrir como eles funcionam juntos de forma segura.
- Tenha domínio sobre os custos antes que saiam do controle. Os modelos representam apenas cerca de 15% do custo total dos aplicativos de gen AI. Descubra onde há custos ocultos e empregue as ferramentas e capacidades certas para controlá-los.
- Contenha a proliferação de ferramentas e tecnologias. A proliferação de infraestruturas, LLMs e ferramentas tem inviabilizado as implantações em escala. Limite-se às capacidades que melhor atendem à empresa e aproveite os serviços de nuvem disponíveis (preservando a sua flexibilidade).
- Crie equipes capazes de gerar valor, e não apenas modelos. Para alcançar escala, é necessária uma equipe com uma ampla variedade de habilidades, não apenas para criar modelos, mas também para garantir que eles gerem o valor esperado com segurança.
- Busque os dados certos, e não os dados perfeitos. A definição de quais dados são mais importantes e o investimento em sua gestão ao longo do tempo afetam muito a rapidez com que você consegue dar escala.
- Reutilize para e não perder. Códigos reutilizáveis podem aumentar a velocidade de desenvolvimento de casos de uso de gen AI em 30% a 50%.
1. Elimine o ruído e foque no sinal
Embora muitos líderes de empresa reconheçam a necessidade de ir além dos pilotos e experimentos, isso nem sempre corresponde ao que acontece na prática. Mesmo com o aumento da adoção da gen AI, os exemplos de seu impacto real nos resultados financeiros são escassos. Apenas 15% dos entrevistados em nossa última pesquisa sobre IA afirmam estar observando um impacto significativo do uso da gen AI no lucro antes de juros e impostos (EBIT, na sigla em inglês) de sua empresa.3
Mais insights da McKinsey em português
Confira nossa coleção de artigos em português e assine nossa newsletter mensal em português.
Algo que agrava o problema é o fato de que os líderes estão extraindo lições enganosas de seus experimentos. Eles tentam pegar o que é basicamente um piloto de interface de chat e transformá-lo em um aplicativo – a clássica armadilha da “tecnologia em busca de uma solução”. Ou um piloto pode ser considerado “bem-sucedido”, mas não ser aplicado a uma parte importante da empresa.
Há muitos motivos para o fracasso no ganho de escala, mas o principal é que os recursos e o foco dos executivos estão dispersos em dezenas de iniciativas de IA em andamento. Esse não é um fato novo. Vimos um padrão semelhante quando surgiram outras tecnologias, da nuvem ao advanced analytics. Porém, as lições tiradas dessas inovações não se cristalizaram.
A decisão mais importante que um CIO precisará tomar é eliminar os pilotos de baixo desempenho e ampliar aqueles que são tecnicamente viáveis e prometem abordar áreas importantes da empresa, ao mesmo tempo em que minimizam os riscos (Quadro 1). O CIO precisará trabalhar em estreita colaboração com os líderes das unidades de negócios na definição das prioridades e no tratamento das implicações técnicas de suas escolhas.
2. Entenda que o importante é como as peças se encaixam, e não as peças em si.
Em muitas discussões, ouvimos os líderes de tecnologia entrarem excessivamente em detalhes nas decisões sobre os componentes necessários às soluções de gen AI – LLMs, interfaces de programação de aplicativos (APIs, na sigla em inglês) e assim por diante. O que estamos aprendendo, contudo, é que equacionar essas peças individuais é relativamente fácil, enquanto integrá-las não é nada fácil. Isso cria uma enorme obstáculo para dar escala à gen AI.
O desafio está em orquestrar a variedade de interações e integrações em escala. Em geral, cada caso de uso precisa acessar vários modelos, bancos de dados vetoriais, bibliotecas prontas e aplicativos (Quadro 2). As empresas precisam gerir uma série de fontes (como aplicativos ou bancos de dados na nuvem, no local, de um fornecedor ou uma combinação destes), o grau de fidelidade (inclusive latência e resiliência) e os protocolos existentes (por exemplo, direitos de acesso). Quando um novo componente é adicionado para fornecer uma solução, ele cria um efeito cascata em todos os outros componentes do sistema, aumentando exponencialmente a complexidade da solução como um todo.
O segredo de uma orquestração eficaz é incorporar a expertise da organização em sua área e seu fluxo de trabalho à gestão do fluxo e do sequenciamento passo a passo dos modelos, dos dados e das interações de sistema de um aplicativo executado em uma base de nuvem. O componente principal de um mecanismo de orquestração eficaz é um API gateway, que autentica os usuários, garante a conformidade, registra os pares de solicitação e resposta (por exemplo, para ajudar a cobrar as equipes pelo uso) e encaminha as solicitações aos melhores modelos, inclusive os oferecidos por terceiros. O gateway também permite o monitoramento dos custos e proporciona às equipes de risco e conformidade uma maneira de acompanhar o uso de maneira escalável. Essa capacidade de gateway é crucial para a escala, pois permite que as equipes operem de forma independente, garantindo que sigam as práticas recomendadas (vide box “Os principais componentes da orquestração de modelos de gen AI”).
Porém, a orquestração das muitas interações necessárias para fornecer capacidades de gen AI é impossível sem uma automação eficaz de ponta a ponta. “Ponta a ponta” é a expressão principal aqui. Muitas vezes, as empresas automatizam elementos do fluxo de trabalho, mas o valor só é obtido com a automação da solução como um todo, desde o data wrangling (limpeza e integração dos dados) e a criação do pipeline de dados até o monitoramento do modelo e a análise dos riscos por meio da “política como código”. Nossas pesquisas mais recentes mostram que as empresas de alto desempenho em IA apresentam uma probabilidade três vezes maior, em relação a seus pares, de ter testes e validação embutidos no processo de lançamento de cada modelo.4 Uma plataforma de MLOps moderna é essencial para ajudar a gerir esse fluxo automatizado e, de acordo com a análise da McKinsey, pode acelerar a operacionalização em dez vezes, além de permitir o uso mais eficiente dos recursos de nuvem.
Os modelos de gen AI podem gerar resultados inconsistentes devido à sua natureza probabilística ou às frequentes mudanças nos modelos subjacentes. As versões dos modelos podem ser atualizadas semanalmente, o que significa que as empresas não podem se dar ao luxo de formar a capacidade de orquestração e deixá-la rodando em segundo plano. Elas precisam desenvolver capacidades de observação e triagem hiperatentas para implementar a gen AI com rapidez e segurança. As ferramentas de observabilidade monitoram as interações do aplicativo de gen AI com os usuários em tempo real, acompanhando métricas como tempo de resposta, exatidão e pontuações de satisfação dos usuários. Se um aplicativo começa a gerar respostas inexatas ou inadequadas, a ferramenta alerta a equipe de desenvolvimento para que investigue e faça quaisquer ajustes necessários nos parâmetros dos modelos, nos modelos de prompt ou no fluxo da orquestração.
3. Tenha domínio sobre os custos antes que saiam do controle
Devido à pura e simples escala do uso de dados pela gen AI e das interações com os modelos, os custos podem sair do controle rapidamente. A gestão desses custos terá um enorme impacto sobre a capacidade dos CIOs de gerir programas de gen AI em escala. Mas entender o que aumenta os custos é crucial para esses programas. Os próprios modelos, por exemplo, representam apenas cerca de 15% de uma iniciativa de projeto típica.5 Os custos dos LLMs caíram significativamente ao longo do tempo e continuam caindo.
Os CIOs devem focar sua energia em quatro realidades:
-
A gestão de mudanças é o maior custo. Nossa experiência mostra que uma boa regra prática de gestão dos custos de gen AI é que, para cada $ 1 gasto no desenvolvimento de um modelo, é necessário gastar cerca de $ 3 na gestão de mudanças. (A título de comparação, no caso das soluções digitais, a proporção costuma ser mais próxima de $ 1 gasto no desenvolvimento para $ 1 gasto na gestão de mudanças.6) A disciplina na gestão da variedade de ações de mudança, desde o treinamento do seu pessoal até a atuação como modelo de conduta (“role modelling”) e o acompanhamento ativo do desempenho, é crucial para a gen AI. Nossa análise mostra que as empresas de alto desempenho apresentam uma probabilidade quase três vezes maior, em relação às outras, de ter uma sólida infraestrutura de gestão do desempenho, como indicadores-chave de desempenho (KPIs, na sigla em inglês), para medir e monitorar o valor da gen AI. Também apresentam duas vezes mais probabilidade de ter treinado funcionários não técnicos bem o suficiente para entenderem o valor potencial e os riscos associados ao uso da gen AI no trabalho.7
As empresas têm sido particularmente bem-sucedidas em lidar com os custos da gestão de mudanças por meio de um foco em duas áreas: primeiro, envolvendo os usuários finais no desenvolvimento da solução desde o princípio (muitas vezes, as empresas simplesmente criam uma interface de chat para um aplicativo de gen AI) e, segundo, envolvendo seus melhores funcionários no treinamento dos modelos para garantir que estes aprendam de forma rápida e correta.
- Os custos de execução são maiores do que os custos de desenvolvimento de aplicativos de gen AI. Nossa análise mostra que é muito mais caro executar modelos do que desenvolvê-los. A mão de obra e o uso dos modelos de base são os principais fatores desses custos. A maioria dos custos de mão de obra se refere à manutenção dos modelos e dos pipelines de dados. Estamos constatando que, na Europa, incorre-se em custos significativos de gestão de riscos e conformidade.
- A redução dos custos dos modelos é um processo contínuo. Decisões relacionadas ao projeto da arquitetura de gen AI, por exemplo, podem levar a variações de custo de 10 a 20 vezes, em alguns casos mais do que isso. Há uma série de ferramentas e capacidades de redução de custos disponíveis, como o pré-carregamento de embeddings. Essa não é uma atividade que se faz uma vez só. O processo de otimização de custos leva tempo e requer várias ferramentas, mas, se bem-feito, pode reduzir os custos de um dólar por consulta para menos de um centavo (Quadro 3).
- Os investimentos devem ser vinculados ao retorno do investimento (ROI). Nem todas as interações com a gen AI precisam ser tratadas da mesma forma e, portanto, nem todas devem ter o mesmo custo. Uma ferramenta de gen AI que responda a perguntas dos clientes em tempo real, por exemplo, é essencial para a experiência do cliente e exige baixa latência, o que é mais caro. Porém, as ferramentas de documentação de código não precisam ser tão responsivas e, portanto, podem ser executadas de forma mais barata. A nuvem desempenha um papel crucial na geração de ROI porque sua principal fonte de valor é o apoio ao crescimento dos negócios, sobretudo o apoio a soluções de analytics em escala. O objetivo aqui é desenvolver uma disciplina de modelagem que incorpore o foco no ROI a cada caso de uso de gen AI sem se perder em rodadas intermináveis de análise.
4. Contenha a proliferação de ferramentas e tecnologias
Muitas equipes ainda estão promovendo seus próprios casos de uso e, muitas vezes, criam seus próprios ambientes, o que faz com que as empresas tenham de dar suporte a várias infraestruturas, LLMs, ferramentas e abordagens de ganho de escala. De fato, em uma pesquisa recente da McKinsey, os entrevistados citaram o “excesso de plataformas” como o principal obstáculo tecnológico à implementação da gen AI em escala.8 Quanto mais infraestruturas e ferramentas, maior a complexidade e o custo das operações, o que, por sua vez, inviabiliza as implementações em escala. Esse estado de coisas é semelhante aos primórdios da nuvem e do software como serviço (SaaS, na sigla em inglês), quando o acesso à tecnologia era tão fácil – muitas vezes exigindo apenas um cartão de crédito –, que um “velho oeste” de ferramentas em proliferação gerou confusão e riscos.
Para alcançar escala, as empresas precisam de um conjunto gerenciável de ferramentas e infraestruturas. Pois bem, mas como saber quais provedores, hosts, ferramentas e modelos escolher? O segredo é não perder tempo em rodadas intermináveis de análise sobre decisões que não importam muito (por exemplo, a escolha de LLMs é menos crítica, por estarem se tornando commodities) ou em situações nas quais, para começar, não há muita escolha – por exemplo, se você conta com um provedor de serviços de nuvem (CSP, na sigla em inglês) principal que tem a maior parte dos seus dados e se os seus talentos sabem trabalhar com o CSP, você provavelmente deve escolher a oferta de gen AI desse provedor. Aliás, os principais CSPs estão lançando novos serviços de IA que podem ajudar as empresas a melhorar os aspectos econômicos de alguns casos de uso e abrir acesso a novos casos. O aproveitamento desses serviços pelas empresas depende de muitas variáveis, como sua própria maturidade com relação à nuvem e a robustez de suas bases de nuvem.
O que de fato requer uma reflexão detalhada é como desenvolver a sua infraestrutura e os seus aplicativos de forma a ter flexibilidade para trocar de provedor ou de modelo com relativa facilidade. Cogite adotar padrões amplamente utilizados pelos provedores (como o KFServing, uma solução sem servidores para implantar modelos de gen AI), o Terraform para infraestrutura como código e LLMs de código aberto.
Vale enfatizar que o excesso de engenharia para obter flexibilidade acaba resultando em retornos decrescentes. A manutenção de uma infinidade de soluções fica cara, dificultando o aproveitamento total dos serviços oferecidos pelos provedores.
5. Crie equipes capazes de gerar valor, e não apenas modelos
Um dos maiores problemas que as empresas estão enfrentando é que ainda estão tratando a gen AI como um programa de tecnologia, e não como uma prioridade ampla da empresa. As iniciativas tecnológicas anteriores demonstram, porém, que a geração de valor nunca é uma questão de tecnologia pura e simples. Para que a gen AI tenha um impacto real, as empresas precisam montar equipes capazes de levá-la para além da área de TI e incorporá-la aos negócios. As lições do passado também se aplicam aqui. As práticas ágeis aceleraram o desenvolvimento técnico, por exemplo. Mas o maior impacto só veio quando outras partes da organização – como os especialistas em risco e em negócios – foram integradas às equipes, juntamente com a gestão de produtos e a liderança.
Existem vários arquétipos para garantir essa integração organizacional mais ampla. Algumas empresas criaram um centro de excelência para atuar como câmara de compensação destinada a priorizar os casos de uso, alocar recursos e monitorar o desempenho. Outras empresas dividem as tarefas estratégicas e táticas entre as equipes. O arquétipo que faz sentido para uma determinada empresa dependerá dos talentos disponíveis e das realidades locais. Todavia, o crucial é que essa área centralizada permita uma estreita colaboração entre os líderes de tecnologia, de negócios e de riscos e seja disciplinada ao seguir protocolos comprovados para conduzir programas bem-sucedidos. Isso pode incluir, por exemplo, análises trimestrais de negócios para acompanhar as iniciativas em relação a objetivos específicos e resultados-chave (OKRs, na sigla em inglês), além de intervenções para resolver problemas, realocar recursos ou encerrar iniciativas de baixo desempenho.
Uma função crítica dessa estrutura administrativa é garantir que protocolos de risco eficazes sejam implementados e seguidos. As equipes de desenvolvimento, por exemplo, precisam mapear os possíveis riscos associados a cada caso de uso; protocolos técnicos e de “humanos no circuito” precisam ser implementados em todo o ciclo de vida do caso de uso. Esse órgão de supervisão também precisa ser incumbido de gerir os riscos da gen AI, avaliando as exposições e implementando estratégias de mitigação.
Um problema a evitar é gerir apenas o fluxo de casos de uso táticos, sobretudo quando o volume é grande. Essa organização central precisa receber a incumbência de agrupar casos de uso correlatos, a fim de garantir o impacto em larga escala e gerar ideias amplas. Essa equipe precisa atuar como guardiã do valor, e não apenas como gestora do trabalho.
Uma empresa de serviços financeiros implementou protocolos de governança claramente definidos para a alta administração. Um grupo diretor apoiado pelo CIO e pelo diretor de estratégia focava na governança, na estratégia e na comunicação da empresa, conduzindo a identificação e as aprovações de casos de uso. Um grupo de capacitação apoiado pelo CTO (diretor de tecnologia) focava em decisões sobre arquitetura de dados, ciência de dados, engenharia de dados e desenvolvimento de recursos essenciais de capacitação. O CTO também exigiu que pelo menos um arquiteto experiente se juntasse a uma equipe de casos de uso no início do processo para garantir que a equipe usasse os padrões e conjuntos de ferramentas estabelecidos. Essa clareza na supervisão e na governança foi crucial para ajudar a empresa a passar da gestão de apenas cinco para mais de 50 casos de uso em seu pipeline.
6. Busque os dados certos, e não os dados perfeitos
A ideia errônea de que a gen AI pode simplesmente vasculhar os dados necessários e dar sentido a eles ainda é amplamente difundida. Contudo, as soluções de gen AI de alto desempenho simplesmente não são possíveis sem dados limpos e exatos, o que requer trabalho e foco reais. As empresas que investem nas fundações de dados para gerar dados de boa qualidade direcionam seus esforços com cuidado.
Veja o processo de rotulagem, que muitas vezes oscila entre a busca da perfeição para todos os dados e a completa negligência. Descobrimos que o investimento em rotulagem direcionada – especialmente de dados usados na geração aumentada de recuperação (RAG, na sigla em inglês de “retrieval-augmented generation”) – pode ter um impacto significativo na qualidade das respostas às consultas feitas à gen AI. Da mesma forma, é fundamental investir tempo para classificar a importância das fontes de conteúdo (“ponderação da autoridade”), o que ajuda o modelo a entender o valor relativo de diferentes fontes. Para que isso seja feito corretamente, é necessária uma supervisão humana significativa por parte de pessoas com conhecimentos especializados pertinentes.
Como os modelos de gen AI são muito instáveis, as empresas precisam fazer a manutenção de suas plataformas à medida que novos dados são adicionados, o que acontece com frequência e pode afetar o desempenho dos modelos. Isso fica muito mais difícil na maioria das empresas porque os dados relacionados estão em diversos lugares. As empresas que investiram na criação de produtos de dados estão à frente das outras porque têm uma fonte de dados bem-organizada para usar em modelos de treinamento ao longo do tempo.
Em uma empresa de produtos de ciência dos materiais, por exemplo, várias equipes acessavam as informações dos produtos, mas cada uma tinha uma versão diferente. O departamento de P&D tinha fichas de segurança de materiais, as equipes de engenharia de aplicação (equipes de suporte / vendas técnicas) desenvolviam sua própria versão para encontrar soluções para chamadas específicas de clientes, as equipes de comercialização tinham descrições de produtos, e as equipes de suporte ao cliente tinham um conjunto de detalhes específicos dos produtos para responder a consultas. À medida que cada equipe atualizava sua versão das informações dos produtos, surgiam conflitos, o que dificultava o uso dos dados pelos modelos de gen AI. Para resolver esse problema, a empresa está reunindo todas as informações pertinentes dos produtos em um só lugar.
7. Reutilize para não perder
O código reutilizável pode aumentar a velocidade de desenvolvimento de casos de uso de gen AI em 30% a 50%.9 Porém, na pressa de fazer avanços significativos, as equipes geralmente se concentram em casos de uso individuais, o que diminui qualquer esperança de alcançar escala. Os CIOs precisam direcionar as energias da empresa para a criação de soluções transversais capazes de atender a vários casos de uso. De fato, descobrimos que as empresas de alto desempenho em gen AI apresentam uma probabilidade quase três vezes maior de ter fundamentos de gen AI criados estrategicamente para permitir a reutilização em todas as soluções.10
No entanto, ao se comprometer com a reutilização, é fácil ficar preso no desenvolvimento de capacidades abstratas de gen AI que não são usadas, mesmo que, tecnicamente, seja fácil fazer isso. Uma maneira mais eficaz de criar ativos reutilizáveis é fazer uma análise disciplinada de um conjunto de casos de uso, normalmente de três a cinco, para verificar suas necessidades ou funções comuns. As equipes podem, então, criar esses elementos comuns como ativos ou módulos que possam ser facilmente reutilizados ou unidos para criar uma nova capacidade. O pré-processamento e a ingestão de dados, por exemplo, podem incluir, como módulos distintos, um mecanismo de data chunking (fragmentação de dados), um carregador de dados e metadados estruturados e um transformador de dados. Um banco europeu analisou quais de suas capacidades poderiam ser usadas em uma ampla gama de casos e investiu no desenvolvimento de um módulo sintetizador, um módulo tradutor e um módulo de análise de sentimentos.
Os CIOs não podem esperar que isso aconteça de forma orgânica. Eles precisam designar um profissional, como o responsável pela plataforma, e uma equipe multifuncional incumbida de desenvolver ativos reutilizáveis para as equipes de produtos (Quadro 4), ativos estes que podem incluir ferramentas, estruturas e códigos aprovados.
O valor que a gen AI pode gerar é transformador. Mas a captura de todo esse valor só ocorrerá quando as empresas utilizarem a gen AI em escala. Isso requer que os CIOs não apenas reconheçam verdades difíceis, mas estejam prontos para agir de acordo com elas para levar a empresa adiante.