CTO do BCG: Só 5% Usam a IA pela Qual Você Paga

O áudio e o vídeo estão em inglês. Estas notas são uma tradução.

Hoje entrevistei Matt Kropp, que lidera a área de IA na BCG, comanda uma equipe de três mil engenheiros e já deu cerca de quatrocentas palestras para conselhos e diretorias sobre o que essa tecnologia faz com os negócios deles.

Ele também é, segundo a própria descrição, um builder que dá consultoria. Começou a programar aos oito anos em um minicomputador do hospital onde o pai trabalhava, largou um doutorado em engenharia aeroespacial em 1995 porque a internet estava sendo inventada e vendeu sua primeira empresa no meio de um boom que foi de trezentos funcionários para dez mil e depois para o Chapter 7 em uns quatro anos.

É essa combinação que torna útil a leitura dele sobre o momento atual. Ele senta com os CEOs que assinam os cheques e com os laboratórios que constroem os modelos, e o número com que esbarra o tempo todo é este: em um grande banco com vinte mil engenheiros, a maioria dos quais recebeu uma ferramenta de programação, menos de cinco por cento de fato escrevem código com ela.

Estrutura e Principais Destaques

Um Médico, um Minicomputador e um Livro Chamado Instant Basic

• O pai era médico e, sem um motivo claro, era fascinado por computadores
• Havia uma máquina no hospital, e ele levava o filho de sete ou oito anos para brincar com ela
• O livro que o ensinou foi Instant Basic, lido de capa a capa, e que ainda está na estante dele
• Depois o pai comprou um computador para casa, o que no começo dos anos 1980 não era algo comum de se ter

Largando a Engenharia Aeroespacial em 1995 Porque um Colega de Quarto Cobrava US$ 8.000 por um Site

• Estudou engenharia aeroespacial na UCLA e começou um doutorado na área, mas desistiu: a indústria aeroespacial estava morrendo e a internet estava nascendo
• O gatilho foi banal. Um colega de quarto que era designer gráfico mostrou um site que estava fazendo e disse que o cliente estava pagando US$ 8.000 por ele
• A reação dele foi pensar que aquilo era um negócio, e os quatro fundaram uma agência de internet com mais ou menos esse capital
• Antes ele tinha recusado um estágio que não pagava nada e oferecia um laptop, uma conexão e um verão para descobrir o que era a internet. A comparação é dele: era o equivalente a um estágio na OpenAI em 2015

O Boom que Ele Viveu, e Por Que Diz que Este É Diferente

• Eles se fundiram com algumas agências e venderam para a US Web em 1997, quando a US Web tinha umas trezentas pessoas
• Quando ele saiu, em 2000, eram dez mil pessoas. Em 2001 veio o Chapter 7, e a empresa sumiu por completo
• Ele acertou o timing com suas ações, algo que, como ele mesmo aponta, a maioria das pessoas não fez
• A pergunta que ele recebe hoje em toda reunião de conselho é se estamos numa bolha e se há excesso de capacidade de computação
• A resposta dele separa as duas coisas. Em 2000 o potencial era real e a demanda não existia, com talvez cinquenta milhões de usuários de internet contra cinco bilhões hoje
• As empresas da Fortune 500, pela estimativa dele, estão entre dois e cinco por cento do caminho na adoção. Sobre computação, a frase dele é que não acha que temos o suficiente

Schlep Blindness, e a Vantagem de Não Ter Vivido um Crash

• Ele volta sempre ao ensaio de Paul Graham sobre schlep blindness e o recomenda aos fundadores
• O argumento: parte do que permite que fundadores jovens comecem é não saber quanto tempo e quanto sofrimento o trabalho vai exigir
• Alguém da idade dele sabe, e saber faz você não querer fazer
• Por isso, o fato de os fundadores de hoje nunca terem vivido um ciclo de boom e quebra é, na leitura dele, uma vantagem e não uma lacuna

A Cadeira de Abacate, e Por Que Ele Abre com uma História e Não com um Número

• O problema que ele resolve nessas salas é que o modelo mental de IA de todo mundo está congelado na última vez que testaram, muitas vezes o ChatGPT de seis meses atrás
• Ele mostra as imagens da cadeira de abacate do DALL·E em 2021: disformes, em baixa resolução, reconhecíveis como as duas coisas e boas como nenhuma
• Depois mostra um vídeo que fez com a Luma Labs, um documentário no estilo Architectural Digest sobre o designer de móveis que criou a cadeira de abacate, fotorrealista, com narração, música e entrevista
• Não existe designer nem cadeira. O prompt dele foi uma frase, e um agente produziu o resto
• O ponto não é o vídeo, e sim que eles sentem a inclinação de cinco anos e veem um agente raciocinando em direção a um objetivo
• Ele sabe que isso é incomum. A maioria dos colegas abre com algo utilitário, e o argumento dele é que você precisa primeiro do gancho emocional, senão ninguém escuta a parte útil
• Ele relaciona isso à Palantir, que entrega aos novos forward deployed engineers um livro sobre improvisação

Por Que Ele Consegue Vender Sem Vender

• A vantagem dele nessas salas, segundo ele, é que não está vendendo nada de imediato
• O que ele faz é educar, enquanto representa o que a firma consegue fazer
• A venda é a consequência natural, porque ele passou a hora inteira nomeando as partes difíceis, e eles sabem quem ajuda com as partes difíceis
• O conselho dele aos fundadores é construir a mesma posição: fazer o público sentir que você entende o problema dele antes de apresentar o seu

O Problema dos Cinco Por Cento

• Bancos são, na prática, grandes empresas de software, e um banco grande tem vinte mil engenheiros
• A maioria distribuiu ferramentas de programação, e muitos relatam sessenta ou setenta por cento de usuários ativos semanais
• Menos de cinco por cento de fato usam as ferramentas para escrever código
• O que ele diz aos engenheiros da própria equipe: se você escreve código à mão, está demitido. Não é uma opção
• A estimativa dele para que a distância entre as startups nativas de IA e todo o resto se feche é de três a cinco anos

Mil Flores Desabrochando, e as Três Coisas que Realmente Importam

• O modo de falha comum é o hackathon que produz 972 casos de uso, o que é outra forma de não ter nenhum
• A orientação dele aos clientes é escolher três, financiá-los, dar a cada um um responsável sênior que preste contas e, se a empresa for de capital aberto, prometê-los a Wall Street
• Como esses três ficam na prática: uma central de atendimento reconstruída em torno de voice bots, engenheiros adotando de verdade ou uma organização de marketing mudando a forma de trabalhar
• O resto da empresa é outro problema. Em RH ou no jurídico não existe um único grande retorno, só um monte de pequenas vitórias

Adoção É Coaching, Não Treinamento

• A sequência é indivíduo, depois equipe, depois processo, e pular direto para o final não funciona
• Eles fazem um treinamento curto de técnica e depois designam um coach, deliberadamente como um personal trainer: o valor não está na instrução, e sim em aparecer e cobrar você ao longo de meses
• Eles colocam um coach convertido à IA junto com os céticos, para que alguém mostre em vez de explicar
• Se só o indivíduo muda, ele termina o trabalho em um quarto do tempo e vai jogar golfe, e o resultado da equipe continua igual
• Quando a equipe muda, ela passa à frente de todo mundo e o gargalo simplesmente se desloca, em geral para produto não conseguir escrever specs rápido o bastante

Onde os Papéis Estão Convergindo

• O scrum master existe para manter organizado um squad de dez pessoas. O argumento dele é que você não quer um squad de dez
• O que ele chama de casal poderoso é um product manager que entende profundamente o cliente mais um engenheiro que entende a arquitetura
• QA vira agentes: agentes de código fazendo test driven development e, depois, um agente de validação rodando testes de aceitação pelo Playwright
• Product managers não deveriam escrever specs. Deveriam fazer protótipos com vibe coding

O Dilema do ERP, Contado por uma CEO do Varejo

• Uma amiga que comanda uma varejista contou que gastou bilhões com a SAP, um sistema que nem sequer expõe uma API, e assinou uma nova implementação de quase US$ 10 bilhões para que passe a expor
• O problema dela é que não consegue saber se algo disso terá valor no ano que vem, e também não pode apostar um sistema central em uma startup que talvez não exista no ano que vem
• O que ele tem ouvido de quatro ou cinco CEOs e CIOs: adiar a atualização e investigar a ideia de colocar uma camada de agentes sobre a versão antiga, reduzindo o ERP a um banco de dados
• Sobre o apocalipse do SaaS, ele desmonta a ideia. Alguns produtos serão absorvidos pelos fornecedores de modelos ou reconstruídos internamente, porque construir ficou barato
• O que sobrevive: coisas que você não quer manter, produtos com efeitos de rede reais e sistemas de registro tão centrais que mexer neles é puro risco

Competição Baseada em Tokens, e o Número por Trás Dela

• O enquadramento dele é que inteligência e expertise eram escassas e já não são. O que continua escasso é o julgamento
• Se todo mundo tem a mesma inteligência, as empresas que vencem são as que maximizam o uso produtivo de tokens, o que não é o mesmo que queimá-los
• A BCG fez uma parceria com o Cursor para obter dados de consumo de tokens e cruzou esses dados com o crescimento de 107 empresas de capital aberto
• O quintil superior em uso de tokens cresceu 15%. O quintil inferior cresceu 5%. Ele tem o cuidado de chamar isso de correlação, não de causalidade, mas a diferença é grande
• A conclusão dele para os CFOs: se os tokens virarem uma fatia relevante da folha de pagamento, isso não é um problema de custo, é a folha sendo amplificada
• Ele culpa o timing. A IA chegou quando as empresas estavam focadas em cortar custos, e a ficção científica já tinha treinado todo mundo a pensar em termos de substituição
• Sobre demissões, ele é direto: se toda empresa demitir trinta por cento do quadro, nós afundamos a economia, e enquadrar a IA desse jeito é falta de imaginação
• Ele gostou de uma ideia do fundador da OpenRouter: tratar um funcionário como salário mais tokens, uma linha variável, e incluir o uso de tokens na avaliação de desempenho

O que Falta para os Agentes Chegarem a Todo Mundo

• A próxima onda nas empresas é dar agentes a cada trabalhador do conhecimento, e ele não acha que alguma plataforma esteja pronta para isso
• As opções existentes se dividem entre ferramentas para desenvolvedores, que deixam de fora a maior parte da empresa, e interfaces de chat, que servem para algumas tarefas
• A conta que o preocupa: a BCG tem 35.000 funcionários, dez agentes para cada um são 350.000 agentes, e hoje nada diz se eles são precisos, se estão rodando, se estão bem conectados ou se são seguros
• Ele também acha que o problema da interface não está resolvido. Um produto SaaS B2B era uma interface sob medida e de alta largura de banda sobre um banco de dados, e o chat é de uso geral com talvez um centésimo dessa largura de banda
• Os projetos dele colocam a lógica central por trás do chat como um plugin, com uma interface web secundária que o próprio agente pode alterar

Por Que uma Empresa de Software Não Deve Virar uma Empresa de Serviços

• A resposta dele sobre serviços e software se fundindo é não, e entrar em serviços é um erro
• O motivo é o de sempre: você vai ser avaliado como empresa de serviços, não com um múltiplo de dez ou vinte vezes
• A Palantir é uma empresa de software que por acaso tem forward deployed engineers. Empresas de software sempre tiveram um braço de serviços e sempre o mantiveram abaixo de vinte por cento da receita
• O resto são parceiros e integradores de sistemas, e ele espera o mesmo modelo com a IA
• Ele descreve empresas indo aos laboratórios pedir ajuda com implementação e os laboratórios respondendo que não têm engenheiros sobrando, e é a isso que a Deployco responde. Fazer modelos é outro negócio

Vesica, a Empresa Sem Humanos

• O experimento: uma empresa com zero humanos, agentes tomando todas as decisões, ele como governador com poder de veto, mas com uma regra pessoal de não decidir nada
• Os agentes escolheram os próprios nomes. Apex era o CEO, Forge comandava engenharia, além de agentes de marketing e de blog
• No primeiro dia veio a ideia, no segundo a constituição, e no terceiro já havia uma especificação completa de produto e uma primeira versão. Funcionou por uns dois meses
• Eles construíram uma plataforma multiagente realmente impressionante, com telefonia, e-mail, suporte por voz e uma fábrica de software, e o produto que escolheram foi uma plataforma para empresas com zero humanos
• O que matou o projeto foi um almoço. Jim Hornthal passou a ideia pela própria IA de avaliação de negócios, que voltou com dez startups fazendo a mesma coisa, várias delas financiadas
• O pior não foi a concorrência, e sim os números que esses concorrentes publicavam: tráfego, cadastros e nenhum negócio real sendo criado
• A leitura dele sobre agentes: eles levam você a oitenta por cento do caminho, nunca cortam nada, nunca terminam e deixaram passar a única pergunta que importava
• A parte humana que ele acha que não desaparece é o julgamento, que ele associa a ter um corpo, relações e algo a perder
• O modelo dele de futuro é a Midjourney, com um punhado de pessoas e cem milhões de receita. Equipes pequenas fazendo coisas grandes, não equipes de zero

Quem Está na Frente, Quem Está Dormindo e o que o Vale Não Está Vendo

• O setor que se moveu primeiro é o de seguros, o que surpreende as pessoas até que percebem que uma seguradora é uma pilha de documentos: apólices e sinistros
• Depois vêm bancos e software. Manufatura e bens industriais em geral dizem que isso não se aplica a eles até os robôs chegarem
• O alerta dele é que robôs humanoides com raciocínio, linguagem e destreza estão mais perto do que eles pensam, e os drones mudaram a guerra em poucos anos
• O cenário que ele descreve não é um atacante do Vale do Silício, e sim o concorrente tradicional ao lado comprando cem humanoides e rodando turnos 24 horas por dia
• O ponto cego do próprio Vale, na visão dele, é uma cegueira deliberada sobre o quanto os modelos vão simplesmente absorver
• Ele está vendo CEOs nativos de IA dizerem em voz alta que não sabem se estarão por aí daqui a um ano, porque a fatia deles pode virar só uma funcionalidade do Claude
• O jurídico é o exemplo dele de incerteza genuína: Harvey e Legora podem construir um fosso defensável, ou o ChatGPT pode virar um advogado bom o bastante para que nada disso importe
• Sobre soberania de dados, ele duvida que o treinamento seja o medo real, já que os contratos corporativos já o proíbem. O medo real é ficar refém de um monopólio
• O open source, seis a nove meses atrás da fronteira, é o que limita quanta renda os laboratórios conseguem extrair

O que Ele Diz aos Próprios Filhos

• O mais novo estuda administração na BU e passou o verão fazendo vibe coding para uma ONG de educação, o que Matt chama do melhor uso possível desse tempo
• O conselho dele é começar algo ou entrar em algo pequeno aos vinte e poucos anos, quando o custo do fracasso é menor
• O mais velho está na faculdade de medicina e se interessa por neurologia, o que ele apoia: o estudo deles sobre exposição coloca os médicos entre os menos afetados
• O agradecimento final foi para o seu mentor na BCG, Jean-Manuel Izaret, que o levou para a equipe dele logo no início e é o motivo de ele ter ficado, e de ter voltado

Glossário do Vale do Silício

Pessoas, Empresas e Referências

Pessoas Mencionadas

• Matt Kropp: lidera a área de IA na BCG, comanda uma equipe de três mil engenheiros, cerca de quatrocentas palestras para conselhos
• Paul Graham: o ensaio sobre schlep blindness que ele recomenda aos fundadores
• Dario Amodei: citado por meio do país de gênios em um data center
• Jim Hornthal: empreendedor serial cuja IA de avaliação, Glider, encerrou o experimento Vesica durante um almoço
• Jean-Manuel Izaret: seu mentor na BCG, o motivo de ele ter ficado e voltado
• Enzo Cavalie: apresentador do podcast

Empresas e Organizações

• BCG: 35.000 funcionários, e os três mil engenheiros que ele lidera
• US Web: comprou a agência dele em 1997 com trezentas pessoas, chegou a dez mil em 2000, Chapter 7 em 2001
• Cursor: forneceu à BCG os dados de consumo de tokens por trás do estudo de crescimento
• Luma Labs: o modelo de vídeo por trás do falso documentário da cadeira de abacate
• OpenAI, Anthropic: os laboratórios aos quais as empresas pedem ajuda com implementação, que não é o negócio deles
• Palantir: o exemplo dele de software com FDEs, e não de empresa de serviços
• Factory: a empresa de agentes de código cujos clientes pedem para aprender como ela funciona internamente
• Midjourney: o modelo dele de futuro, um punhado de pessoas e cem milhões de receita
• Harvey, Legora: as empresas de IA jurídica cujo fosso ele considera genuinamente incerto
• SAP: o ERP por trás do dilema de dez bilhões de dólares que uma CEO do varejo descreveu a Enzo
• Vesica: o experimento dele de empresa com zero humanos, batizada pelos próprios agentes
• OpenRouter: origem da ideia de salário mais tokens

Números para Guardar

• Menos de 5%: engenheiros de um grande banco escrevendo código com IA, contra 60 a 70% que entram toda semana
• 2 a 5%: o quanto ele estima que a Fortune 500 avançou na adoção
• 15% contra 5%: crescimento dos quintis superior e inferior de uso de tokens em 107 empresas de capital aberto
• 972 casos de uso: o resultado do hackathon que ele usa como atalho para não ter prioridades
• 3 a 5 anos: quanto tempo ele espera que leve para fechar a distância entre empresas nativas de IA e todo o resto
• 80 / 20: os agentes levaram a Vesica a oitenta por cento do caminho, e consultoria é vinte por cento resposta e oitenta por cento fazer as pessoas agirem