CTO da Replit: Nosso Plano para Vencer a Anthropic e a OpenAI

ESP

Capa de «CTO da Replit: Nosso Plano para Vencer a Anthropic e a OpenAI»

O áudio e o vídeo estão em espanhol. Estas notas são uma tradução.

Luis Héctor Chávez é o CTO da Replit, a plataforma para criar software com IA usada por mais de 30 milhões de pessoas e que hoje vale US$ 9 bilhões. Ele é mexicano e comanda toda a engenharia de uma empresa que disputa o futuro do software com a OpenAI e a Anthropic.

É a segunda vez que ele vem ao podcast. Gravamos há exatamente um ano, e o jeito dele de descrever esse período é que sente ter passado por cinco empresas diferentes dentro da Replit.

Sua tese mais direta: a diferenciação não está no modelo, está no harness. E a ambição dele não é resolver a parte técnica do seu negócio, é resolver o negócio inteiro.

Estrutura e Principais Destaques

Um Ano que Pareceu Cinco Empresas

  • Toda vez que fazem benchmarking com outras empresas, precisam de uma segmentação à parte, porque não se comparam com o que caberia a uma empresa tradicional nessa etapa
  • Os processos de engenharia de software estão caindo aos pedaços: a sequência de fases já não dá para seguir
  • Sua cronologia do problema: um mês atrás, era que havia tanto código que não dava para fazer bons code reviews. Agora nem se lê mais o código
  • O estado atual: há tantas mudanças que eles já nem sabem o que está acontecendo
  • Sua expectativa: em dois ou três meses a conversa será outra
  • O que sobrevive do antigo: certos processos de engenharia industrial continuam formando o pensamento. Todo o resto eles estão jogando fora

Se a Velocidade É Sustentável

  • Sua analogia favorita: a instalação de painéis solares, em que todo ano o órgão que acompanha as estatísticas projeta o fim da fase exponencial e erra por uma ordem de grandeza
  • Ele vê o mesmo nas curvas de capacidade dos modelos
  • O padrão que ele observa: toda vez que dizem que falta um novo breakthrough, aparece um com o modelo seguinte

Horizontes de Planejamento Diferentes por Time

  • Infraestrutura tem roadmaps de seis a nove meses, porque se as VMs não funcionam nada funciona
  • O que estão lançando hoje começou em setembro ou outubro do ano passado
  • Enterprise se planeja por trimestres, muitas vezes atrelado ao que um parceiro entregar
  • Produto não consegue planejar mais de dois ou três meses
  • Modelos: há duas semanas de rumores e dois ou três dias reais para ajustar o harness antes do lançamento

O que Ficou Mais Pesado

  • O volume de mudanças simultâneas, com mais engenheiros e mais agentes por engenheiro
  • O que antes levava meses agora leva semanas, com proofs of concept em dias
  • E não são remendos: são reimplementações completas do zero, três tentativas seguidas se for preciso
  • A analogia do radiologista que Enzo traz: a IA ficou com os casos fáceis e os radiologistas se esgotam porque só sobram os difíceis
  • Sua confirmação: a IA resolve por completo o trabalho de um engenheiro júnior se você o destrincha, e quando você precisa se envolver é porque chegou ao limite

O que Falta aos Modelos

  • Falta taste. São muito bons em pintar por números quando você dá a estrutura
  • Com tarefas ambíguas, encontram um jeito de fazer, embora não da forma mais elegante nem eficiente
  • Funcionam melhor quanto melhores forem os objetivos, os guidelines e as ferramentas de feedback
  • Onde quebram: no subjetivo. O exemplo dele: como você quantifica que algo é ergonômico
  • Um elogio concreto ao Fable: é bom em detectar sutilezas estranhas e decidir se foram intencionais ou se são erros

Por que Apostam no Harness e Não no Modelo

  • Usam uma mistura de modelos e avaliam continuamente qual usar para cada objetivo
  • Toda a inovação deles está no harness: que os templates conversem bem com os priors do modelo e que as ferramentas funcionem dentro da Replit
  • O conceito que perseguem: o pit of success, encaminhar tanto o modelo que ele precise sair muito do trilho para errar
  • Como se movem à medida que os modelos melhoram: para cima nas camadas de abstração
  • O antes e o depois: antes cuidavam de vulnerabilidades comuns como SQL injection, hoje garantem que a lógica de negócio não permita acessos indevidos

Modelo Caro versus Modelo Barato

  • O trade-off aparente é velocidade e dinheiro contra qualidade
  • O que eles observaram: quando aparece um erro, os agentes o acumulam. Você não tem um erro, tem dez ou quinze
  • O resultado contraintuitivo: o Opus ganhava do Sonnet em custo total, porque resolvia o problema numa passada em vez de dez
  • A ressalva: se o seu caso de uso é muito específico, a equação muda, e programação de uso geral é mais difícil de otimizar
  • A comparação com o jurídico: lá existe jurisprudência e critérios mais claros. Em código, traduzir requisitos de negócio tem centenas de milhares de opções válidas

Resolver o Negócio, Não Só o Código

  • Desde o início a ideia foi entregar a aplicação completa: deployment, segurança, domínio, TLS
  • Para onde vai: não que você chegue com uma ideia de negócio e a Replit resolva a parte técnica, mas que resolva o negócio inteiro
  • A lista que ele enumera: criar a aplicação, o conteúdo de marketing, os vídeos para redes sociais, o flywheel, rodar os experimentos, fazer a manutenção
  • Sobre a ideia de se graduar para outras ferramentas: eles não querem que essa percepção exista, e já têm clientes com milhões de ARR que não sentiram a necessidade
  • Quando há requisitos jurídicos ou técnicos específicos, eles adaptam a plataforma em vez de deixar o cliente ir embora

O Problema de Identidade e Permissões dos Agentes

  • As empresas têm respostas maduras sobre governança de dados: quem acessa o quê, com uma política em algum sistema
  • Com agentes isso é quase impossível, e as tecnologias atuais não estão funcionando
  • Há cinco ou seis propostas para dar identidade aos agentes e nenhuma está sendo adotada na velocidade necessária
  • A diferença de fundo que Enzo aponta: um funcionário tem um contrato e consequências, e um agente não tem accountability
  • O problema com padrões abertos como o OAuth: as permissões são amplas demais, você pode escrever todos os e-mails ou nenhum, sem nuances
  • O que a Replit quer fazer diferente: que um modelo de autorização avalie o alinhamento entre a ação, a política escrita e o que o humano pediu
  • O objetivo prático: reduzir quantas vezes é preciso interromper o usuário para pedir permissão
  • O que estão construindo: uma rearquitetura completa com uma camada de autorização mais granular, que respeite o SSO, o SCIM e o IDP que o cliente já tenha, para não criar shadow IT

Os Agentes Já Rodam o Dia Todo

  • Sua correção à pergunta: não é que estamos indo para lá, já está acontecendo
  • O comum hoje: alguém te diz que tem 300 agentes rodando, sem saber quantos são úteis
  • Na Replit já têm feedback loops que se fecham sozinhos internamente, como experimento para transformá-los em produto
  • Quais casos justificam o gasto: problemas de otimização com objetivo mensurável. SEO, testes A/B, campanhas em redes sociais
  • Sua forma de delimitar: você dá um objetivo e um limite de gasto, e ele roda até cumprir

Quem Compra Dentro da Empresa

  • Diferente do software tradicional, isso é transversal e não pertence só ao CIO
  • Às vezes chega a TI sem orçamento, às vezes produto sem critério de segurança, às vezes todos os departamentos ao mesmo tempo
  • A leitura conjunta dele com Enzo: as empresas ainda estão descobrindo como se compra inteligência artificial
  • O cliente característico da Replit não é o desenvolvedor: são produto, operações, marketing e dados, que antes dependiam do CTO para ferramentas internas
  • O que buscam para este ano em marketing: que você consiga executar suas ideias sem permissões, sem gatekeepers nem fila de priorização

Por que o Git É a Primitiva Certa

  • Ao lançar o agente 4, modelaram as tarefas usando branches do Git, permitindo clonar entre 4 e 64 vezes conforme o plano
  • O motivo de fundo: os modelos foram treinados em repositórios, então o que não se parece com um os confunde
  • A Replit não modela um repositório, ela é um repositório, e só acrescentaram forking, cloning e pushing
  • A experiência que Enzo conta: o agente dele num repo tem mais autonomia com instruções pela metade, enquanto no Notion era preciso repetir tudo
  • O problema que vem aí: o GitHub tem problemas de escalabilidade, porque o Git foi projetado para o kernel do Linux e hoje isso é excedido em ordens de grandeza
  • E esse design pressupunha humanos, não agentes, com uma taxa de escrita imensa
  • Sua observação: naquela semana saíram quatro ou cinco apostas diferentes, sinal de que falta uma primitiva

A Software Factory

  • Seu jeito de pensar a programação desde antes da Replit: um problema de constraint satisfaction, em que cada restrição divide o espaço de soluções
  • Por que isso se encaixa agora: para os agentes também é útil poder medir se estão dentro ou fora dessa bounding box
  • A diferença entre dizer uma regra a ele e dar um mecanismo para medi-la
  • Por que linguagens como Rust ajudam: o compilador dá a prova matemática do erro e antecipa a verificação no processo
  • O que mudou no trabalho do engenheiro: antes se rascunhava e se pensava a lógica de negócio depois. Agora é preciso pensá-la de antemão
  • Seu princípio: adivinhar é ruim, e em muitos casos o agente deveria estar perguntando
  • O que se aprende com a prática: quais requisitos podem ser subespecificados e quais precisam ser especificados em detalhe
  • O conceito de maior alavancagem: dar ao modelo um oráculo para verificar o próprio trabalho
  • Seus exemplos: a Anthropic substituindo o GCC com um test set claro, ou buscar vulnerabilidades onde existe a flag do capture the flag

Sobre o Engenheiro 100X

  • Sua ressalva sobre a power law: numa população de engenheiros, o mais prolífico está uma ordem de grandeza acima do segundo
  • O que a IA faz é acelerar qualquer processo, multiplicando esse fator
  • O que ele já observa: os engenheiros que eram bons e, além disso, usam bem a IA são ainda melhores
  • Onde ele espera o mesmo fora da engenharia: matemática, otimização e bioengenharia
  • A leitura de Enzo: o que multiplica não é fazer mais, é desenhar o feedback loop, e para isso são necessárias as avaliações

O que Ele Espera em 12 Meses

  • Está quase certo de que haverá outro breakthrough, sem saber se será de capacidades ou de custos
  • O que ele acha provável: que algum dos benchmarks atuais seja saturado, chegando a 100%
  • O que isso implica: ter que inventar uma métrica nova
  • O que continua surpreendendo ele: não o avanço em si, que ele já esperava, mas senti-lo
  • Sobre se vai parar de programar: o que o atraiu continua intacto, poder expressar uma ideia abstrata e materializá-la. Mudou o mecanismo, não os padrões

Glossário do Vale do Silício

TermoO que significaContexto no episódio
HarnessA camada que envolve o modelo e define como ele é usadoOnde a Replit concentra toda a sua inovação
Pit of successProjetar o sistema para que o caminho fácil seja o certoSeu objetivo ao encaminhar o modelo sem enchê-lo de guardrails
GuardrailsRestrições que impedem o modelo de sair do trilhoCada vez menos necessários à medida que os modelos melhoram
Constraint satisfactionEncontrar soluções que cumpram todas as restriçõesSeu modelo mental da programação, que agora ele aplica aos agentes
Bounding boxO espaço delimitado pelas restriçõesO que é preciso tornar mensurável para que o agente saiba onde está
OráculoUm mecanismo que verifica se o trabalho está certoO que ele considera de maior alavancagem ao construir um harness
Integração verticalCobrir toda a cadeia em vez de uma parteSua resposta a por que o usuário não precisa se graduar
Shadow ITFerramentas usadas sem aprovação da área de TIO que querem evitar se acoplando ao SSO e ao IDP do cliente
SSO, SCIM, IDPPadrões corporativos de identidade e provisionamentoO que respeitam para que a TI não precise substituir nada
TokenomicsA economia do consumo de tokensSeu ponto sobre incentivos desalinhados com os fornecedores de modelos
Power lawDistribuição em que poucos concentram quase tudoSua ressalva sobre o engenheiro 10X e o 100X
Saturar um benchmarkChegar a 100% na métrica usada para medirO que ele espera que aconteça nos próximos 12 meses

Pessoas, Empresas e Referências

Pessoas Mencionadas

  • Luis Héctor Chávez: CTO da Replit
  • Amjad Masad: CEO da Replit
  • Greg Brockman: citado pela frase de que o modelo já não é o produto
  • Andrej Karpathy: por sua ideia do engenheiro 100X
  • Enzo Cavalie: host do podcast

Empresas e Organizações

  • Replit: 30 milhões de usuários, valuation de 9 bilhões
  • Anthropic e OpenAI: os concorrentes com seus próprios harnesses, Claude Code e Codex
  • Lovable, Factory: o resto do campo de coding agents
  • GitHub: a primitiva que está ficando pequena para os agentes
  • Supabase: o exemplo de que muitas escolhas convergem para o Postgres
  • Micron: a ação da cadeia de suprimentos que Enzo comprou e vendeu cedo
  • Perplexity: citada pelo argumento de ser orquestrador e não modelo

Dados e Referências

  • 30 milhões de usuários e 9 bilhões de valuation
  • Entre 4 e 64 clones de agente conforme o plano pago
  • 300 agentes rodando: o número que as empresas repetem para ele sem saber quantos servem

Assistir ao episódio