O áudio e o vídeo estão em inglês. Estas notas são uma tradução.
Hoje entrevistei Rodrigo Schmidt, cofundador da Vetto AI, uma startup que está repensando como os dados melhoram os modelos de fronteira. Antes disso, ele construiu os sistemas que personalizam o Instagram para dois bilhões de usuários.
Ele não começou no Vale do Silício. Cresceu numa cidade portuária pequena e fria no extremo sul do Brasil, numa família muito pobre e desestruturada, fez doutorado na Suíça e foi uma das primeiras contratações internacionais do Facebook em 2008, quando o Facebook ainda era menor que o MySpace.
Seu argumento central é contraintuitivo: uma janela de contexto maior não é um problema de treinamento, é um problema de hierarquia de memória. E esquecer não é um bug, é o que permite priorizar.
Também falamos sobre por que o prompt engineering está anestesiando os modelos sobre os quais é construído, e por que tratar a pesquisa de um laboratório como uma API está fadado ao fracasso.
Estrutura e Principais Destaques
A Cidade na Ponta do Cone
- O Brasil tem formato de cone, e ele vem bem da parte de baixo, onde os invernos são frios e quase nada se parece com o resto do país
- Sua família era pobre e a situação, desestruturada, com o pai ausente
- De seis irmãos, a mãe dele foi a que continuou na pobreza extrema enquanto os tios e tias saíram dela
- O que isso plantou: a realidade em que você nasce não está presa a você para sempre, e geralmente há coisas sob o seu controle
- Quando você tem isso, a ideia se generaliza: por que ficar nesta cidade, por que se contentar com este emprego
- A mãe disse a ele, antes mesmo de ele ir embora, que tinha medo de que ele nunca fosse feliz, porque vivia frustrado com o que o cercava
- Quando ele chegou ao Vale do Silício, se sentiu em casa
Biologia, e Depois Ciência da Computação por Acaso
- O que o atraiu primeiro foi a biologia, porque os sistemas biológicos complexos são a programação da natureza: o DNA como código pessoal, o cérebro como uma rede estocástica
- O melhor ensino médio da cidade dele por acaso era técnico, com três opções: eletricidade, ciência da computação e refrigeração
- O que o fez mudar de lado: com a biologia você estuda os sistemas de fora, com o código você os constrói
Estar Presente como Pai
- A primeira palavra da filha foi mamãe, e ela a usava para os dois pais porque funcionava
- A leitura dele: uma criança preguiçosa e esperta resolvendo o problema com uma palavra para duas pessoas
- Ela tem seis anos agora e ainda escapa de vez em quando, e ele encara isso como uma medalha de honra
- O que tornou isso possível: àquela altura ele já sabia trabalhar de forma inteligente, não só duro, usando o princípio 80/20 para priorizar
- Sua visão sobre identidade: colocar toda ela numa coisa só é uma armadilha, porque um dia você estará velho demais para tocar aquela empresa ou ser rato de academia
- O que ele não negociou: os meses dela como bebê eram mais limitados que qualquer projeto e nunca voltariam
- Ele observa que isso não lhe custou intensidade no trabalho, e que recebeu mais algumas promoções depois que ela nasceu
Por que os Fundadores do Instagram Resistiram à Personalização
- O maior desafio foi convencer Kevin e Mike de que a personalização não era prejudicial, e isso levou anos
- O medo deles era legítimo: por volta de 2013 as pessoas estavam ficando céticas em relação ao ranking do Facebook, perguntando quem estava no controle
- Por que não fazer nada não era uma opção: um feed ordenado por tempo é trivialmente manipulável
- O abuso concreto que já acontecia: uma celebridade com uma entourage postando a cada cinco minutos para ficar no topo do feed de todo mundo
O Problema da Função Objetivo
- Mostrar às pessoas o que elas mais gostam tem uma meia-vida muito curta
- Sua analogia: doce no almoço é maravilhoso uma vez, e nojento se você tentar todo dia
- O que você precisa otimizar, em vez disso, é o valor de longo prazo, mesmo que isso signifique menos horas hoje
- Por que não dá para simplesmente perguntar aos usuários: a frase de Henry Ford sobre cavalos mais rápidos
- O que aconteceu quando eles perguntaram: as pessoas disseram que queriam material educativo, e depois não o usaram
- A distinção que ele faz: você está perguntando ao sistema dois, o filósofo dentro da cabeça delas, não ao sistema um
- Sua conclusão: a resposta é um equilíbrio, porque a felicidade presente te dá força para perseguir objetivos de longo prazo
- Como eles resolveram: várias funções objetivo testadas por longos períodos para ver qual maximizava o tipo certo de engajamento
- O detalhe da época: os modelos não eram dinâmicos, então boa parte era configuração manual e testes manuais, assim como Karpathy teria passado 25% do tempo rotulando dados na Tesla
O que se Aplica a Produtos de IA
- A lição central: a solução mais simples não é boa o suficiente, e isso era tão verdade naquela época quanto agora
- O modo de falha dos modelos hoje é a sycophancy, dizer aos usuários o que eles querem ouvir
- O que os laboratórios estão fazendo: adicionar camadas para reduzi-la, sem conseguir eliminá-la por completo
- O problema difícil é identificar a motivação real de longo prazo do usuário, que ele não consegue declarar diretamente
- Sua queixa sobre as ferramentas atuais: o prompt engineering construído por cima está anestesiando os modelos
- Se a receita é genérica demais, ela mata a personalização de que o modelo é capaz
- A imagem que ele usa: você pode ter um motor de Ferrari, mas o que importa é o carro inteiro
Janelas de Contexto e Esquecimento
- Sua releitura: quando uma janela de contexto maior piora as respostas, isso não é overfitting nem um problema de treinamento, é um problema de hierarquia de memória
- A condição rara que ele menciona: um punhado de pessoas no mundo que não conseguem esquecer nenhuma experiência pessoal
- Por que isso é considerado debilitante: dificulta priorizar e torna mais difícil superar traumas
- O que isso lhe diz: não estamos ficando sem capacidade cerebral, então esquecer deve estar servindo para algo útil
- A memória dele é péssima, e ele diz que é uma bênção
- A conexão com os transformers: attention is all you need significa encontrar quais tokens importam
- Onde está a responsabilidade: a camada de aplicação sabe o que é importante naquela janela, e o modelo não
- Se você joga a janela crua no modelo, ele vai fazer o melhor que puder, mas você não fez o seu trabalho
Por que as Startups Precisam de Pesquisa Interna
- A parte óbvia: estamos construindo a estrada enquanto dirigimos o carro, e ninguém pode esperar a pesquisa terminar
- O paralelo histórico: o FAIR começou por volta de 2012 em Nova York, e integrá-lo ao produto foi difícil porque ele era estruturado como a academia
- O modelo de colaboração que resultou: no estilo consultoria, em que eles testavam ideias com o FAIR e depois implementavam sozinhos
- Ele passou um ano pesquisando internamente quais projetos deram certo, e a condição necessária era a integração profunda
- O que não funcionou: pesquisa e produto como times separados com uma API no meio
- Seu alerta para hoje: tratar a pesquisa de um laboratório como uma API tem o mesmo modo de falha
- Ou a pesquisa avança e você corre atrás, ou o seu produto precisa de algo que o modelo não consegue te dar
- Sua ressalva sobre o futuro: se os modelos virarem commodity, se você ainda vai precisar de pesquisa dependerá da aplicação
Como Atrair Pesquisadores para uma Startup
- Sua credencial: ele foi longe o suficiente na academia para ter enfrentado essa escolha no fim do doutorado
- O que ele afirma que não é o que mais motiva os pesquisadores: dinheiro e status, porque senão eles teriam escolhido outra carreira
- O que motiva: problemas interessantes, maestria, autonomia e propósito
- O pitch concreto que ele usou no Instagram, que na época não tinha nenhum sistema de recomendação: um green field
- O que eles estavam fazendo de fato: os primeiros sparse models em produção no Facebook, o que exigia nova infraestrutura e novos sistemas de indexação
- O risco se você não tem esse DNA: usar a cenoura errada, o que afasta os pesquisadores em vez de atraí-los
Adaptar-se ao Vale do Silício
- Amigos que se mudaram do Brasil para a Suíça e voltaram em seis meses sem terminar
- Seu veredito sobre a Suíça para startups: há uma receita que funciona para biotech, e a tecnologia de consumo não se encaixa nela
- O que mais o surpreendeu no Vale: a franqueza como forma de educação, e a desconfiança em relação a quem esconde as coisas
- O feedback que definiu seu primeiro mês no Facebook, em 2008: você não está se esforçando o suficiente, porque ainda não derrubou o facebook.com
- A lógica por trás: quebrar coisas não basta para ter sucesso, mas é evidência de que você está forçando os limites
- Seu contraste brasileiro: assistir a um programa de calouros em que ninguém tira menos de nove, e perceber que estava fora havia tempo suficiente para achar aquilo desonesto
- Seu enquadramento da adaptação: polir as camadas externas é fácil quando as camadas internas já anseiam pela mudança
A Quem Ele Agradece
- À esposa, que esteve com ele em quase todo o caminho
- Sua ressalva: eles não estavam empurrando um ao outro, estavam explorando o mundo juntos
- Sua cautela em atribuir a gratidão a uma única pessoa: isso pode ser mais debilitante do que útil
Glossário do Vale do Silício
| Termo | O que significa | Contexto no episódio |
|---|---|---|
| Função objetivo | O que um sistema de ranking está otimizando | O centro do problema do Instagram, e por que o engajamento de curto prazo falha |
| Hierarquia de memória | Decidir o que manter por perto, o que armazenar, o que descartar | Seu diagnóstico do problema da janela de contexto |
| Context engineering | Escolher o que um agente vê, lembra e ignora | O nome atual do que ele passou anos fazendo no Instagram |
| Sycophancy | Um modelo concordando com o usuário independentemente da verdade | A armadilha de engajamento que os laboratórios ainda combatem |
| Sparse models | Modelos com um número enorme de features, a maioria com valor zero | O que eles colocaram em produção primeiro no Facebook |
| Sistema um / sistema dois | Instinto rápido versus raciocínio deliberado | Por que perguntar aos usuários o que eles querem dá a resposta errada |
| Retenção de longo prazo | Se os usuários continuam voltando ao longo dos anos | A métrica que ele defende otimizar, em vez das horas de hoje |
| FAIR | Facebook AI Research | A organização de pesquisa cuja integração ao produto ele estudou por um ano |
| Attention | O mecanismo do transformer para ponderar o que importa | Sua analogia para o que a camada de aplicação deve fazer com o contexto |
| Green field | Um espaço de problemas em que nada foi construído ainda | O que ele usou para recrutar pesquisadores para o Instagram |
| Princípio 80/20 | A maior parte do resultado vem de uma fração do esforço | Como ele equilibrou a intensidade no trabalho com estar presente em casa |
Pessoas, Empresas e Referências
Pessoas Mencionadas
- Rodrigo Schmidt: cofundador da Vetto AI, antes construiu a personalização do Instagram
- Sua esposa: a quem ele credita o caminho compartilhado
- Sua mãe: que temia que ele nunca fosse feliz
- Sua filha: que chamava os dois pais de mamãe
- Kevin Systrom e Mike Krieger: os fundadores do Instagram que resistiram à personalização
- Andrej Karpathy: citado por passar um quarto do tempo rotulando dados na Tesla
- Julio, da Atlantico: que contou ao Enzo a história sobre a filha dele
- Henry Ford: pela frase dos cavalos mais rápidos
- Enzo Cavalie: host do podcast
Empresas e Organizações
- Vetto AI: sua empresa atual, que faz pesquisa sobre os dados que treinam e avaliam modelos
- Instagram e Meta: onde ele construiu a personalização na escala de dois bilhões de usuários
- Facebook AI Research (FAIR): a organização de pesquisa que ele estudou e com a qual depois trabalhou lado a lado
- Runway e Krea: exemplos que ele dá de empresas de aplicação montando times de pesquisa
- Cursor: o outro exemplo, em escala maior
- MySpace: a referência de tamanho para mostrar o quão cedo ele entrou no Facebook