O Brasileiro de 25 Anos vs Scale, Mercor & Surge

O áudio e o vídeo estão em inglês. Estas notas são uma tradução.

Hoje entrevistei José André Nunes, fundador e CEO da Vetto AI, um laboratório de pesquisa que ajuda os laboratórios de IA de fronteira a melhorar seus modelos.

Ele chegou ao Vale do Silício vindo de uma cidade pequena no Brasil, sem rede de contatos e mal falando inglês. A Vetto entrou tarde em um mercado lotado, contra Scale, Mercor, Surge e Handshake, e chegou a dezenas de milhões em receita.

A mudança de enquadramento que fez isso funcionar é a conversa inteira: a Vetto não se vê competindo com outros fornecedores de dados. Ela compete com os próprios laboratórios, em pesquisa, e depois vende a eles o que descobre.

Estrutura e Principais Destaques

O Piloto de Caça a Quem Faltaram Alguns Centímetros

• O sonho de infância dele não era uma startup. Era voar, especificamente caças, depois de assistir muito a Top Gun
• O que ele queria era a liberdade dos pássaros: a mesma sensação de tirar a carteira de motorista, só que para o mundo inteiro
• Ele passou nas provas e foi aprovado. Depois foi reprovado na etapa de medidas, e isso não era algo que ele pudesse mudar
• Como o caminho para ser piloto de caça no Brasil passa pela escola de engenharia da Aeronáutica, se preparar para isso significava física, matemática e treinamento físico
• Procurando alternativas, ele encontrou o ITA, conhecido como a universidade mais difícil de entrar no Brasil, e o escolheu como desafio
• O que o convenceu foram as pessoas: formados do ITA trabalhando como engenheiros no Google e nas big techs, algo muito distante da realidade dele numa cidade pequena

Estudar Muito como Única Forma de Entrar num Avião

• Ele voou pela primeira vez aos quinze anos, para a Olimpíada Internacional de Matemática, na Argentina
• A lógica era simples: ele não tinha dinheiro para a passagem, mas o governo pagava tudo se ele se classificasse. Estudar era o preço do voo
• Isso significava ouro na olimpíada estadual e depois na nacional
• Ele não sabia o quanto era difícil, então simplesmente fez. Um padrão recorrente na vida dele
• Duas horas no ar o levaram a outro país, com outro idioma. A primeira vez fora do mundo dele
• O circuito das olimpíadas acaba sendo uma máfia: uma parcela impressionante dos fundadores e operadores que estão construindo as coisas interessantes em IA passou por ele

Largar a Faculdade Quando Largar Não É Motivo de Orgulho

• No Vale, as pessoas entram na faculdade querendo largar. No Brasil, ele nunca contou a ninguém que tinha largado
• Aqui ele conta, e pessoas que nem conhecem o nome da universidade dele sabem que ele largou
• A história real é menos romântica: ele nunca planejou largar, só continuou escolhendo onde aprendia mais
• Ele só saiu quando manter as duas coisas ficou impossível e ele não estava fazendo nenhuma bem
• Ele trabalhava desde o primeiro ano para se sustentar e sustentar a família, então o risco não era abstrato
• Os pais dele ainda não concordam. Veem que está dando certo, então estão felizes, mas provavelmente ainda esperam um diploma algum dia

Captando no Vale Mal Falando Inglês

• A equipe não se pagava nada e, alguns anos atrás, não sabia o que era venture capital
• Quando perceberam que precisavam de dinheiro, a informação que tinham era mais ou menos “isso existe, e fica na Califórnia”
• Ele chegou sem dinheiro e sem onde ficar. Um programa de bolsas brasileiro para estudantes de alto potencial abriu as primeiras portas
• Conhecer investidores no Brasil e no Vale mais ou menos na mesma época permitiu que ele formasse a própria opinião dos dois lados
• A leitura dele sobre o VC brasileiro: funciona como um mini private equity, pedindo números financeiros desde o primeiro dia. Aqui as pessoas falavam de visão e de sonhar grande
• Sonhar grande era a única coisa que ele conseguia fazer. Não sabia falar inglês, mas isso ele sabia fazer
• O fundador que capta no Brasil costuma ser o fundador com MBA que estudou nos EUA e voltou. O Vale está cheio de fundadores técnicos
• Ele não tinha diploma nem pedigree, mas era técnico, e por isso captar aqui foi mais fácil do que em casa

Competir com os Laboratórios em Vez de com os Fornecedores

• A motivação nunca foi produto. A IA está mudando o mundo, a fronteira é a pesquisa, então a pergunta era como fazer pesquisa do lado deles
• O negócio veio como consequência da pesquisa, e não o contrário
• “Nossos concorrentes não são os outros fornecedores de dados. Estamos tentando competir com os laboratórios, mas não pelos mesmos clientes. Estamos competindo em pesquisa”
• O modelo: fazer a mesma pesquisa e, se chegar a um resultado melhor, vender para eles
• O negócio alternativo era um marketplace, encontrar dezenas de milhares de anotadores rapidamente. Eles sabem que funciona, mas é um jogo de margem
• A aposta deles é que os ganhos estão em iterar para descobrir quais dados melhoram o modelo, e não em quem os produz
• Eles querem ser vistos como parceiros de pesquisa, não como fornecedores. A relação é completamente diferente

O Problema É Definir Dados Bons, Não Coletá-los

• Todo mundo no setor fala de qualidade, mas a definição é nebulosa e é realmente difícil provar que um dataset melhorou um modelo
• Com tantas empresas de dados competindo, o problema dos próprios laboratórios é separar os dados bons dos ruins
• Então o gargalo nunca foi o acesso a anotadores. Era definir o que são dados bons, e isso é um problema de pesquisa
• Eles nunca quiseram coletar os dados. Queriam ser os melhores em desenhar as guidelines
• Difícil de adaptar depois: um marketplace que emprega milhões de pessoas não vira facilmente uma empresa orientada a pesquisa. O ritmo, o desenho e até a relação com o cliente são diferentes

Por Que Eles Acham que Desenham Guidelines Melhor que os Laboratórios

• Ele não afirma ser o único, e diz que espera não ser, porque isso desaceleraria a IA
• O argumento é de ambiente: os laboratórios estão longe do mundo real, dos anotadores e de como os modelos realmente se comportam lá fora
• Os laboratórios estão focados em algoritmos e computação. A Vetto está mais perto do chão
• Eles têm acesso aos melhores especialistas em finanças, contadores e advogados, e os usam não para coletar dados, mas para iterar sobre o formato dos dados
• A tese em uma linha: como destilar o conhecimento humano nos modelos

Computação vs. Humanos como Substrato

• Os laboratórios fazem pesquisa com computação como substrato. Para a Vetto, o substrato são os humanos, e hoje isso é mais barato
• Isso dá a eles liberdade para iterar em problemas que os laboratórios não conseguem justificar, já que os laboratórios estão sempre priorizando em função do custo de computação

Recrutar Pesquisadores sem Poder Cobrir as Ofertas

• Eles não conseguem competir em salário, remuneração total ou ações com os laboratórios de fronteira
• O que atrai pesquisadores é uma opinião forte. Por isso eles escrevem o próprio manifesto sobre como os modelos vão melhorar e qual será o papel dos dados
• Eles contam aos candidatos aquilo em que acreditam, e os que já acreditam em algo parecido vêm. Isso é mais forte do que qualquer benefício que você possa oferecer a alguém que ama o problema

Um Go-to-Market sem Equipe de Vendas

• Não existe equipe de vendas. São ele e a equipe de pesquisa
• O trabalho dele é empacotar a pesquisa para que possa ser enviada a alguém que vai entender imediatamente como os dados melhoram os modelos
• Vender de cima para baixo abre portas, mas quem entende o valor é o pesquisador que lidera aquele domínio específico, não o VP
• Eles sabem que a maior parte da pesquisa deles não será estado da arte ao lado da dos laboratórios. Uma parte será, e é essa que funciona
• Eles mantêm benchmarks internos que hoje são estado da arte, ainda não publicados

Como Ele Construiu uma Rede Aqui Sem Tentar Vender

• Fazer conexões no Vale é difícil para negócios e fácil para aprender, então ele encarou isso como aprendizado
• O encontro com Sam Altman foi sobre como construir uma empresa de pesquisa em que os pesquisadores são o núcleo, e não sobre vender para a OpenAI
• O ponto-chave: a melhor forma que ele encontrou de construir uma rede aqui é não tentar fazer negócio com ninguém
• A pergunta favorita dele é vulnerável: o que você faria no meu lugar agora?
• Ele acha que as pessoas se apressam para vender ou captar antes de conhecer alguém a fundo
• Para crescer pessoalmente, ele viaja de propósito para sair da bolha. No Vale todo mundo está no olho do furacão; no Brasil ele consegue respirar e ganhar perspectiva

Como o Mercado Continua Mudando sob os Pés de Todos

• A Scale começou com veículos autônomos, rotulando bounding boxes. No ano passado era RLHF. Hoje a Vetto não faz nada disso, só verificadores e rubricas
• Ele também não espera que o formato do trabalho sobreviva aos próximos seis meses
• A rotulagem em si vai continuar sendo automatizada. O problema que não desaparece é quais dados melhoram o modelo
• Ainda estamos na era dos dados humanos, alimentando os modelos com o conhecimento das melhores pessoas do mundo, e esse grupo continua encolhendo
• Depois disso, o problema dos dados continua existindo. Só deixa de ser um problema de dados humanos

Onde os Laboratórios Realmente Querem Melhorar

• Passar de 80% para 82% em um benchmark público é difícil e raramente é o melhor ROI
• O que os laboratórios querem é um benchmark em que o modelo tira 20%, e levá-lo a 70%
• Encontrar hoje um benchmark de 20% em programação é realmente difícil, porque os modelos são muito bons
• E existe a manipulação: você pode construir um dataset em que o modelo sempre falha escrevendo a rubrica para que ele sempre falhe, e isso é muito difícil de detectar
• A resposta deles é rodar post-training em modelos pequenos para cada dataset que criam, e mostrar o antes e o depois

Ambientes, e o Argumento do AlphaGo

• Definir um ambiente é muito mais difícil do que parece. Tente definir o ambiente de um analista de VC: algumas ações, mais uma base de conhecimento que é a internet inteira e uma rede de pessoas
• Construir um que reflita todos os analistas de VC do mundo significa simular o mundo, o que ninguém consegue
• Então você reduz o problema: não substituir o analista, só uma tarefa, com um ambiente simples o bastante para um modelo aprender nele
• O AlphaGo é a referência. Alimentado com as melhores partidas humanas, teve um desempenho brilhante. Um ano depois, sem nenhuma partida humana e jogando contra si mesmo, produziu o lance 37, algo que nenhum humano jogaria
• A implicação: se você quer modelos sobre-humanos, provavelmente não pode alimentá-los com dados humanos. Precisa do ambiente e dos verificadores certos
• Mas isso custa uma quantidade enorme de computação, porque o modelo precisa de bilhões de experiências. Alimentá-lo no início com os melhores dados humanos reduz o custo, e é isso que a Vetto está tentando fazer
• Então modelos melhores provavelmente vão precisar de cada vez menos dados humanos, enquanto cada vez mais humanos serão necessários para desenhar o ambiente

O Novo Formato de Empresa

• Antes da IA, as empresas que mais cresciam eram empresas de aplicação. Agora as que mais crescem têm pesquisa dentro de casa
• Ser estado da arte no seu domínio é a melhor vantagem competitiva disponível, e ele não acredita nos fossos de alguns anos atrás
• O produto interno da Vetto é o que eles chamam de data engines: um ecossistema de modelos pequenos, humanos e software que produz os datasets finais. Eles não o vendem
• À medida que os modelos melhoram, a máquina deles melhora junto
• Sobre dados como fosso: ter os dados não é o ponto, saber o que fazer com eles é. Um app que captura dados sem P&D por trás é quase nada, porque outros também conseguem obter bons dados

Ajudar a IA a Melhorar como Trabalho

• A primeira empresa dele ajudava jovens no Brasil a encontrar emprego, e ele vê a passagem para a Vetto como uma continuidade: destilar conhecimento humano na IA é, em si, trabalho
• Os humanos fazem parte do ambiente, então ser assistente de uma IA é um emprego
• Eles contratam anotadores em toda a América Latina, onde a maioria das pessoas não sabe que esse tipo de trabalho existe. É remoto e paga bem, e o ciclo de adoção vai levar um tempo

O que os Mercados Emergentes Têm a Ver com a Fronteira

• Eles adotaram o remote-first e se encontram a cada dois meses, porque com um talento tão escasso não dá para impor fronteiras geográficas
• Contrataram pesquisadores no Brasil, alguns vindos do Nubank, que rendem lado a lado com pessoas que passaram anos dentro dos laboratórios
• O Brasil está entre os países do mundo que mais usam o ChatGPT, o que ele vê como uma vantagem real: quem mais usa é quem melhor entende os problemas
• Sobre a visão cínica de que os mercados emergentes viram só mão de obra de treinamento para países ricos: os pesquisadores dentro dos laboratórios são, em sua maioria, imigrantes de qualquer forma, e a DeepMind fica em Londres
• Dizer que você precisa estar no Vale do Silício para melhorar a IA desacelera a IA mais do que ajuda

As Pessoas a Quem Ele Agradece

• Os cofundadores, com quem ele morou na faculdade e com quem passou pelos momentos difíceis
• Num espaço com tanto ruído quanto a IA, ter bases sólidas dentro de casa é o que permite ficar por anos
• Quando ele duvida de si mesmo, eles dizem para parar de pensar demais e ir em frente

Glossário do Vale do Silício

Pessoas, Empresas e Referências

Pessoas Mencionadas

• José André Nunes: fundador e CEO da Vetto AI
• Lucas: seu cofundador, também do circuito das olimpíadas
• Sam Altman: conhecido por meio de um investidor, numa conversa sobre construir uma empresa de pesquisa, e não num pitch de vendas
• Os pais dele: ainda não concordam totalmente com a decisão de largar a faculdade
• Enzo Cavalie: apresentador do podcast

Empresas e Organizações

• Vetto AI: o laboratório de pesquisa que desenha os dados que melhoram os modelos de fronteira
• ITA: a escola de engenharia mais difícil do Brasil, onde ele entrou e que depois deixou
• Scale, Mercor, Surge, Handshake: as incumbentes do mercado em que ele entrou tarde
• DeepMind: citada pelo AlphaGo, e como prova de que a fronteira não está só no Vale
• Nubank: de onde vieram alguns dos pesquisadores brasileiros da equipe dele
• OpenAI: um laboratório para o qual ele nunca tentou vender quando conheceu Altman

Dados e Referências

• Dezenas de milhões em receita: o que a Vetto alcançou em cerca de seis meses
• 15 anos: o primeiro voo dele, para a olimpíada de matemática na Argentina
• 21: a idade dele quando Enzo o conheceu, por volta da primeira captação
• 80% para 82% vs. 20% para 70%: a diferença entre uma melhoria pela qual um laboratório não paga e uma pela qual paga
• A cada dois meses: a frequência com que a equipe remote-first se encontra
• Segundo ou terceiro: onde ele coloca o Brasil entre os países que mais usam o ChatGPT no mundo