O áudio e o vídeo estão em espanhol. Estas notas são uma tradução.
Hoje entrevistei Alex Jaimes, Managing Director de AI Agents e Search no JPMorgan. Antes, ele foi Chief AI Officer da Dataminr, onde construiu o sistema que alertou para um surto parecido com gripe em Wuhan em dezembro de 2019, e antes disso fez pesquisa no Bell Labs, no Yahoo e na Fuji Xerox.
Muitas das soluções de IA que chegam às grandes empresas vêm de startups que há um ano nem existiam. Uma demo prova que o produto consegue funcionar uma vez. Para vender para uma empresa como o JPMorgan, é preciso mostrar o que acontece quando ele falha.
Perguntei o que ele precisa ver para levar um fornecedor a sério, como decide o que se compra e o que se constrói, e se as grandes empresas vão acabar montando os próprios modelos em vez de comprá-los.
Estrutura e Principais Destaques
Dois Meses como Guarda-Florestal no Darién
- Um programa do governo colombiano deixava escolher o parque nacional; ele escolheu o mais remoto e de acesso mais difícil
- Duas horas de eletricidade por dia, o hospital mais próximo a várias horas de barco e a cavalo, nuvens de mosquitos que impediam ficar do lado de fora
- A comida chegava de barco a cada dois meses: banana-da-terra, arroz e batata, e a pouca carne vinha salgada para não estragar
- Sua única preparação foram os comprimidos contra malária. Nenhum treinamento
- O erro: raspou a cabeça achando que ninguém o veria em dois meses. Em plena época de conflito armado, isso podia fazer com que o confundissem com um militar
- O que ficou: dar valor a um refrigerante, a um copo d’água. E o costume de se meter em situações extremas por vontade própria
Crescer entre Bogotá e Nova York
- A mãe dele morava em Nova York, então ele viajava com frequência entre os dois mundos
- A lição não foi o contraste material, e sim epistemológico: quando você vê algo diferente do seu contexto, deixa de acreditar que o seu contexto é o único
- Naquela época a Colômbia tinha proteção econômica e tudo chegava tarde ou não chegava: os filmes seis meses depois, coisas que simplesmente não existiam
- A crença de fundo que ele via na região: a de que, por algum motivo, somos inferiores
O Visto que Negaram no Guichê
- Ele foi aceito na Columbia, mas precisava renovar o visto de estudante na embaixada na Colômbia
- A cônsul olhou o passaporte, disse que ele tinha ficado mais tempo do que o permitido, devolveu tudo e chamou a próxima pessoa
- Ele tinha pedido a extensão dentro do prazo, ou seja, estava em dia. Recusou-se a sair do guichê até que lhe dessem o visto
- O outro obstáculo: era preciso comprovar US$ 30.000 por ano e ele não tinha. Lendo as letras miúdas, a regra pedia para comprovar capacidade de pagamento, não para ter o dinheiro
- Juntou cartas de familiares com comprovantes das economias deles. Até a avó assinou uma
- As duas lições: ler os detalhes, porque dentro das regras há mais espaço do que parece; e não aceitar o primeiro não
O Dia em que Ele Disse Não a Yann LeCun
- Trabalhando no Bell Labs, ele andava pelo prédio depois do almoço olhando as portas dos pesquisadores
- Encontrou a de LeCun, que trabalhava com visão computacional, o tema da sua tese. Bateu sem saber quem era: naquela época ele ainda não era a figura que é hoje
- LeCun ofereceu que ele trabalhasse com ele no verão seguinte. Passaram-se meses sem notícias
- O orientador dele conseguiu uma oportunidade na Siemens e ele aceitou. LeCun ligou nesse mesmo dia com tudo pronto
- Disse não por já ter dado sua palavra. Não se arrepende: mudar teria afetado a relação com o orientador
Os Medos da IA que Deixaram de Parecer Exagerados
- Até pouco tempo atrás eles lhe pareciam exagerados, porque os sistemas estavam limitados a fazer uma única coisa
- Com agentes que se modificam e saem da sua caixa, agora ele vê mais perigos do que imaginava
- O problema de fundo: os agentes não entendem contexto cultural, não têm valores nem normas sociais e, muitas vezes, tentam quebrar tudo isso
- O desafio dos próximos anos é fazer com que eles façam apenas aquilo para o que foram projetados, sabendo que quem os projeta sempre esquece alguma coisa
Por que o SaaS Não Morre
- Duas leituras para um fundador de SaaS: o agente destrói a caixa, ou a caixa vale justamente porque o agente é perigoso e convém contê-lo
- Alex fica com a segunda
- E uma observação sobre o nome: SaaS é serviço. Os agentes vão precisar de serviços; o que muda é que muitos serão consumidos por agentes em vez de humanos
Comprar ou Construir
- O espaço cognitivo e de atenção é limitado, e isso vale tanto para uma pessoa quanto para uma organização
- A regra: o que não é importante mas é necessário, se compra. O estratégico se constrói
- Os fatores nunca são um só: se é estratégico, se você tem os dados, se tem o talento, quanto tempo leva cada caminho e o custo
- Em setores regulados, comprar pode levar mais tempo do que construir, por causa dos testes de cibersegurança
- O tamanho do fornecedor importa: se algo falhar, uma empresa de duas pessoas pode não responder
- “You can’t get fired for buying IBM” já não vale: hoje não se sabe se o fornecedor sobrevive dois anos, porque ele está aprendendo enquanto constrói
O que uma Startup Precisa Trazer para Ser Levada a Sério
- Primeiro o checklist, que é igual para todos: cibersegurança, certificações, o onboarding de fornecedor
- Depois, o que decide de verdade: que resolva um problema real e que entenda o cliente
- O conselho concreto: levem gente técnica para as reuniões. Se Alex faz uma pergunta técnica e quem está apresentando não sabe responder, isso fica evidente
- O que ele compra com isso não é a demo, é a confiança de que, no dia em que houver um problema, vão resolvê-lo
- A transparência sobre o que exatamente ele está comprando é fundamental
Quem Responde Quando o Agente Erra
- Há níveis de agência e níveis de responsabilidade: recomendar um filme ruim não é depositar dinheiro na conta errada
- Ele já viu clientes pedindo a startups que assinem contratos em que o fornecedor se responsabiliza se o agente causar uma multa ou tirá-los de compliance
- E prevê seguradoras cobrindo esse risco, o que cria um ecossistema de guard rails que copia o sistema social
- Nos EUA, os processos judiciais funcionam como autorregulação: em vez de o governo impor as regras, o risco de ser processado força o comportamento
O Escritório de Advocacia que Vai Gastar US$ 500M no Próprio Modelo
- A Kirkland anunciou US$ 500M para construir modelos jurídicos próprios. No Vale do Silício, muitos disseram que era uma loucura
- Alex previu isso numa palestra há mais de dois anos, e o que o surpreende é que não tenha acontecido antes
- A lógica: os frontier models atendem populações enormes em muitas tarefas. Se você é um escritório de advocacia, não lhe interessa que o modelo passe no SAT
- O conhecimento para fazer isso é público; o talento é caro e escasso, mas com US$ 500M se consegue
- Ele rejeita a ideia de que só três ou quatro pessoas no mundo sabem fazer isso
- A forma de fracassar: usar os US$ 500M para contratar advogados em vez de perfis técnicos
Quando Deixar as APIs Públicas
- Ele vê startups em Série B e C montando equipes de pesquisa próprias para não depender dos modelos
- A partir de certa escala, pagar por tokens deixa de fazer sentido econômico, ainda que os preços tenham caído muito e continuem caindo
- Quase nunca se constrói do zero: pega-se um modelo open source e ele é adaptado com dados próprios
- Isso ganha em três frentes ao mesmo tempo, porque o modelo resultante é menor: accuracy, latência e custo
- No começo nada disso importa: o volume é baixo, a velocidade não é urgente e você ainda está procurando o produto
- É a estratégia que ele publicou quando estava na Dataminr, há mais de três anos, e continua acreditando que é a correta
Por que as Empresas Tradicionais Não Deslancham
- Não é só o custo do compute e dos experimentos: é contratar as pessoas
- A maioria não tem quem entenda da área, então não sabe nem por onde começar nem como formar uma equipe
- Se isso não é entendido no nível executivo e do board, a decisão de investir não é tomada
- O padrão triste: contratam um Chief AI Officer, ele dura um ou dois anos, vê que a empresa não está pronta e vai embora
- E uma diferença de fundo em relação ao software tradicional: ali você decide e mede se funcionou. Em IA é preciso experimentar, e sempre existe a probabilidade de não funcionar
O Medo do Open Source
- É grande, e boa parte é geopolítico: os modelos abertos que funcionam bem vêm da China
- Tecnicamente o argumento é fraco: depois que você tem o modelo e o adapta, quem controla é você
- E o argumento se volta contra quem o usa: com um modelo fechado você também não sabe que dados entraram no treinamento, nem tem garantia da empresa
- Historicamente, o open source tem sido mais seguro porque há uma comunidade olhando para ele. Um modelo aberto é baixado por milhares de pessoas em cinco dias; um contrato de venda é fechado um por um
A Lua de Mel dos Tokens
- A fase atual é gastar sem olhar o cartão de crédito: usar tudo para ver o que cola, como jogar espaguete na parede
- Depois chegam as contas, e aí começa uma conversa diferente
- O problema real não é gastar, é medir: saber quando o uso está tendo impacto e quando não está
- O que é concreto se mede em tickets. O difícil são as tarefas do dia a dia, em que o impacto é enorme mas quantificá-lo é complicado
- Sobre que porcentagem do orçamento os tokens vão representar em cinco anos, ele os colocaria na categoria de cloud e operações, não na de software
O Alerta de COVID, em Dezembro de 2019
- A plataforma da Dataminr gera milhares de alertas por dia; é usada em salas de controle de governos e de grandes empresas
- Nenhum alerta isolado diz o que está acontecendo: eles vão se acumulando até ficar claro que o evento é maior
- Quando tudo começou a fechar, ele já estava muito bem informado. Numa conferência em Aspen, esquiou todos os dias sabendo que seria a última vez
- Disse a um argentino que tinha vendido tudo para abrir uma loja na vila de esqui que lhe restavam oito dias e que ele precisava de um plano B
Como se Ganha e se Perde a Confiança em um Sistema
- Em alertas de emergência, a accuracy é crítica, porque eles chegam a bombeiros, polícia e equipes de resgate
- O segredo não foi nunca errar, e sim mandar a correção o quanto antes quando havia um erro
- A confiança se quebra com muita facilidade: se uma calculadora te dá um número errado uma vez, você não a usa mais para nada importante
- E existe um duplo padrão. Dos carros autônomos exigimos que sejam melhores que os humanos, embora as estatísticas digam que eles já cometem menos erros
O Caminho até a Fronteira
- Primeiro, definir qual é a sua fronteira: construir aplicações, trabalhar em um laboratório ou transformar um setor tradicional são fronteiras diferentes
- Entender o que os modelos fazem e se encharcar deles. Não dá para nadar sem se molhar
- Construir e experimentar, não só ler: a maior parte do sucesso depende dos testes
- A ideia é sempre bonita. Só ao construí-la você vê onde ela falha, e quase sempre falha onde você não esperava
Glossário do Vale do Silício
| Termo | O que significa | Contexto no episódio |
|---|---|---|
| Agente | Sistema que executa tarefas com certa autonomia, não apenas responde | Seu nível de autonomia define quanta responsabilidade está em jogo |
| Frontier model | Os grandes modelos de propósito geral | Projetados para populações enormes, não para o caso de uma empresa |
| Comprar vs. construir | Adquirir uma solução ou desenvolvê-la internamente | Compra-se o necessário, constrói-se o estratégico |
| Guard rails | Os limites que impedem um sistema de sair do que foi projetado | A primeira coisa que um banco pergunta antes de deixar um agente passar |
| Accountability | Quem responde quando o sistema erra | Nos agentes ainda não está resolvido, e por isso trava a adoção |
| Fine-tuning | Adaptar um modelo existente com dados próprios | A alternativa a treinar do zero e a ficar na API pública |
| Public API | Consumir um modelo de terceiros pagando por tokens | Cômodo no começo, caro quando o volume cresce |
| Compliance | Cumprir a regulação do setor | No setor bancário, condiciona qual fornecedor pode sequer ser avaliado |
Pessoas, Empresas e Referências
Pessoas Mencionadas
- Alex Jaimes: Managing Director de AI Agents e Search no JPMorgan
- Yann LeCun: Alex o encontrou batendo na porta do escritório dele no Bell Labs; LeCun lhe ofereceu trabalho e Alex acabou dizendo não
- José Tiberio Hernández: seu primeiro orientador na Universidad de los Andes, a quem ele aponta como a pessoa que lhe mostrou que o mundo da pesquisa existia
- Seu orientador de doutorado na Columbia: taiwanês, criticava tudo o que ele fazia e subia a régua
- Sua avó: assinou uma das cartas que lhe permitiram comprovar os US$ 30.000 para estudar na Columbia
- Enzo Cavalie: host do podcast
Empresas e Organizações
- JPMorgan: onde ele dirige AI Agents e Search
- Dataminr: onde foi Chief AI Officer e construiu o sistema de alertas
- Bell Labs: o laboratório dos prêmios Nobel onde ele coincidiu com LeCun
- Yahoo, IBM Research, Microsoft Research: os laboratórios que concentravam a pesquisa há 15 ou 20 anos
- Fuji Xerox: três anos no Japão antes de todo o resto
- Siemens: a oferta que ele aceitou no mesmo dia em que LeCun ligou
- Columbia: o mestrado para o qual ele quase não conseguiu o visto
- Universidad de los Andes: onde ele conheceu a pesquisa
- Kirkland: o escritório de advocacia que anunciou US$ 500M para construir os próprios modelos jurídicos
- Uber e Microsoft: citadas como casos de empresas que anunciaram limites ao consumo de tokens
Dados e Referências
- Dezembro de 2019: o alerta da Dataminr sobre um surto parecido com gripe em Wuhan
- US$ 500 milhões: a aposta da Kirkland em modelos jurídicos próprios
- US$ 30.000 por ano: o que ele precisava comprovar para estudar na Columbia
- 2 horas de eletricidade por dia: a vida no parque do Darién
- De US$ 2 milhões a centenas de milhões: o salto de gasto em poucos meses de que a conversa fala
- Série B e C: o estágio em que ele vê startups montando equipes de pesquisa próprias
Descubra Mais do Podcast Startupeable
Ouça todos os episódios em startupeable.com/podcast.
Assine a newsletter para saber quando sair um novo.
Siga Enzo Cavalie no X: @enzocavalie.