Ex-Head de Preparedness da OpenAI: Não Freie a IA, Torne-a Segura Mais Rápido

O áudio e o vídeo estão em inglês. Estas notas são uma tradução.

Hoje entrevistei Joaquín Quiñonero, que liderou a área de Preparedness da OpenAI, testando modelos de fronteira para risco catastrófico, e depois comandou recrutamento e pessoas lá. Ele passou quase 20 anos construindo IA na Microsoft, no LinkedIn e na Meta, onde fundou o time de machine learning aplicado do Facebook.

A virada não é outro laboratório. Em 2016 ele não estava preocupado com o perigo da IA, porque os sistemas eram difíceis de construir. Uma década depois, era ele quem procurava danos catastróficos, e continua achando que “frear a fronteira” é o slogan errado. Ele prefere acelerar a pesquisa em segurança, recusar o lançamento do que um laboratório não consegue monitorar e dizer aos fundadores que queimem tokens em uma única aposta em vez de financiar um Bell Labs dentro de uma startup.

Estrutura e Principais Destaques

Gaste em Tokens, Não em Headcount

• O conselho antigo era não captar demais antes do product-market fit. Um pre-seed de US$ 20 milhões com dois fundadores é desperdiçado em contratações e projetos paralelos, e investidores demais são um beijo da morte
• A parcela do orçamento que vai para tokens, em vez de salários, precisa crescer
• Queimar compute permite que um time pequeno teste uma hipótese mais rápido do que qualquer outro

Não Faça Pesquisa Só para Impressionar Investidores

• A maioria dos times de pesquisa de startups em estágio inicial é isca para investidor: Quiñonero os vê na Série B, a Runway entre elas
• Pesquisa que move um campo, no estilo Bell Labs, precisa de anos de financiamento sem pressão, e uma startup que exige o roadmap perde a galinha
• O que cabe numa startup é pesquisa aplicada que melhora o próprio produto, como um corte de 10x no custo de inferência

Fique Perto do Trabalho, Seja Qual For o Seu Cargo

• À medida que as empresas crescem, os fundadores se afastam dos clientes e da tecnologia
• No Facebook ele deixou a liderança de machine learning aplicado para voltar a escrever código, e na OpenAI, quando lhe ofereceram um cargo muito maior depois de Preparedness, pediu para ser estagiário
• Carreiras são hélices, não escadas: quando existem títulos como principal, distinguished, fellow ou SVP, você não consegue voltar ao trabalho

Nenhuma Cultura Única como Sistema Operacional

• Nascido na Espanha, criado no Marrocos numa família espanhola. A mãe ensinava espanhol em casa, certa de que voltariam no ano seguinte
• Escola francesa de dia, árabe com os amigos, o trânsito da oração de sexta-feira, amigos judeus e diplomatas em casa, incluindo um médico romeno formado na Rússia
• Na época ele não tinha consciência disso. Depois, rotinas rígidas o confundem: nenhuma cultura única é o sistema operacional

Caracóis, uma Agulha e Risco

• Em Tânger, ele comia caracóis na rua com uma agulha guardada num limão, reutilizada pelo cliente seguinte
• A mãe dele colocava água sanitária na água para a salada do mercado e ficava horrorizada
• A lição: experimente as coisas. Risco não é uma regra única que viaja

A Espanha Deveria Parecer Casa

• Aos 18 anos ele recusou uma prépa francesa e a chance de uma grande école como a Polytechnique, e foi para a Espanha encontrar suas raízes
• Sentiu-se um estrangeiro. Os colegas tinham uma cidade e uma escola. A família dele tinha morado em três cidades marroquinas
• A engenharia em Madri o fez querer sair. Erasmus, com uma regra: o mais longe possível

Copenhague, 2000

• Lá ele conheceu a esposa. No ano que vem eles comemoram 25 anos de casados
• Um professor que ensinava redes neurais ofereceu um doutorado financiado. Ele não tinha planejado um. Perguntou o que era uma rede neural
• A mãe dele: en esta vida no hay nada seguro. Nada nesta vida é certo

A Mesa Espanhola no Exterior

• Em Cambridge, por volta dos 30, ele entrou num time de rúgbi de veteranos e apanhou muito. Essa é a versão dele de aparecer
• As comunidades espanholas na Alemanha, na Dinamarca e na Inglaterra pareciam fechadas, organizadas em torno do jamón e do azeite. Ele queria que se integrassem, e conhece a tensão com continuar sendo você mesmo
• A Califórnia encaixou. Um casal hispano-alemão, três filhos trilíngues, e ninguém se surpreendia. Desconforto faz parte do trabalho numa startup

Uma Hélice, Não uma Escada

• O currículo olha para trás: líder de ML aplicado no Facebook, depois IC, depois a mesma descida na OpenAI, depois liderança de novo
• Ele chama isso de hélice. Você dá a volta, e não é a mesma pessoa quando passa pelo ponto antigo
• A gestão o fazia dizer frases que serviam para qualquer reunião. Depois de cada descida, colegas diziam que tinham querido fazer o mesmo e não conseguiram

“Quero Ser Estagiário”

• Depois de Preparedness, a OpenAI ofereceu um cargo muito maior. No Natal ele disse não e pediu para ser estagiário. Deixaram
• Colegas de times grandes, depois da terceira cerveja, diziam que tinham inveja e se sentiam presos
• O último período como IC foi Codex e novos agentes de código. O anterior não tinha ferramentas de código. Você não consegue liderar isso de memória

Uma Passagem de Volta na Microsoft Research

• Por volta de 2007, a Research parecia o paraíso: salário, liberdade acadêmica, sem editais, sem código de produção
• A liderança de engenharia embotou seu lado de pesquisador. Ele pediu tours of duty, com caminho de volta
• As pessoas vão embora, ele acha, quando a única opção é explodir tudo. A IA torna a autorrenovação obrigatória, não um benefício

Os Títulos Matam a Hélice

• A OpenAI ficou muito tempo com “member of technical staff”, de propósito
• Principal, distinguished, fellow, SVP: quando os nomes existem, você não consegue voltar ao trabalho
• Vinte pessoas não precisam da escada. A máquina que chega depois tira a alma. Ele virou head de pessoas sem dizer que tinha a resposta de design

Presunção de Responsabilidade

• Ele entrou no Facebook pelo que um engenheiro podia fazer, inclusive fazer o redeploy do site inteiro sem reunião de permissão
• Cerca de 1.000 pessoas técnicas, talvez 3.000 no total. Confie nelas, e elas são donas do resultado
• Regras fazem uma criança se comportar mal. Responsabilidade real a deixa cuidadosa. A escala troca isso por controles para que você possa contratar qualquer um. Ele chama isso de trágico

Dunbar Ainda Explica os Laboratórios

• A cultura leva o crédito, e o headcount faz boa parte do trabalho. Com 200 ou 300 pessoas você ainda conhece os rostos
• Amigos na Meta e no Google descrevem o oposto daquele Facebook. Ele trata isso como o efeito do anonimato

10.000x, Menos Pessoas

• O 1% ou 0,1% do topo não vai ser 10x ou 100x. O palpite dele está mais perto de 10.000 vezes, porque eles constroem fábricas de agentes, não uma resposta
• Uma nova contratação custa mais em coordenação do que antes. Times pequenos, ou unidades pequenas dentro de uma empresa grande, podem entregar uma produção absurda

Tokens, Depois uma Aposta

• A regra antiga de Enzo ainda importa para ele: um pre-seed de US$ 20 milhões com dois fundadores é desperdiçado em contratações e projetos paralelos. Investidores demais são um beijo da morte
• A nova linha do orçamento são tokens. Essa parcela do gasto precisa subir para que um time pequeno teste uma hipótese mais rápido do que qualquer outro
• Não faça 20 coisas. Faça uma coisa 100 vezes mais rápido. A imagem de Enzo, cinco pessoas com US$ 1 milhão em tokens cada uma por ano, significa que o seed simplesmente é maior

Não É o Bell Labs

• Enzo vê organizações de pesquisa na Série B, a Runway entre elas. Quiñonero pergunta quanto disso é isca para investidor
• O Bell Labs era cientistas famosos e um orçamento longo e protegido. Uma startup que exige o roadmap, ou abre a galinha para achar o ovo, perde a galinha
• Pesquisa fundamental não tem lugar ali. Trabalho aplicado tem: um corte de 10x no custo de inferência, ou o produto de voz que ele usa todos os dias. Vinte ou trinta laboratórios novos não mudam essa divisão

O Que 2016 Não Conseguia Ver

• Naquele ano ele não estava muito preocupado. Os sistemas eram difíceis de construir. Oito anos depois ele comandava Preparedness
• Os riscos antigos eram bolhas, personalização excessiva e gente manipulando o feed. Graduais, visíveis, humanos
• O GPT-3 e um salto de capacidade mudaram o mapa. Ele adota os três baldes de Yoshua Bengio, de um discurso nas Nações Unidas dias antes: mau uso por pessoas, perda de controle, concentração de poder. Só o terceiro já era óbvio em 2016

Trace a Linha do Catastrófico

• A palavra é arbitrária até alguém defini-la
• O esboço dele: poucos dias, mortes na casa dos milhares ou milhões, e/ou bilhões a centenas de bilhões em danos
• Preparedness era esse limiar para AGI e além, não um estado de espírito

A Rima com o Facebook

• Durante a Primavera Árabe, que ele situa em grande parte na Tunísia, ele achava que o feed era uma voz para todos
• A liberdade de expressão tinha sido construída para o rádio e a televisão
• A IA rima na velocidade: a sociedade não a absorveu. Não rima no raio de destruição, então a resposta de 2016 está aposentada

Data Centers, e Ficar de Fora

• A resistência nos EUA atravessa estados democratas e republicanos
• A água depende da geração do prédio, a rede precisa de mais energia e os locais são barulhentos de perto. Ele acha que isso tem solução
• A briga de fundo é o tempo. As pessoas não estavam na conversa, e a mudança já chegou até elas

A Corrida Armamentista que Ele Não Vai Enfeitar

• Nenhum líder de laboratório quer ser quem lançou o sistema destrutivo. Mesmo assim, constroem o próximo modelo. Enzo diz Ícaro. Quiñonero fica com a imagem
• Testar o risco pode exigir um modelo mais forte. Defender-se de uma IA perigosa construindo uma mais forte do seu lado é, nas palavras dele, uma escalada
• A China é a corrida óbvia, economia e defesa juntas. A versão do capital é uma hipótese com Andreessen: vamos desacelerar, agora mande o dinheiro
• Ele é compreensivo. Mesmo assim, chama a estrutura de dilema do prisioneiro

Não Dite o Ritmo

• “Ditar o ritmo da fronteira” é o slogan preguiçoso. Ele quer mais testes e mais confiabilidade antes do lançamento, o que não vai viralizar
• A pesquisa a acelerar é o alinhamento de muitos agentes, não de um. A colaboração é como se chega à superinteligência, e é onde aparecem submetas que ninguém planejou
• O incidente entre Hugging Face e OpenAI importa para ele por esse comportamento dos agentes. A marca Hugging Face é uma distração
• Não coloque em produção, em escala, um modelo que você não consegue monitorar, alinhar, controlar e desligar. Um motor a jato novo não leva passageiros sem as horas de voo

Radiologistas, e a Linha dos 10%

• A frase de Geoffrey Hinton em 2016 era que os radiologistas não seriam necessários. Uma década depois, faltam radiologistas, e Hinton recuou em parte
• A previsão olhou para uma subtarefa, encontrar o tumor, e deixou de lado histórico, risco e escolha de tratamento
• O paradoxo de Jevons fez o resto: leituras mais baratas criaram mais demanda. Quiñonero quer isso como perguntas, não como “dez anos, 10% de chance de a humanidade acabar”

Fora da Sua Raia

• Quando Dario ou Sam dizem isso, a nuance se perde. As pessoas ouvem o cargo
• Um técnico de futebol vencedor na Espanha é perguntado sobre a economia. O conselho de Quiñonero é recusar
• A mesma piada, com ponta: pergunte a Mourinho se a IA vai tirar o emprego dele

O Trabalho com Pessoas Não Era Segurança

• Recrutamento, depois pessoas, foi um chamado do dever depois do período como estagiário. Ele é explícito: não era uma estratégia de segurança
• A história que ele ainda conta é a de Yo-Yo Ma na NeurIPS, por volta de 2018, depois de Quiñonero ter frequentado a conferência por vinte anos, a partir de 2000 ou 2001
• A confiança, disse Yo-Yo Ma, começa por quem construiu o sistema e o que essa pessoa quer. Essa é uma resposta sobre segurança. Não é o motivo pelo qual ele aceitou o cargo

Incidentes, e Quem Se Reporta ao CEO

• Ele quer transparência na pesquisa em segurança antes de querer mais uma frase de alerta
• Do conselho da Partnership on AI, com Eric Horvitz na presidência e também chief scientist da Microsoft, ele guarda o banco de dados de incidentes: ONGs, todos os laboratórios, falhas registradas por escrito
• Enzo diz uma Interpol de agentes rebeldes. Quiñonero concorda, inclusive como dado de treinamento. Os bancos já trocam lições sobre vazamentos em privado para não ensinar os atacantes
• Diversidade cognitiva é a outra metade, e ele a remete ao Marrocos. O líder de segurança e alinhamento deveria se reportar ao CEO. Uma monocultura é como isso falha

A Responsabilidade Civil É o Produto

• Enzo: intenções não vão resolver. Alguém precisa lucrar com o alinhamento
• Hospitais, escritórios de advocacia e bancos já estão escrevendo a cláusula: se der errado, o fornecedor paga
• A cenoura da Volvo foi o carro seguro, a da Apple foi a privacidade. O chicote é a responsabilidade civil, e ele espera que o seguro seja quem vai precificá-la

Destrinchar o Justo

• O fio do Marrocos chega ao trabalho de fairness começado no Facebook e lançado no LinkedIn
• Igualdade de tratamento deixa o modelo cego. Igualdade de resultados às vezes exige um tratamento diferente, do jeito que um estacionamento falha se todas as vagas forem idênticas
• No LinkedIn, as mulheres com mais frequência tinham perfis mais incompletos. Os homens se candidatavam acima das suas qualificações, as mulheres de forma mais conservadora, e o recomendador podia oferecer a uma mulher igualmente qualificada um emprego com salário menor
• Eles se recusaram a escolher uma definição e sair correndo. O ranqueador continua cego. O produto ajuda a completar o perfil. No programa ele não lembra o título do paper. Lembra que o instinto de move fast era o errado

A Sala de Aula Primeiro

• Ele saiu da OpenAI em maio. A empresa que está construindo pode esperar outro episódio. Este fica com a educação
• Ele aceita o medo de alunos preguiçosos e de corrigir trabalhos que são 90% modelo. Mesmo assim, quer tutoria que se ajuste a como cada pessoa aprende
• Jo Boaler, de Stanford, é a referência, com o título esquecido no ar: visual, analogia ou literal, e boa parte do “sou ruim em matemática” era a lição errada
• Ele prefere dar aula de matemática num ensino médio de Mountain View antes de dizer à escola o que comprar. Enzo ouve de novo o padrão do estagiário. A maioria das pessoas, acrescenta Enzo, nunca aprende como aprende. Escutar é o motivo pelo qual este podcast existe

Duas Mulheres, e a Incerteza

• As pessoas que o impulsionaram: a mãe e a esposa. As duas conseguem conviver com não saber
• A esposa dele não julga. Ele descarta alguém, ela diz que não conhecemos o contexto, e o desconforto é o presente
• Foi isso que tornou possível o país seguinte, e o emprego seguinte

Glossário do Vale do Silício

Pessoas, Empresas e Referências

Pessoas Mencionadas

• Joaquín Quiñonero: liderou Preparedness na OpenAI, depois recrutamento e pessoas; construiu IA na Microsoft, no LinkedIn e na Meta
• Enzo Cavalie: apresentador do podcast
• Yoshua Bengio: pesquisador cujas falas nas Nações Unidas fornecem os três baldes de risco que Quiñonero usa
• Geoffrey Hinton: autor da previsão de 2016 sobre os radiologistas, e de um recuo posterior
• Yo-Yo Ma: num workshop da NeurIPS, disse que a confiança numa IA começa por quem a construiu e por quê
• Eric Horvitz: chief scientist da Microsoft e presidente da Partnership on AI, que impulsionou um banco de dados de incidentes
• Jo Boaler: professora de Stanford cujo trabalho sobre estilos de aprendizagem enquadra o interesse dele em IA e educação
• Andreessen: o investidor na hipótese de pedir dinheiro prometendo desacelerar
• Mourinho: o técnico da piada sobre responder fora da sua raia

Empresas e Organizações

• OpenAI: Preparedness, depois um período como estagiário, depois recrutamento e pessoas, depois ele saiu em maio
• Meta: onde amigos hoje descrevem o oposto do Facebook em que ele entrou
• Facebook: machine learning aplicado, e uma cultura de responsabilidade individual
• Microsoft: a Research por volta de 2007, e a cadeira de engenharia da qual ele queria um caminho de volta
• LinkedIn: onde fairness virou uma questão de produto sobre perfis e recomendações de vagas
• Netflix: o exemplo dele de uma cultura inicial que funcionou antes de a máquina se instalar
• Bell Labs: a imagem de pesquisa fundamental que uma startup não consegue financiar
• Hugging Face: o incidente público que ele deixa de lado para que se possa discutir o comportamento dos agentes
• Partnership on AI: o conselho de que ele participou, e a casa da iniciativa do banco de dados de incidentes
• NeurIPS: a conferência que ele frequentou por cerca de vinte anos
• Nações Unidas: onde Bengio, dias antes, expôs as três categorias de risco
• Runway: uma empresa de aplicação que Enzo cita por montar pesquisa mais cedo do que o playbook antigo
• Apple: a marca da privacidade, ao lado da marca de segurança da Volvo
• Volvo: a empresa que fez da segurança o produto
• Stanford: onde Jo Boaler dá aula
• Codex: um agente de código do seu último período como contribuidor individual

Dados e Referências

• 20 anos: construindo IA na Microsoft, no LinkedIn e na Meta, e também sua sequência na NeurIPS
• 25 anos: o aniversário que ele e a esposa completam no ano que vem
• Poucos dias: a janela de tempo dentro do esboço dele de dano catastrófico
• GPT-3: o lançamento entre a entrevista de 2016 e os riscos que ele vê hoje
• US$ 20 milhões: o exemplo de Enzo de um pre-seed que antes era demais para dois fundadores
• US$ 1 milhão: em tokens por pessoa, por ano, no time de cinco pessoas que Enzo imagina
• 10.000 vezes: a diferença de impacto que ele espera entre o topo e a cauda inferior
• 90%: trabalho de aluno feito por um modelo, e o problema de correção que vem junto