The 25 yo Brazilian vs Scale, Mercor & Surge

El audio y el vídeo están en inglés. Estas notas son una traducción.

Hoy entrevisté a José André Nunes, fundador y CEO de Vetto AI, un laboratorio de investigación que ayuda a los labs de IA de frontera a mejorar sus modelos.

Llegó a Silicon Valley desde un pueblo chico de Brasil, sin red de contactos y casi sin inglés. Vetto entró tarde a un mercado saturado, contra Scale, Mercor, Surge y Handshake, y llegó a decenas de millones en ingresos.

El cambio de marco que lo hizo funcionar es toda la conversación: Vetto no se ve compitiendo con otros proveedores de datos. Compite con los propios labs, en investigación, y después les vende lo que encuentra.

Estructura y Highlights Clave

El Piloto de Caza al que le Faltaron unos Centímetros

• Su sueño de infancia no era una startup. Era volar, en concreto aviones de caza, después de ver mucho Top Gun
• Lo que quería era la libertad de los pájaros: la misma sensación de sacar la licencia de conducir, pero para el mundo entero
• Pasó los exámenes y lo aceptaron. Después reprobó en la etapa de medición, y no era algo que pudiera cambiar
• Como el camino a piloto de caza en Brasil pasa por la escuela de ingeniería de la fuerza aérea, prepararse significaba física, matemática y entrenamiento físico
• Buscando alternativas encontró el ITA, conocido como la universidad más difícil para entrar en Brasil, y lo eligió como un desafío
• Lo que lo convenció fue la gente: egresados del ITA trabajando como ingenieros en Google y en big tech, algo muy lejos de su realidad en un pueblo chico

Estudiar Duro como la Única Forma de Subirse a un Avión

• Voló por primera vez a los quince, a la Olimpiada Internacional de Matemática en Argentina
• La lógica era simple: no tenía plata para un pasaje, pero el gobierno pagaba todo si clasificaba. Estudiar era el precio del vuelo
• Eso significaba oro en la olimpiada estatal y después en la nacional
• No sabía lo difícil que era, así que simplemente lo hizo. Un patrón que se repite en su vida
• Dos horas en el aire lo llevaron a otro país, con otro idioma. Su primera vez fuera de su mundo
• El circuito de olimpiadas resulta ser una mafia: una porción llamativa de los founders y operadores que están construyendo las cosas interesantes en IA pasó por ahí

Dejar la Universidad Cuando Dejarla no Es una Medalla de Honor

• En el Valley la gente entra a la universidad queriendo dejarla. En Brasil nunca le contó a nadie que lo había hecho
• Acá lo dice y gente que no conoce el nombre de su universidad sabe que la dejó
• La historia real es menos romántica: nunca planeó dejarla, solo seguía eligiendo el lugar donde estaba aprendiendo más
• Recién la dejó cuando sostener las dos cosas se volvió imposible y no estaba haciendo ninguna de las dos bien
• Venía trabajando desde el primer año para mantenerse y mantener a su familia, así que el riesgo no era abstracto
• Sus padres todavía no están de acuerdo. Ven que funciona, así que están contentos, pero probablemente siguen esperando que algún día tenga un título

Levantar en el Valley Casi sin Inglés

• El equipo no se pagaba nada y hace unos años no sabía qué era el venture capital
• Cuando se dieron cuenta de que necesitaban plata, la información era más o menos “eso existe, y está en California”
• Llegó sin plata y sin dónde quedarse. Una fellowship brasileña para estudiantes de alto potencial le abrió las primeras puertas
• Reunirse con inversores en Brasil y en el Valley más o menos al mismo tiempo le permitió armar su propia opinión desde los dos lados
• Su lectura del VC brasileño: funciona como un mini private equity, pidiendo estados financieros desde el día uno. Acá la gente hablaba de visión y de soñar en grande
• Soñar en grande era lo único que podía hacer. No podía hablar inglés, pero eso sí podía hacerlo
• El founder que levanta en Brasil suele ser el founder con MBA que estudió en Estados Unidos y volvió. El Valley está lleno de founders técnicos
• No tenía título ni pedigrí, pero era técnico, y por eso levantar acá fue más fácil que en su país

Competir con los Labs en Vez de con los Proveedores

• La motivación nunca fue el producto. La IA está cambiando el mundo, la frontera es la investigación, así que la pregunta era cómo hacer investigación del lado de ellos
• El negocio llegó como consecuencia de la investigación, no al revés
• “Nuestros competidores no son los otros proveedores de datos. Estamos tratando de competir con los labs, pero no con los mismos clientes. Estamos compitiendo en investigación”
• El modelo: hacer la misma investigación y, si consiguen un mejor resultado, vendérselo a ellos
• El negocio alternativo era un marketplace, encontrar decenas de miles de anotadores rápido. Saben que funciona, pero es un juego de márgenes
• Su apuesta es que las ganancias están en iterar para encontrar qué datos mejoran el modelo, no en quién los produce
• Quieren que los vean como socios de investigación, no como proveedores. La relación es completamente distinta

El Problema Es Definir Qué Es un Buen Dato, no Recolectarlo

• Todo el mundo en este espacio habla de calidad, pero la definición es borrosa y de verdad es difícil probar que un dataset mejoró un modelo
• Con tantas empresas de datos compitiendo, el problema de los propios labs es separar los datos buenos de los malos
• Así que el cuello de botella nunca fue el acceso a anotadores. Era definir qué es un buen dato, y eso es un problema de investigación
• Nunca quisieron recolectar los datos. Querían ser los mejores diseñando los lineamientos
• Difícil de reconvertir: un marketplace que emplea a millones de personas no puede pasar con facilidad a poner la investigación primero. El ritmo, el diseño e incluso la relación con el cliente son distintos

Por Qué Creen que Pueden Diseñar Lineamientos Mejor que los Labs

• No afirma ser el único, y dice que espera no serlo, porque eso frenaría a la IA
• El argumento es de entorno: los labs están lejos del mundo real, de los anotadores y de cómo se comportan de verdad los modelos allá afuera
• Los labs están concentrados en algoritmos y en compute. Vetto está más cerca del terreno
• Tienen acceso a expertos financieros de primer nivel, contadores y abogados, y los usan no para recolectar datos sino para iterar sobre el formato de los datos
• La tesis en una línea: cómo se destila el conocimiento humano en los modelos

El Compute contra los Humanos como Sustrato

• Los labs investigan con el compute como sustrato. Para Vetto el sustrato son los humanos, y ahora mismo eso es más barato
• Eso les da libertad para iterar en problemas que los labs no pueden justificar, porque los labs siempre están priorizando contra el costo del compute

Reclutar Investigadores a los que no se les Puede Ganar en Sueldo

• No pueden competir en salario, compensación total ni acciones con los labs de frontera
• Lo que atrae a los investigadores es una opinión fuerte. Por eso escriben su propio manifiesto sobre cómo van a mejorar los modelos y cuál va a ser el rol de los datos
• Les cuentan a los candidatos lo que creen, y llegan los que ya creen algo parecido. Eso es más fuerte que cualquier beneficio que se le pudiera ofrecer a alguien a quien le encanta el problema

Un Go-to-Market sin Equipo de Ventas

• No hay equipo de ventas. Son él y el equipo de investigación
• Su trabajo es empaquetar la investigación para poder mandársela a alguien que va a entender de inmediato cómo los datos mejoran los modelos
• Vender top-down abre puertas, pero quien entiende el valor es el investigador que lidera ese dominio específico, no el VP
• Saben que la mayor parte de su investigación no va a ser state of the art al lado de los labs. Una parte sí lo va a ser, y esa es la parte que funciona
• Mantienen benchmarks internos que hoy son state of the art y que todavía no publicaron

Cómo Armó una Red Acá sin Intentar Vender

• Conectar en el Valley es difícil para los negocios y fácil para aprender, así que lo abordó como aprendizaje
• Conocer a Sam Altman fue sobre cómo construir una empresa de investigación donde los investigadores son el núcleo, no sobre venderle a OpenAI
• La clave: la mejor forma que encontró de armar una red acá es no intentar hacer negocios con nadie
• Su pregunta favorita es una vulnerable: ¿qué harías en mi lugar ahora mismo?
• Cree que la gente se apura a vender o a levantar antes de conocer a nadie en profundidad
• Para crecer él mismo viaja a propósito para salir de la burbuja. En el Valley todo el mundo está en el ojo del huracán; en Brasil puede respirar y ganar perspectiva

Cómo el Mercado Sigue Cambiando bajo los Pies de Todos

• Scale empezó con vehículos autónomos, etiquetando bounding boxes. El año pasado era RLHF. Hoy Vetto no hace nada de eso, solo verificadores y rúbricas
• Tampoco espera que la forma del trabajo sobreviva los próximos seis meses
• El etiquetado como tal se va a seguir automatizando. El problema que no se va es cuáles datos mejoran el modelo
• Seguimos en la era de los datos humanos, alimentando a los modelos con el conocimiento de la mejor gente del mundo, y ese grupo se sigue achicando
• Después de eso, el problema de los datos sigue existiendo. Simplemente deja de ser un problema de datos humanos

Dónde los Labs de Verdad Quieren Mejorar

• Pasar de 80% a 82% en un benchmark público es difícil y casi nunca es el mejor ROI
• Lo que los labs quieren es un benchmark donde el modelo saque 20%, y llevarlo a 70%
• Encontrar hoy un benchmark de 20% en programación es genuinamente difícil, porque los modelos son así de buenos
• Y está el gaming: se puede armar un dataset donde el modelo siempre falla, escribiendo la rúbrica para que siempre falle, y es muy difícil de detectar
• Su respuesta es correr post-entrenamiento en modelos chicos para cada dataset que crean, y mostrar el antes y el después

Entornos, y el Argumento de AlphaGo

• Definir un entorno es mucho más difícil de lo que parece. Prueben definir el entorno de un analista de VC: unas pocas acciones, más una base de conocimiento que es todo internet y una red de personas
• Construir uno que refleje a cada analista de VC del mundo significa simular el mundo, cosa que nadie puede hacer
• Entonces se achica el problema: no reemplazar al analista, solo una tarea, con un entorno lo bastante simple como para que un modelo aprenda adentro
• AlphaGo es la referencia. Alimentado con las mejores partidas humanas, rindió de forma brillante. Un año después, sin ninguna partida humana y con self-play, produjo el move 37, algo que ningún humano jugaría
• La implicación: si se quieren modelos sobrehumanos, probablemente no se los puede alimentar con datos humanos. Hacen falta el entorno y los verificadores correctos
• Pero eso cuesta un compute enorme, porque el modelo necesita miles de millones de experiencias. Sembrarlo con los mejores datos humanos baja el costo, que es lo que Vetto está tratando de hacer
• Entonces los modelos mejores probablemente necesitan cada vez menos datos humanos, mientras hacen falta cada vez más humanos para diseñar el entorno

La Nueva Forma de la Empresa

• Antes de la IA, las empresas de más rápido crecimiento eran empresas de aplicación. Ahora las de más rápido crecimiento tienen investigación adentro
• Ser state of the art en el propio dominio es la mejor ventaja competitiva que hay, y él no cree en los moats de hace unos años
• El producto interno de Vetto es lo que llaman data engines: un ecosistema de modelos chicos, humanos y software que produce los datasets finales. No lo venden
• A medida que los modelos mejoran, su máquina mejora con ellos
• Sobre los datos como moat: tener los datos no es el punto, saber qué hacer con ellos sí. Una app que captura datos sin I+D detrás es casi nada, porque otros también pueden conseguir buenos datos

Ayudar a que la IA Mejore, como Trabajo

• Su primera empresa ayudaba a los jóvenes de Brasil a encontrar trabajo, y ve el paso a Vetto como una continuidad: destilar el conocimiento humano en la IA es en sí mismo un trabajo
• Los humanos son parte del entorno, así que ser asistente de una IA es un trabajo
• Contratan anotadores en toda Latinoamérica, donde la mayoría de la gente no sabe que existe este tipo de trabajo. Es remoto y paga bien, y el ciclo de adopción va a tardar un tiempo

Qué Tienen que Ver los Mercados Emergentes con la Frontera

• Se fueron a remote-first y se juntan cada dos meses, porque con un talento tan escaso no se pueden imponer límites geográficos
• Contrataron investigadores en Brasil, algunos salidos de Nubank, que rinden a la par de gente que llevaba años dentro de los labs
• Brasil está entre los primeros países del mundo por uso de ChatGPT, y él lo lee como una ventaja real: la gente que más lo usa entiende mejor los problemas
• Sobre la mirada cínica de que los mercados emergentes simplemente se vuelven mano de obra de entrenamiento para los países ricos: los investigadores dentro de los labs son en su mayoría inmigrantes de todos modos, y DeepMind está en Londres
• Decir que hay que estar en Silicon Valley para mejorar la IA frena a la IA más de lo que la ayuda

La Gente a la que le Agradece

• Sus cofundadores, con quienes vivió en la universidad y con quienes atravesó los momentos difíciles
• En un espacio con tanto ruido como la IA, tener bases sólidas en casa es lo que permite quedarse durante años
• Cuando duda de sí mismo, le dicen que deje de pensar de más y que avance

Glosario Silicon Valley

Personas, Empresas y Referencias

Personas Mencionadas

• José André Nunes: fundador y CEO de Vetto AI
• Lucas: su cofundador, también del circuito de olimpiadas
• Sam Altman: lo conoció a través de un inversor, como una conversación sobre cómo construir una empresa de investigación y no como un pitch de ventas
• Sus padres: todavía no están del todo de acuerdo con la decisión de dejar la universidad
• Enzo Cavalie: host del podcast

Empresas y Organizaciones

• Vetto AI: el laboratorio de investigación que diseña los datos que mejoran los modelos de frontera
• ITA: la escuela de ingeniería más difícil de Brasil, a la que entró y de la que después se fue
• Scale, Mercor, Surge, Handshake: los incumbentes del mercado al que entró tarde
• DeepMind: citado por AlphaGo, y como evidencia de que la frontera no está solo en el Valley
• Nubank: de donde salieron algunos de los investigadores brasileños de su equipo
• OpenAI: un lab al que nunca estaba tratando de venderle cuando conoció a Altman

Datos y Referencias

• Decenas de millones en ingresos: lo que Vetto alcanzó en alrededor de seis meses
• 15 años: su primer vuelo, a la olimpiada de matemática en Argentina
• 21: su edad cuando Enzo lo conoció por primera vez, alrededor de la primera ronda
• 80% a 82% contra 20% a 70%: la diferencia entre una mejora por la que un lab no va a pagar y una por la que sí
• Cada dos meses: cada cuánto se junta el equipo remote-first
• Segundo o tercero: el lugar en el que ubica a Brasil entre los países del mundo que más usan ChatGPT