Ex-OpenAI Head of Preparedness: Don’t Slow AI Down, Make it Safe Faster

El audio y el vídeo están en inglés. Estas notas son una traducción.

Hoy entrevisté a Joaquín Quiñonero, que lideró Preparedness en OpenAI, el equipo que prueba modelos de frontera por riesgo catastrófico, y después dirigió recruiting y people ahí. Pasó casi 20 años construyendo IA en Microsoft, LinkedIn y Meta, donde fundó el equipo de applied machine learning de Facebook.

El giro no es otro laboratorio. En 2016 no le preocupaba el peligro de la IA, porque los sistemas eran difíciles de construir. Una década después era la persona que buscaba el daño catastrófico, y sigue pensando que “frenar la frontera” es el slogan equivocado. Prefiere acelerar la investigación en safety, negarse a publicar lo que un lab no puede monitorear, y decirles a los founders que quemen tokens en una sola apuesta en vez de financiar un Bell Labs dentro de una startup.

Estructura y Highlights Clave

Gasta en Tokens, no en Contrataciones

• El consejo viejo era no levantar de más antes del product-market fit. Un pre-seed de $20 millones con dos founders se desperdicia en contrataciones y proyectos de más, y demasiados inversionistas es un beso de muerte
• La parte del presupuesto que va a tokens, en vez de a salarios, tiene que crecer
• Quemar cómputo deja que un equipo chico pruebe una hipótesis más rápido que nadie

No Hagas Investigación Solo para Impresionar a Inversionistas

• La mayoría de los equipos de research de una startup temprana son cebo para inversionistas: Quiñonero los ve en la Serie B, Runway entre ellos
• La investigación que mueve un campo, al estilo de Bell Labs, necesita años de financiación sin esa presión, y una startup que exige el roadmap pierde el ganso
• Lo que sí corresponde es research aplicado que mejora el propio producto, como bajar 10 veces el costo de inferencia

Quédate Cerca del Trabajo, sin Importar tu Cargo

• A medida que las empresas crecen, los founders se alejan de los clientes y de la tecnología
• En Facebook dejó de liderar applied machine learning para volver a escribir código, y en OpenAI, cuando le ofrecieron un rol mucho más grande después de Preparedness, pidió ser intern
• Las carreras son hélices, no escaleras: cuando existen títulos como principal, distinguished, fellow o SVP, ya no puedes volver al trabajo

Ninguna Cultura Es el Sistema Operativo

• Nació en España y creció en Marruecos, en una familia española. Su madre le enseñó a leer y escribir en español en casa, segura de que volverían al año siguiente
• De día, un colegio francés. Árabe con los amigos, atasco los viernes por la oración, amigos judíos, y diplomáticos en la casa, entre ellos un médico rumano formado en Rusia
• Entonces no era consciente. Después, las rutinas rígidas lo confunden: ninguna cultura es el sistema operativo universal

Caracoles, una Aguja, y el Riesgo

• En Tánger comía caracoles de la calle con una aguja guardada en un limón, que reutilizaba el siguiente cliente
• Su madre echaba una gota de lejía al agua de la ensalada del mercado, y se horrorizó
• La lección: hay que vivir las cosas. El riesgo no es una sola regla que viaje a todos lados

España Tenía que Sentirse como Casa

• A los 18 rechazó una prépa francesa y la opción de una grande école como Polytechnique, y se fue a España a buscar sus raíces
• Se sintió extranjero. Sus compañeros tenían una ciudad y un colegio. Su familia ya había vivido en tres ciudades de Marruecos
• La ingeniería en Madrid le dio ganas de irse. Erasmus, con una sola regla: lo más lejos posible

Copenhague, 2000

• Ahí conoció a su mujer. El año que viene celebran 25 años de casados
• Un profesor de redes neuronales le ofreció un doctorado con financiación. No lo tenía planeado. Preguntó qué era una red neuronal
• Su madre: en esta vida no hay nada seguro

La Mesa Española en el Extranjero

• En Cambridge, cerca de los 30, entró a un equipo de rugby de veteranos y lo golpearon. Esa es su forma de presentarse
• Las comunidades españolas en Alemania, Dinamarca e Inglaterra le parecían cerradas, organizadas alrededor del jamón y el aceite de oliva. Quería que se integraran, y conoce la tensión con seguir siendo uno mismo
• California encajó. Una pareja hispano-alemana, tres hijos trilingües, y nadie se sorprendía. La incomodidad es parte del trabajo de una startup

Una Hélice, no una Escalera

• El currículum parece ir hacia atrás: líder de applied ML en Facebook, luego contribuidor individual, la misma bajada en OpenAI, y después liderazgo otra vez
• Él lo llama una hélice. Das la vuelta, y no eres la misma persona cuando pasas por el punto viejo
• Dirigir lo hacía hablar con frases que servían para cualquier reunión. Después de cada bajada, sus pares le decían que habían querido hacerlo y no podían

“Quiero Ser Intern”

• Después de Preparedness, OpenAI le ofreció un rol mucho más grande. En Navidad dijo que no y pidió ser intern. Lo dejaron
• Pares que manejaban equipos grandes, a la tercera cerveza, decían que estaban celosos y atascados
• El último tramo como IC fue Codex y una generación nueva de agentes de código. El anterior no tenía herramientas para programar. Eso no se lidera de memoria

Un Boleto de Vuelta en Microsoft Research

• Alrededor de 2007, Research se sentía como el paraíso: sueldo, libertad académica, sin grants, sin código de producción
• Liderar ingeniería le apagó el filo de investigador. Pidió tours of duty, con camino de regreso
• La gente se va, cree, cuando la única opción es volarlo todo. La IA vuelve obligatoria la renovación, no un beneficio

Los Títulos Matan la Hélice

• OpenAI se quedó mucho tiempo en “member of technical staff”, a propósito
• Principal, distinguished, fellow, SVP: cuando los nombres existen, ya no puedes volver al trabajo
• Veinte personas no necesitan la escalera. La máquina que llega después le saca el alma. Él terminó de head of people sin decir que tiene la respuesta de diseño

Presunción de Responsabilidad

• Entró a Facebook por lo que podía hacer un ingeniero, incluido volver a desplegar el sitio entero sin una reunión de permisos
• Unos 1.000 técnicos, quizá 3.000 en total. Confías en ellos, y se hacen dueños del resultado
• Las reglas hacen que un hijo se porte mal. La responsabilidad de verdad lo vuelve cuidadoso. La escala cambia eso por controles para poder contratar a cualquiera. Lo llama trágico

Dunbar Todavía Explica a los Labs

• La cultura se lleva el crédito, y el headcount hace gran parte del trabajo. Con 200 o 300 personas todavía conoces las caras
• Amigos en Meta y Google describen lo contrario de ese Facebook. Él lo trata como lo que hace el anonimato

10.000 Veces, Menos Gente

• El 1% o el 0,1% de arriba no van a ser 10x ni 100x. Su estimación se acerca a 10.000 veces, porque construyen fábricas de agentes, no una respuesta
• Un hire nuevo cuesta más en coordinación que antes. Equipos chicos, o unidades chicas dentro de una empresa grande, pueden cargar un output absurdo

Tokens, y Después una Sola Apuesta

• La regla vieja de Enzo le sigue importando: un pre-seed de $20 millones con dos founders se desperdicia en contrataciones y proyectos de más. Demasiados inversionistas es un beso de muerte
• La línea nueva del presupuesto son los tokens. Esa parte del gasto tiene que subir para que un equipo chico pruebe una hipótesis más rápido que nadie
• No hagas 20 cosas. Haz una, 100 veces más rápido. La foto de Enzo, cinco personas a $1 millón de tokens cada una al año, quiere decir que el seed simplemente es más grande

No Es Bell Labs

• Enzo ve organizaciones de research en la Serie B, Runway entre ellas. Quiñonero pregunta cuánto de eso es cebo para inversionistas
• Bell Labs eran científicos famosos y un presupuesto largo, protegido. Una startup que exige el roadmap, o abre el ganso para buscar el huevo, pierde el ganso
• La investigación fundamental no tiene lugar ahí. La aplicada sí: bajar 10 veces el costo de inferencia, o el producto de voz que él usa todos los días. Veinte o treinta labs nuevos no cambian el corte

Lo que 2016 no Podía Ver

• Ese año no estaba muy preocupado. Los sistemas eran difíciles de construir. Ocho años después dirigía Preparedness
• Los riesgos viejos eran burbujas, sobrepersonalización, y gente jugando con el feed. Graduales, visibles, humanos
• GPT-3 y un salto de capacidad cambiaron el mapa. Toma los tres baldes de Yoshua Bengio, de un discurso en Naciones Unidas días antes: mal uso por personas, pérdida de control, concentración de poder. Solo el tercero ya era obvio en 2016

Dibujar la Línea de lo Catastrófico

• La palabra es arbitraria hasta que alguien la fija
• Su bosquejo: unos pocos días, de un dígito, muertes en miles o millones, y/o daños de miles de millones a cientos de miles de millones
• Preparedness era ese umbral para AGI y más allá, no un estado de ánimo

La Rima con Facebook

• En la Primavera Árabe, que él sitúa en buena parte en Túnez, pensó que el feed era una voz para todos
• La libertad de expresión se había construido para la radio y la televisión
• La IA rima en velocidad: la sociedad no la ha absorbido. No rima en radio de impacto, así que la respuesta de 2016 queda retirada

Data Centers, y Quedarse Afuera

• La resistencia en Estados Unidos cruza estados demócratas y republicanos
• El agua depende de la generación del edificio, la red necesita más energía, y los sitios hacen ruido de cerca. Cree que eso se puede resolver
• La pelea de abajo es el tiempo. La gente no estaba en la conversación, y el cambio ya les cayó encima

La Carrera Armamentista que no Va a Decorar

• Ningún líder de un lab de frontera quiere ser quien publicó el sistema destructivo. Igual construyen el siguiente modelo. Enzo dice Ícaro. Quiñonero se queda con la imagen
• Probar el riesgo puede exigir un modelo más fuerte. Defenderse de una IA peligrosa construyendo otra más capaz de tu lado es, en sus palabras, una escalada
• China es la carrera obvia, economía y defensa juntas. La versión del capital es un hipotético con Andreessen: vamos a ir más lento, ahora transfiere el dinero
• Tiene simpatía. Igual llama a la estructura un dilema del prisionero

No la Paces

• “Pacing the frontier” es el slogan perezoso. Él quiere más pruebas y más confiabilidad antes de publicar, y eso no se va a hacer viral
• La investigación que hay que acelerar es el alignment de muchos agentes, no de uno. Colaborar es como se llega a la superinteligencia, y es donde aparecen sub-objetivos que nadie planeó
• El incidente de Hugging Face y OpenAI le importa por ese comportamiento de los agentes. La marca Hugging Face es una distracción
• No despliegues, a escala, un modelo que no puedes monitorear, alinear, controlar y apagar. Un motor nuevo de jet no lleva pasajeros sin las horas de prueba

Radiólogos, y la Línea del 10%

• La frase de Geoffrey Hinton en 2016 era que los radiólogos ya no harían falta. Una década después hay escasez, y Hinton ha reculado en parte
• El pronóstico miraba una subtarea, encontrar el tumor, y se perdía la historia, el riesgo y la elección del tratamiento
• La paradoja de Jevons hizo el resto: lecturas más baratas crearon más demanda. Quiñonero quiere esto como preguntas, no como “diez años, 10% de chance de que se acabe la humanidad”

Fuera de tu Carril

• Si lo dice Dario o Sam, se cae el matiz. La gente oye el cargo
• A un técnico de fútbol que gana en España le preguntan por la economía. El consejo de Quiñonero es no contestar
• El mismo chiste, apuntado: pregúntale a Mourinho si la IA le quita el trabajo

El Trabajo de People no Era Safety

• Recruiting, y después people, fue un llamado al deber después del tramo de intern. Es explícito: no era una estrategia de safety
• La historia que igual cuenta es Yo-Yo Ma en NeurIPS, alrededor de 2018, después de que Quiñonero llevara veinte años yendo, desde 2000 o 2001
• La confianza, dijo Yo-Yo Ma, empieza por quién construyó el sistema y qué quiere. Esa es una respuesta sobre safety. No es la razón por la que tomó el puesto

Incidentes, y Quién le Reporta al CEO

• Quiere transparencia sobre la investigación en safety antes que otra cita de advertencia
• Del board de Partnership on AI, con Eric Horvitz de chair y también chief scientist de Microsoft, se queda con la base de incidentes: organizaciones sin fines de lucro, cada lab, los fallos escritos
• Enzo dice una Interpol de agentes rebeldes. Quiñonero está de acuerdo, también como datos para entrenar. Los bancos ya intercambian lecciones de brechas en privado para no tutorar al atacante siguiente
• La diversidad cognitiva es la otra mitad, y la rastrea hasta Marruecos. Quien lidera safety y alignment debería reportarle al CEO. Un monocultivo es como esto falla

La Responsabilidad Legal Es el Producto

• Enzo: las intenciones no van a alcanzar. Alguien tiene que ganar dinero con el alignment
• Hospitales, bufetes y bancos ya están escribiendo la cláusula: si sale mal, paga el vendor
• La zanahoria de Volvo fue el auto seguro. La de Apple, la privacidad. El palo es la responsabilidad, y el seguro es quien él espera que le ponga precio

Desenredar lo Justo

• El hilo de Marruecos cae en el trabajo de fairness que empezó en Facebook y llevó a producto en LinkedIn
• Igualdad de trato deja al modelo ciego. Igualdad de resultados a veces pide un trato distinto, como un estacionamiento que falla si todos los lugares son idénticos
• Las mujeres en LinkedIn tenían más a menudo perfiles más flacos. Los hombres postulaban por encima de sus calificaciones, las mujeres con más cautela, y el recomendador podía ofrecerle a una mujer igual de calificada un trabajo peor pagado
• Se negaron a elegir una definición y salir corriendo. El ranker se queda ciego. El producto ayuda a completar el perfil. En el episodio no recuerda el título del paper. Recuerda que moverse rápido era el instinto equivocado

Primero el Aula

• Dejó OpenAI en mayo. La empresa que está construyendo puede esperar otro episodio. Este se queda con la educación
• Acepta el miedo a estudiantes flojos y a calificar un trabajo que es 90% modelo. Igual quiere tutoría que coincida con cómo aprende una persona
• Jo Boaler, en Stanford, es la referencia. El título se le olvidó al aire: más visual, más analogía o más literal, y mucho “malo para las matemáticas” era la lección equivocada
• Prefiere enseñar matemáticas en una secundaria de Mountain View antes de decirle a la escuela qué comprar. Enzo reconoce otra vez el patrón del intern. La mayoría, agrega Enzo, nunca ve cómo aprende. Escuchar es la razón de que exista este podcast

Dos Mujeres, y la Incertidumbre

• Quienes lo empujaron: su madre y su mujer. Las dos pueden vivir sin saber
• Su mujer no juzga. Él descarta a alguien, ella dice que no conocemos el contexto, y la incomodidad es el regalo
• Eso es lo que hizo posibles el siguiente país, y el siguiente trabajo

Glosario Silicon Valley

Personas, Empresas y Referencias

Personas Mencionadas

• Joaquín Quiñonero: lideró Preparedness en OpenAI, y después recruiting y people; construyó IA en Microsoft, LinkedIn y Meta
• Enzo Cavalie: host del podcast
• Yoshua Bengio: investigador cuyas palabras en Naciones Unidas dan los tres baldes de riesgo que usa Quiñonero
• Geoffrey Hinton: origen del pronóstico de 2016 sobre radiólogos, y de un recule posterior
• Yo-Yo Ma: en un workshop de NeurIPS, dijo que la confianza en una IA empieza por quién la construyó y por qué
• Eric Horvitz: chief scientist de Microsoft y chair de Partnership on AI, que empujó una base de incidentes
• Jo Boaler: profesora de Stanford cuyo trabajo sobre estilos de aprendizaje enmarca su interés en IA y educación
• Andreessen: el inversionista del hipotético de pedir dinero mientras prometes ir más lento
• Mourinho: el técnico del chiste sobre contestar fuera de tu carril

Empresas y Organizaciones

• OpenAI: Preparedness, luego un tramo de intern, luego recruiting y people, y se fue en mayo
• Meta: donde sus amigos describen hoy lo contrario del Facebook al que él entró
• Facebook: applied machine learning, y una cultura de ownership individual
• Microsoft: Research alrededor de 2007, y el asiento de ingeniería del que quería un camino de vuelta
• LinkedIn: donde fairness se volvió una pregunta de producto sobre perfiles y recomendaciones de trabajo
• Netflix: su ejemplo de una cultura temprana que funcionaba antes de que llegara la máquina
• Bell Labs: la foto de investigación fundamental que una startup no puede financiar
• Hugging Face: el incidente público que deja de lado para poder hablar del comportamiento de los agentes
• Partnership on AI: el board en el que estuvo, y la casa del empuje por una base de incidentes
• NeurIPS: la conferencia a la que fue durante unos veinte años
• Naciones Unidas: donde Bengio, días antes, expuso las tres categorías de riesgo
• Runway: una empresa de aplicación que Enzo cita como quien arma research antes de lo que decía el playbook viejo
• Apple: la marca de privacidad, junto a la marca de seguridad de Volvo
• Volvo: la empresa que hizo de la seguridad el producto
• Stanford: donde enseña Jo Boaler
• Codex: un agente de código de su último tramo como contribuidor individual

Datos y Referencias

• 20 años: construyendo IA entre Microsoft, LinkedIn y Meta, y también su racha en NeurIPS
• 25 años: el aniversario al que llegan él y su mujer el año que viene
• Unos pocos días: la ventana de tiempo dentro de su bosquejo de daño catastrófico
• GPT-3: el lanzamiento entre la entrevista de 2016 y los riesgos que ve ahora
• $20 millones: el ejemplo de Enzo de un pre-seed que antes era demasiado para dos founders
• $1 millón: tokens por persona, al año, en el equipo de cinco que imagina Enzo
• 10.000 veces: la brecha de impacto que espera entre la cima y la cola de abajo
• 90%: un trabajo de estudiante hecho por un modelo, y el problema de calificación que sigue