BCG CTO: Only 5% Use the AI You Pay For

El audio y el vídeo están en inglés. Estas notas son una traducción.

Hoy entrevisté a Matt Kropp, quien lidera la IA en BCG, dirige un equipo de tres mil ingenieros y ha dado alrededor de cuatrocientas charlas a juntas directivas y equipos ejecutivos sobre lo que esta tecnología le hace a su negocio.

También es, según su propia descripción, un constructor que consulta. Empezó a programar a los ocho en una minicomputadora del hospital donde trabajaba su padre, dejó un doctorado en aeroespacial en 1995 porque se estaba inventando internet, y vendió su primera empresa en un boom que pasó de trescientos empleados a diez mil y después al Chapter 7 en unos cuatro años.

Esa combinación es lo que hace útil su lectura del momento actual. Se sienta con los CEOs que firman los cheques y con los laboratorios que construyen los modelos, y el número con el que se topa una y otra vez es este: en un banco grande con veinte mil ingenieros, a la mayoría de los cuales les dieron una herramienta para programar, menos del cinco por ciento escribe código de verdad con ella.

Estructura y Highlights Clave

Un Doctor, una Minicomputadora y un Libro Llamado Instant Basic

• Su padre era médico y, sin una razón clara, le fascinaban las computadoras
• Había una máquina en el hospital y llevó a su hijo de siete u ocho años a jugar con ella
• El libro que le enseñó fue Instant Basic, leído de tapa a tapa, y sigue en su estante
• Después su padre compró una computadora para la casa, algo que a principios de los ochenta no era normal tener

Dejar la Aeroespacial en 1995 Porque un Compañero de Cuarto Cobraba $8,000 por un Sitio Web

• Estudió ingeniería aeroespacial en UCLA y empezó un doctorado en eso, y después lo dejó: la aeroespacial era una industria que se moría y estaba naciendo internet
• El detonante fue mundano. Un compañero de cuarto, diseñador gráfico, le mostró un sitio web que estaba armando, y le dijo que el cliente le pagaba $8,000
• Su reacción fue que esto es un negocio, y entre cuatro fundaron una agencia de internet con más o menos ese capital
• Había rechazado antes una pasantía que no pagaba nada y ofrecía una laptop, una conexión y un verano para entender qué era internet. Su propia comparación: era el equivalente a una pasantía en OpenAI en 2015

El Boom que Vivió, y por Qué Dice que Este Es Distinto

• Se fusionaron con un par de agencias y se vendieron a US Web en 1997, cuando US Web tenía cerca de trescientas personas
• Para cuando se fue, en 2000, eran diez mil personas. En 2001 fue Chapter 7, desapareció por completo
• Le atinó al timing de sus acciones, y señala que la mayoría no
• La pregunta que ahora le hacen en cada sala de directorio es si estamos en una burbuja y si el compute está construido de más
• Su respuesta separa las dos cosas. En 2000 el potencial era real y la demanda no estaba, con quizás cincuenta millones de usuarios de internet contra cinco mil millones hoy
• Las empresas del Fortune 500, según su estimación, van en un dos a cinco por ciento de la adopción. Sobre el compute, su frase es que no cree que tengamos suficiente

Schlep Blindness, y la Ventaja de no Haber Vivido una Quiebra

• Vuelve una y otra vez al ensayo de Paul Graham sobre schlep blindness y se lo recomienda a los fundadores
• El argumento: parte de lo que les permite a los fundadores jóvenes empezar es no saber cuánto va a durar el trabajo ni cuán doloroso va a ser
• Alguien de su edad lo sabe, y saberlo hace que no quieras hacerlo
• Así que el hecho de que los fundadores de hoy nunca hayan vivido un boom y una quiebra es, en su lectura, un beneficio y no un hueco

La Silla de Aguacate, y por Qué Abre con una Historia en Vez de un Número

• El problema que está resolviendo en esas salas es que el modelo mental de IA de todos está congelado en lo último que probaron, a menudo ChatGPT de hace seis meses
• Muestra las imágenes de la silla de aguacate de DALL·E en 2021: deformes, de baja resolución, reconocibles como las dos cosas y buenas en ninguna de las dos
• Después muestra un video que hizo con Luma Labs, un documental estilo Architectural Digest sobre el diseñador de muebles que creó la silla de aguacate, fotorrealista, con narración, música y una entrevista
• No hay diseñador y no hay silla. Su prompt fue una oración, y un agente produjo el resto
• El punto no es el video. Es que sientan la pendiente de cinco años y vean a un agente razonando hacia una meta
• Sabe que esto es inusual. La mayoría de sus colegas abre con algo utilitario, y su argumento es que primero hace falta el gancho emocional o nadie escucha la parte útil
• Lo conecta con que Palantir les entrega a los forward deployed engineers nuevos un libro sobre improvisación

Por Qué Puede Vender sin Vender

• Su ventaja en esas salas, dice, es que no está vendiendo nada de inmediato
• Lo que está haciendo es educar, mientras representa lo que la firma puede hacer
• La venta es la consecuencia natural, porque se pasó la hora nombrando las partes difíciles y ellos saben quién ayuda con las partes difíciles
• Su consejo a los fundadores es diseñar esa misma posición: hacer que la audiencia sienta que entiendes su problema antes de presentar el tuyo

El Problema del Cinco por Ciento

• Los bancos son, en la práctica, grandes empresas de software, y uno grande tiene veinte mil ingenieros
• La mayoría repartió herramientas para programar, y muchos reportan un sesenta o setenta por ciento de usuarios activos por semana
• Menos del cinco por ciento está usando de verdad las herramientas para escribir código
• Lo que les dice a los ingenieros de su propio equipo: si escribes código a mano, estás despedido. No es una opción
• Su estimación de cuánto tarda en cerrarse la brecha entre las startups nativas de IA y todos los demás es de tres a cinco años

Mil Flores a la Vez, y las Tres Cosas que de Verdad Importan

• El modo de falla habitual es el hackathon que produce 972 casos de uso, que es otra forma de no tener ninguno
• Su instrucción a los clientes es elegir tres, financiarlos, darle a cada uno un dueño senior que responda por el resultado, y, si cotizas en bolsa, prometérselos a Wall Street
• Cómo se ven esos tres en la práctica: un call center reconstruido alrededor de bots de voz, ingenieros que de verdad adoptan, o una organización de marketing que cambia su forma de trabajar
• El resto de la empresa es un problema distinto. En recursos humanos o en legal no hay un solo retorno grande, solo un montón de victorias chicas

La Adopción Es Coaching, no Capacitación

• La secuencia es individuo, después equipo, después proceso, y saltarse hasta el final no funciona
• Hacen una capacitación corta de técnica y después asignan un coach, a propósito como un entrenador personal: el valor no está en la instrucción, está en presentarse y hacerte rendir cuentas durante meses
• Emparejan a un coach ya convertido a la IA con los escépticos, para que alguien pueda mostrar en vez de contar
• Si solo cambia el individuo, termina su trabajo en un cuarto del tiempo y se va a jugar golf, y la producción del equipo no cambia
• Una vez que el equipo sí cambia, le saca la delantera a todos los demás y el cuello de botella simplemente se mueve, por lo general hacia producto, que no escribe especificaciones lo bastante rápido

Dónde los Roles Están Convergiendo

• El scrum master existe para mantener organizado un squad de diez. Su argumento es que no quieres un squad de diez
• Lo que llama la pareja poderosa es un product manager que entiende a fondo al cliente, más un ingeniero que entiende la arquitectura
• QA se vuelve agentes: agentes de código haciendo test driven development, y después un agente de validación que corre pruebas de aceptación con Playwright
• Los product managers no deberían estar escribiendo especificaciones. Deberían estar haciendo vibe coding de prototipos

El Dilema del ERP, Contado a Través de una CEO de Retail

• Una amiga que dirige un retailer describió gastar miles de millones en SAP, un sistema que ni siquiera expone una API, y firmar una implementación nueva de cerca de 10 mil millones de dólares para que sí la tenga
• El problema de ella es que no puede saber si algo de eso va a tener valor el año que viene, y tampoco puede apostar un sistema central a una startup que quizás no exista el año que viene
• Lo que ahora escucha de cuatro o cinco CEOs y CIOs: retrasar la actualización e investigar poner una capa de agentes encima de la versión vieja, reduciendo el ERP a una base de datos
• Sobre el apocalipsis del SaaS lo desarma. Algunos productos van a quedar absorbidos por quienes venden los modelos, o reconstruidos internamente, porque construir ahora es barato
• Lo que sobrevive: cosas que no quieres mantener, productos con efectos de red de verdad, y sistemas de registro tan centrales que tocarlos es puro riesgo

La Competencia Basada en Tokens, y el Número que Hay detrás

• Su marco es que la inteligencia y el conocimiento experto antes eran escasos y ya no lo son. El juicio es lo que sigue siendo escaso
• Si todos tienen la misma inteligencia, las empresas que ganan son las que maximizan el uso productivo de tokens, que no es lo mismo que quemarlos
• BCG se asoció con Cursor para conseguir datos de consumo de tokens y los correlacionó con el crecimiento de 107 empresas públicas
• El quintil superior de uso de tokens creció 15%. El quintil inferior creció 5%. Tiene cuidado de llamarlo correlación, no causalidad, pero la brecha es grande
• Su conclusión para los CFOs: si los tokens se vuelven una parte considerable de la nómina, eso no es un problema de costo, es la nómina amplificada
• Culpa al timing. La IA llegó cuando las empresas estaban enfocadas en recortar costos, y la ciencia ficción ya había entrenado a todos a pensar en términos de reemplazo
• Sobre los despidos es directo: si cada empresa despide al treinta por ciento de su gente, hundimos la economía, y enmarcar así la IA es falta de imaginación
• Le gustó una idea del fundador de OpenRouter: tratar a un empleado como sueldo más tokens, una línea variable, y hacer que el uso de tokens sea parte de la evaluación de desempeño

Qué Falta para que los Agentes Lleguen a Todos

• La siguiente ola en la empresa es darles agentes a cada trabajador del conocimiento, y no cree que ninguna plataforma esté todavía a la altura de eso
• Las opciones que hay se parten en herramientas para desarrolladores, lo que deja afuera a la mayor parte de la empresa, e interfaces de chat, que están bien para algunas tareas
• La aritmética que le preocupa: BCG tiene 35,000 empleados, diez agentes cada uno son 350,000 agentes, y nada hoy te dice si son precisos, si están corriendo, si están conectados bien o si son seguros
• También cree que el problema de la interfaz no está resuelto. Un producto SaaS B2B era una interfaz a medida y de alto ancho de banda sobre una base de datos, y el chat es de propósito general a quizás una centésima del ancho de banda
• Sus propios proyectos ponen la lógica central detrás del chat como un plugin, con una interfaz web secundaria que el propio agente puede cambiar

Por Qué una Empresa de Software no Debería Volverse una Empresa de Servicios

• Su respuesta sobre que los servicios y el software se colapsen uno dentro del otro es que no, y que meterse en servicios es un error
• La razón es la de siempre: te van a valuar como una empresa de servicios, no a un múltiplo de diez o veinte veces
• Palantir es una empresa de software que da la casualidad de que tiene forward deployed engineers. Las empresas de software siempre tuvieron un brazo de servicios y siempre lo mantuvieron por debajo del veinte por ciento de los ingresos
• El resto son partners e integradores de sistemas, y espera el mismo modelo con la IA
• Describe a las empresas yendo a los laboratorios a pedir ayuda de implementación, y a los laboratorios respondiendo que no tienen ingenieros de sobra, que es a lo que Deployco responde. Hacer modelos es un negocio distinto

Vesica, la Empresa sin Humanos

• El experimento: una empresa de cero humanos, con agentes tomando cada decisión, él como gobernador con poder de veto pero con una regla personal de no decidir nada
• Se pusieron los nombres solos. Apex era el CEO, Forge dirigía ingeniería, más agentes de marketing y de blog
• El día uno fue la idea, el día dos la constitución de la empresa, y para el día tres una especificación completa de producto y una primera versión. Corrió unos dos meses
• Construyeron una plataforma multiagente genuinamente impresionante, con telefonía, email, soporte de voz y una fábrica de software, y el producto que eligieron fue una plataforma para empresas de cero humanos
• Lo que la mató fue un almuerzo. Jim Hornthal la pasó por su propia IA de evaluación de negocios, que volvió con diez startups haciendo lo mismo, varias ya fondeadas
• Lo condenatorio no fue la competencia. Fueron las pruebas que esos competidores publicaban: tráfico, registros, y ningún negocio real que se estuviera empezando
• Su lectura de los agentes: te llevan el ochenta por ciento del camino, nunca restan, nunca terminan, y se perdieron la única pregunta que importaba
• La parte humana que cree que no se va es el juicio, que él ata a tener un cuerpo, relaciones y algo que perder
• Su modelo del futuro es Midjourney, con un puñado de personas y cien millones de ingresos. Equipos chicos haciendo cosas grandes, no equipos de cero

Quién Va Adelante, Quién Está Dormido, y Qué no Está Viendo el Valley

• La industria que se movió primero es seguros, lo que sorprende a la gente hasta que notas que una aseguradora es una pila de documentos: pólizas y reclamos
• Después los bancos y el software. Manufactura y bienes industriales en general dicen que esto no les aplica hasta que lleguen los robots
• Su advertencia es que los robots humanoides con razonamiento, lenguaje y destreza están más cerca de lo que creen, y los drones cambiaron la guerra en un par de años
• El escenario que describe no es un atacante de Silicon Valley, sino el competidor tradicional de al lado comprando cien humanoides y corriendo turnos las veinticuatro horas
• El punto ciego del propio Valley, en su lectura, es una ceguera voluntaria sobre cuánto van a absorber simplemente los modelos
• Está viendo a CEOs nativos de IA decir en voz alta que no saben si van a seguir en un año, porque su tajada puede volverse simplemente una funcionalidad de Claude
• Legal es su ejemplo de incertidumbre genuina: Harvey y Legora pueden construir un moat defendible, o ChatGPT puede volverse un abogado lo bastante bueno como para que nada de eso importe
• Sobre la soberanía de los datos es escéptico de que entrenar sea el miedo real, porque los contratos enterprise ya lo prohíben. El miedo real es quedar sometido a un monopolio
• El código abierto, de seis a nueve meses detrás de la frontera, es lo que pone un techo a cuánta renta pueden extraer los laboratorios

Lo que les Dice a sus Propios Hijos

• El menor estudia negocios en BU y pasó el verano haciendo vibe coding para una organización de educación sin fines de lucro, lo que Matt llama el mejor uso posible de ese tiempo
• Su consejo es empezar algo, o sumarte a algo chico, en tus veintes, cuando el costo de fallar es el más bajo
• El mayor está en la facultad de medicina e interesado en neurología, lo que él apoya: su estudio sobre exposición pone a los médicos entre los apenas afectados
• El agradecimiento final fue para su mentor en BCG, Jean-Manuel Izaret, que lo sumó a su equipo desde temprano y es la razón por la que se quedó, y por la que volvió

Glosario Silicon Valley

Personas, Empresas y Referencias

Personas Mencionadas

• Matt Kropp: lidera la IA en BCG, dirige un equipo de tres mil ingenieros, alrededor de cuatrocientas charlas a juntas directivas
• Paul Graham: el ensayo de schlep blindness que les recomienda a los fundadores
• Dario Amodei: aparece a través del país de genios en un centro de datos
• Jim Hornthal: emprendedor serial cuya IA de evaluación, Glider, terminó el experimento de Vesica en un almuerzo
• Jean-Manuel Izaret: su mentor en BCG, la razón por la que se quedó y volvió
• Enzo Cavalie: host del podcast

Empresas y Organizaciones

• BCG: 35,000 empleados, y los tres mil ingenieros que él dirige
• US Web: compró su agencia en 1997 con trescientas personas, llegó a diez mil en 2000, Chapter 7 en 2001
• Cursor: le dio a BCG los datos de consumo de tokens detrás del estudio de crecimiento
• Luma Labs: el modelo de video detrás del documental falso de la silla de aguacate
• OpenAI, Anthropic: los laboratorios a los que las empresas les piden ayuda de implementación, que no es su negocio
• Palantir: su ejemplo de software con FDEs, y no de una empresa de servicios
• Factory: la empresa de agentes de código cuyos clientes piden que les enseñen cómo funciona por dentro
• Midjourney: su modelo del futuro, un puñado de personas y cien millones de ingresos
• Harvey, Legora: las empresas de IA legal cuyo moat llama genuinamente incierto
• SAP: el ERP detrás del dilema de diez mil millones de dólares que una CEO de retail le describió a Enzo
• Vesica: su experimento de empresa con cero humanos, nombrada por sus propios agentes
• OpenRouter: de donde sale la idea de sueldo más tokens

Números que Vale la Pena Guardar

• Menos del 5%: ingenieros de un banco grande que escriben código con IA, contra un 60 a 70% que entra cada semana
• 2 a 5%: qué tan avanzada estima que está la adopción del Fortune 500
• 15% contra 5%: el crecimiento de los quintiles superior e inferior de uso de tokens en 107 empresas públicas
• 972 casos de uso: el resultado del hackathon que usa como forma corta de decir que no hay prioridades
• 3 a 5 años: cuánto espera que tarde en cerrarse la brecha entre las empresas nativas de IA y todos los demás
• 80 / 20: los agentes llevaron a Vesica el ochenta por ciento del camino, y la consultoría es veinte por ciento respuesta y ochenta por ciento lograr que la gente actúe