En un sector tecnológico donde la inteligencia artificial promete revolucionar cada aspecto del desarrollo de software, un nuevo estudio pone en tela de juicio una de sus premisas más extendidas: que las herramientas de codificación asistida por IA siempre aumentan la productividad. Contrariamente a la creencia popular y a las expectativas de los propios profesionales, una investigación publicada por el grupo METR sugiere que, para los desarrolladores con experiencia, el uso de estas avanzadas herramientas podría no solo no acelerar su trabajo, sino incluso ralentizarlo.
El auge de herramientas como GitHub Copilot y Cursor ha transformado los flujos de trabajo de muchos ingenieros de software. Estas plataformas, impulsadas por potentes modelos de IA de gigantes como OpenAI, Google DeepMind y Anthropic, son capaces de escribir líneas de código, corregir errores y probar cambios de forma automática. Sin embargo, un nuevo estudio publicado el jueves por el grupo de investigación de IA sin ánimo de lucro METR arroja una luz de escepticismo sobre la universalidad de estas ganancias de productividad, especialmente en el caso de los programadores más veteranos.
Un experimento riguroso con resultados inesperados
Para llegar a sus conclusiones, METR llevó a cabo un ensayo controlado aleatorizado, un método de investigación considerado el estándar de oro para establecer causalidad. Reclutaron a 16 desarrolladores de código abierto con una notable experiencia y les pidieron que completaran un total de 246 tareas reales en grandes repositorios de código en los que contribuían habitualmente. Este enfoque garantiza que los resultados se basen en escenarios de trabajo realistas y no en problemas de programación simplificados.
Los investigadores dividieron las tareas de forma aleatoria. En aproximadamente la mitad de ellas, se permitió a los desarrolladores utilizar herramientas de IA de última generación, como Cursor Pro. En la otra mitad, su uso estaba prohibido. Antes de comenzar, los participantes hicieron sus propias previsiones: estimaron que el uso de la IA les permitiría reducir el tiempo de finalización de las tareas en un 24%. La realidad, sin embargo, fue muy diferente.
La gran sorpresa: un 19% más lentos con IA
Los resultados del estudio fueron, como mínimo, sorprendentes. Lejos de confirmar las optimistas expectativas, el análisis de los datos reveló que permitir el uso de herramientas de IA no solo no aceleró el trabajo, sino que lo hizo más lento. «Sorprendentemente, encontramos que permitir la IA en realidad aumenta el tiempo de finalización en un 19%«, afirmaron los investigadores en el informe. Este hallazgo supone un giro drástico respecto a la narrativa dominante sobre la productividad en la era de la IA.
Es importante señalar un matiz en la experiencia de los participantes. Según el artículo de TechCrunch que informa sobre el estudio, solo el 56% de los desarrolladores tenía experiencia previa utilizando Cursor, la principal herramienta de IA ofrecida. Aunque casi todos (un 94%) habían utilizado alguna vez modelos de lenguaje grandes (LLMs) basados en la web en sus flujos de trabajo, para algunos era la primera vez que se enfrentaban específicamente a Cursor, si bien recibieron formación previa para nivelar el campo de juego.
¿Por qué la IA podría ser un obstáculo para los expertos?
El estudio de METR abre un debate sobre las razones por las que estas herramientas, diseñadas para ayudar, podrían acabar siendo un lastre para los programadores más cualificados. Los investigadores apuntan a varias posibles explicaciones.
Una de ellas es el tiempo que los desarrolladores invierten en la propia interacción con la IA. En lugar de escribir código directamente, deben formular prompts (instrucciones para la IA), esperar a que el modelo genere una respuesta y, posteriormente, evaluar y depurar el código sugerido. Este ciclo de «petición-respuesta-verificación» puede, en ciertos contextos, consumir más tiempo que si el desarrollador hubiera escrito el código por sí mismo desde el principio.
Otra razón fundamental, según el informe, es que las herramientas de IA tienden a tener dificultades con bases de código grandes y complejas, precisamente el tipo de entorno en el que se llevó a cabo el experimento. Para un desarrollador experimentado que ya posee un profundo conocimiento de la arquitectura de un proyecto, navegar y modificar el código directamente puede ser más eficiente que intentar explicarle el complejo contexto a una IA.
Poniendo los hallazgos en contexto: una pieza más del puzle
A pesar de lo llamativo de sus resultados, los propios autores del estudio son cautelosos y evitan extraer conclusiones categóricas. Subrayan explícitamente que sus hallazgos no significan que los sistemas de IA fallen a la hora de acelerar a «muchos o la mayoría» de los desarrolladores de software.
De hecho, el panorama es complejo. Como se menciona en el artículo fuente, existen otros estudios a gran escala que sí han demostrado que los asistentes de codificación con IA aumentan la productividad de los ingenieros de software. Por lo tanto, el estudio de METR no invalida investigaciones anteriores, sino que añade un matiz crucial: el impacto de la IA puede depender enormemente del nivel de experiencia del desarrollador y de la complejidad de la tarea.
Además, los autores son conscientes de la velocidad vertiginosa a la que evoluciona la tecnología. Señalan que no esperarían obtener los mismos resultados dentro de tres meses, dado el ritmo de mejora de los modelos de IA. La propia METR ha documentado en otros trabajos cómo la capacidad de la IA para completar tareas complejas y a largo plazo ha mejorado significativamente en los últimos años.
Más allá de la velocidad: otros desafíos de la codificación con IA
La investigación de METR ofrece una nueva razón para ser escépticos ante las promesas más grandilocuentes de la IA en la programación, pero no es la única. La velocidad no es el único parámetro en juego. Otros estudios y análisis del sector han puesto de manifiesto que las herramientas de codificación con IA actuales pueden introducir errores sutiles en el código y, en algunos casos, incluso crear vulnerabilidades de seguridad que un desarrollador humano podría no detectar a primera vista.
En definitiva, este estudio sirve como un importante recordatorio de que la relación entre los desarrolladores y la inteligencia artificial es mucho más compleja de lo que parece. Las herramientas de IA son indudablemente poderosas, pero su beneficio no es automático ni universal. Para los desarrolladores experimentados que trabajan en proyectos complejos, la IA podría ser, por ahora, más un copiloto que necesita supervisión constante que un piloto automático fiable. El camino hacia una simbiosis perfecta entre la creatividad humana y la capacidad de cálculo de la IA todavía se está construyendo.
