Última Hora: La Codificación con IA Podría No Ser Tan Beneficiosa Como Creías
La codificación ha sido el caso de uso más fuerte. Pero un nuevo estudio de METR acaba de salir.
Una fracción significativa del dinero que la gente ha pagado por IA generativa ha sido para asistencia en codificación. Cuando destaco los usos positivos de la IA generativa, indudablemente menciono cómo la IA genera una especie de autocompletado valioso para la codificación.
En ese contexto, un nuevo estudio de METR, una ONG dedicada a la evaluación de IA, es impactante.
METR llevó a cabo un ensayo controlado aleatorio en la primera mitad de este año "para ver si el uso de herramientas de IA en la frontera de febrero a junio de 2025 (principalmente Cursor Pro) aceleró a los desarrolladores experimentados de código abierto". Según un correo electrónico que me enviaron, "parte de [la] motivación ... era entender qué tan cerca podríamos estar de automatizar el rol de un ingeniero de investigación de IA".
Como ellos lo expresan, "Uno de los métodos a menudo propuestos para lograr esto es simplemente encuestar directamente, por ejemplo, a empleados de laboratorios de IA para obtener anécdotas sobre cuánto creen que el acceso a herramientas de IA los está acelerando". Pero la evidencia anecdótica es difícilmente confiable. METR hizo algo mucho más riguroso: "Los desarrolladores completaron 245 tareas en proyectos maduros en los que tienen un promedio de 4.9 años de experiencia previa."
¿Cuánto tiempo ahorraron los programadores?
Te lo diré en un momento. Pero primero, una de las partes más interesantes del estudio: METR preguntó a los programadores tanto antes como después de la prueba sobre sus expectativas:
Antes de completar las tareas, los desarrolladores registraron expectativas de que el uso de herramientas de IA aceleraría el tiempo total de finalización de tareas en un 24%. Después de completar las tareas, estimaron que el tiempo de finalización se redujo en un 20%. Expertos en aprendizaje automático y economía predijeron ganancias de productividad incluso mayores.
¿Qué realmente ocurrió?
Citando a METR, en negrita sus palabras:
“Las herramientas de IA actuales en realidad ralentizaron el tiempo de finalización de las tareas en un 19%.”
SI esto es un hallazgo general y replicable, es un golpe serio al caso de uso más destacado de la IA generativa. La gente podría estar imaginando ganancias de productividad que no están obteniendo e ignorando, además, los costos en el mundo real.
§
Si es cierto, esta caricatura de 2023 (no pude encontrar al artista) podría ofrecer alguna perspectiva sobre uno de los mecanismos subyacentes:
Depurar código que no escribiste puede ser difícil.
§
Como METR mismos señalan, hay muchas advertencias:
... estos son desarrolladores experimentados que trabajan en bases de código grandes y complejas que, a menudo, ayudaron a construir. Esperamos que las herramientas de IA proporcionen mayores beneficios de productividad en otros entornos (por ejemplo, en proyectos más pequeños, con desarrolladores menos experimentados o con diferentes estándares de calidad). Este estudio es, significativamente, tanto un instante en el tiempo (principios de 2025) como una distribución única (¡pero importante!) de desarrolladores.
Y ellos, quizás un poco más optimistas sobre el ritmo del progreso de la IA que yo, añaden: “No creemos que nuestros resultados representen una limitación fundamental en la capacidad del modelo, ni que descarten un cambio rápido en la métrica estudiada pronto.”
El tiempo dirá. Pero por ahora, el desconecte entre lo que los programadores pensaban que obtendrían en términos de eficiencia de las herramientas y lo que realmente obtuvieron es motivo de reevaluación.
Será muy interesante ver cómo evoluciona esto con el tiempo.
Si deseas conocer más y estar al tanto de contenido especializado, no olvides suscribirte aquí.
Comments ()