Herramientas de IA para la Programación Podrían Reducir la Productividad de Ingenieros de Software Experimentados, Sostiene un Nuevo Estudio
Los desarrolladores de software experimentados que utilizan editores de código de IA vieron una disminución del 19% en la productividad, según un nuevo estudio de Model Evaluation & Threat Research (METR).
Cómo se llevó a cabo el estudio
En un giro interesante, un nuevo estudio sugiere que las herramientas de IA hicieron que algunos desarrolladores fueran menos productivos. Los desarrolladores experimentados que usaron herramientas de codificación de IA tardaron un 19% más en completar sus tareas que aquellos que no utilizaron asistencia de IA generativa.
Incluso después de completar las tareas, los participantes no pudieron evaluar con precisión su propia productividad. Los desarrolladores asistidos por IA aún pensaban que su productividad había aumentado un 20%.
Expectativas y resultados
Antes de completar las tareas, los desarrolladores predijeron que la IA disminuiría el tiempo de implementación en un 24%. Pero los desarrolladores sin IA dedicaron más del 10% de su tiempo a la codificación activa, mientras que los programadores asistidos por IA pasaron más del 20% del tiempo revisando las salidas de la IA, esperando a que esta respondiera o simplemente inactivos.
Un investigador de METR, Nate Rush, comentó que utiliza un editor de código de IA todos los días. Si bien no hizo una predicción formal sobre los resultados del estudio, Rush anotó cifras de productividad positivas que esperaba que alcanzara el estudio. Se mostró sorprendido por el resultado negativo y advirtió que no se debe sacar del contexto.
"Mucho de lo que vemos es la especificidad de nuestro entorno", dijo Rush, explicando que los desarrolladores sin la experiencia de los participantes probablemente verían resultados diferentes. "Pero el hecho de que encontramos algún tipo de desaceleración fue realmente sorprendente."
Por su parte, Steve Newman, emprendedor en serie y cofundador de Google Docs, describió los hallazgos como "demasiado malos para ser verdad", pero después de un análisis más cuidadoso del estudio y su metodología, consideró que el estudio es creíble.
Limitaciones de las herramientas de IA
Los investigadores de METR encontraron evidencia de múltiples factores que contribuyeron a la desaceleración de la productividad. El exceso de optimismo fue uno de los factores probables. Los investigadores afirman que este estudio no expone a las herramientas de codificación de IA como un fraude, sino que recuerda que tienen limitaciones significativas (al menos por ahora).
Para obtener contenido más especializado, suscríbase a nuestro boletín.
Comments ()