Una nueva investigación del BCG Henderson Institute examina el impacto de la inteligencia artificial generativa en el desempeño de los consultores en tareas de ciencia de datos que van más allá de sus capacidades actuales.
La IA Generativa (GenAI) está creando un nuevo tipo de trabajador del conocimiento capaz de programar más rápido y resumir documentos de forma instantánea. Pero ¿puede esta herramienta también permitir que las personas se adapten a las demandas cambiantes de sus roles?
Un nuevo experimento científico realizado por el BCG Henderson Institute, en colaboración con BCG X y Emma Wiles de la Universidad de Boston, examina lo que sucede cuando las personas utilizan esta tecnología no solo para mejorar su desempeño dentro de sus habilidades actuales, sino para completar tareas más allá de sus capacidades existentes. Las principales conclusiones pueden verse en el reporte, titulado GenAI Doesn't Just Increase Productivity. It Expands Capabilities.
En el experimento, 480 consultores de BCG completaron dos de tres tareas breves que simulan las actividades diarias de un científico de datos: escribir código Python para fusionar y limpiar conjuntos de datos, construir un modelo predictivo y validar los análisis estadísticos generados por ChatGPT. Estas tareas se diseñaron para que supusieran un desafío significativo para cualquier consultor y no pudieran automatizarse por completo con la herramienta GenAI (Enterprise ChatGPT con GPT-4 y su función avanzada de análisis de datos). Para evaluar el rendimiento de los participantes, sus resultados se compararon con los de 44 científicos de datos de BCG que trabajaron sin la ayuda de GenAI. Julián Herman, managing director y socio de BCG, explicó:
El estudio muestra como la IA Generativa puede ser un acelerador de capacidades, permitiendo abordar tareas complejas fuera del conjunto habitual de habilidades de los participantes [...] Lo más sorprendente es que, con la ayuda de GenAI, los consultores fueron capaces de escribir código y construir modelos predictivos, actividades tradicionalmente reservadas para perfiles especialistas. Este tipo de tecnología no solo mejora la eficiencia, sino que también permite a los equipos ser más versátiles y adaptarse rápidamente a nuevas áreas de trabajo”.
Ampliación instantánea de aptitudes para nuevas tareas
Al utilizar GenAI, los consultores en el estudio pudieron ampliar instantáneamente su capacidad para realizar nuevas tareas. Incluso cuando no tenían experiencia en programación o estadística, los consultores con acceso a GenAI lograron escribir código, aplicar adecuadamente modelos de aprendizaje automático y corregir procesos estadísticos erróneos. La mayor expansión de habilidades se observó en la codificación, donde los participantes fueron evaluados en su capacidad de escribir código en Python, un lenguaje de programación común para los científicos de datos.
Los participantes que utilizaron GenAI alcanzaron una puntuación media equivalente al 86% del estándar establecido por los científicos de datos, lo que representa una mejora de 49 puntos porcentuales respecto a los participantes que no utilizaron GenAI. Además, el grupo que utilizó GenAI también terminó la tarea aproximadamente un 10% más rápido que los científicos de datos.
GenAI como potente aliado en la generación de ideas
Con el apoyo de GenAI, los participantes pudieron realizar una lluvia de ideas con la herramienta, combinando sus conocimientos con los de GenAI para descubrir nuevas técnicas de modelado e identificar los pasos correctos para resolver el problema con éxito. Los participantes que utilizaron GenAI tuvieron 15 puntos porcentuales más de probabilidades de seleccionar y aplicar adecuadamente métodos de aprendizaje automático que sus homólogos que no tuvieron acceso a GenAI.
En la tarea de análisis predictivo, los participantes en el experimento se encontraron con un reto importante: ni ellos ni la herramienta GenAI tenían un alto nivel de competencia en esta área. El análisis predictivo fue la tarea que el consultor con GenAI tuvo resultados más bajos en comparación a un científico de datos. Esto independientemente de su experiencia previa en codificación o estadística, ya que es probable que la herramienta GenAI malinterprete la pregunta de fiabilidad sin ensayo y error o reformulación de la pregunta. En consecuencia, los participantes con acceso a GenAI tuvieron más probabilidades de equivocarse que sus homólogos sin acceso a GenAI.
“Hacer con GenAI” no significa aprender a hacer
La recapacitación (o reskilling en inglés) se define como el proceso en el cual los individuos adquieren nuevas capacidades o conocimientos que le permiten acceder a un nuevo empleo o industria. El estudio reveló que los trabajadores potenciados con GenAI estaban en cierto sentido “recapacitados”, ya que adquirían nuevas habilidades que iban más allá de lo que tanto humanos como GenAI podían hacer por sí solos. Sin embargo, GenAI era sólo un exoesqueleto; los humanos por sí solos no estaban intrínsecamente “recapacitados”, porque “hacer” con GenAI no significa inmediata ni inherentemente “aprender a hacer”.
Aunque a cada participante se le asignaron sólo dos de las tres tareas del experimento, todos recibieron una evaluación final con preguntas relacionadas con las tres tareas para comprobar cuánto habían aprendido. A todos se les hizo una pregunta sobre la sintaxis de programación, incluso si no habían realizado la tarea de codificación. Sorprendentemente, los que hicieron esta tarea obtuvieron la misma puntuación que los que no la hicieron, lo que indica que la realización de las tareas de ciencia de datos no aumentó sus conocimientos. Es importante señalar que los participantes no fueron informados de que iban a ser evaluados, y es probable que con la repetición y la intención, se produjera el aprendizaje.
Además, los participantes con GenAI que tenían experiencia moderada en programación obtuvieron entre 10 y 20 puntos porcentuales más en las tres tareas que sus compañeros que se autoidentificaron como novatos, incluso cuando no programaron. De hecho, aquellos con experiencia moderada en codificación estuvieron a la par con los científicos de datos en dos de las tres tareas, considerando que en la tercera tarea no había codificación. Herman añadió:
Aunque la IA puede igualar a los trabajadores en habilidades técnicas como la programación, aprender a programar sigue siendo invaluable. El verdadero valor de la programación no está en el código en sí, sino en la mentalidad que desarrolla [...] Saber cómo descomponer problemas complejos, entender las lógicas detrás de los sistemas y tener una estructura de pensamiento ingenieril es lo que realmente importa. Esta habilidad crítica es aplicable más allá de la tecnología, y sigue siendo un activo en cualquier carrera que requiera resolución de problemas complejos”.
Las personas pueden leer la publicación completa en la página web de BCG.
