Según una encuesta de Gallup de 2022, los profesores de jardín de infantes a 12.º grado de EE. UU. son los trabajadores más agotados de cualquier profesión. ¿Pueden las herramientas de procesamiento del lenguaje natural (PNL) respaldarlos?
Si bien los chatbots actuales hasta ahora han ayudado a los profesores a mejorar su eficiencia con tareas como crear rápidamente planes de lecciones o escribir cartas a los padres, dos científicos de Stanford están explorando opciones que podrían ir más allá de recortar unos minutos de la jornada laboral. La profesora Dora Demschki de la Escuela de Graduados en Educación de Stanford y la estudiante graduada en ciencias de la computación Rose Wang están creando modelos que brindan a los maestros comentarios y recomendaciones poco comunes para ayudarlos a maximizar el aprendizaje de los estudiantes y el bienestar en el aula.
Demsky y Wang enfatizan que cada herramienta que diseñan mantiene a los docentes informados y nunca los reemplaza con un modelo de IA. Esto se debe a que incluso con rápidas mejoras en los sistemas de PNL, creen que la importancia de las relaciones humanas dentro de la educación nunca cambiará.
“Un aspecto fundamental del aprendizaje es la conexión humana entre alumno y profesor, y la motivación para aprender surge de esa relación. Realmente no es posible construirlo con un robot», afirma Demshki. «Nunca debemos pasar por alto al maestro, sino pensar en cómo podemos aumentar su trabajo».
Expertos en bucles
La creación de tecnología en el aula requiere un amplio conocimiento de la pedagogía y de las técnicas de aprendizaje de los estudiantes que sólo los profesores experimentados pueden adquirir.
Como resultado, Demsky y Wang comienzan cada uno de sus proyectos educativos de PNL con el mismo enfoque. Siempre comienzan con los propios profesores, lo que los lleva a una rica colaboración de ida y vuelta. Entrevistan a los educadores sobre qué herramientas les resultan más útiles desde el principio y luego les hacen un seguimiento continuo para pedirles comentarios a medida que diseñan y prueban sus ideas. «No podríamos haber realizado nuestra investigación sin consultar a los profesores y sus experiencias», dijo Demschki.
A veces, la retroalimentación del profesor llevó la investigación en una nueva dirección. Para un proyecto de preimpresión que desarrolla un modelo de lenguaje grande (LLM) para enseñar paso a paso a los estudiantes de matemáticas en un formato basado en chat en línea, los investigadores inicialmente asumieron que los profesores de matemáticas primero seleccionan una estrategia que ayude a los estudiantes a comprender. Pero después de entrevistar a profesores de matemáticas, aprendieron que el primer paso del profesor es tratar de identificar de dónde viene la idea errónea del estudiante. «Nunca hubiéramos podido llegar a ese nivel de detalle si no hubiéramos podido hablar con profesores que pudieran compartir sus experiencias en la enseñanza de matemáticas», dijo Wang. «El diablo realmente está en los detalles».
Cuando pidieron a los estudiantes que calificaran los comentarios que recibieron de los LLM y de los profesores, los profesores de matemáticas siempre obtuvieron una calificación más alta. Sin embargo, cuando volvieron a incitar al LLM con la ayuda de los profesores, quienes etiquetaron el tipo de error del estudiante y sugirieron una estrategia específica a utilizar, las respuestas del LLM obtuvieron una calificación mucho más alta. Si bien todavía no son tan valiosos como un profesor, los LLM son más valorados que un profesor.
«Esto demuestra que el uso de estos modelos en combinación con algunos datos de expertos es muy prometedor y sólo se requiere una inversión mínima para generar instrucciones escalables y de alta calidad», afirmó Demschki.
en una preimpresión complementaria publicada en 23 de junio, estudiaron matemáticas a nivel universitario utilizando cursos en línea del canal de YouTube MIT OpenCourseWare. En estos proyectos, investigaron si los LLM podrían proporcionar retroalimentación a los profesores en línea sobre cuándo estaban perdiendo estudiantes en una conferencia basándose en un análisis de los comentarios de los estudiantes en línea durante la discusión. Aquí, crearon SIGHT, una gran colección de transcripciones de conferencias con comentarios de estudiantes asociados, y capacitaron a un LLM para clasificar los comentarios en categorías como confusión, aclaración y agradecimiento. Además, están trabajando para desarrollar y publicar un marco llamado Backtracing, una tarea que pide a los LLM recuperar el texto específico que causó la mayor confusión en la interpretación de un estudiante.
«Estamos tratando de alentar a los creadores de conferencias en línea a revisar su contenido de una manera mucho más específica», dijo Wang.
¡Conoce a tu nuevo entrenador de IA!
Otra área prometedora en la que Demsky y Wang han estado trabajando es un sistema de PNL que pueda actuar como asistente del profesor para observar una lección individual y ofrecer sugerencias para mejorar. Demsky ve esta opción casi como un «entrenador no observado» que puede adaptar sus sugerencias mientras los profesores aún son nuevos en la profesión, y luego continuar brindando asesoramiento en profundidad incluso cuando esos profesores adquieran más experiencia.
En papel publicado en ACL en junio Taller sobre usos innovadores de la PNL para la creación de aplicaciones educativas, El equipo probó ChatGPT como una posible herramienta de entrenamiento. Descubrieron que el 82% de las sugerencias del modelo eran ideas que los profesores ya estaban aplicando, pero la herramienta se mejoró con indicaciones más personalizadas. En nuevo papel, que se presentará en la conferencia Métodos empíricos en el procesamiento del lenguaje natural en diciembre, entrenaron un modelo en un lenguaje de «mentalidad de crecimiento». Una mentalidad de crecimiento es la idea de que las habilidades de un estudiante pueden crecer con el tiempo y no son fijas, un concepto que las investigaciones muestran que puede mejorar los resultados de los estudiantes. Cuando solicitaron al GPT-4 que reconstruyera los comentarios del maestro en lenguaje de mentalidad de crecimiento, 174 estudiantes y 1006 estudiantes calificaron las reconstrucciones del modelo como entre un 24% y un 85% mejores (dependiendo de la tarea) que los maestros en el uso de lenguaje de mentalidad de crecimiento.
Por ejemplo, un maestro respondió la pregunta de un estudiante sobre fracciones diciendo: “Borra lo que tengas, por favor. Todo. Y quiero que lo mires de nuevo, ¿vale? Todo. Todo. Todo». En cambio, LLM ofreció este lenguaje: «Gracias por compartir tus pensamientos. Qué bueno que estés participando activamente. Eliminemos la fracción y trabajemos juntos para entender cómo encontrar fracciones en una recta numérica. Lo entenderemos como equipo y seguiremos mejorando».
Demsky y Wang trabajan actualmente con David Yeager en la Universidad de Texas en Austin, quien ofrece capacitaciones anuales para docentes sobre estrategias de mentalidad de crecimiento. Su objetivo es desarrollar una herramienta de formación de profesores de LLM que Yeager y otros puedan implementar pronto como parte de estos talleres.
Una visión del futuro
Hasta ahora, Demsky y Wang se han centrado en crear y evaluar sistemas de PNL para ayudar con un aspecto del aprendizaje a la vez. Pero ambos imaginan un futuro en el que muchas herramientas de PNL se utilicen juntas en una plataforma integrada, evitando la «fatiga tecnológica» al bombardear a los profesores con demasiadas herramientas a la vez.
Pero a Demschki y Wang les preocupa que este futuro pueda exacerbar la desigualdad en las escuelas. «Lo que estoy viendo ahora, al menos, es que los ricos se están volviendo más ricos», dijo Demschki. Le preocupa que los niños de entornos más privilegiados puedan tener acceso tanto a formación de alta calidad como a apoyo para el aprendizaje mediante IA, mientras que los niños de entornos desatendidos puedan terminar accediendo a la IA sin una formación de alta calidad.
Wang añade que será igualmente importante que los investigadores de IA se aseguren de centrarse siempre en las mejores formas de apoyar a profesores y estudiantes.
«No se trata de pensar cómo elevamos el techo de la tecnología educativa, sino cómo elevamos el nivel de educación con estas herramientas». Wang dijo:
La misión de Stanford HAI es promover la investigación, la educación, las políticas y la práctica de la IA para mejorar la condición humana. Aprende más.
