Por Jose Luis Arroyo Barrigüete
Profesor de Métodos Cuantitativos, Universidad Pontificia Comillas.
Pincha aquí para ver el artículo en que se basa este post
En los últimos años, el avance de la inteligencia artificial generativa ha transformado múltiples sectores, entre ellos la educación superior. Modelos como ChatGPT-4 Turbo de OpenAI han revolucionado la manera en que interactuamos con las máquinas, generando textos casi indistinguibles de los creados por humanos. Sin embargo, el verdadero potencial de estas tecnologías va más allá de la simple generación de textos: su personalización para tareas específicas está empezando a mostrar impactos significativos.
La personalización de la IA en la educación
El uso de modelos de lenguaje como ChatGPT en la educación ha generado expectativas sobre cómo estos pueden convertirse en asistentes virtuales efectivos, capaces de ofrecer una enseñanza más personalizada y adaptada a las necesidades individuales de los estudiantes. Pero, ¿qué significa realmente personalizar un modelo de IA?
La personalización implica ajustar el modelo a un área específica mediante la introducción de información específica (como manuales o prácticas) y la modificación de sus respuestas para que sean coherentes con el contexto. Este es el caso de BSVP (Business Statistics Virtual Professor), un asistente virtual especializado en Estadística Empresarial, creado para ayudar a estudiantes universitarios de la Universidad Pontificia Comillas con esta asignatura. En el caso de BSVP, el modelo fue entrenado con documentación específica del curso de estadística, incluyendo libros y prácticas de programación en R utilizados en la universidad. Esto le permitió ofrecer respuestas más cercanas al estilo de enseñanza y al material específico que los estudiantes manejan.
¿Cómo se mide la efectividad de una IA personalizada?
Para evaluar la eficacia del BSVP, un equipo de cinco profesores diseñó un experimento en el que compararon sus respuestas con las generadas por el ChatGPT-4 Turbo estándar. Se recolectaron 136 preguntas reales formuladas por estudiantes, que fueron respondidas tanto por BSVP como por ChatGPT-4 Turbo. Luego, los profesores evaluaron las respuestas de ambos sistemas en tres dimensiones: calidad, profundidad y personalización.
Los resultados mostraron que, en términos de calidad y profundidad, ambos sistemas eran bastante similares. Sin embargo, el BSVP destacó cuando se trataba de responder a preguntas relacionadas directamente con los materiales del curso. Esto se debe a que, al estar personalizado con documentación específica, podía ofrecer respuestas más alineadas con lo que los estudiantes ya habían visto en clase.
Limitaciones y futuros desafíos
A pesar de los resultados prometedores, el estudio también reveló algunas limitaciones. Por ejemplo, no hubo diferencias significativas entre BSVP y ChatGPT-4 Turbo en las preguntas más generales, lo que sugiere que la personalización tiene un impacto limitado cuando las preguntas no están directamente relacionadas con el contenido específico del curso.