El Marco de Evaluación para Learning Analytics (EFLA) es una herramienta resultado de una investigación acurada1. La herramienta consta de una serie de cuestiones a tener en cuenta en el momento de elegir una herramienta que use la analítica del aprendizaje.
Este marco tiene el objetivo de aportar un instrumento de evaluación de herramientas de analítica del aprendizaje. Es una herramienta única en su tipo debido a que hasta ahora y en contexto educativo no había existido una herramienta de este tipo más allá del sentido común general. EFLA, que aunque se basa en una puntuación subjetiva dada por los usuarios finales de las herramientas, permite organizar y obtener una indicación general de su calidad. Aunque es un instrumento fácil y rápido de usar, ha sido completamente desarrollo, validado y es confiable.
EFLA consiste permite analizar tres dimensiones:
- Datos
- Conciencia y Reflexión,
- Impacto
Cada una de estas dimensiones contiene con un serie de aspectos a puntuar. Son un total de ocho aspectos los cuales son evaluables tanto para estudiantes como profesores.
Todos los aspectos se puntúan en una escala del 1 al 10, donde un 1 es «totalmente en desacuerdo» y un 10 es «totalmente de acuerdo». El resultado final de usar esta herramienta es un número del 0 al 100:
- Un 0 indica una herramienta de poca calidad y poco confiable.
- Un 100 indica una herramienta de alta calidad y muy confiable.
Para obtener la puntuación final se deben realizar unos cálculos intermedios. La herramienta está pensada para ser usada por un grupo de alumnos o profesores, por eso los cálculos están basados en medias. No obstante puede realizarse por una sola persona:
- Calcular la media por cada aspecto basado en las respuestas dadas.
- Calcular la media por cada dimensión basada en la media de sus aspectos.
- Calcular la puntuación dimensional redondeando el resultado de (x-1)/9)*100.
- Calcular la puntuación total haciendo la media de las tres puntuaciones dimensionales.
Los aspectos a evaluar y las dimensiones quedan repartidas de la siguiente manera:
EFLA para profesoresDatos
Conciencia y Reflexión
Impacto
|
EFLA para alumnosDatos
Conciencia y Reflexión
Impacto
|
Creo que también es muy interesante utilizar esta herramienta de evaluación en aquellas no especialmente creadas para la analítica del aprendizaje, es decir, que su objetivo principal es otro pero que incorporan learning analytics. Es por este motivo que he añadido «/con» en los aspectos a evaluar.
Referencias
1.-Scheffel, M., Drachsler, H., Toisoul, C., Ternier, S., & Specht, M. (2017). The Proof of the Pudding: Examining Validity and Reliability of the Evaluation Framework for Learning Analytics. In E. Lavoué, H. Drachsler, K. Verbert, J. Broisin, & M. Pérez-Sanagustín (Eds.), Data Driven Approaches in Digital Education: Proceedings of the 12th European Conference on Technology Enhanced Learning (EC-TEL 2017), LNCS: Vol. 10474 (pp. 194–208). Berlin, Heidelberg: Springer.