By | abril 5, 2018

El Marco de Evaluación para Learning Analytics (EFLA) es una herramienta resultado de una investigación acurada1. La herramienta consta de una serie de cuestiones a tener en cuenta en el momento de elegir una herramienta que use la analítica del aprendizaje.

Este marco tiene el objetivo de aportar un instrumento de evaluación de herramientas de analítica del aprendizaje. Es una herramienta única en su tipo debido a que hasta ahora y en contexto educativo no había existido una herramienta de este tipo más allá del sentido común general. EFLA, que aunque  se basa en una puntuación subjetiva dada por los usuarios finales de las herramientas, permite organizar y obtener una indicación general de su calidad. Aunque es un instrumento fácil y rápido de usar, ha sido completamente desarrollo, validado y es confiable.

EFLA consiste permite analizar tres dimensiones:

  • Datos
  • Conciencia y Reflexión,
  • Impacto

Cada una de estas dimensiones contiene con un serie de aspectos a puntuar. Son un total de ocho aspectos los cuales son evaluables tanto para estudiantes como profesores.

Todos los aspectos se puntúan en una escala del 1 al 10, donde un 1 es «totalmente en desacuerdo» y un 10 es «totalmente de acuerdo». El resultado final de usar esta herramienta es un número del 0 al 100:

  • Un 0 indica una herramienta de poca calidad y poco confiable.
  • Un 100 indica una herramienta de alta calidad y muy confiable.

Para obtener la puntuación final se deben realizar unos cálculos intermedios. La herramienta está pensada para ser usada por un grupo de alumnos o profesores, por eso los cálculos están basados en medias. No obstante puede realizarse por una sola persona:

  1. Calcular la media por cada aspecto basado en las respuestas dadas.
  2. Calcular la media por cada dimensión basada en la media de sus aspectos.
  3. Calcular la puntuación dimensional redondeando el resultado de (x-1)/9)*100.
  4. Calcular la puntuación total haciendo la media de las tres puntuaciones dimensionales.

Los aspectos a evaluar y las dimensiones quedan repartidas de la siguiente manera:

EFLA para profesores

Datos

  • Para esta herramienta de/con analítica del aprendizaje (AA) queda claro que datos se recolectan.
  • Para esta herramienta de/con AA queda claro por qué se recolectan los datos.

Conciencia y Reflexión

  • Esta herramienta de/con AA me permite saber el estado de aprendizaje actual de mis alumnos.
  • Esta herramienta de/con AA me muestra el posible escenario de aprendizaje de mis alumnos dado sus posibles cambios en su comportamiento.
  • Esta herramienta de/con AA me estimula a reflexionar sobre mi comportamiento de enseñanza pasado.
  • Esta herramienta de/con AA me estimula a adaptar mi comportamiento en la enseñanza si es necesario.

Impacto

  • Eta herramienta de/con AA me estimula a enseñar más eficientemente.
  • Esta herramienta de/con AA me estimula a enseñar más eficazmente.

 

EFLA para alumnos

Datos

  • Para esta herramienta de/con analítica del aprendizaje (AA) queda claro que datos se recolectan.
  • Para esta herramienta de/con AA queda claro por qué se recolectan los datos.

Conciencia y Reflexión

  • Esta herramienta de/con AA me permite saber mi estado de aprendizaje actual.
  • Esta herramienta de/con AA me muestra mi posible escenario de aprendizaje dado mis posibles cambios en mi comportamiento.
  • Esta herramienta de/con AA me estimula a reflexionar sobre mi comportamiento de aprendizaje pasado.
  • Esta herramienta de/con AA me estimula a adaptar mi comportamiento de aprendizaje si es necesario.

Impacto

  • Eta herramienta de/con AA me estimula a aprender más eficientemente.
  • Esta herramienta de/con AA me estimula a aprender más eficazmente.

Creo que también es muy interesante utilizar esta herramienta de evaluación en aquellas no especialmente creadas para la analítica del aprendizaje, es decir, que su objetivo principal es otro pero que incorporan learning analytics. Es por este motivo que he añadido «/con» en los aspectos a evaluar.

Referencias

1.-Scheffel, M., Drachsler, H., Toisoul, C., Ternier, S., & Specht, M. (2017). The Proof of the Pudding: Examining Validity and Reliability of the Evaluation Framework for Learning Analytics. In E. Lavoué, H. Drachsler, K. Verbert, J. Broisin, & M. Pérez-Sanagustín (Eds.), Data Driven Approaches in Digital Education: Proceedings of the 12th European Conference on Technology Enhanced Learning (EC-TEL 2017), LNCS: Vol. 10474 (pp. 194–208). Berlin, Heidelberg: Springer.