En la anterior entrada -primera parte de la que estás leyendo- introduje los cinco aspectos más interesantes para los directivos en cuanto a la formación de sus empleados. Algunos de ellos se relacionan con el coste, la actividad, la satisfacción en cuanto a la formación recibida, el aprendizaje en cuanto conocimiento adquirido, el grado de aplicación de lo aprendido en el lugar de trabajo, el impacto en los procesos de negocio y el retorno de inversión en cuantía positiva.
Esta cascada de intereses requiere de un marco analítico para comprender el impacto global del proceso formativo. Es necesario para extraer conclusiones accionable de los programas formativos. Berk (2005) realiza una propuesta -presentada en la entrada anterior- en la que establece cuatro pilares esenciales definidos en evaluación, pruebas y valoración, operaciones y impacto. Estos cuatro pilares -según Berk- conforman un sistema completo de analítica de aprendizaje. Pero ¿qué modelo de evaluación se enmarca en este sistema?
Marco superior
Medir el impacto y el ROI de las formaciones es esencial en negocios. No en vano los directivos se centran en evaluar la satisfacción, aprendizaje y aplicación de los eventos formativos en el contexto de los trabajadores. Un bajo impacto en un programa formativo reiterado devalúa a la empresa de forma global. Solo una empresa es fuerte si su motor interno lo es.
En cuanto a los modelos de evaluación de programas formativos de trabajadores -sean o no profesores- existen distintos. Uno de ellos es el definido por Jack Phillips en los años 90, en el que se define una pirámide de 5 niveles, cada uno regido por una pregunta específica:
- A los aprendices les ha gustado el programa?
- Los aprendices han aprendido el contenido?
- Los aprendices han aplicado lo aprendido en el trabajo?
- El aprendizaje ha impactado en los resultados de negocio?
- La inversión en el programa ha sido rentable?
Estos 5 niveles de Phillips, los intereses de los directivos en cuanto a los programas formativos y el sistema completo de analítica del aprendizaje propuesto por Berk confluyen en un marco superior representado de la siguiente manera:
Session 101 – Industry Accepted Approaches to Measuring e-Learning Impact. Kent Barrett 2005.
Sin entrar en profundidad en cada uno de los pilares definidos por Berk, se visualiza en la anterior imagen, como elementos de salida de modelo, una relación directa con los niveles definidos por Phillips. De la misma forma, se indica para cada uno de ellos los distintos tipos de instrumentos utilizados para la recolección de datos. Las salidas se presentan en informes decisionales que visualizarán los líderes de la organización.
En un contexto educativo esta aproximación también es aplicable en capas superiores. Una institución educativa es una entidad fiscal -empresa- coordinada como un negocio y que se rige por las mismas reglas que cualquier otra empresa. La necesidad de formación del personal y su impacto directo como institución educativa es esencial para su continuidad. No es algo nuevo y es citado con anterioridad. No obstante, en el momento que la analítica del aprendizaje desciende a nivel de aula muchas de las consideraciones toman otro matiz.
Proceso analítico
En clave educativa -y a niveles inferiores- se definen unos fundamentos comunes al contexto de negocio. En contraposición, el ROI se expande de forma individual a cada uno de los alumnos y no se pueden analizar como una sola entidad.
Tanto en negocios como en educación la analítica del aprendizaje se ejecuta en base al ciclo analítico de datos. Este ciclo se rige por 5 pasos básicos:
- Definir: Objetivos, metas de mejora y métricas.
- Recolectar: Captura de datos según métricas definidas.
- Analizar & visualizar: Análisis estadístico de los datos, generación de gráficos y análisis de los mismos.
- Actuar: Toma de acciones en consonancia con los objetivos de mejora.
- Evaluar: Continua desde el primer paso hasta el último.
Este ciclo da soporte a los procesos de inteligencia de negocio (BI) en contextos empresariales. En educación, alimenta a las 3 aproximaciones ya citadas en otra entrada: analítica académica (Academic Analytics), analítica del aprendizaje (Learning Analytics) y minería de datos educativos (Educational Data Mining).
Analítica del aprendizaje en la actualidad
En educación la analítica del aprendizaje aparece en concurrencia con los MOOC (2010). Es muy orientada a este proceso cíclico de análisis de datos estadístico y relacionada fuertemente en los medios con escenarios Big Data y Business Intelligence (BI). Puede que una primera aproximación al Big Data y al BI fuera beneficiosa para generar una idea conceptual alrededor del uso de datos educativos. Esta aproximación provoca más confusiones, detractores, malentendidos y un entorno muy fácil de criticar.
Se reconoce que los inicios de la analítica del aprendizaje se centraron en reducir las tasas de abandono. Un abandono significa que la universidad deja de percibir una cuantía anual y otros ingresos colaterales más. No obstante, superada esta fase de interés analítico, sucede una evolución hacia un contexto más integrador, con perspectivas inclusivas en cuanto a roles participantes y se toma consciencia de la necesidad de un marco de privacidad y uso para generar confianza.
La integración de la analítica del aprendizaje es un camino que tras 7 años de andadura no ha hecho más que marcar un inicio. En los últimos LAK16/17 -sobretodo en los workshops antes de la conferencia- la reflexión en relación a los fallos en el uso de la analítica del aprendizaje es notable. Algunos pronostican su muerte hacia el 2025 y otros le dan la vida eterna. Yo prefiero verla avanzar más allá del 2025 y reconvertirse en algo superior a efectos de una evolución ética y legítima.