Comment mesurer l’efficacité d’un dispositif de formation à distance?

Depuis que j’évolue dans le domaine de la formation à distance (FAD), il me vient plusieurs idées d’activités pédagogiques qui intègrent les technologies. Je veux tout essayer! Les jeux sérieux, les wikis, les groupes de discussion, les vidéos, etc. J’en suis toutefois arrivée au point où j’ai besoin d’adopter une approche plus structurée dans ma démarche : je souhaite maintenant vérifier l’efficacité des dispositifs pédagogiques que je mets en place dans mes cours de rédaction.

Le hic, c’est que mesurer l’efficacité, c’est plus facile à dire qu’à faire. Partons des synthèses scientifiques sur l’efficacité de la FAD. Dans une méta-analyse datant de 2010, l’on conclut que les formations hybrides donnent de meilleurs résultats d’apprentissage que les formations entièrement en présentiel (Means et al. 2010). La synthèse de Bernard et al. (2009) apporte une nuance importante, à savoir que ce serait la combinaison de plusieurs éléments qui contribuerait à produire de meilleurs résultats d’apprentissage et non uniquement la modalité d’une formation. Il est donc pertinent de se questionner sur l’efficacité de chaque composante d’une FAD.

Dans les deux études que je viens de mentionner, l’efficacité est mesurée en termes de résultats d’apprentissage. D’emblée, ce critère soulève des questions : comment définir les résultats d’apprentissage? Parle-t-on des notes obtenues par les étudiants dans une activité précise? Considère-t-on la perception des étudiants quant à l’effet d’une FAD sur leur apprentissage? Vous aurez compris que tout chercheur désirant s’aventurer dans ce domaine doit pouvoir s’appuyer sur une définition claire de l’efficacité. Dans quel sens est-ce qu’un dispositif est efficace? Est-il efficace en termes de cout, de temps, de résultats d’apprentissage, de satisfaction? Deuxièmement, il faut se demander à qui profite le dispositif pédagogique. À l’étudiant, à l’enseignant ou aux deux?

Récemment, j’ai commencé à utiliser une nouvelle méthode de rétroaction lorsque je corrige les textes de mes étudiants. Cette méthode s’appelle la rétroaction-conversation et consiste à dialoguer avec l’étudiant à l’intérieur de son texte, en utilisant la fonction commentaire de Word. C’est comme une sorte de clavardage différé. Les réactions des étudiants m’indiquent que la méthode vaut la peine d’être étudiée. Comment puis-je en mesurer l’efficacité?

Dans un premier temps, je crois qu’il faudrait analyser les commentaires que les étudiants rédigent en réponse à mes questions, afin de vérifier dans quelle mesure ils comprennent la rétroaction. Si les résultats de cette étude s’avérent positifs, je pourrais ensuite tenter de vérifier si la rétroaction-conversation induit un effet sur l’apprentissage des étudiants. Pour ce faire, je pourrais comparer les connaissances des étudiants avant et après la rétroaction-conversation. Je pourrais également vérifier les connaissances de deux groupes distincts, l’un faisant l’expérience de la rétroaction-conversation et l’autre faisant l’expérience d’une autre méthode.

De manière complémentaire, il serait important de savoir ce que les étudiants pensent de la rétroaction-conversation. Ont-ils l’impression d’apprendre? Aiment-ils cette méthode d’apprentissage? En effet, j’estime qu’une étude sur l’efficacité d’un dispositif pédagogique doit prendre en compte la qualité de l’expérience étudiante telle que perçue par les principaux intéressés.

Références

Bernard, R. M., Abrami, P. C., Borokhovski, E., Wade, C. A., Tamim, R. M., Surkes, M. A. et Bethel, E. C. (2009). A meta-analysis of three types of interaction treatments in distance education. Review of educational research, 79(3), 1243-1289.

Means, B., Toyama, Y., Murphy, R., Bakia, M. et Jones, K. (2010). Evaluation of evidence-based practices in online learning: A meta-analysis and review of online learning studies.