Comment mesurer l’efficacité d’un dispositif de formation à distance?

Depuis que j’évolue dans le domaine de la formation à distance (FAD), il me vient plusieurs idées d’activités pédagogiques qui intègrent les technologies. Je veux tout essayer! Les jeux sérieux, les wikis, les groupes de discussion, les vidéos, etc. J’en suis toutefois arrivée au point où j’ai besoin d’adopter une approche plus structurée dans ma démarche : je souhaite maintenant vérifier l’efficacité des dispositifs pédagogiques que je mets en place dans mes cours de rédaction.

Le hic, c’est que mesurer l’efficacité, c’est plus facile à dire qu’à faire. Partons des synthèses scientifiques sur l’efficacité de la FAD. Dans une méta-analyse datant de 2010, l’on conclut que les formations hybrides donnent de meilleurs résultats d’apprentissage que les formations entièrement en présentiel (Means et al., 2010). La synthèse de Bernard et al. (2009) apporte une nuance importante, à savoir que ce serait la combinaison de plusieurs éléments qui contribuerait à produire de meilleurs résultats d’apprentissage et non uniquement la modalité d’une formation. Il est donc pertinent de se questionner sur l’efficacité de chaque composante d’une FAD.

Dans les deux études que je viens de mentionner, l’efficacité est mesurée en termes de résultats d’apprentissage. D’emblée, ce critère soulève des questions : comment définir les résultats d’apprentissage? Parle-t-on des notes obtenues par les étudiants dans une activité précise? Considère-t-on la perception des étudiants quant à l’effet d’une FAD sur leur apprentissage? Vous aurez compris que tout chercheur désirant s’aventurer dans ce domaine doit pouvoir s’appuyer sur une définition claire de l’efficacité. Dans quel sens est-ce qu’un dispositif est efficace? Est-il efficace en termes de cout, de temps, de résultats d’apprentissage, de satisfaction? Deuxièmement, il faut se demander à qui profite le dispositif pédagogique. À l’étudiant, à l’enseignant ou aux deux?

Récemment, j’ai commencé à utiliser une nouvelle méthode de rétroaction lorsque je corrige les textes de mes étudiants. Cette méthode s’appelle la rétroaction-conversation et consiste à dialoguer avec l’étudiant à l’intérieur de son texte, en utilisant la fonction commentaire de Word. C’est comme une sorte de clavardage différé. Les réactions des étudiants m’indiquent que la méthode vaut la peine d’être étudiée. Comment puis-je en mesurer l’efficacité?

Dans un premier temps, je crois qu’il faudrait analyser les commentaires que les étudiants rédigent en réponse à mes questions, afin de vérifier dans quelle mesure ils comprennent la rétroaction. Si les résultats de cette étude s’avèrent positifs, je pourrais ensuite tenter de vérifier si la rétroaction-conversation induit un effet sur l’apprentissage des étudiants. Pour ce faire, je pourrais comparer les connaissances des étudiants avant et après la rétroaction-conversation. Je pourrais également vérifier les connaissances de deux groupes distincts, l’un faisant l’expérience de la rétroaction-conversation et l’autre faisant l’expérience d’une autre méthode.

De manière complémentaire, il serait important de savoir ce que les étudiants pensent de la rétroaction-conversation. Ont-ils l’impression d’apprendre? Aiment-ils cette méthode d’apprentissage? En effet, j’estime qu’une étude sur l’efficacité d’un dispositif pédagogique doit prendre en compte la qualité de l’expérience étudiante telle que perçue par les principaux intéressés.

Références

Bernard, R. M., Abrami, P. C., Borokhovski, E., Wade, C. A., Tamim, R. M., Surkes, M. A. et Bethel, E. C. (2009). A meta-analysis of three types of interaction treatments in distance education. Review of educational research, 79(3), 1243-1289.

Means, B., Toyama, Y., Murphy, R., Bakia, M. et Jones, K. (2010). Evaluation of evidence-based practices in online learning: A meta-analysis and review of online learning studies.

Les théories de la formation à distance

La prestation d’une formation à distance présente plusieurs défis. L’un d’entre eux consiste à atteindre l’équilibre entre le degré de structure d’un cours, le dialogue avec les étudiants et le niveau d’autonomie recherché chez les étudiants. Par exemple, plus la structure de mon cours est flexible, plus je dois consacrer du temps aux échanges avec les étudiants, afin de répondre à leurs questionnements individuels. Sans cette part importante de dialogue, la distance entre les étudiants et moi risque d’être trop grande, ce qui nuira à la qualité de l’expérience d’apprentissage. Pour décrire cet espace entre les étudiants et l’enseignant, Moore (2013) parle de distance transactionnelle, une expression que l’on pourrait traduire par distance interactionnelle ou distance communicationnelle. Enseigner, après tout, n’est-ce pas communiquer?

Dans un contexte de formation à distance, les manières de «communiquer» avec les étudiants sont multiples. Je peux envoyer un courriel rappelant le devoir à remettre, diriger les étudiants dans l’environnement numérique d’apprentissage, proposer un article de journal à lire dans le forum, établir des repères temporels pour la réalisation d’une activité, etc. Je peux également encourager les étudiants à travailler en équipe dans un document partagé ou leur demander de répondre à la question d’un pair dans le forum du cours. Selon Garrisson (2017), chacun de ces actes communicationnels concourt à la création d’une communauté d’apprentissage en ligne, laquelle est déterminante pour la qualité de l’apprentissage. Dans une communauté d’apprentissage en ligne, les actes de présence se manifestent sur les plans éducatif, cognitif et social. Plus la présence virtuelle est riche, plus la communauté d’apprentissage est soudée.

Les cadres théoriques de la distance transactionnelle (Moore, 2013) et de la communauté d’apprentissage en ligne (Garrisson, 2017) constituent en réalité deux manières complémentaires de formaliser l’enseignement et l’apprentissage qui se déroulent à l’extérieur de la classe. Dans ces deux théories, le concept de communication est central et plusieurs facteurs peuvent influencer l’expérience d’apprentissage. Ainsi, tout enseignant intéressé par la formation à distance a avantage à connaitre les rudiments de ces théories. Il faut toutefois admettre que, dans la pratique, aucun enseignant ne peut forcer la participation des étudiants, à moins d’y associer des points…

Références

Garrison, D. R. (2017). E-learning in the 21st century: A framework for research and practice(3e éd.). New York: Taylor & Francis.

Moore, M. G. (2013). The Theory of Transactional Distance. Dans M. G. Moore (dir.), Handbook of Distance Education (p. 66-85). New York: Routledge.

Apprendre en jouant, c’est sérieux?

Il parait que les enfants apprennent en jouant. Pourquoi les adultes ne joueraient-ils pas en apprenant eux aussi?

En éducation supérieure, les jeux sérieux ont la cote. Les jeux sérieux sont des applications informatiques qui combinent le caractère ludique d’un jeu avec une intention pédagogique (d’où le qualificatif «sérieux»). Dans le domaine qui nous intéresse, une équipe formée d’enseignants et d’ingénieurs informatiques a créé le Game of Writing. Ce n’est pas un jeu en soi, mais une application informatique qui permet aux étudiants de donner et de recevoir des commentaires sur leurs textes avant de les soumettre à la notation par l’enseignant.

Le Game of Writing se sert de techniques issues des jeux et des médias sociaux. Par exemple, l’application présente un tableau comprenant les noms des étudiants du groupe selon l’avancement de leur travail, afin de stimuler la saine compétition. De plus, l’application décerne des badges virtuels lorsque certaines étapes sont franchies. Entre autres, le badge «lapin mignon» est octroyé aux étudiants qui remettent leur travail avant la date limite. Pour ceux et celles qui n’auraient pas compris, lapin = vitesse…

L’application Game of Writing recourt également à des techniques issues des médias sociaux : la fonction «commentaire» qui est au cœur du processus de rétroaction, les boutons «j’aime» et «je n’aime pas» pour exprimer son opinion sur un commentaire, et l’épingle pour attirer l’attention sur un commentaire.

Cette plateforme de rédaction m’a inspiré un jeu qui s’intitule «Battez le correcteur automatique». Le but du jeu consiste à corriger plus de fautes qu’un correcteur automatique. Les fautes peuvent être de toutes sortes : orthographiques, grammaticales, sémantiques, typographiques, etc. Évidemment, pour que ce jeu fonctionne, les fautes doivent être préalablement encodées dans le jeu, mais je laisserai ce détail aux ingénieurs informatiques. Pour jouer, l’étudiant doit repérer les fautes dans un texte, sélectionner les mots ou les passages contenant ces fautes et, pour chaque faute, cliquer sur la catégorie appropriée parmi celles proposées. En cliquant sur une catégorie, l’étudiant découvre une bulle d’information et est invité à valider son choix. Le maitre du jeu lui indique par la suite si une faute a effectivement été découverte. Le cas échéant, l’étudiant reçoit un morceau de robot. Le joueur doit ensuite dire comment corriger la faute. Si la solution proposée est bonne, le logiciel donne alors un deuxième morceau de robot. Et ainsi de suite… Lorsque le joueur a terminé sa correction du texte, c’est au tour du logiciel de jouer. Si le logiciel trouve plus de fautes que le joueur (autrement dit si le robot du logiciel comprend plus de morceaux), c’est le logiciel qui gagne.

Je ne connais pas grand-chose aux jeux sérieux, mais si cela était possible, il pourrait être intéressant de varier les mécanismes d’obtention des points. Par exemple, certains joueurs pourraient être tentés par des garnitures qui s’accumulent sur une pizza. Avec les jeux sérieux, les possibilités sont infinies.