Comment mesurer l’efficacité d’un dispositif de formation à distance?

Depuis que j’évolue dans le domaine de la formation à distance (FAD), il me vient plusieurs idées d’activités pédagogiques qui intègrent les technologies. Je veux tout essayer! Les jeux sérieux, les wikis, les groupes de discussion, les vidéos, etc. J’en suis toutefois arrivée au point où j’ai besoin d’adopter une approche plus structurée dans ma démarche : je souhaite maintenant vérifier l’efficacité des dispositifs pédagogiques que je mets en place dans mes cours de rédaction.

Le hic, c’est que mesurer l’efficacité, c’est plus facile à dire qu’à faire. Partons des synthèses scientifiques sur l’efficacité de la FAD. Dans une méta-analyse datant de 2010, l’on conclut que les formations hybrides donnent de meilleurs résultats d’apprentissage que les formations entièrement en présentiel (Means et al., 2010). La synthèse de Bernard et al. (2009) apporte une nuance importante, à savoir que ce serait la combinaison de plusieurs éléments qui contribuerait à produire de meilleurs résultats d’apprentissage et non uniquement la modalité d’une formation. Il est donc pertinent de se questionner sur l’efficacité de chaque composante d’une FAD.

Dans les deux études que je viens de mentionner, l’efficacité est mesurée en termes de résultats d’apprentissage. D’emblée, ce critère soulève des questions : comment définir les résultats d’apprentissage? Parle-t-on des notes obtenues par les étudiants dans une activité précise? Considère-t-on la perception des étudiants quant à l’effet d’une FAD sur leur apprentissage? Vous aurez compris que tout chercheur désirant s’aventurer dans ce domaine doit pouvoir s’appuyer sur une définition claire de l’efficacité. Dans quel sens est-ce qu’un dispositif est efficace? Est-il efficace en termes de cout, de temps, de résultats d’apprentissage, de satisfaction? Deuxièmement, il faut se demander à qui profite le dispositif pédagogique. À l’étudiant, à l’enseignant ou aux deux?

Récemment, j’ai commencé à utiliser une nouvelle méthode de rétroaction lorsque je corrige les textes de mes étudiants. Cette méthode s’appelle la rétroaction-conversation et consiste à dialoguer avec l’étudiant à l’intérieur de son texte, en utilisant la fonction commentaire de Word. C’est comme une sorte de clavardage différé. Les réactions des étudiants m’indiquent que la méthode vaut la peine d’être étudiée. Comment puis-je en mesurer l’efficacité?

Dans un premier temps, je crois qu’il faudrait analyser les commentaires que les étudiants rédigent en réponse à mes questions, afin de vérifier dans quelle mesure ils comprennent la rétroaction. Si les résultats de cette étude s’avèrent positifs, je pourrais ensuite tenter de vérifier si la rétroaction-conversation induit un effet sur l’apprentissage des étudiants. Pour ce faire, je pourrais comparer les connaissances des étudiants avant et après la rétroaction-conversation. Je pourrais également vérifier les connaissances de deux groupes distincts, l’un faisant l’expérience de la rétroaction-conversation et l’autre faisant l’expérience d’une autre méthode.

De manière complémentaire, il serait important de savoir ce que les étudiants pensent de la rétroaction-conversation. Ont-ils l’impression d’apprendre? Aiment-ils cette méthode d’apprentissage? En effet, j’estime qu’une étude sur l’efficacité d’un dispositif pédagogique doit prendre en compte la qualité de l’expérience étudiante telle que perçue par les principaux intéressés.

Références

Bernard, R. M., Abrami, P. C., Borokhovski, E., Wade, C. A., Tamim, R. M., Surkes, M. A. et Bethel, E. C. (2009). A meta-analysis of three types of interaction treatments in distance education. Review of educational research, 79(3), 1243-1289.

Means, B., Toyama, Y., Murphy, R., Bakia, M. et Jones, K. (2010). Evaluation of evidence-based practices in online learning: A meta-analysis and review of online learning studies.

Les théories de la formation à distance

La prestation d’une formation à distance présente plusieurs défis. L’un d’entre eux consiste à atteindre l’équilibre entre le degré de structure d’un cours, le dialogue avec les étudiants et le niveau d’autonomie recherché chez les étudiants. Par exemple, plus la structure de mon cours est flexible, plus je dois consacrer du temps aux échanges avec les étudiants, afin de répondre à leurs questionnements individuels. Sans cette part importante de dialogue, la distance entre les étudiants et moi risque d’être trop grande, ce qui nuira à la qualité de l’expérience d’apprentissage. Pour décrire cet espace entre les étudiants et l’enseignant, Moore (2013) parle de distance transactionnelle, une expression que l’on pourrait traduire par distance interactionnelle ou distance communicationnelle. Enseigner, après tout, n’est-ce pas communiquer?

Dans un contexte de formation à distance, les manières de «communiquer» avec les étudiants sont multiples. Je peux envoyer un courriel rappelant le devoir à remettre, diriger les étudiants dans l’environnement numérique d’apprentissage, proposer un article de journal à lire dans le forum, établir des repères temporels pour la réalisation d’une activité, etc. Je peux également encourager les étudiants à travailler en équipe dans un document partagé ou leur demander de répondre à la question d’un pair dans le forum du cours. Selon Garrisson (2017), chacun de ces actes communicationnels concourt à la création d’une communauté d’apprentissage en ligne, laquelle est déterminante pour la qualité de l’apprentissage. Dans une communauté d’apprentissage en ligne, les actes de présence se manifestent sur les plans éducatif, cognitif et social. Plus la présence virtuelle est riche, plus la communauté d’apprentissage est soudée.

Les cadres théoriques de la distance transactionnelle (Moore, 2013) et de la communauté d’apprentissage en ligne (Garrisson, 2017) constituent en réalité deux manières complémentaires de formaliser l’enseignement et l’apprentissage qui se déroulent à l’extérieur de la classe. Dans ces deux théories, le concept de communication est central et plusieurs facteurs peuvent influencer l’expérience d’apprentissage. Ainsi, tout enseignant intéressé par la formation à distance a avantage à connaitre les rudiments de ces théories. Il faut toutefois admettre que, dans la pratique, aucun enseignant ne peut forcer la participation des étudiants, à moins d’y associer des points…

Références

Garrison, D. R. (2017). E-learning in the 21st century: A framework for research and practice(3e éd.). New York: Taylor & Francis.

Moore, M. G. (2013). The Theory of Transactional Distance. Dans M. G. Moore (dir.), Handbook of Distance Education (p. 66-85). New York: Routledge.

Apprendre en jouant, c’est sérieux?

Il parait que les enfants apprennent en jouant. Pourquoi les adultes ne joueraient-ils pas en apprenant eux aussi?

En éducation supérieure, les jeux sérieux ont la cote. Les jeux sérieux sont des applications informatiques qui combinent le caractère ludique d’un jeu avec une intention pédagogique (d’où le qualificatif «sérieux»). Dans le domaine qui nous intéresse, une équipe formée d’enseignants et d’ingénieurs informatiques a créé le Game of Writing. Ce n’est pas un jeu en soi, mais une application informatique qui permet aux étudiants de donner et de recevoir des commentaires sur leurs textes avant de les soumettre à la notation par l’enseignant.

Le Game of Writing se sert de techniques issues des jeux et des médias sociaux. Par exemple, l’application présente un tableau comprenant les noms des étudiants du groupe selon l’avancement de leur travail, afin de stimuler la saine compétition. De plus, l’application décerne des badges virtuels lorsque certaines étapes sont franchies. Entre autres, le badge «lapin mignon» est octroyé aux étudiants qui remettent leur travail avant la date limite. Pour ceux et celles qui n’auraient pas compris, lapin = vitesse…

L’application Game of Writing recourt également à des techniques issues des médias sociaux : la fonction «commentaire» qui est au cœur du processus de rétroaction, les boutons «j’aime» et «je n’aime pas» pour exprimer son opinion sur un commentaire, et l’épingle pour attirer l’attention sur un commentaire.

Cette plateforme de rédaction m’a inspiré un jeu qui s’intitule «Battez le correcteur automatique». Le but du jeu consiste à corriger plus de fautes qu’un correcteur automatique. Les fautes peuvent être de toutes sortes : orthographiques, grammaticales, sémantiques, typographiques, etc. Évidemment, pour que ce jeu fonctionne, les fautes doivent être préalablement encodées dans le jeu, mais je laisserai ce détail aux ingénieurs informatiques. Pour jouer, l’étudiant doit repérer les fautes dans un texte, sélectionner les mots ou les passages contenant ces fautes et, pour chaque faute, cliquer sur la catégorie appropriée parmi celles proposées. En cliquant sur une catégorie, l’étudiant découvre une bulle d’information et est invité à valider son choix. Le maitre du jeu lui indique par la suite si une faute a effectivement été découverte. Le cas échéant, l’étudiant reçoit un morceau de robot. Le joueur doit ensuite dire comment corriger la faute. Si la solution proposée est bonne, le logiciel donne alors un deuxième morceau de robot. Et ainsi de suite… Lorsque le joueur a terminé sa correction du texte, c’est au tour du logiciel de jouer. Si le logiciel trouve plus de fautes que le joueur (autrement dit si le robot du logiciel comprend plus de morceaux), c’est le logiciel qui gagne.

Je ne connais pas grand-chose aux jeux sérieux, mais si cela était possible, il pourrait être intéressant de varier les mécanismes d’obtention des points. Par exemple, certains joueurs pourraient être tentés par des garnitures qui s’accumulent sur une pizza. Avec les jeux sérieux, les possibilités sont infinies.

Erreurs de débutante

Au trimestre d’automne 2017, j’ai transformé un cours de rédaction scientifique en formation hybride. À sept reprises durant le trimestre, les étudiants étaient invités à faire le cours en ligne, au moment qui leur convenait. C’est ce qu’on appelle un cours asynchrone.

J’enseigne à l’université depuis près de vingt ans. Je suis presque un dinosaure. Cet instinct de dinosaure m’a poussée à concevoir mon premier cours hybride comme une séquence de quinze séances, même si j’alternais entre une séance à distance et une séance en présentiel. Le problème, c’est qu’en reproduisant ce modèle, je n’ai pas tiré avantage de l’enseignement en ligne, de surcroit asynchrone. En effet, dans un cours asynchrone, il n’y a pas de contrainte temporelle ou spatiale. Pourquoi répartirait-on les contenus d’un cours en ligne en quinze sections?

Lorsque j’ai entrepris mon deuxième projet de cours hybride cet hiver, j’ai entièrement repensé le regroupement des contenus, sans tenir compte du nombre de semaines dans un trimestre. Au résultat, on a un cours de rédaction organisé autour de six activités pédagogiques.

Ce n’est pas la seule erreur que j’ai commise. La première fois que j’ai «abandonné» mes étudiants à leur cours en ligne, j’avais indiqué qu’une séance de clavardage serait ouverte pendant les trois heures auxquelles le cours se donne normalement en classe. Le but était de pouvoir répondre à leurs questions aussitôt qu’elles se présentaient. J’ai attendu longtemps… Aucun étudiant n’a visité l’environnement numérique du cours à ce moment précis. Mes étudiants, eux, avaient compris comment tirer avantage de l’apprentissage en ligne.

Dans une formation en ligne, les interactions entre les étudiants, les enseignants et les savoirs diffèrent de celles normalement observées dans une formation en présentiel (Papi, 2016). Ainsi, l’une des compétences essentielles que doivent acquérir les enseignants consiste à élaborer (ou adapter) les stratégies d’accompagnement des étudiants. Pour ce faire, il faut prendre en compte les facteurs qui influencent le degré d’encadrement, à savoir le niveau d’autonomie des étudiants, le niveau de structure du cours et le niveau de dialogue entre les intervenants du cours (Power, 2002). Cette compétence implique également de connaitre les bonnes pratiques d’encadrement des étudiants dans un contexte d’apprentissage en ligne. En outre, les enseignants doivent maitriser les outils dédiés à l’encadrement, tant en mode synchrone (vidéoconférence) qu’en mode asynchrone (courriel, forum). Ces compétences sont d’autant plus importantes que les tâches d’encadrement des étudiants augmentent de manière significative dans une formation à distance (Conseil supérieur de l’éducation, 2015).

La question qui tue est : comment les enseignants peuvent-ils développer toutes les compétences requises pour enseigner à distance? C’est très simple. Ce sont les institutions d’enseignement qui doivent les former. Enseigner à distance, ce n’est pas sorcier, mais il faut reconnaitre que cela s’apprend.

Références

Conseil supérieur de l’éducation. (2015). La formation à distance dans les universités québécoise: un potentiel à optimiser. Québec: Gouvernement du Québec.

Papi, C. (2016). De l’évolution du métier d’enseignant à distanceSTICEF, 23.

Power, M. (2002). Générations d’enseignement à distance, technologies éducatives et médiatisation de l’enseignement supérieur. International Journal of E-Learning & Distance Education, 17(2), 57-69.

Savoir dire non aux évaluations formatives à distance

Vous aurez compris, lecteurs assidus que vous êtes, que mes nouveaux dadas sont la pédagogie de la rédaction et la formation à distance. Lors de la conférence Writing Research Accross Borders à Bogota en 2017, j’ai fait la connaissance de Scott Warnock, un professeur de rédaction spécialisé en formation à distance. Après cette rencontre, j’ai commencé à lire sur la formaion à distance et j’ai découvert que l’on pouvait donner des cours à distance en ayant recours à des outils simples comme Moodle. Je me suis donc lancée dans la conception d’un cours hybride, que j’ai donné à l’Université du Québec en Outaouais au trimestre d’automne 2017. Un cours hybride est un cours où une proportion plus ou moins importante des séances se déroulent à distance. L’expérience fut concluante, c’est-à-dire que les étudiants étaient satisfaits et que je n’y ai pas laissé ma peau.

J’ai donc eu envie de créer d’autres cours hybrides. Toutefois, force était d’admettre que j’avais besoin d’acquérir des connaissances et des compétences spécialisées dans le domaine de la formation à distance. J’ai donc entrepris, il y a quelques mois, une formation de troisième cycle en pédagogie universitaire et environnements numériques d’apprentissages. Je suis littéralement retournée aux études!

Lorsqu’on parle de formation à distance, il faut comprendre que cela englobe plusieurs activités qui se dérouleraient normalement en classe, par exemple les exposés magistraux, les discussions, les travaux d’équipe et les évaluations. C’est sur ce dernier point que je souhaite m’attarder aujourd’hui. Selon Nizet et al. (2016), la distance aurait fait exploser le nombre d’évaluations formatives, vous savez ces évaluations qui servent à accompagner les étudiants, mais «ne comptent pas». En effet, les outils que sont le courriel, le nuage, le forum et l’environnement numérique d’apprentissage sont très utiles pour soutenir certaines étapes de l’évaluation. Entre autres, les étudiants peuvent désormais envoyer leurs travaux par courriel ou les déposer dans une plateforme web. Cependant, les outils numériques ont en quelque sorte créé des attentes chez les étudiants. Dans mes cours de rédaction, je prévois au moins une évaluation formative par trimestre. Il n’est pas rare, toutefois, que les étudiants en demandent plus. «Madame, est-ce qu’on peut vous envoyer notre texte pour savoir ce que vous en pensez avant la remise officielle?» Je ne compte plus les fois où on m’a posé cette question.

Que répondre à ces étudiants motivés? Si le temps le permet, j’accepte volontiers, car j’ai leur réussite à cœur. Sinon, je leur propose une activité d’évaluation par les pairs. Ce n’est pas sans un soupçon de culpabilité que je leur offre cette alternative. À mon avis, l’un des plus grands défis de l’évaluation à distance est de savoir dire non. Tiens, ce constat sonne comme une résolution de fin d’année. Cela tombe bien; nous sommes à la mi-décembre.

Source citée

Nizet, I., Leroux, J. L., Deaudelin, C., Béland, S. et Goulet, J. (2016). «Bilan de pratiques évaluatives des apprentissages à distance en contexte de formation universitaire». Revue internationale de pédagogie de l’enseignement supérieur [En ligne], 32-2.

© Marie-Josée Goulet