EPP-APS L’auto-correction des QCM

L’auto-correction des QCM pour l’amélioration de l’apprentissage des étudiants

 Daniel Grühn and Yanhua Cheng

Auteur à joindre pour la correspondance:

Daniel Grühn, North Carolina State University, Department of Psychology, Campus Box 7650, Raleigh, NC 27695, USA.

Email: [email protected]

Grühn, D. & Cheng, Y (2014). A self -correcting approach to multiple-choice exams improves learning.

Teaching of Psychology, 41, 335-339

Abstract

Montepare suggested the use of a self-correcting approach to multiple-choice tests: Students first take the exam as usual, but are allowed to hand in a self-corrected version afterwards. The idea of this approach is that the additional interaction with the material may foster further learning. To examine whether such an approach actually improves learning, we compared two large sections in psychology: one section used traditional exams and the other section used self-correcting midterm exams. Indeed, compared to the traditional approach, students using the self-correcting approach performed better on the final exam. Moreover, students who self- corrected more items performed better on the final exam above and beyond students’ original performance. As a tool to foster students’ engagement and learning, the self-correcting approach might be especially useful in large classroom settings.

Keywords

multiple-choice exams, self-correcting, active learning, large classrooms

Résumé

Montepare conseillait l’utilisation de l’auto-correction pour les examens sous forme de QCM. D’abord, les étudiants passent l’examen de façon classique mais, par la suite, ont le droit d’en rendre une version autocorrigée à leur enseignant. Le but de cette approche est de promouvoir une interaction supplémentaire avec le contenu, permettant ainsi un meilleur apprentissage. Pour vérifier son efficacité, nous avons comparé deux grandes classes de psychologie : une classe utilisait des examens traditionnels et l’autre des examens avec auto-correction. En effet, comparés à ceux qui utilisaient la méthode classique, les étudiants bénéficiant d’une approche auto-correctrice avaient de meilleurs résultats à l’examen final. De plus, les élèves qui s’autocorrigeaient avaient des résultats significativement plus élevés à l’examen final, comparés à leur performance habituelle. Ainsi, cette méthode peut être tout particulièrement utile au sein de classes à effectif important car elle favorise l’implication et l’apprentissage.

Mots clés

Examens sous forme de QCM, auto-correction, apprentissage actif, classes à grand effectif

Les examens sous forme de QCM font partie intégrante des cours universitaires. Diverses études ont pu critiquer cette méthode qui paraît parfois trop superficielle pour l’intégration des données complexes (Frederiksen, 1984) ou qui rend difficile la facilitation des processus d’apprentissage (Epstein et al., 2002). Cependant, les QCM peuvent être très rentables dans des classes à larges effectifs. Pour améliorer l’efficacité de cette approche, Montepare (2005, 2007) suggère une méthode d’autocorrection composée de deux étapes. Tout d’abord, les élèves terminent leur examen lors d’un cours normal et rendent leurs feuilles de réponse (version originale). Ensuite, ils reprennent ces questions chez eux et apportent une version révisée au cours suivant. Ils obtiennent deux points pour les questions justes sur les deux versions. Pour motiver les élèves à continuer les démarches d’auto-correction, ils recevront un point pour chaque item qui a été corrigé lors de la version révisée. Notez que les étudiants n’ont aucun retour de la part des enseignants concernant leurs réponses avant de rendre la deuxième version des réponses. Ils doivent donc déterminer par eux-mêmes si telle ou telle réponse est fausse.

L’objectif d’une telle méthode est de proposer une interaction supplémentaire avec le contenu du contrôle, permettant alors un apprentissage plus approfondi de celui-ci. On encourage les élèves à découvrir la réponse juste, à étudier le contenu selon leurs méthodes personnelles et à tenter de maîtriser les éléments qui leur sont proposés. Ceci est en accord avec les stratégies d’apprentissage actif, qui encouragent les étudiants à s’impliquer dans le processus d’apprentissage (Bonwell & Sutherland, 1996). L’apprentissage actif a été soutenu par quelques études empiriques qui montrent qu’il améliore la rétention d’information (voir Ciarocco, Lewandowski, & Van Volkom, 2013; Prince, 2004). Cependant, il peut être difficile de mettre en place des stratégies de ce type au sein de classes à large effectif. Francis and Barnett (2012) ont utilisé des contrôles et des partiels avec la méthode auto-correctrice dans un cours de psychologie générale de 46 étudiants. Comparés à une autre classe qui n’utilisait pas cette approche (n=52), ces auto-correcteurs avaient de meilleurs résultats à l’examen final. Cette étude met en avant des effets limités, et n’a pas pris en compte deux questions centrales —(a) l’approche auto-correctrice prédit-elle une amélioration significative du niveau d’apprentissage (en comparant l’examen original et l’examen final) et (b) l’approche auto-correctrice peut-elle être généralisée dans un contexte comprenant un effectif plus large (plus de 150 étudiants par exemple) ? Au vu des difficultés inhérentes à la motivation des élèves dans des classes dont l’effectif est important, cette méthode peut être particulièrement utile et rentable. Pour tenter de répondre à ces deux questions, nous avons étudié les résultats d’examens de deux classes suivant un cours de psychologie développementale (un échantillon utilisait la méthode auto-correctrice, et l’autre constituait le groupe contrôle). Notre hypothèse était que les étudiants utilisant l’auto-correction auraient de meilleurs résultats lors de l’examen final cumulatif que le groupe contrôle. De plus, nous pensions que les étudiants bénéficieraient de façon significative de cette méthode de manière individuelle, c’est-à-dire que leur performance finale serait bien meilleure que leur performance habituelle. Cependant, nous nous attendions à ce que ces bénéfices soient présents uniquement pour le contenu ayant fait l’objet d’une auto-correction, et non pour le nouveau contenu car les étudiants n’avaient pas pu avoir d’interaction supplémentaire avec celui-ci. Nous avons également émis l’hypothèse que les étudiants dont les résultats étaient plus fragiles bénéficieraient plus de cette approche que des étudiants ayant déjà de bons résultats. Cette méthode permettrait alors de diminuer la variance des notes.

Méthode

Participants

Les étudiants étaient inscrits dans deux cours de Psychologie Développementale avancés[i] dans un cursus universitaire public de 4 ans dans la partie sud-est des Etats-Unis. Pour examiner les effets de l’auto-correction sur les résultats d’examens, nous avons évalué un groupe contrôle d’étudiants, inscrit dans ce cours au Printemps 2010, ainsi qu’un groupe employant l’auto-correction, inscrit dans ce cours à l’automne de la même année. Le groupe contrôle comprenait 173 étudiants (73.2% de femmes) de 18 à 50 ans (M= 21.2, Ety = 3.1). Il y avait 25 élèves en première année, 64 élèves en deuxième année, 40 en troisième année et 44 en quatrième année. Le groupe utilisant l’approche auto-correctrice comprenait 175 étudiants (78.4% de femmes) de 18 à 37 ans (M= 20.3, Ety = 2.2). Il y avait 16 élèves en première année, 64 en deuxième année, 61 en troisième année, et 34 en quatrième année. Les deux groupes avaient deux cours de 75 minutes par semaine, en début d’après-midi. Tous les cours étaient enseignés par le même professeur et faisaient l’objet du même examen.

[i] 300-level

Procédure

Pour les deux groupes, le semestre était divisé en trois parties, avec trois examens au total. A la fin des deux premières parties du semestre, un QCM de 50 items était proposé. Pour le groupe auto-correcteur, ces deux examens pouvaient faire l’objet d’une auto-correction. Pour les deux groupes, le troisième examen avait un format classique, c’est-à-dire sans possibilité d’auto-correction, et était constitué de 100 QCM. Cet examen final était cumulatif avec 25 questions portant sur la première partie du semestre, 25 sur la deuxième et 50 sur la troisième. Les items proposés à l’examen final pour les deux premières parties étaient différents de ceux proposés lors des examens précédents. Tous les items du QCM comportaient 4 choix et une seule bonne réponse. La plupart d’entre eux avaient été écrits dans le but d’évaluer les fonctions cognitives supérieures, telle que la pensée conceptuelle ou l’application des connaissances, plutôt que des connaissances purement factuelles. Nous avons suivi les conseils de Montepare (2005, 2007) pour la mise en place d’examens autocorrigés. Tout d’abord, les élèves doivent terminer leur examen lors du cours et rendre leur feuille de réponses, qui est considérée comme l’examen « original ». Ensuite, les étudiants ont la possibilité de rentrer chez eux avec les QCM et rendre une feuille de réponses autocorrigée lors du prochain cours (deux jours plus tard). L’auto-correction était facultative ; cependant, tous les élèves ont rendu une version révisée. Les réponses correctes dans les deux versions valaient deux points alors que les réponses fausses dans les deux versions valaient 0 point. Les réponses corrigées de façon juste permettaient de récolter 1 point. Nous avons utilisé un tableur simple pour automatiser le processus de notation.

Tableau 1. Résultats d’examens en pourcentages dans le groupe contrôle (Printemps 2010, N = 173) et dans le groupe autocorrecteur (Automne 2010, N = 175).

Note. Les notes de l’échantillon auto-correcteur représentent les résultats à l’examen original, l’examen auto-corrigé (s’il avait été complété), ainsi que la note réellement obtenue par l’étudiant (qui a pu gagner des points supplémentaires). Les notes avec des indices différents au sein d’une même ligne différaient considérablement, p < .05.

Résultats

Pour évaluer les effets de l’approche auto-correctrice sur l’apprentissage, nous nous sommes penchés sur quatre questions. Premièrement, est-ce que les résultats entre le groupe contrôle et le groupe auto-correcteur étaient différents lors des examens originaux ? Deuxièmement, quelle était l’étendue du bénéfice de cette nouvelle méthode sur les résultats d’examens ? Troisièmement, est-ce que le bénéfice était différent selon les résultats habituels des élèves en question ? Dernièrement, l’auto-correction lors du premier et du deuxième examen permettait-elle d’améliorer la performance à l’examen final ?

Tout d’abord, nous avons comparé les résultats du groupe de contrôle avec les résultats du groupe auto-correcteur lors des examens originaux. Nous avons mis en place une analyse de variance répétée (ANOVA) 2 x 3 (groupe x examen) avec le groupe (contrôle vs. auto-correcteur) comme facteur inter-sujets et l’examen (examen 1 vs. examen 2 vs. examen 3) comme facteur intra-sujet. L’analyse a révélé un effet significatif de l’examen F (2, 355) = 173.48, p < .01, Z2 = .52, indiquant que les étudiants des deux groupes avaient tous deux des résultats significativement plus bas lors du premier examen que lors du deuxième et troisième examen. L’effet du groupe n’était pas significatif, F (1, 355) = 3.11, p = .08, Z2 < .01. Cependant, il y avait une interaction significative, F (2, 355) = 10.32, p < .01, Z2 = .06. Comparé au groupe contrôle, les étudiants de l’échantillon auto-correcteur avaient des résultats significativement plus bas à l’Examen 1, t(346) = 2.15, p = .03, de même à l’Examen 2, t(346) = 1.42, p = .15, et significativement plus élevés à l’Examen 3, t (346) = 2.70, p < .01. Ainsi, les résultats aux examens auto-corrigés augmentaient de façon plus significative au cours du semestre que ceux de l’approche traditionnelle. Le Tableau 1 montre les résultats d’examens pour ces deux groupes sous forme de pourcentages.

Figure 1. Réels bénéfices obtenus par les étudiants en fonction de leurs notes aux examens originaux (notation anglo-saxonne par lettres)

Deuxièmement, pour évaluer le réel bénéfice offert par l’auto-correction d’un examen, nous avons mis en place une ANOVA répétée 2 x 2 (examen x version) avec l’examen (examen 1 vs. examen 2) et la version (version originale de l’examen vs. examen autocorrigé) utilisés en tant que facteurs intra-sujet pour le groupe auto-correcteur. Comme lors de nos conclusions précédentes évoquées plus haut, notre analyse a révélé un effet significatif de l’examen, F (1, 172) = 208.57, p < .01, Z2 = .55, soulignant que les étudiants avaient de meilleurs résultats lors de l’examen 2 que lors de l’examen 1. Comme nous l’avions imaginé, il y avait un effet significatif de la version, F, (1, 172) = 828.56, p < .01, Z2 = .83, nous indiquant que les élèves réussissaient mieux lors de la version autocorrigée que lors de l’examen original. Il y avait également une interaction significative entre l’examen et la version, F (1, 172) = 13.00, p < .01, Z2 = .07. Les étudiants obtenaient davantage de points lors du premier examen que lors du deuxième.

Troisièmement, nous nous sommes intéressés à la différence de bénéfices offerts par cette méthode selon les résultats obtenus aux examens originaux. Pour simplifier la présentation de nos conclusions, nous avons utilisé la note obtenue (sous forme de lettre de A à F) lors de la version originale en tant que facteur inter-sujets pour évaluer le bénéfice obtenu (points en plus) à travers la méthode d’auto-correction. Les analyses ont révélé des effets significatifs à l’Examen 1, F (4, 173) = 38.33, p <.01, Z2 = .46, et à l’Examen 2, F (4, 173) = 98.02, p < .01, Z2 = .70. Comme nous l’avions prédit, les étudiants dont la performance à l’examen original était basse bénéficiaient le plus de l’approche auto-correctrice. La Figure 1 montre les bénéfices obtenus en fonction des résultats obtenus en version originale pour les deux examens.

Enfin, pour évaluer l’efficacité de l’auto-correction pour l’amélioration de l’apprentissage, nous avons étudié si le nombre d’items correctement altérés lors de la version autocorrigée avait un impact sur la performance à l’examen final à la partie correspondante. Nous avons mis en place deux régressions via Mplus (Muthe´n & Muthe´n, 2007), une pour voir si les scores d’examen prédisaient la performance à la Partie 1 de l’examen final et une pour déterminer si les résultats de l’Examen 2 prédisaient la réussite à la Partie 2 de ce même contrôle. Lors des deux analyses, nous avons compris le nombre correct d’items à la version originale ainsi que le nombre d’items correctement corrigés. La Figure 2 nous montre un diagramme de coefficients de direction avec les poids de régression non standardisés. Le nombre des items autocorrigés était corrélé positivement à la performance à partie correspondant à ce contenu à l’examen final. Ainsi, au-delà des résultats à l’examen original, plus les étudiants changeaient leurs réponses de façon correcte, plus leurs résultats à l’examen final augmentaient. Nous avons également étudié l’impact de l’auto-correction sur les résultats obtenus à la Partie 3 de l’examen final, car ce contenu n’avait pas pu faire l’objet d’auto-correction. Nous avons appliqué une régression pour ce contenu de la Partie 3 de l’examen final, comprenant le nombre correct d’items à l’examen original ainsi que le nombre d’items corrigés de façon juste au 2 premiers examens, utilisés comme prédicteurs, et le nombre de réponses correctes à la troisième partie de l’examen final en tant que résultat. Les résultats révèlent que seul le nombre d’items corrigés à l’examen 2 était un prédicteur significatif (B = .37, p < .01). Aucun autre effet n’atteignait ce seuil (tous les p > .10). Ainsi, la procédure d’auto-correction n’a pas d’impact sur le nouveau contenu sur lequel cette approche n’a pas été directement appliquée.

Figure 2. Le nombre d’items corrects dans la version originale et nombre d’items autocorrigés pour l’Examen 1 (haut) et l’Examen 2 (bas) prédisaient la performance à la partie correspondante à l’examen final. Les valeurs sont des poids de régression non standardisés.

Discussion

L’objectif de cette étude était d’examiner l’utilité d’examens associés à une méthode d’auto-correction, pour ainsi évaluer l’amélioration éventuelle de l’apprentissage chez des étudiants universitaires au sein de classes à large effectif. L’étude nous a permis de tiré trois conclusions majeures. Tout d’abord, les résultats des étudiants se sont améliorés grâce à l’auto-correction, notamment pour les élèves dont les résultats étaient bas initialement. Deuxièmement, la connaissance et la maîtrise du domaine de l’examen étaient meilleures grâce à cette méthode. Troisièmement, cet outil permettait d’impliquer et de motiver les élèves de façon efficace, même si le nombre d’élèves dans chaque classe rendait cela difficile auparavant.

Conformément aux conclusions de Montepare (2005, 2007), la maîtrise du contenu semblait s’améliorer chez les étudiants à travers cet exercice d’autocorrection. Tout d’abord, comparés au groupe contrôle, les élèves auto-correcteurs bénéficiaient de progrès plus marqués tout au long du semestre aux trois examens originaux. En effet, cet échantillon réussissait mieux de façon globale que le groupe contrôle au dernier examen. Deuxièmement, l’auto-correction améliorait la rétention de l’information autocorrigée, ce qui constitue des preuves supplémentaires de l’efficacité de cette approche. Au-delà de la passation de l’examen original, plus il y avait d’items corrigés, plus la partie correspondante de l’examen final était réussie. Cette conclusion consolide l’hypothèse des bénéfices pédagogiques de l’auto-correction.

Cependant, comme nous l’avions prévu, les effets se limitaient au domaine testé par cette approche, c’est-à-dire qu’il n’y avait pas de transfert du bénéfice d’autocorrection à de nouveaux contenus. Ceci n’est pas étonnant, car notre hypothèse quant au mécanisme explicatif de cette approche est l’implication supplémentaire de l’élève face au contenu. Ainsi, si l’auto-correction est utilisée de manière fréquente tout au long du semestre, elle permettrait sans doute de favoriser un échange et un engagement constants avec le matériel. Il faut noter que les deux groupes d’élèves ont reçu les corrections de leurs réponses pour l’Examen 1 et 2 après l’obtention de leur note finale. De ce fait, nous voyons que les bénéfices de l’auto-correction sont plus importants que la simple révision des bonnes réponses pour les deux premiers examens.

En termes de différences inter-individuelles, l’approche auto-correctrice semble tout particulièrement améliorer les résultats des étudiants en difficulté. Bien que les élèves ayant de bons résultats bénéficient également d’un gain de points, ceux qui avaient eu de mauvais résultats à l’examen original ont le plus tiré profit de cette méthode. Ceci s’explique sans doute par le fait qu’ils avaient une plus grande marge de progression. L’auto-correction réduit de manière considérable l’écart de notes entre les étudiants. Les enseignants peuvent apprécier cette méthode car les étudiants dont les résultats sont très fragiles ont plus souvent tendance à abandonner le cours ou à arrêter de s’y investir. Cette approche leur offre donc une seconde chance.

Une potentielle critique des détracteurs peut être que cette méthode favorise la tricherie. Si tricher sous-entend la révision d’un manuel ou le fait de discuter de façon active avec ses pairs, ces formes de « tricherie » sont plutôt souhaitables et bienvenues au sein de l’approche auto-correctrice. Les étudiants devraient et doivent s’impliquer activement dans le contenu. En revanche, si tricher signifie recopier les réponses de ses pairs, alors nous le considérons comme passif et non souhaitable. Nous pensons que nos examens étaient suffisamment difficiles pour que les élèves doutent des « bonnes » réponses de leurs pairs, et se sentent obligés de vérifier auprès de sources plus sures. De plus, les effets bénéfiques de l’auto-correction à l’examen final ne peuvent pas uniquement être expliqués par la tricherie.

Une autre critique est que cette méthode mène à l’inflation des notes – les étudiants à résultats fragiles peuvent obtenir un nombre de points supplémentaires conséquents, qu’ils n’obtiendraient pas autrement. Nous pensons, encore une fois, que cela dépend de la difficulté de l’examen que vous proposez. Pour que cette méthode porte ses fruits, il faut que le contrôle soit une tâche complexe. D’un côté, il doit mettre à l’épreuve les étudiants pour qu’ils passent davantage de temps à explorer et tenter de maîtriser le contenu lors de la phase d’auto-correction. Et d’un autre côté, les examens difficiles permettront de réduire l’inflation des notes après l’auto-correction. Dans l’étude actuelle, la note moyenne à l’examen 1 est passée de D à C (en notation française, cela fait passer de 7 à 10 sur 20 environ) après l’autocorrection, ce qui semble raisonnable. Ainsi, l’inflation des notes ne pose pas question lorsque le niveau de l’examen est adapté à la méthode.

Cette approche peut être tout particulièrement utile dans des classes à large effectif, où il est difficile pour l’enseignant d’employer des stratégies d’apprentissage actif. Elle est relativement peu coûteuse, et permet de mettre en œuvre simplement une composante d’apprentissage actif. Les systèmes de gestion de cours, tels que Blackboard, Sakai et Moodle, sont fréquemment utilisés en classe et permettraient de mettre cette approche en place en ligne sans trop de difficulté. Pour un enseignant, améliorer l’apprentissage des étudiants, même de façon modeste, en vaut la peine. De plus, lors d’échanges informels, les élèves semblaient aborder l’approche de façon positive. C’est cette attitude positive qui peut motiver les étudiants à s’impliquer en cours, permettre une meilleure ambiance en classe et réduire l’anxiété de performance.

De futures études pourraient notamment s’intéresser à deux sujets précis. Tout d’abord, elles pourraient tenter d’examiner de façon plus détaillée les processus et stratégies d’apprentissage déclenchés par l’approche d’auto-correction. Les potentiels mécanismes de cette approche pourraient comprendre (a) le temps supplémentaire passé à tenter de maitriser le contenu, (b) une plus grande motivation de la part des étudiants à être activement impliqués dans le processus d’examen ou (c) l’identification et l’explication de réponses ou d’alternatives incorrectes (Little, Bjork, Bjork, & Angello, 2012).

Les études futures pourraient également se pencher sur le comportement quotidien des élèves, permettant un récit détaillé des potentiels mécanismes explicatifs des bénéfices pédagogiques offerts par les examens associés à une méthode d’auto-correction. Deuxièmement, il serait intéressant d’examiner les différences inter-individuelles concernant les avantages pédagogiques de façon plus systématique. Cette approche semble en effet bénéficier à certains types d’étudiants, plutôt qu’a d’autres. Evidemment, elle permet aux étudiants dont les résultats sont bas d’améliorer leurs notes en premier lieux. Cependant, les élèves ayant de bons résultats peuvent aussi profiter de cette approche de façon significative, sans que cela transparaisse de manière évidente à travers les notes d’examen. Identifier ces différences inter-individuelles pourrait aider les professeurs à déterminer à quel point cette méthode s’adapte et s’ajuste à leurs étudiants.

Déclaration de conflits d’intérêts

Les auteurs déclarent n’avoir eu aucun conflit d’intérêts concernant la recherche, l’écriture et/ou la publication de cet article.

Financement

Les auteurs n’ont obtenu aucun soutien financier pour la recherche, l’écriture et/ou la publication de cet article.

Notifications

• Cet article a été traduit en français de sa version originale avec la permission de la Division no 2 de l’American Psychological Association (APA). La Division no 2 ne garantit pas la précision de la traduction française ; la traduction n’étant pas produite par l’APA. Pour des questions concernant cet article ou tout autre publication de la Division no 2 de l’American Psychological Association, merci de contacter [email protected]
• Cet article a été traduit de l’anglais par Laetitia Ribeyre, psychologue, Ecole de Psychologues Praticiens.

Références

Bonwell, C. C., & Sutherland, T. E. (1996). The active learning continuum: Choosing activities to engage students in the classroom. New Directions for Teaching and Learning, 1996, 3–16.

Ciarocco, N. J., Lewandowski, G. W., , Jr., & Van Volkom, M. (2013). The impact of a multifaceted approach to teaching research methods on students’ attitudes. Teaching of Psychology, 40, 20–25. doi: 10.1177/0098628312465859

Epstein, M. L., Lazarus, A. D., Calvano, T. B., Matthews, K. A., Hen- del, R. A., Epstein, B. B., & Brosvic, G. M. (2002). Immediate feedback assessment technique promotes learning and corrects inaccurate first responses. The Psychological Record, 52, 187–201.

Francis, A. L., & Barnett, J. (2012). The effect and implications of a ‘‘self-correcting’’ assessment procedure. Teaching of Psychology, 39, 38–41. doi:10.1177/0098628311430171

Frederiksen, N. (1984). The real test bias: Influences of testing on teaching and learning. American Psychologist, 39, 193–202. doi:10.1037/0003-066x.39.3.193

Little, J. L., Bjork, E. L., Bjork, R. A., & Angello, G. (2012). Multiple- choice tests exonerated, at least of some charges: Fostering test- induced  learning and avoiding test-induced forgetting. Psychological Science, 23, 1337–1344. doi:10.1177/0956797612443370

Montepare, J. M. (2005, October). A self-correcting approach to multiple choice tests. APS Observer, 18, 35–36.

Montepare, J. M. (2007). A self-correcting approach to multiple- choice tests. In B. Perlman, L. I. McCann, & S. H. McFadden (Eds.), Lessons learned (Vol. 3, pp. 143–154). Washington, DC: Association for Psychological Science.

Muthe´n, L. K., & Muthe´n, B. O. (2007). Mplus user’s guide (5th ed.). Los Angeles, CA: Muthe´n & Muthe´n.

Prince, M. (2004). Does active learning work? A review of the research. Journal of engineering education, 93, 223–231.