Evaluation

Évaluations et examens à distance

Informations préalables

  • Quelles sont nos obligations réglementaires au sujet des examens et évaluations ?

    Avant de présenter les outils possibles pour des examens à distance, rappelons qu’un décret du 24 avril 2017 autorise les établissement supérieur à organiser des examens à distance.

    Il dispose notamment que :

    « La validation des enseignements contrôlée par des épreuves organisées à distance sous forme numérique, doit être garantie par :
    1° La vérification que le candidat dispose des moyens techniques lui permettant le passage effectif des épreuves ;
    2° La vérification de l’identité du candidat ;
    3° La surveillance de l’épreuve et le respect des règles applicables aux examens. »

    Les règles suivantes s’appliquent également pour tout examen :
    4°  Nécessité d’un test préalable.
    5°  Nécessité de communiquer aux étudiants les aménagements apportés aux examens deux semaines à l’avance.
    6°  Nécessité de saisir préalablement notre Déléguée à la protection des données (Catherine FERNANDEZ).

    Le travail de mise en place d’une télésurveillance à domicile engendre un traitement de données à caractère personnel et doit donc être établi conjointement avec le délégué à la protection des données personnelle de l’établissement en respect des contraintes de RGPD.

    Même si un établissement répond à une situation d’urgence, il est déconseillé d’organiser un examen en télésurveillance sans avoir préalablement proposé un « examen télé-surveillé blanc» à l’étudiant. L’expérience vécue est de première importance pour garantir que le véritable examen se passe dans de bonnes conditions. Cela permet également de vérifier les caractéristiques techniques requises au domicile de l’étudiant (connexion, débit, webcam, micro). De plus, il est nécessaire de demander à l’étudiant un engagement explicite à assumer la responsabilité des conditions techniques, matérielles et opérationnelles du déroulé de l’examen à son domicile. L’examen blanc peut être l’occasion de rendre (en guise de copie) cet engagement formel.

    Vous pouvez également vous référer à la Fiche 5 du Plan de Continuité Pédagogique actuellement préconisé par le gouvernement.

  • Quels examens doivent être évalués à distance ?

    Tout d’abord, les recommandations que nous pouvons vous faire sont génériques et devront être adaptées à vos spécificités.

    Notre objectif ici est de vous guider dans vos choix puis de vous accompagner dans leur mise en place en utilisant les dispositifs disponibles.

    Les solutions techniques sont complémentaires des préconisations pédagogiques premières qui sont :
    1/ Renforcez la part de contrôle continu là où cela est possible ;

    2/ Vous pouvez maintenir les examens oraux ou les soutenances via les solutions de visio-conférence

    3/ Evaluez le plus possible des compétences de plus haut niveau, qui intègrent un fort degré d’engagement cognitif (c’est-à-dire moins de connaissances brutes et plus de compétences, cf. taxonomie de Bloom pour identifier le niveau de connaissances attendues)

  • Quelles solutions pouvons-nous envisager à l'UCLy pour les évaluations et examens à distance ?

    Selon vos objectifs, voici ensuite les modalités d’évaluation possibles à l’UCLy :

    (*) NB : si vous envisagez ce type de tests pour de gros effectifs, veuillez prévenir Pierrick Ribo, ainsi que la DSI pour qu’il leur soit possible de « lisser » la charge et, ainsi, d’organiser un calendrier afin d’éviter d’avoir trop de connexions en simultané.

  • Quelles ressources peuvent nous éclairer sur les choix à faire ?

    Quelques ressources d’accompagnement sur ce sujet pour vous aider à choisir vos modalités :
    – Un tableau exhaustif de comparaison de certaines de ces modalités est proposé par L’UCL Louvain : il reprend dans le détail les différentes modalités d’examen que nous vous préconisons ;
    – Un Vademecum pour l’évaluation à distance des étudiants proposé par Unidistance

    Retrouvez un mindmap sur l’évaluation distance également ici :
    https://www.mindomo.com/fr/mindmap/-gestion-de-crise-comment-evaluer-a-distance-49337c1af8c843738c41a75834946419 

  • Quels sont les besoins des étudiants et comment y répondre ?

    En période d’examens, les étudiants subissent déjà un stress inhérent à l’évaluation de leurs connaissances. La crise que nous connaissons actuellement ajoute une complexité et un contexte de stress supplémentaires. Parmi les premiers besoins des étudiants pour soulager ce stress, on va donc relever les besoins de :

    • Savoir à l’avance ce qui va être évalué (quels contenus et quels ajustements au vu du bouleversement contextuel)
    • Comprendre quelles modalités vont êtres utilisées et comment (avec des tutoriels, des consignes claires et des tests amont pour ne pas avoir à découvrir les fonctionnalités le jour J)
    • Connaître quels barèmes sont prévus pour les notations
    • Coordination entre les différents examens d’un même diplôme
    • Se savoir rassuré sur l’accompagnement à la prise en main des outils
    • Pouvoir anticiper au maximum pour faire redescendre la pression technique, logistique
    • Savoir que les besoins spécifiques sont pris en compte et comment (tiers-temps, dys, handicaps…)
  • Comment prendre en compte la diversité des étudiants (besoins spécifiques) ?

    Sur la question de la prise en compte de la diversité des étudiants dans le cadre des examens, une communication interne a été relayée à partir du 1er mai (cf. « message du 1er mai » disponible sur votre cours Moodle CAP’EA) :

     » […] CAP’EA et notre mission handicap sont là pour vous soutenir, et nous vous invitons, dès la conception des épreuves selon ces modalités nouvelles, à lire les recommandations ci-dessous ou à vous rapprocher du service pour répondre à toute question particulière d’ordre technique, ou de la Mission Handicap si vos questions portent sur l’accessibilité.

    Certains aménagements peuvent nécessiter une réévaluation ou un réajustement concerté entre les responsables pédagogiques des unités et la Mission Handicap, qui devra être, dans un second temps, communiqué aux étudiants concernés. »

    Vous trouverez ci-dessous des informations détaillées sur :

Utiliser Moodle pour ses examens

  • Devoir ou Test/QCM : récupérer une checklist de points de vérification

    Afin de ne rien oublier et de concevoir des examens à distance les plus fiables possibles, nous vous proposons de découvrir la CheckList conçue par Audric Mazzietti des éléments à vérifier autour de la mise en place de votre examen Moodle :
    https://drive.google.com/file/d/1iJ-nUSHbQd5dOtMXnwVZg0gDJ8958j7Q/view

  • Mettre en place une activité de rendu de devoir dans Moodle

    Cette fonctionnalité est déjà très utilisée par les enseignants au cours de l’année dans le cadre d’évaluations formatives ou sommatives.
    Vous pouvez imaginer une variété de devoirs à rendre :

    • Composition écrite
    • Dossier thématique
    • Mind Map (ou carte mentale, carte conceptuelle, carte heuristique)
    • Travail de groupe
    • Vidéo de démonstration
    • Enregistrement audio
    • Article
    • …

    Retrouvez le tutoriel en cliquant ici : https://youtu.be/nizGGr-dS4s

    IMPORTANT :
    Quand vous créez une boîte de dépôt, l’option « toujours afficher la description » est activée par défaut, il faut absolument décocher celle-ci, sinon le sujet est disponible pour tout le monde : https://www.youtube.com/watch?v=Fuwb3CFYq-4&feature=youtu.be

  • Corriger un devoir Moodle à l'aveugle (garantir l'anonymat)

    2 niveaux de réponses selon le niveau de contrainte :
    Mise en place d’un dispositif permettant à l’enseignant de pratiquer une évaluation à l’aveugle mais ne garantissant pas un anonymat total
    OU
    Mettre en place un processus qui garantit à l’étudiant que l’évaluation a été réalisée à l’aveugle (verrouillage du processus complet)

    CAS 1 : on répond au besoin de l’enseignant par l’option qui s’appelle « Évaluation à l’aveugle »
    L’évaluation à l’aveugle cache aux évaluateurs l’identité des étudiants. Les réglages de l’évaluation à l’aveugle se trouvent dans les paramètres, onglet « Note » et seront verrouillés dès qu’un travail aura été remis ou une note donnée pour ce devoir.
    Mais si vous choisissez ce paramètre, vous ne verrez plus les notes des étudiants dans le carnet de Notes. Pour actualiser à nouveau, dans le bloc Administration du devoir, cliquez sur Révéler les identités des étudiants. Cet élément n’est présent dans le bloc que si le paramètre Évaluation à l’aveugle a été choisi.

    Tutoriel : https://www.youtube.com/watch?v=39C5rm6DhII&feature=youtu.be
    Vous pouvez ainsi télécharger les devoirs des étudiants dans un fichier ZIP ou les documents sont anonymisés

    CAS 2 : on verrouille le dispositif pour éviter les recours éventuels
    1/ Penser à faire supprimer les métadonnées des documents par les étudiants avant envoi
    2/ Demander aux étudiants de ne mettre aucune autre information sur leur copie permettant l’identification, autre que leur clé : par exemple le numéro d’immatriculation étudiant
    3/ S’assurer de l’envoi par un tiers administratif OU gestionnaire de catégorie dans un cours informations générales non accessible à l’enseignant
    4/ Envoyer pour correction les copies aux enseignants avec l’option d’anonymisation et clé par code d’immatriculation de l’étudiant
    5/ Récupérer les corrections et raccorder les clés et les identités pour la notation

  • Mettre en place une activité de Test/Quiz/QCM dans Moodle

    Avant de passer à la réalisation technique, nous vous invitons à consulter nos recommandations pour créer des QCM pertinents et efficaces pour vos évaluations et examens terminaux (c’est-à-dire qui évaluent des compétences plutôt que des connaissances littérales) : https://capea.ucly.fr/creer-des-qcm-pertinents/

    Sur Moodle, les questions sont dissociées des activités de test et d’examen. Cela signifie que vous devez créer une banque de questions d’une part, et une activité Test d’autre part (dans laquelle vous sélectionnerez les questions que vous souhaitez évaluer).
    Ces fonctionnalités sont riches de paramétrages et de subtilités vous donnant le potentiel de faire des évaluations poussées.

    Attention cependant : Ne pas utiliser H5P dans Moodle pour vos évaluations ou examens (sauf pour des évaluations formatives). En effet, c’est une solution plus interactive et plus esthétique mais le nombre de tentatives n’est pas bloqué (les étudiants peuvent lancer le test autant de fois qu’ils le veulent) et vous ne pourrez ainsi pas garantir les conditions d’évaluation appropriées pour un examen terminal.

  • _____1/ Créer ses banques de questions (différents types de questions possibles)

    Vous pouvez également créer une banque de question en masse grâce à Excel ! Retrouvez toutes les consignes et le fichier nécessaire en suivant ce lien : https://capea.ucly.fr/test-creer-une-banque-de-questions-en-masse/ 

  • _____ 2/ Créer l'activité "test"

    Pour cela, vous pouvez consulter le tutoriel vidéo suivant :
    https://youtu.be/dc0kuf1VGU0

    Ou consulter la documentation Moodle suivante :
    https://docs.moodle.org/3x/fr/Test 

    Pour créer un test dédié aux étudiants à besoins spécifiques (tiers-temps), voici comment procéder :

    Pour prendre en compte les étudiants ayant besoin d’un tiers-temps :

    1/ dupliquez votre devoir et attribuez au second devoir un temps plus long

    2/ constituez les groupes d’étudiants pour chaque devoir : https://youtu.be/Lu-nHj9_W7E

    3/ paramétrez les restrictions d’accès pour vos 2 groupes : https://youtu.be/BsGtWKo9wLI

  • _____ 3/ Ajouter des questions à son activité test

    Pour finir, il ne vous reste plus qu’à ajouter les questions de votre choix dans votre activité test :
    https://youtu.be/i3EhUuI9qiU

Le saviez-vous ? Vous pouvez créer des questionnaires en masse grâce aux Macros Excel !

Afin de faciliter la conception, rédaction et le partage de banques de questions, vous pouvez utiliser un tableau excel conçu spécialement pour l’import des banques de questions dans Moodle.
Ce document est disponible pour créer :
– des QCM à choix unique ;
– des QCM à choix multiple ;
– des Vrai/Faux ;
– des questions d’appariement.

Retrouvez ici le template et le tutoriel associé sur notre page dédiée !

excel_macro_questionnaire_moodle

Quelles recommandations suivre pour limiter la triche ?

  • Régler un temps limité pour votre épreuve (dans les réglages du test)
  • Forcer la linéarité des questions pour que l'étudiant ne puisse pas naviguer dans les contenus (dans les paramètres du test, se rendre à la rubrique « mise en page » puis cliquer sur « afficher plus… » afin de sélectionner "Séquentielle" : L’ordre des questions est imposé à l’étudiant. Il doit répondre à chacune d’elles au fur et à mesure qu’elles se présentent car il ne pourra pas revenir sur ces questions pour modifier les réponses. Lorsque il clique sur le bouton Retour à la tentative, il ne peut modifier que la dernière question du test; il n’a pas la possibilité de réviser toutes ses réponses aux questions.)
  • Mélanger les questions (cliquer sur le bouton « mélanger » dans la banque de questions) et les réponses (dans les paramètres du test puis dans la rubrique « comportement des questions » cocher « oui » à l’item « mélanger les éléments des questions »)
  • Créer une banque de questions plus grande que le nombre de questions tirées aléatoirement (consulter cette page pour la marche à suive)
  • Pour aller plus loin dans la conception de vos tests, vous pouvez consulter la bible de l'ULC : https://moodleucl.uclouvain.be/mod/data/view.php?d=1684&rid=71685&filter=1

À savoir :

Lorsque des étudiants réalisent un test en ligne à distance sur Moodle, il n'existe aucun moyen technique qui permette de garantir l'identité de la personne qui répond, il est impossible d'empêcher les étudiants d'échanger des informations pendant le test et il n'y a aucune garantie sur la qualité de la connexion réseau.
C’est pourquoi nous préconisons un mode d’évaluation « tous documents autorisés », dans lequel il est préférable d’évaluer des compétences de plus haut niveaux ou la triche s'avère plus compliquée.

Examens à distance télé-surveillés avec Testwe

  • De quoi s’agit-il ?

    Après comparaison des différentes solutions existantes sur le marché recommandé par la DGESIP, la solution Testwee a été retenue et est en cours d’utilisation à petite échelle en ce moment.
    TestWe

    « TestWe est une solution complète : plateforme online pour les professeurs et l’administration, logiciel offline pour garantir un environnement anti-triche aux candidats. »

    Ce dispositif est décrit ici https://testwe.eu/fr/fonctionnalites
    Une fois installée sur l’ordinateur de l’étudiant cette solution le place en situation d’examen au sein d’un environnement sécurisé (toute application autre que Testwee est bloquée sur l’ordinateur).

  • Quel est son fonctionnement ?

    Contrôle Identité
    Oui.

    Vérification condition
    Oui, l’étudiant est photographié de manière aléatoire (Attention c’est une option à 5€ de plus)

    Intégration au LMS
    Intégré partiellement dans le sens où l’examen doit être saisi sur la plateforme TestWe (et non sur moodle). Mais l’accès à l’examen peut être effectué via moodle.

    Coûts
    12€ par étudiant et par an
    Réutilisable donc dans d’autres contextes (rattrapage à l’étranger ou autre)

  • Intégration et accompagnement

    CAP’EA peut vous accompagner dans cette intégration en lien avec le SI et le fournisseur de services Testwee.
    Nous avons un premier retour positif de ce dispositif testé la semaine dernière en situation réelle sur une petite cohorte par l’Esdes (nous vous invitons au webinaire de ce jeudi 16 avril à 14 h si vous souhaitez découvrir leur retour d’expérience).
    Une organisation logistique importante pour vos équipes administratives et enseignantes est néanmoins à prévoir.

Pour aller plus loin sur les évaluations à distance

Quelques ressources externes que vous pouvez consulter :