Présentations orales - Session évaluation, observation, débriefing
Mardi 14 mai - 16h10 - 17h10
_____________________________________________________________________
Vers une grille d’analyse multicritères pour la caractérisation et l’évaluation des jeux sérieux en gestion de crisesIbtissem DAOUDI, Erwan Tranvouez, Raoudha Chebil, Bernard Espinasse, Wided Lejouad Chaari
Actuellement, les jeux sérieux sont de plus en plus utilisés dans les processus d'apprentissage et en particulier dans les sessions de formation à la gestion de crises et de risques où le jeu forme ses utilisateurs à gérer une situation de crise dans un environnement immersif tout en réduisant les coûts et en gagnant du temps. Aujourd'hui, l'évaluation constitue un sujet d'intérêt et de préoccupation pour les chercheurs et les formateurs désirant intégrer un jeu dans le processus de formation à la gestion de crises. Dans ce cadre, plusieurs travaux récemment publiés ont été proposés ayant pour objectif d'évaluer les apprenants durant leur utilisation d'un jeu sérieux dans des contextes d'apprentissage individuel et/ou collectif, et ainsi d’évaluer l’impact de cet environnement. Cependant, l'état de l'art effectué dans ce domaine montre bien l'absence d'une grille d'analyse pour la caractérisation et l'évaluation des jeux sérieux en gestion de crises.
Face à ce constat, nous avons proposé une nouvelle grille multicritères qui peut être considérée comme un outil descriptif et évaluateur de jeux sérieux en gestion de crises dans le but de maximiser leur utilisation dans des formations réelles. En effet, cette grille permet d'une part d'identifier les critères qualitatifs pour décrire les caractéristiques générales d'un jeu sérieux en gestion de crises comme la nature du jeu (mono ou multi-joueurs), le type de crise étudiée (naturelle, humaine ou technologique), le genre du jeu (numérique ou non-numérique), le public ciblé (étudiants, enfants, professionnels), le contexte d'apprentissage (compétences techniques et/ou non-techniques), et les objectifs pédagogiques (sensibilisation à un problème particulier, transfert de connaissances procédurales en gestion de crise, développement d'une compétence). D'autre part, la grille proposée contient tous les critères communs ainsi que les indicateurs qualitatifs et quantitatifs qui peuvent être utilisés pour évaluer l'efficacité d'un jeu particulier pour la formation à la gestion de crises. Ces critères et indicateurs sont identifiés en relation avec trois types d'aspects caractérisant le profil des apprenants-joueurs à savoir l'aspect pédagogique (compétences, connaissances), l'aspect émotionnel (engagement, frustration, ennui) et l'aspect social (communication, coordination, collaboration).
En nous appuyant sur cette grille, notre contribution de recherche vise à proposer une approche d'évaluation et d'adaptation permettant de : (1) évaluer l'adéquation du jeu aux profils de ses différents joueurs ; et (2) exploiter les résultats de l'évaluation pour améliorer la qualité de l’apprentissage et adapter le jeu aux profils des apprenants. Cette approche est appliquée dans un contexte précis de scénario réel collaboratif de gestion de crise supporté par la plateforme de simulation «iScen» et intitulé «évacuation d'un bâtiment en cas d'incendie». IScen est une plateforme permettant la création de scénarios interactifs aux contenus multimédia et de les rejouer en réseau et en multi-joueurs. Cette plateforme est tout spécialement dédiée à la formation, la gestion et la simulation de crise s'adressant aux secteurs de l'éducation, de la sécurité (civile ou industrielle), et de la défense. Les résultats obtenus seront d'un grand intérêt pour produire des jeux sérieux adaptatifs qui répondent aux besoins pédagogiques des formateurs et qui conviennent aux profils des apprenants-joueurs.
_____________________________________________________________________
Vers l’élaboration d’un manuel d’observation des jeux sérieux
William’s Daré, Anne Dray, Emeline Hassenforder
De nombreux cas d’étude ont été réalisés en suivant les principes de la démarche de modélisation d’accompagnement. Lors du processus de modélisation, des facilitateurs organisent notamment des ateliers participatifs dans lesquels les acteurs sont mis en situation via l’usage d’objet intermédiaire pour simuler les interactions entre les hommes à propos de l’environnement. L’un des objets intermédiaires souvent privilégiés est le jeu de rôles ou le jeu sérieux, informatisé ou non, construit en lien avec la réalité de la question que les porteurs de projet souhaitent traiter. De nombreux travaux ont montré que lors de ces ateliers participatifs, la réalité s’invite dans le jeu. Les joueurs mobilisent leurs propres expériences et connaissances de la réalité pour dépasser les limites du monde simplifié proposé dans le jeu et ainsi réfléchir à une problématique commune à l’ensemble des participants réunis. Observer les interactions entre les joueurs est donc essentiel pour comprendre comment d’une situation d’action, les acteurs en présence arrivent à produire de la décision pour agir collectivement. Sans protocole d’observation, comment s’assurer « le plus objectivement possible » que le jeu a bien rempli la fonction pour laquelle il a été conçue?
Cependant, nous avons pu faire un quadruple constat à partir de multiples expériences du groupe ComMod:
1- bien que l’observation soit essentielle, l’observateur novice est bien souvent démuni face à l’ampleur de la tâche à accomplir pour collecter les informations nécessaires et analyser formellement les données produites. Aucun manuel à notre connaissance n’existe, si ce n’est au mieux des conseils pour faire de l’observation participante d’atelier participatif « classique » (focus group, réunion collective, etc);
2- l’observation, le suivi ou l’évaluation des sessions de jeux sérieux sont bien souvent négligés, par manque de temps, de ressources ou de « considérations » dans les projets;
3- l’observation des jeux sérieux est souvent vue comme “une machine de guerre”, c’est-à-dire un dispositif lourd et fastidieux à mettre en place;
4- lorsqu’un protocole d’observation est mis en place, il l’est souvent à des fins de recherche (pour une analyse “à froid”) mais peu pour nourrir le débriefing “à chaud” des sessions de jeu.
L’idée de ce manuel vise donc à combler ce manque.
Ce manuel se veut simple et pragmatique. Parmi la multitude des jeux sérieux développés, notamment en ce qui concerne leurs fins (pédagogique, de sensibilisation, de planification, etc.), nous posons d’emblée les types de jeux sérieux auxquels ce manuel d’observation s’adresse. Puis nous revenons sur les itérations, entre conception et test, ayant abouti à la version que nous vous présentons ici, afin de montrer notre cheminement. Enfin nous présentons la structure du manuel actuellement en phase de validation, organisée autour de questions concrètes (les modalités de collecte des données, leur organisation sous forme d’un protocole, la nature des données produites, l’utilisation des données lors du débriefing d’un jeu et au-delà) que tout observateur préparant son protocole d’observation peut être amené à se poser.
_____________________________________________________________________
Camille CLEMENT
UMR Innovation 0951 (INRA-CIRAD-SupAgro) – 2, place Pierre Viala 34060 Montpellier
FONCIJEU (ex Terre en jeu)
FONCIJEU, marque déposée par l’INRA, est un jeu de rôles qui met en scène quatre agriculteurs, quatre propriétaires fonciers, un maire et un promoteur immobilier dans une commune (plateau) composé de 25 parcelles agricoles autour d’un village centre. Dans un contexte où le Plan Local d’Urbanisme (PLU) est en cours d’élaboration, les joueurs doivent négocier entre eux et dans un temps limité, l’achat ou la location de parcelles agricoles. Quatre contrats sont à leur disposition : la vente, le fermage, la location courte (un an) et l’arrangement (prêt, sous-location). L’arrivée du promoteur immobilier qui possède un capital financier élevé fait augmenter les prix et transforme les types de contrats signés (plus de contrats courts).
Un jeu : quatre mises en situation différentes
FONCIJEU a été expérimenté 31 fois auprès de quatre publics :
- Des étudiants en école d’ingénieur agronome ou en masters d’aménagement du territoire ou d’urbanisme qui découvrent par le jeu les problématiques d’accès au foncier agricole et le rôle régulateur des plans d’urbanisme (14 parties)
- Des étudiants en école d’ingénieur généraliste (PolyTech) qui jouent dans le cadre d’un cours de management de projet : définition d’une stratégie, découverte d’un jeu d’acteurs. Ici, la thématique agricole n’est qu’un prétexte. (8 parties).
- Des élus et techniciens territoriaux qui sont quotidiennement en proie avec ces problématiques de pression et de spéculation foncière et qui, suite au jeu, élaborent des solutions adaptées à leur territoire. (5 parties)
- Des consommateurs et citoyens qui découvrent en jouant la complexité des jeux d’acteurs autour de l’accès à la terre agricole. (4 parties)
Adapter le débriefing à chaque situation
L’objectif de cette communication est de montrer qu’il est possible d’utiliser un même jeu dans des situations très différentes et devant des publics divers. Ainsi, le cas de FONCIJEU permet de mettre en évidence l’intérêt de la construction de jeux génériques.
L’animateur des 31 séances a utilisé le même matériel, le même plateau et les mêmes règles. Par contre, pour chacune des quatre situations présentées, l’introduction de la partie et surtout le débriefing ont été différents.
Pour les étudiants en agronomie et en urbanisme le jeu s’inscrit dans des cours sur le foncier agricole, le statut du fermage, le rôle des PLU, la pression foncière etc. Le débriefing, grâce à une coordination obligatoire avec l’enseignant référant, porte le plus souvent sur :
- Le rôle du PLU
- Les types de baux : fermage ou contrat court et les conséquences en terme de précarité foncière pour les agriculteurs
- L’occupation du sol qui découle de ces jeux d’acteurs et de ces négociations deux à deux.
Pour les étudiants de PolyTech, le breafing du jeu est différent. Le partie commence par un cours accéléré sur les grandes dynamiques agricoles en France : occupation du sol, répartition de la propriété, types de baux, différences entre cultures pérennes et cultures annuelles, prix des terres etc. Ce cours permet de donner un même niveau de connaissance à tous les participants qui ne connaissent pas ou peu les questions agricoles. En coordination avec l’enseignant référant, le débriefing est lui organisé autour :
- De la notion de stratégie : est-ce qu’ils en ont eu une ? A-t-elle été modifiée pendant le jeu ?
- Des formes de collaborations et de compétitions qui ont eu lieu pendant le jeu.
Ici, la thématique agricole est secondaire et le débriefing ne l’aborde pas directement mais uniquement parce qu’elle a potentiellement influencé les prises de décisions des joueurs.
Pour les élus et praticiens, le débriefing est préparé à l’avance avec le ou les commanditaires. Le jeu est organisé dans le cadre de projets comme un projet alimentaire territorial, le lancement d’un projet de recherche action ou la relance d’un groupe de travail sur le foncier. Dès le début, nous essayons de montrer en quoi le recours au jeu peut faire avancer les réflexions et les actions locales car, contrairement à tous les autres publics, celui-ci est souvent réticent à l’idée de jouer (surtout les élus). Le moment crucial de la séance est le débriefing. C’est à ce moment-là que le lien entre le jeu et les problématiques du territoire est mis en avant et décrypté pour identifier ou imaginer des solutions à des situations de blocage du foncier notamment. Nous reprenons les faits de jeux qui correspondent à ce qui se passe sur le terrain. Il est alors nécessaire d’avoir préalablement identifié avec le commanditaire les principales problématiques du territoire. Par exemple, lors de l’animation de FONCIJEU devant un public d’élus, certains joueurs, frustrés, ont arrêté de jouer mettant fin prématurément à la partie. Pour autant, ils ont ainsi reproduit le comportement de certains propriétaires qui laissent leur terrain en friche. Ainsi, lors du débriefing, nous sommes revenus sur ce fait de jeu et l’avons relié à des problématiques locales. Souvent, le recours à une parole d’expert (porté par le meneur de jeu) est nécessaire pour faire la transition avec les problématiques locales.
Enfin, pour les consommateurs et citoyens l’objectif est d’être le plus large possible pour englober les nombreuses questions que soulève le jeu. Ici, le débriefing est organisé en trois temps, un premier tour de table sur les impressions, une présentation par l’animateur des enjeux soulevés par le jeu et leur lien avec ce qui se passe sur le terrain (sorte d’éclairage « scientifique ») et enfin une discussion générale où l’animateur joue également un rôle d’expert.
Analyse et conclusion
Nous reviendrons dans la communication sur l’intérêt de la construction de jeux génériques qui nécessitent :
- D’adapter le débriefing et parfois le briefing au public et au contexte territorial de la séance
- De travailler en amont avec les commanditaires, enseignants ou chargés de mission
- D’interroger le double rôle d’animateur et d’expert porté par le meneur de jeu.
L’ensemble de la communication s’appuiera sur des expériences vécues de parties de jeu.
Un jeu : quatre mises en situation différentes
FONCIJEU a été expérimenté 31 fois auprès de quatre publics :
- Des étudiants en école d’ingénieur agronome ou en masters d’aménagement du territoire ou d’urbanisme qui découvrent par le jeu les problématiques d’accès au foncier agricole et le rôle régulateur des plans d’urbanisme (14 parties)
- Des étudiants en école d’ingénieur généraliste (PolyTech) qui jouent dans le cadre d’un cours de management de projet : définition d’une stratégie, découverte d’un jeu d’acteurs. Ici, la thématique agricole n’est qu’un prétexte. (8 parties).
- Des élus et techniciens territoriaux qui sont quotidiennement en proie avec ces problématiques de pression et de spéculation foncière et qui, suite au jeu, élaborent des solutions adaptées à leur territoire. (5 parties)
- Des consommateurs et citoyens qui découvrent en jouant la complexité des jeux d’acteurs autour de l’accès à la terre agricole. (4 parties)
Adapter le débriefing à chaque situation
L’objectif de cette communication est de montrer qu’il est possible d’utiliser un même jeu dans des situations très différentes et devant des publics divers. Ainsi, le cas de FONCIJEU permet de mettre en évidence l’intérêt de la construction de jeux génériques.
L’animateur des 31 séances a utilisé le même matériel, le même plateau et les mêmes règles. Par contre, pour chacune des quatre situations présentées, l’introduction de la partie et surtout le débriefing ont été différents.
Pour les étudiants en agronomie et en urbanisme le jeu s’inscrit dans des cours sur le foncier agricole, le statut du fermage, le rôle des PLU, la pression foncière etc. Le débriefing, grâce à une coordination obligatoire avec l’enseignant référant, porte le plus souvent sur :
- Le rôle du PLU
- Les types de baux : fermage ou contrat court et les conséquences en terme de précarité foncière pour les agriculteurs
- L’occupation du sol qui découle de ces jeux d’acteurs et de ces négociations deux à deux.
Pour les étudiants de PolyTech, le breafing du jeu est différent. Le partie commence par un cours accéléré sur les grandes dynamiques agricoles en France : occupation du sol, répartition de la propriété, types de baux, différences entre cultures pérennes et cultures annuelles, prix des terres etc. Ce cours permet de donner un même niveau de connaissance à tous les participants qui ne connaissent pas ou peu les questions agricoles. En coordination avec l’enseignant référant, le débriefing est lui organisé autour :
- De la notion de stratégie : est-ce qu’ils en ont eu une ? A-t-elle été modifiée pendant le jeu ?
- Des formes de collaborations et de compétitions qui ont eu lieu pendant le jeu.
Ici, la thématique agricole est secondaire et le débriefing ne l’aborde pas directement mais uniquement parce qu’elle a potentiellement influencé les prises de décisions des joueurs.
Pour les élus et praticiens, le débriefing est préparé à l’avance avec le ou les commanditaires. Le jeu est organisé dans le cadre de projets comme un projet alimentaire territorial, le lancement d’un projet de recherche action ou la relance d’un groupe de travail sur le foncier. Dès le début, nous essayons de montrer en quoi le recours au jeu peut faire avancer les réflexions et les actions locales car, contrairement à tous les autres publics, celui-ci est souvent réticent à l’idée de jouer (surtout les élus). Le moment crucial de la séance est le débriefing. C’est à ce moment-là que le lien entre le jeu et les problématiques du territoire est mis en avant et décrypté pour identifier ou imaginer des solutions à des situations de blocage du foncier notamment. Nous reprenons les faits de jeux qui correspondent à ce qui se passe sur le terrain. Il est alors nécessaire d’avoir préalablement identifié avec le commanditaire les principales problématiques du territoire. Par exemple, lors de l’animation de FONCIJEU devant un public d’élus, certains joueurs, frustrés, ont arrêté de jouer mettant fin prématurément à la partie. Pour autant, ils ont ainsi reproduit le comportement de certains propriétaires qui laissent leur terrain en friche. Ainsi, lors du débriefing, nous sommes revenus sur ce fait de jeu et l’avons relié à des problématiques locales. Souvent, le recours à une parole d’expert (porté par le meneur de jeu) est nécessaire pour faire la transition avec les problématiques locales.
Enfin, pour les consommateurs et citoyens l’objectif est d’être le plus large possible pour englober les nombreuses questions que soulève le jeu. Ici, le débriefing est organisé en trois temps, un premier tour de table sur les impressions, une présentation par l’animateur des enjeux soulevés par le jeu et leur lien avec ce qui se passe sur le terrain (sorte d’éclairage « scientifique ») et enfin une discussion générale où l’animateur joue également un rôle d’expert.
Analyse et conclusion
Nous reviendrons dans la communication sur l’intérêt de la construction de jeux génériques qui nécessitent :
- D’adapter le débriefing et parfois le briefing au public et au contexte territorial de la séance
- De travailler en amont avec les commanditaires, enseignants ou chargés de mission
- D’interroger le double rôle d’animateur et d’expert porté par le meneur de jeu.
L’ensemble de la communication s’appuiera sur des expériences vécues de parties de jeu.
Illustration : le débriefing de Terre en jeu à Attert (Belgique) le 13 février 2017
© photo réalisée par Gervaise Ropars, droits cédés à Camille Clément
