Vous travailleriez encore avec une structure extérieure pour mettre en place un simple QCM ?
Philippe Serre : J’y vois tous les avantages. Le laboratoire de psychologie sociale de Montpellier nous a accompagnés dans la méthode, il nous a guidés pour l’élaboration du questionnaire. Il nous a également permis d’exploiter rapidement les 350 enquêtes parce qu’il disposait d’un logiciel de dépouillement.
Tout au long de la démarche, ils ont amené un professionnalisme indispensable. Comment faire en sorte, par exemple, qu’une question du QCM n’induise pas la réponse à une question suivante ?
Quel bilan tirez-vous de cette démarche d’évaluation ?
Gérard Pithon : Les bons résultats de cette évaluation auraient certainement été encore meilleurs si l’équipe d’intervention avait pu se mettre en contact avec l’équipe d’évaluation bien avant l’intervention et non pas pendant l’intervention. Le choix de la méthode et la conception du questionnaire ont été effectués trop tardivement et donc trop rapidement.
Que diriez-vous du coût de l’évaluation ?
Gérard Pithon : Bien souvent, en croyant bien faire, on met le maximum de ressources dans l’intervention en utilisant parfois des moyens spectaculaires… Il faut bien montrer qu’on a fait des choses ! Pourtant une analyse préalable permettrait de concevoir des dispositifs d’évaluation sur un simple échantillon de la population concernée. Cela éviterait des coûts inutiles, en donnant tout de même les moyens d’évaluer les changements opérés avant et après l’intervention, aussi bien sur le plan des attitudes, des connaissances (interviews, questionnaires, tests…) que des pratiques (certains jeux de simulation permettent d’enregistrer des comportements)… mais, hélas, c’est l’observation des conduites quotidiennes qu’il faudrait mettre en place ! Et là, nous rencontrons un autre problème, celui de la déontologie : jusqu’où peut-on aller dans le suivi des effets d’une action ?
À la lecture des résultats de l’enquête,
qu’allez-vous modifier dans l’avenir ?
Philippe Serre : Il y a un écart important entre les populations d’enfants qui n’ont pas suivi le programme et les enfants qui y ont participé. Nous avons donc bien fait notre travail ! Cependant, nous nous sommes aperçus que l’écart était beaucoup plus important dans le domaine des connaissances pures que dans ceux des savoir-faire et savoir être. Nous pensions que nos interventions fortement axées sur la pédagogie de projet et sur le terrain aboutiraient à plus de changement de comportements. Or, nous découvrons que nous avons prioritairement fait « passer » de la connaissance. Alors, oui, effectivement, nous sommes partis de cette évaluation pour repenser nos interventions.
Concrètement…
Philippe Serre : Suite à ce programme d’évaluation, nous avons élaboré une charte avec les membres du réseau espagnol. Elle contient la philosophie de l’éducation à l’environnement et une dimension concrète sur la manière d’intervenir lors de nos animations. Cette charte est très axée sur la pédagogie de projet, la coopération, l’aspect comportemental… Cette évaluation, c’est un peu comme un boomerang qui nous revient en direct. C’est une remise en question pour l’ensemble des animateurs du réseau. À l’avenir, forcément, nous allons réfléchir, même inconsciemment à la manière de transmettre les savoir être.