Guide sur la mise en œuvre des programmes fondés sur des données probantes : Qu'en savons-nous jusqu'à maintenant?

Guide sur la mise en œuvre des programmes fondés sur des données probantes : Qu'en savons-nous jusqu'à maintenant? Version PDF (446 KB)
Table des matières

Sommaire

Par l'entremise de la Stratégie nationale pour la prévention du crime (SNPC) Sécurité publique Canada a le mandat de favoriser l'élaboration et la mise en œuvre, au Canada, d'interventions de prévention du crime fondées sur les connaissances. Pour ce faire, il appuie la mise en œuvre et l'évaluation des projets communautaires afin de déterminer ce qui fonctionne, comment ça fonctionne et à quel coût.

La question du « comment » a souvent été oblitérée au profit de la démonstration des impacts. Or la qualité de la mise en œuvre des programmes de prévention est un élément clé dans leur succès : par exemple, une mise en œuvre efficace d'un programme prometteur a plus de chance de produire des résultats positifs qu'une mise en œuvre de faible qualité d'un programme modèle. Le peu d'efficacité que démontrent les résultats d'un programme peut être causé non pas par un manque d'efficacité du traitement et des interventions mais par des faiblesses dans sa mise en œuvre. 

De plus en plus, praticiens et chercheurs dans le domaine de la prévention du crime font face à un défi commun : la mise en œuvre réussie et efficace des pratiques fondées sur les connaissances. L'émergence de cet intérêt pour les questions de mise en œuvre coïncide avec la réalisation que le seul fait de choisir un programme efficace n'est pas suffisant, et que même avec l'avènement des répertoires sur les meilleures pratiques, diverses expériences terrains ont démontré que des programmes pourtant efficaces n'ont pas conduit aux résultats escomptés. Un programme efficace, jumelé à une mise en œuvre de qualité, augmente les probabilités d'atteindre des résultats positifs chez les clientèles à desservir. Dès lors, l'accent est non seulement mis sur la sélection du programme mais aussi sur l'identification des conditions de mise en œuvre efficace.

Pour le moment, la littérature permet d'affirmer que certaines dimensions de la mise en œuvre seraient généralisables surtout en ce qui concerne les étapes et les composantes clés. Qu'il s'agisse de programmes en prévention du crime ou d'un programme dans une discipline connexe, par exemple en éducation ou dans le milieu de la santé et des services sociaux, la mise en œuvre reposerait, à la base, sur les mêmes principes généraux. Par contre, certaines conditions particulières dans la mise en œuvre des programmes de prévention du crime permettent d'envisager qu'il y aurait des éléments spécifiques, voire même des difficultés et des stratégies facilitatrices particulières. Par exemple, le fait que ces programmes interviennent auprès d'une clientèle présentant des risques multiples, parfois même judiciarisée; l'identification des jeunes ayant le profil adéquat pour participer au programme et leur recrutement; l'utilisation de stratégies de rétention pour maintenir les participants dans le programme; l'engagement parfois limité des familles et le double rôle de certains partenaires, ne sont que quelques exemples soulignant que la mise en œuvre des programmes de prévention nécessiterait des stratégies de mise en œuvre adaptées à ces conditions. Un agenda d'études empiriques spécifiques à la mise en œuvre des programmes en prévention du crime doit être mis de l'avant afin de faire la lumière sur ces questions. 

Ce guide sur la mise en œuvre décrit les connaissances actuelles sur les éléments clés, propose des outils de planification de la mise en œuvre et présente des exemples d'études de cas.

Introduction

La mise en œuvre des programmes

Se définit comme un ensemble précis d'activités visant à mettre en pratique une activité ou un programme. Il s'agit d'un processus qui implique des décisions, actions et corrections afin de concrétiser un programme en une série d'activités orientée vers une mission et des résultats.

(Fixsen et al., 2005)

Il est bien établi que le niveau et la qualité de la mise en œuvre des programmes de prévention affectent les résultats obtenus (Fixsen et al., 2005 et 2009; Metz et al. 2007a,b,c; Mihalic et al. 2004a,b; Fixsen & Blase 2006; Durlak & DuPré 2008).Une mise en œuvre efficace augmente les probabilités de succès du programme et conduit à de meilleurs résultats pour les participants. De plus, un contexte dynamique, engagé, ouvert et flexible aux changements facilitera l'intégration d'un programme. La formule suivante illustre bien cette pensée.

Formule pour une utilisation réussie des programmes fondés sur des données probantes

Programme efficace + Mise en œuvre efficace + Contexte dynamique = Augmentation des probabilités de résultats positifs

(Fixsen et al., 2013)

En ce sens, des résultats négatifs ou mitigés d'évaluation d'impact de programmes peuvent être liés à une mise en œuvre de faible qualité et ne pas nécessairement signifier qu'un programme ne fonctionne pas (Durlak & DuPre, 2008). Une méta-analyse réalisée par Wilson et al. (2003) sur 221 programmes de prévention en milieu scolaire visant les comportements agressifs révèle que la mise en œuvre était la deuxième variable globale la plus importante ayant influencé les résultats obtenus (Durlak & DuPre, 2008) Note1. De façon similaire, Smith et al. (2004) ont indiqué que, malgré que 14 écoles aient obtenu des effets modestes dans la mise en œuvre de programmes d'intimidation, celles qui ont surveillé les principales variables relatives à la mise en œuvre ont rapporté deux fois la moyenne des effets sur les taux auto-déclarés d'intimidation et de victimisation comparativement aux écoles qui n'avaient pas suivi le processus de mise en œuvre (Durlak & DuPre, 2008).

L'un des prérequis d'une mise en œuvre réussie repose aussi sur la clarté du programme et de son opérationnalisation : plus les composantes clés du programme seront clairement explicitées (p. ex. le dosage, les activités, etc.) et que la formation et l'assistance technique sont disponibles, plus les responsables pourront mettre l'accent sur les composantes clés associés à une mise en œuvre de qualité et favoriser une réplication adéquate du programme.

À qui s'adresse ce document ?

Ce document s'adresse à toute personne intéressée par la mise en œuvre des programmes et ce, autant dans le domaine de la prévention du crime que dans un domaine connexe.

Comment utiliser ce document ?

L'objectif central de ce guide est de transmettre des connaissances pratiques pouvant servir de balises dans la mise en œuvre des programmes en prévention du crime. Ce guide sert également d'outil de référence et nous vous invitons à le consulter périodiquement durant le processus de mise en œuvre de votre programme.

Sans prétendre à l'exhaustivité, ce guide aborde les thèmes suivants :

Ce guide comprend également deux sections pratiques :

  1. Une première section « outils de planification » présente des listes de vérification des activités clés dans les étapes de mise en œuvre; et,
  2. Une deuxième section « études de cas » illustre des leçons apprises suite à l'évaluation de programmes ou initiatives en prévention du crime ou dans un domaine connexe.

1. L'étude de la mise en œuvre des programmes

De plus en plus, les programmes sont évalués afin de mesurer leurs effets sur un groupe cible; par exemple, en vue de réduire des comportements problématiques ou renforcer des facteurs de protection. L'identification des programmes qui fonctionnent et ceux qui ne fonctionnent pas passe par des évaluations rigoureuses, et des répertoires classifient ces programmes en fonction de différents critères d'efficacité Note2. En comparaison, les connaissances sur les conditions de mise en œuvre de ces programmes n'ont pas autant progressé. En effet, plusieurs questions continuent de se poser : pourquoi un programme modèle n'obtient-il pas toujours les mêmes résultats? Quels facteurs influencent les conditions de mise en œuvre? Comment fait-on pour maintenir une constance dans les résultats selon les différents sites de réplication?

La science de la mise en oeuvre

Pour répondre à ces questions, une science de la mise en oeuvre (implementation science) s'est graduellement développée. La science de la mise en oeuvre peut se décrire comme étant le domaine d'études à partir duquel des méthodes et des cadres de travail ont été développés afin de favoriser le transfert et l'utilisation des connaissances en vue d'optimiser la qualité et l'efficacité des services (Eccles, 2006). Afin de relier le milieu de la recherche et celui de la pratique, la science de la mise en oeuvre s'intéresse aux écarts entre la recherche et la pratique et aux influences individuelles, organisationnelles et collectives entourant le processus de mise en oeuvre.

La science de la mise en oeuvre des programmes

Se définit comme l'étude scientifique des méthodes pour promouvoir l'adoption systématique des résultats de recherche et d'autres pratiques fondées sur des preuves dans les pratiques courantes en vue d'améliorer la qualité (efficacité, fiabilité, sécurité, pertinence, équité, efficacité) des services offerts à la population. La science de la mise en oeuvre est multisectorielle et s'applique aussi bien aux programmes dans le domaine des soins de la santé et du bien-être, de l'éducation que de la prévention de la criminalité.

(Adaptation de Eccles et al., 2009)

Les résultats issus des évaluations de processus sont l'une des principales sources de connaissances sur les conditions favorables et les défis entourant la mise en œuvre. Par exemple, sur la manière dont un programme a réussi ou non à atteindre le groupe cible, à sélectionner avec succès les bons participants, à livrer les interventions de façon adéquate tout en respectant le dosage. Les données en provenance de l'évaluation des processus sont uniques et fournissent de nombreux détails sur la façon dont un programme est implanté Note3.

Cette attention accordée à la mise en œuvre permet aussi de distinguer ce qui se rapporte de façon spécifique au programme versus ce qui se rapporte à la façon dont celui-ci est mis en œuvre (Metz, 2007) :

Par exemple, un programme prometteur mis en œuvre efficacement a plus de chance de produire des résultats positifs qu'un programme modèle Note4 dont la mise en œuvre est contrainte à plusieurs lacunes et limites. Il est aussi vrai de dire qu'un programme évalué comme ayant des effets neutres peut être répliqué dans d'autres conditions et obtenir des résultats positifs. Les conditions de mise en œuvre doivent donc être considérées comme un élément central dans l'atteinte ou non des résultats.

2. Les étapes du processus de mise en œuvre des programmes

Un consensus se dégage sur le fait que la mise en œuvre des programmes n'est pas un événement unique et linéaire mais plutôt un processus dynamique et itératif à l'intérieur duquel se chevauchent plusieurs étapes et qui requiert l'utilisation de stratégies et de composantes clés (Fixsen et al, 2005). Les étapes qui apparaissent centrales et généralisables à l'intérieur des démarches et stratégies efficaces de mise en œuvre sont illustrées à la figure suivante.

Figure 1 : Les étapes du processus de mise en œuvre des programmes

Les étapes du processus de mise en oeuvre des programmes
Description longue

Cette figure démontre Les étapes du processus de mise en oeuvre des programmes

1. Exploration et adoption

  • Acquisition de l'information entourant les programmes qui s'appuient sur les connaissances et identification du programme le plus approprié.

2. Préparation et installation

  • Une fois la décision prise dans le choix du programme, préparation active du terrain.

3. Mise en œuvre initiale

  • Application initiale du programme dans l'organisation; il s'agit de l'étape la plus difficile.

4. Mise en œuvre complète

  • Le programme est intégré à la communauté et aux pratiques, politiques et procédures de l'organisation.

Ces étapes de mise en œuvre :

Suite à la mise en œuvre complète du programme Note5, se trouvent deux autres étapes exclues de la figure précédente parce qu'elles représentent davantage une continuation ou une adaptation d'un programme déjà existant :

Continuité/pérennisation : même si cette étape apparait comme une suite logique lorsqu'un programme se termine, la pérennisation doit être analysée dans les phases initiales de développement. Par exemple, la continuité du programme passera par un financement sécurisé, un maintien de l'engagement des partenaires, une formation continuelle des employés; bref, par un maintien des ressources initiales qui avaient été nécessaires lors du lancement du programme. Dit autrement, il s'agit de trouver des moyens à partir desquels l'efficacité du programme peut être maintenue à long terme considérant les conditions changeantes comparativement à la mise en œuvre initiale. 

Innovation : une fois que le programme a été mis en œuvre en suivant de près la fidélité au programme original, une organisation pourrait décider d'adapter certaines dimensions du programme. Cette étape inclut des discussions avec des experts et les développeurs du programme afin de s'assurer que les composantes clés du programme ne seront pas affectées par ces changements. Dit autrement, il s'agit de tirer profit de(s) l'évaluation du programme et tenter de cerner les conditions dans lesquelles le programme obtient les meilleurs résultats.

Section « Outils d'aide à la planification »

Chaque étape de la mise en œuvre requiert une série d'activités. Afin de prendre connaissance de ces activités, d'évaluer les forces et les faiblesses de votre organisation et parvenir à développer un plan de mise en œuvre spécifique à vos besoins et ressources, des listes de vérification détaillées ont été développées :

3. Approche systémique des facteurs influençant le processus de mise en œuvre

Selon les contextes et les organisations, plusieurs facteurs influenceront positivement ou négativement le processus de mise en œuvre Note6. Le tableau 1 illustre quelques-uns des facteurs les plus souvent cités dans la littérature. De façon générale, les méta-analyses qui s'attardent au processus de mise en œuvre des programmes ont démontré la nécessité d'adopter une approche multi-niveau afin de tenir compte de l'ensemble des facteurs liés aux caractéristiques des programmes, des praticiens et des communautés ainsi que ceux liés aux capacités organisationnelles et au soutien de la prévention (formation et assistance technique) (Wandersman et al. 2008; Gray et al. 2012; Durlak & DuPre, 2008).

Les facteurs influençant le processus de la mise en œuvre

Les facteurs qui influencent le processus de mise en œuvre sont multiples et peuvent se décrire comme des éléments qui, par leur présence/absence, et leur qualité, influenceront positivement ou négativement le processus de mise en œuvre (stratégies facilitateurs ou obstacles). Ces facteurs font référence autant aux composantes clés qu'à des facteurs externes, et leur effet miroir a été observé de sorte que certains facilitateurs à l'implantation deviennent des obstacles s'ils sont absents ou manquants.

(Simoneau et al., 2012)

Tableau 1 : Principaux facteurs influençant le processus de mise en œuvre

I. Principaux facteurs liés au contexte social

II. Principaux facteurs liés aux organisations

III. Principaux facteurs liés aux praticiens

IV. Principaux facteurs liés au programme

* Les facteurs identifiés par un astérisque (*) représentent les composantes clés de la mise en œuvre et seront détaillés dans la prochaine section.

Tel qu'illustré, les facteurs qui influencent le processus de mise en œuvre sont multiples et leur interrelations sont complexes, rendant difficiles les généralisations et les prédictions. À l'exception de l'influence positive des composantes clés dont les effets ont été mesurés dans des études scientifiques, il demeure difficile de tirer des conclusions sur les autres facteurs, ni de mesurer leurs interactions et dans quelles conditions. Dans une étude concernant la mise en œuvre de programme en santé mentale en milieu scolaire, Kam et al. (2003) ont observé un effet significatif entre le soutien de la direction pour le programme et la fidélité de la mise en œuvre par les enseignants. Lorsque ces deux facteurs étaient élevés, des résultats positifs significatifs ont été notés chez les étudiants; par contre, lorsque le soutien de la direction était faible, des changements négatifs ont été observés chez les élèves.

I. Principaux facteurs liés au contexte social

Les facteurs liés au contexte social mettent l'accent sur les liens communautaires, les ressources, le leadership, la participation, le sens de la communauté, et la volonté d'intervenir directement dans les problèmes communautaires. Différents concepts ont été développés par les chercheurs afin de faire référence à ces facteurs Note7 : capacité communautaire; niveau de préparation de la communauté pour la prévention; compétences communautaires; autonomisation des communautés. Quoi qu'il en soit, d'un point de vue pratique, l'important est de se rappeler que différents facteurs liés au contexte dans lequel sera implanté le programme auront une influence sur le processus de mise en œuvre des programmes (par ex. facteurs sociaux, culturels, politiques et économiques).

II. Principaux facteurs liés aux organisations

Capacités organisationnelles

Il existe plusieurs façons de présenter les facteurs liés aux organisations mais, de façon générale, on fait référence aux capacités organisationnelles. La capacité peut se définir comme étant les habilités, motivations, connaissances et attitudes nécessaires requises au niveau individuel, organisationnel et de la communauté afin de mettre en œuvre un programme (Wandersman et al., 2006 in Flaspohler et al., 2008). Développer l'ensemble des capacités initiales nécessaires à supporter une mise en œuvre de bonne qualité peut prendre de 6 à 9 mois (Elliott & Mihalic, 2003). L'annexe 1 présente quelques-uns des principaux attributs associés à cette notion de capacité.

Aussi, lorsqu'il est question des capacités organisationnelles, il est important de distinguer entre le fonctionnement général de l'organisation et la capacité nécessaire pour mettre en œuvre un programme spécifique. De fait, les facteurs associés aux capacités des organisations peuvent être classifiés dans ces trois sous-catégories : (Durlak & DuPre 2008; Gray et al. 2012)

Évaluation du niveau de préparation

L'évaluation du niveau de préparation (readiness) est une notion utilisée afin de faire référence au niveau de préparation des praticiens, des organisations et des communautés à mettre en œuvre efficacement un programme (Edwards et al., 2000 in Flaspohler et al., 2008). Lors des phases d'exploration et de préparation, une stratégie efficace de mise en œuvre exige des collectivités et des organisations qu'elles évaluent leurs besoins, les ressources/programmes en place et le niveau d'engagement pour la prévention (Mihalic et al. 2001, 2004). L'évaluation du niveau de préparation augmente la probabilité de sélectionner le bon programme à mettre en œuvre et permet de mieux connaitre le contexte dans lequel ce programme sera développé.

Importance de la capacité et du niveau de préparation des organisations

Il ressort de l'évaluation de l'initiative du Blueprints Note8 que la plupart des organisations n'étaient pas prêtes pour mettre en œuvre et soutenir, avec fidélité, la mise en œuvre de leur programme. Plusieurs réplications de programmes ont échoué à cause de capacités organisationnelles limitées ou un niveau de préparation inadéquat.

(Elliott & Mihalic, 2003)

L'étude de faisabilité et du niveau de préparation est une étape importante trop souvent négligée. Par exemple, des visites de faisabilité effectuées par le personnel du Blueprints ont permis de développer une meilleure compréhension des éléments du programme, de diminuer les sentiments de peur et de résistance face au nouveau programme, et d'augmenter la motivation et le sentiment de confiance des praticiens (Mihalic et al., 2004).

Stabilité de l'organisation, prise de décision partagée et vision commune

Le manque de stabilité de l'organisation (p. ex. un taux élevé de roulement du personnel) s'est avéré être un facteur important dans la qualité de la mise en œuvre : le manque de stabilité retarde souvent la mise en œuvre et augmente la charge de travail pour les employés restants (Mihalic et al., 2004).

Les situations dans lesquelles la prise de décision est partagée entre les praticiens, les chercheurs, les administrateurs et les membres de la communauté conduisent généralement à une meilleure mise en œuvre ainsi qu'à un accroissement des chances de pérennisation. À cet effet, la recherche a démontré un effet positif significatif entre la participation de la communauté dans les prises de décisions et la pérennisation (Durlak & duPre, 2008). 

Présence de champion

Le champion du programme est la personne derrière les opérations quotidiennes qui motive et favorise la communication avec l'ensemble des personnes impliquées dans la mise en œuvre. De plus en plus, les recherches actuelles tendent à dire que la présence d'un champion au sein des organisations est une composante clé de la mise en œuvre (Fixsen et al., 2006).

Généralement, le directeur ou le coordonnateur du programme sont considérés comme le champion du programme. La personne identifiée pour jouer ce rôle doit avoir assez d'autorité dans l'organisation pour permettre d'influencer les décisions et apporter des changements dans les structures et politiques organisationnelles mais doit aussi avoir des rapports avec le personnel sur le terrain chargé de livrer et d'appliquer le programme (Mihalic et al. 2004). Les résultats ont aussi démontré que cette personne doit être présente de façon régulière et constante; les problèmes surviennent lorsque cette personne n'a pas assez de temps pour assumer ces tâches (Mihalic et al., 2004).

Importance des champions

Dans les sites de réplication des programmes du Blueprints, il ressort que les sites ayant bénéficié de la présence de fort champion ont connu moins de problèmes.

(Mihalic et al., 2004)

Les sites ayant des « doubles champions » c'est-à-dire une personne en provenance de la direction et une personne en provenance des cadres intermédiaires (c'est-à-dire la coordination) ont particulièrement réussi à motiver le personnel et à initier les changements organisationnels pour accommoder le nouveau programme. De plus, ces deux champions réussissent souvent à élargir le programme aussi bien à l'intérieur qu'à l'extérieur de leur organisation (Mihalic et al., 2004).

Le fait d'avoir plusieurs champions, voire une équipe de champions, est une bonne stratégie à adopter comparativement au fait de n'avoir qu'une seule personne. Une approche d'équipe améliore la communication entre tous les paliers et développe une base de soutien plus solide au sein de l'organisation. De plus, si des personnes clés quittent l'organisation, d'autres peuvent mener le programme à terme. Par exemple, dans les sites du Blueprints, un programme a échoué lorsque le champion a quitté l'organisation et, en l'absence d'un champion et d'un soutien administratif actif, le programme a échoué. (Mihalic et al., 2004)

Qualité du support de la direction

Chaque programme couronné de succès dépend fortement de la qualité du support de la direction. Les administrateurs ont le pouvoir de changer les pratiques organisationnelles de manière à mieux faire correspondre les nouvelles exigences du programme (accorder du temps, éviter le sentiment de surcharge, etc.) et ils doivent également être en mesure de motiver et d'encourager le personnel. Lorsque les praticiens se sentent supportés, ils sont plus motivés et enclins à mettre le programme en œuvre et à le suivre avec fidélité.

Importance du support de la direction

Le manque de support de la part de la direction fut la principale raison pour laquelle des programmes ont échoués : la passivité, le manque réel de soutien et de proactivité pour trouver des solutions ont été identifié comme des causes fréquentes d'échec.

(Mihalic et al., 2004)

Dans les programmes du Blueprints mis en œuvre dans les écoles, il ressort que les administrateurs de l'école ayant joué un rôle efficace et actif dans la mise en œuvre ont :

La présence des administrateurs dans certains volet de la formation ou à l'entièreté de la formation a amélioré la qualité de la mise en œuvre par l'envoi d'un message fort indiquant que le programme est une priorité. En assistant aux séances de formation, les administrateurs ont une meilleure compréhension du programme, soutiennent mieux le programme et apportent les changements nécessaires. (Mihalic et al., 2004)

Poste de coordination

Dans les sites de réplication des programmes du Blueprints il a été démontré que le poste de coordonnateur du projet est une position centrale qui doit être assumée par une personne rémunérée à temps plein (au moins 20 heures par semaine). Lorsque ce poste est comblé par une personne bénévole, même si les expériences et les qualifications sont adéquates, le manque de disponibilité pour le projet est la variable la plus souvent citée qui affecte la qualité de la mise en œuvre. (Mihalic et al. 2004)

Ressources dédiées aux programmes qui s'appuient sur les connaissances

Trois limites ont été associées aux difficultés de concrétiser les programmes qui s'appuient sur les connaissances (Gray et al., 2012) :

III. Principaux facteurs liés aux praticiens

Les caractéristiques des praticiens les plus systématiquement liées à la mise en œuvre impliquent :

Les praticiens qui reconnaissent le besoin spécifique du programme se sentent souvent plus confiants dans leur capacité (auto-efficacité), et ceux qui ont les compétences requises sont plus susceptibles de mettre en œuvre un programme avec un niveau de fidélité plus élevé (Durlak & DuPre, 2008). Comme le soulignent Greenwood & Welsh (2012), la résistance du personnel à adopter un nouveau programme n'est pas à négliger : c'est une chose de promouvoir les bienfaits d'un programme auprès d'un directeur mais c'est autre chose que de convaincre ensuite le personnel à utiliser ce programme.

Cependant, d'autres recherches soulignent que les caractéristiques des praticiens et leurs influences sur l'adoption et la livraison du programme ont produit des résultats difficiles à généraliser (voir Wandersman et al., 2008). Ce constat démontre donc l'importance de tenir compte des facteurs contextuels et organisationnels et de mieux comprendre leurs interrelations avec les caractéristiques du programme.

IV. Principaux facteurs liés au programme

Les résultats démontrent que les praticiens et les organisations mettent en œuvre un programme plus efficacement lorsque : 1) les objectifs du programme correspondent à la mission et aux valeurs de l'organisation et 2) le programme s'intègre aux priorités et aux pratiques existantes (Small et al., 2007). Dans plusieurs sites de mise en œuvre des programmes du Blueprints, avoir des philosophies divergentes entre le programme et la mission a été identifiée comme une énorme difficulté. Dans certains sites, des thérapeutes familiaux ont échoué à respecter la fidélité du programme parce que les orientations du programme semblaient diverger de celles de l'agence. (Mihalic et al., 2009).

Section « Études de cas »

4. Les composantes clés du processus de mise en œuvre

Assurer une mise en œuvre réussie des programmes efficaces est un défi qui suscite de l'intérêt depuis plusieurs années. Déjà en 2001, les principaux investigateurs de l'initiative du Blueprints for Violence Prevention publiaient un article « Ensuring Program Success  » dans lequel était mentionné que le succès de la mise en œuvre reposait sur les éléments suivants : support administratif adéquat, champion/leaders, formation et assistance technique et personnel adéquat (Elliott et al., 2001a,b). Depuis, le recours aux composantes clés de la mise en œuvres est devenu monnaie courante et les recherches actuelles utilisent maintenant l'expression des « implementation drivers  » pour y faire référence. Note9

Les composantes clés de la mise en œuvre

Se définissent comme les éléments qui influencent positivement la réussite d'un programme. Leur présence permet d'augmenter les probabilités de succès dans la réplication des programmes. Les composantes clés font référence aux capacités, à l'infrastructure et au fonctionnement des organisations et se retrouvent dans trois catégories:

  1. les composantes clés liées aux compétences;
  2. les composantes clés liées aux organisations; et,
  3. les composantes clés liées au leadership.

(Fixsen et al., 2013)

  1. Composantes clés liées aux compétences : il s'agit des mécanismes pour mettre en œuvre, maintenir et livrer une intervention telle que prévue afin d'en faire bénéficier la clientèle visée et la communauté. Les composantes clés en lien avec cette catégorie sont :
    • Sélection du personnel
    • Formation
    • Coaching

  2. Composantes clés liées aux organisations : il s'agit des mécanismes pour créer et maintenir des conditions propices dans lesquelles le programme sera développé et ainsi favoriser l'obtention de services efficaces. Les composantes clés en lien avec cette catégorie sont :
    • Arrimage avec d'autres réseaux externes et partenariats
    • Engagement de la gestion
    • Système de gestion de l'information en support aux prises de décisions

  3. Composantes clés dans la catégorie du leadership : il s'agit des stratégies de leadership à mettre en place pour résoudre les différents types de défis. Plusieurs défis sont liés à l'intégration du nouveau programme et les leaders doivent être capables d'adapter leur style de leadership (leadership adapté), prendre des décisions, fournir des conseils et soutenir le fonctionnement de l'organisation (leadership technique). Les éléments clés en lien avec cette catégorie sont :
    • Leadership (adapté et technique)

Tel qu'illustré à la figure 2, ces composantes clés forment un modèle intégré et ajustable c'est-à-dire qu'un programme, selon les conditions, peut nécessiter que l'on porte plus ou moins d'attention à une composante clé de mise en œuvre tandis qu'un autre programme, dans d'autres conditions, peut être conçu de façon à éliminer une ou plusieurs composantes clés (Baker et al., 2000; Fixsen et al., 2009, 2013; Van Dyke et al., 2013). Les organisations sont dynamiques et changeantes et, de fait, l'application concrète de ce modèle représente un réel défi. À chacune des étapes du processus de mise en œuvre, il y a des mouvements de va-et-vient dans la contribution relative de chacune de ces composantes clés dans l'atteinte des résultats (voir Fixsen et al., 2009). Par exemple, dans un programme où seule une formation minimale de base est offerte, ceci peut être compensé par un coaching plus intense accompagné de rétroaction plus fréquente. À l'inverse, des programmes où le recrutement du personnel se fait à travers des mécanismes rigoureux de sélection peuvent avoir un coaching moins soutenu. Il faut aussi reconnaître que les praticiens acquièrent des compétences et des aptitudes à une vitesse et des niveaux différents. Un praticien peut grandement bénéficier d'une formation axée sur les compétences et exiger un coaching moins fréquent, tandis qu'un autre praticien peut se sentir dépassé par la formation initiale et nécessitera un coaching et un encadrement sur ​​le lieu de travail davantage soutenus.

Au fur et à mesure qu'un programme sera mis en œuvre, des rétroactions et des ajustements seront nécessaires au maintien du programme. Selon les forces et les faiblesses en jeu, l'ensemble des composantes clés devront être amenées à s'équilibrer et à s'intégrer.

Figure 2 : Composantes clés de mise en œuvre des programmes (adaptation de Fixsen et al., 2009)

Composantes clés de mise en œuvre des programmes (adaptation de Fixsen et al., 2009)
Description longue

Cette figure démontre le modèle intégré et ajustables

  • Sélection du personel
  • Formation
  • Coaching
  • Évaluation de la performance – fidélité
  • Arrimage avec d'autres réseaux et partenariats
  • Engagement de la gestion
  • Système de gestion de l'information en support aux décisions
  • Leadership

Sélection du personnel

La sélection du personnel est le point de départ dans la constitution d'une main-d'œuvre qualifiée et expérimentée afin de livrer un programme qui s'appuie sur les connaissances. Dans les sites de réplication des programmes du Blueprints, ceux ayant engagé des praticiens moins qualifiés et expérimentés ont montré une progression moins rapide dans leur formation et leur niveau d'appropriation du programme. Dans ces sites, le roulement de personnel était aussi généralement plus élevé (taux de satisfaction des employés plus bas) ce qui représente un défi important et fréquent dans le processus de mise en œuvre. Au-delà des diplômes ou des expériences antérieures, il faut aussi se questionner sur les traits de personnalité et les caractéristiques individuelles qui doivent être incluses dans les critères de sélection (p. ex., la connaissance du terrain, le sens de la justice sociale, l'éthique, la volonté d'apprendre, le jugement, l'empathie). Certains programmes ont été développés pour être simples à livrer afin de réduire au minimum les besoins d'une sélection rigoureuse du personnel (p. ex., un programme de tutorat comblé par des bénévoles). Par contre, d'autres programmes exigent d'avoir du personnel avec des qualifications plus complexes et des compétences précises en matière d'intervention et il est important de respecter ces critères (Fixsen et al., 2009).

Formation

Recevoir une formation adéquate est central et toutes les personnes impliquées dans la réplication du nouveau programme devraient y participer (praticiens, gestionnaire, administrateurs et autres) et savoir comment, avec qui, et où est utilisé le nouveau programme (Fixsen et al., 2009; 2013). Une formation efficace : 

Les évaluations des programmes en milieu scolaire ont montré que, comparativement aux professeurs non formés, les professeurs pleinement formés (Mihalic et al., 2004) :

De plus, l'évaluation de l'initiative du Blueprints for Violence Prevention a montré que les sites de réplication où la formation et l'assistance technique n'étaient pas adéquates ont eu de la difficulté à surmonter les obstacles et la mise en œuvre a souvent été retardée (Mihalic et al., 2004).

Coaching

Avoir recours à des activités de coaching permet de solidifier l'appropriation du programme, d'autant plus que la vraie expérimentation se produit « sur le terrain ». De façon spécifique, le rôle du coach sera de recommander des nouvelles façons d'intervenir plus appropriées, de miser sur le renforcement des acquis, d'encourager, et de fournir des rétroactions sur les compétences précises du programme (p. ex., l'engagement, le jugement clinique).

Une étude réalisée par Joyce et Showers (Przybylski, 2013) montre l'importance du coaching dans le transfert pratique des connaissances : 

Évaluation de la performance - fidélité

L'évaluation de la performance comprend autant l'évaluation du rendement des praticiens dans la livraison du programme, l'adhésion au programme (fidélité) que la réalisation des résultats escomptés (Metz et al., 2007). Les responsables utiliseront des mesures de la performance des praticiens et des mesures de la conformité au programme pour déterminer les besoins de formation, pour rediriger, le cas échéant, les actions du programme et renseigner sur la performance globale.

Arrimages avec d'autres réseaux externes et partenariats

Le partenariat et la coordination avec d'autres réseaux externes est central et ce, à toutes les phases du processus de mise en œuvre. L'arrimage avec différents systèmes est non seulement utile pour assurer une mise en commun et la disponibilité des ressources mais également pour faciliter le recrutement des participants au programme via les mécanismes de référence et d'aiguillage et pour le développement de plan de traitements complets. (Mihalic et al., 2004)

Engagement de la gestion

L'engagement de la gestion fait référence à son leadership, aux capacités de prendre des décisions fondées sur les données collectées et de faciliter les processus par lesquels le programme sera implanté. Une gestion engagée dans le programme agira afin de ramener les orientations et la pratique vers les résultats escomptés du programme (Fixsen et al., 2005 ; 2013). Lorsque la gestion est pleinement engagée dans la mise en œuvre du programme, les politiques, les procédures, les structures, la culture et le climat seront harmonisés avec les besoins des praticiens et ceci dans l'objectif de mettre en place des conditions organisationnelles favorables à la livraison du programme (Fixsen et al., 2009). Travailler dans un climat positif où le programme est compris et où la gestion offre la flexibilité de changer les routines de travail représente des éléments clés d'une grande importance.

Système de gestion de l'information en support aux prises de décisions

La cueillette des informations (p. ex. les interventions, la fidélité, la satisfaction de la clientèle, l'évaluation du personnel, le groupe cible rejoint) sont autant d'éléments clés qui permettent de dresser un aperçu global de la performance et de supporter une prise de décisions. Les rapports d'activités progressifs et sommaires fournissent des orientations pour la prise de décision, aident les organisations dans la réalisation du programme, indiquent si des correctifs doivent être apportés, et informent sur la qualité des interventions.

Leadership

Le rôle essentiel du leader dans l'organisation et avec les réseaux externes est largement reconnu (Fixsen et al., 2013). Le leadership n'est pas assumé par une seule personne mais par des gens qui s'engagent dans différentes activités et adoptent des comportements associés au leadership pour établir des programmes efficaces et les soutenir au fil du temps. Par exemple, dans les premières étapes de la mise en œuvre, un style de leadership « adapté » sera nécessaire pour faire face à l'ensemble des changements engendrés par le nouveau programme; ce style de leadership demeurera important durant l'ensemble du processus de mise en œuvre. Par la suite, le leadership de type « technique » deviendra plus prédominant afin de gérer et soutenir la mise en œuvre (p. ex., les entretiens de sélection, les évaluations de rendement, les ententes de collaboration avec les réseaux externes). Parfois, les mêmes personnes assurent ces deux types de leadership, parfois le leadership est plus largement distribué au sein des organisations. (Fixsen et al., 2013)

Section « Études de cas »

Les évaluations des processus des programmes soutenus dans le cadre de l'initiative du Blueprints for Violence Prevention ont également permis d'identifier les principaux éléments clés d'une mise en œuvre réussie des programmes en prévention de la violence, de la délinquance et de la consommation de drogues :

  1. L'initiative du Blueprints for Violence Prevention : principaux éléments clés d'une mise en œuvre de qualité

5. Les équipes de mise en œuvre

La mise en œuvre est un processus actif et il est important que des personnes soient entièrement dédiées à cette fin. Au fil des années, différentes expressions ont été utilisées afin d'identifier ces personnes : par exemple, agent de liaison, consultant du programme, coordonnateur de site. Les réseaux du NIRN et du SISEP Note10 utilisent l'expression « des équipes de mise en œuvre » et les recherches récentes démontrent l'importance d'avoir dans l'organisation (ou à l'extérieur de l'organisation) des personnes attitrées à la réalisation des activités centrales liées à la mise en œuvre des programmes.

Les équipes de mise en œuvre

Se composent généralement de trois à cinq personnes ayant une expertise en matière de programmes, connaissent les principes de la mise en œuvre, les cycles d'amélioration, et les méthodes de changements organisationnels. Les équipes de mise en œuvre ont du temps alloué pour s'engager pleinement dans le développement de l'infrastructure nécessaire à la mise en œuvre.

(NIRN, SISEP)

Certaines équipes de mise en œuvre sont constituées des développeurs et des fournisseurs de programmes; d'autres sont des organisations intermédiaires qui aident les organisations à mettre en œuvre une variété de programmes et, enfin, d'autres sont formées sur place avec le soutien de groupes extérieurs à l'organisation. Peu importe leur constitution ou leur appellation, l'important est de disposer de l'expertise et des ressources nécessaires afin :

6. La fidélité dans la mise en œuvre des programmes

L'une des forces des programmes qui s'appuient sur l'approche scientifique est de pouvoir démontrer, via des études d'évaluation rigoureuses, leur capacité à produire et à reproduire des changements positifs chez les participants. Pour les décideurs politiques, les bailleurs de fonds et les praticiens, ces programmes deviennent la nouvelle façon d'offrir des services comparativement à certains programmes traditionnels dont les résultats sont parfois mitigés. Cependant, un programme continuera de produire les mêmes résultats que s'il est mis en œuvre en concordance avec le programme initial (O'Connor et al., 2007).

Qu'est-ce que la fidélité de mise en œuvre des programmes?

À sa plus simple expression, la fidélité de mise en œuvre, parfois appelé l'adhésion ou l'intégrité, fait référence à la façon dont le programme est mis en œuvre par rapport à sa conception initiale, à la livraison de l'ensemble des composantes clés du programme et à l'utilisation des protocoles et des outils spécifiques au programme.

(Mihalic, 2004b)

Même si certains auteurs proposent depuis déjà quelques temps d'adapter les programmes (Rogers, 1995), la majorité des données en provenance de méta-analyses et d'évaluations montrent que les programmes mis en œuvre avec une plus grande fidélité obtiennent une meilleure probabilité de produire les changements désirés (Fixsen et al., 2009; Mihalic et al., 2004b). Selon Perepletchikova et Kazdin (2005), un taux de fidélité de mise en œuvre au-dessus de 80 % représente une mise en œuvre de haute fidélité (in Stern et al., 2008). Différents facteurs affectent le niveau de fidélité dans la réplication des programmes et les éléments suivants aident à maintenir un niveau élevé de fidélité dans la mise en œuvre des programmes : formation adéquate du personnel, manuels de programme bien développés, soutien organisationnel, supervision, et suivi du programme (Stern et al., 2008).

Le Washington State Institute for Public Policy Evaluation (Washington, États-Unis) a réalisé une étude sur le programme Functional Family Therapy (FFT) et a comparé le taux de récidive des participants (suivi de 18 mois) en relation avec l'adhésion des praticiens au programme. Les résultats sont évidents : plus les praticiens ont adhéré au programme, plus le taux de récidive a diminué :

Les cinq dimensions de la fidélité

La définition de la fidélité mise de l'avant par le Center for Substance Abuse Prevention (CSAP, 2001) est le degré de correspondance entre les éléments d'un programme conçus par son développeur et sa mise en œuvre actuelle dans une organisation (traduction libre). À partir de cette définition, la fidélité au programme se mesure à partir de cinq variables (Dane & Schneider, 1998 dans Mihalic, 2004b) :

Adaptations des programmes

Même s'il demeure indéniable qu'il est préférable de répliquer le programme avec fidélité, il est possible d'adapter un programme sans en affecter les composantes clés et compromettre les résultats attendus. Le tableau suivant présente des exemples d'adaptations acceptables versus celles qui sont inacceptables (risquées). Les adaptations qui affectent les composantes clés du programme (tels que modifier le dosage, l'approche théorique et le personnel) sont considérées comme des adaptations risquées parce qu'elles viennent compromettre l'atteinte des résultats escomptés du programme. Comprendre les composantes clés du programme est une pièce centrale dans l'adaptation des programmes : le non-respect de celles-ci peut conduire à ce qu'on appelle la dérive du programme (programme drift). Aussi, il est préférable que les adaptations soient faites après une première vague de tests pilotes afin de démontrer que le programme a la capacité d'atteindre les résultats escomptés (Przybylski, 2013) et les adaptations devraient toujours être indiquées et surveillées par des données sur la performance et les évaluations.

Tableau 2 : Exemples de types d'adaptations des programmes
Adaptations acceptables Adaptations inacceptables (risquées)
  • Changer certaines expressions langagières (utiliser une terminologie davantage en lien avec celle du groupe cible)
  • Remplacer certaines images originales (utiliser des images reflétant des activités/routines du groupe cible)
  • Remplacer les références culturelles
  • Ajouter des éléments de contenu, appuyés sur la recherche, afin de rendre le programme plus attrayant pour les participants
  • Réduire le nombre/la durée des sessions et la durée du programme
  • Éliminer des messages clés/ compétences et habiletés que les participants doivent acquérir
  • Modifier l'approche théorique
  • Avoir recours à du personnel et des bénévoles qui ne sont pas suffisamment formés ou qualifiés
  • Avoir recours à moins de personnel que ce qui est recommandé
(Adaptation de O'Connor et al., 2007)

Afin de mieux déterminer les conséquences d'adapter un programme, de nouvelles recherches devraient être menées afin de déterminer les éléments impératifs du programme qui doivent être exécutés avec fidélité et ceux qui peuvent être modifiés. Les études de mise en œuvre devraient aussi détailler les composantes qui ont été reproduites avec fidélité et celles qui ont été modifiées; sans ces détails et ces résultats, il demeurera constamment difficile de mesurer les effets des adaptations sur les résultats d'un programme.

Section « Études de cas »

Pour obtenir d'autres exemples concrets des différents types d'adaptations et des exemples d'obstacles et de stratégies facilitatrices à l'adhésion au programme, consulter ces études de cas :

  1. Adaptations des programmes selon les contextes de mise en œuvre : quelques conclusions
  2. Adhérence de la mise en œuvre d'un programme parental appuyé sur les connaissances
  3. Mise en œuvre des programmes dans les milieux autochtones

7. Constats sur la mise en œuvre des programmes en prévention du crime

Les principaux concepts de mise en œuvre présentés jusqu'à maintenant sont des notions généralisables c'est-à-dire qu'elles sont au cœur de la mise en œuvre des programmes peu importe leur nature. Néanmoins, se pose la question de savoir si la mise en œuvre de programmes en prévention du crime soulève des particularités et des composantes clés particulières. De fait, certains obstacles en lien avec le groupe cible (identification, recrutement et rétention des participants) illustrent comment et pourquoi la mise en œuvre des programmes de prévention est différente. Il faut aussi souligner le fait que les programmes en prévention du crime interviennent auprès d'une clientèle présentant des facteurs de risque multiples, parfois même judiciarisée, ce qui soulève une série de difficultés de mise en œuvre qui apparaissent spécifiques aux programmes en prévention du crime.

Identification des participants

L'identification des personnes ayant le profil adéquat pour participer à un programme représente, selon les contextes et la nature du programme, une difficulté réelle. Avant d'accepter une personne à un programme, les niveaux de risque et les problématiques doivent être analysés. L'éligibilité de participer à un programme, surtout lorsqu'il s'agit de programme de prévention s'adressant à une clientèle vulnérabilisée, devrait s'appuyer sur des données tangibles. À cet effet, des outils validés d'identification et d'évaluation du risque existent et leur utilisation est fortement encouragée Note12. Par l'entremise des résultats obtenus via le recours aux outils, il est possible de développer des plans individualisés d'intervention et d'obtenir des mesures de progression/changements chez les participants (via des mesures pré-post test). Identifier les niveaux et les principaux facteurs de risque est ce qui permet aux programmes en prévention du crime non seulement de standardiser certaines pratiques mais aussi d'assurer que les interventions soient ciblées. Tout en sachant que le recours aux outils présente en soi des difficultés, leur utilisation demeure avantageuse pour les programmes en prévention du crime. En ce sens, le recours à des outils validés d'identification et d'évaluation des risques représenterait une composante clé spécifique à la mise en œuvre des programmes en prévention du crime.

Recrutement des participants

Le recrutement des participants au programme représente un autre défi. En plus des personnes qui s'inscrivent d'elles-mêmes au programme, le recrutement se fait aussi en fonction des références obtenues via un système d'aiguillage établi entre les partenaires de différents systèmes (p. ex. police, réseau de la santé et des services sociaux, centres de traitement des dépendances, écoles, organismes en santé mentale, etc.). L'établissement de ce système d'aiguillage exige du temps et nécessite l'engagement des administrations afin de faciliter et d'encourager les processus de référence. D'autres difficultés surviennent également lorsqu'il est question d'échanger des informations confidentielles (p. ex. un dossier en protection de la jeunesse, un dossier incluant des charges criminelles, un dossier en santé et services sociaux). Pour régulariser et sécuriser ces références, des protocoles d'entente d'échanges d'informations et de respect de la confidentialité doivent être mis en place et les administrations doivent les supporter. Les difficultés associées à la mise en place de ces systèmes d'aiguillage et d'échanges d'informations ont des répercussions sur l'ensemble du processus de mise en œuvre en retardant l'étape initiale de la mise en œuvre et, dans certains cas, des partenaires peuvent également décider de se retirer du projet. Établir des règles de collaboration avec les bons partenaires clés et être supporté par une administration engagée et capable de flexibilité représentent deux autres composantes clés spécifiques aux programmes en prévention du crime.

Rétention des participants

Généralement, la participation au programme est volontaire et la durée de participation varie selon les programmes. Dans les programmes orientés vers une approche familiale, la participation des parents est centrale et ceci soulève les mêmes difficultés de recrutement, d'engagement et de rétention. Afin d'encourager la participation et favoriser la complétion du programme, des stratégies de rétention doivent être mises de l'avant (p. ex. offrir des certificats cadeaux, fournir des collations, offrir le transport) et ceci représenterait une autre composante clé spécifique aux programmes en prévention du crime.

Ces exemples d'obstacles en lien avec le groupe cible représentent un point central pour les programmes en prévention du crime et une attention particulière doit y être accordée. D'autres exemples de difficultés en lien avec la mise en œuvre des programmes en prévention du crime peuvent également être cités, notamment : fidélité dans la mise en œuvre, adaptations des programmes (et adaptation culturelle), sélection et rétention du personnel, formation et support technique (spécialement lorsque les programmes proviennent de pays extérieurs).

L'ensemble de ces défis, en plus de ralentir le processus de mise en œuvre, affecte également l'atteinte des résultats escomptés du programme. Le désistement et la non-complétion du programme, un faible taux de participation et un haut taux d'attrition, ou un mauvais amalgame de jeunes dans une cohorte, entraineront des répercussions sur les résultats d'impact d'un programme. Même si le programme est classifié comme modèle, l'ensemble de ces difficultés influenceront négativement les mesures d'efficacité. Des faibles résultats au niveau de l'évaluation d'impact laisseront sous-entendre que ce programme n'est pas efficace quand, dans les faits, il pourrait plutôt s'agir de défis reliés à la mise en œuvre. Du point de vue des investissements publics en prévention, les répercussions sont majeures incluant : les difficultés à promouvoir de nouveau ce programme et à le mettre en œuvre dans d'autres sites pilotes (afin de confirmer que ce programme ne fonctionne vraiment pas en contexte canadien) et difficultés de pérennisation.

Le processus de mise en œuvre doit devenir une pièce maitresse dans les programmes de prévention. Sans distinguer les problèmes de mise en œuvre de ceux provenant du programme lui-même (information limitée sur les composantes clés), il demeura difficile de poser des jugements fiables et valides sur les raisons expliquant pourquoi un programme n'a pas atteint les résultats escomptés. La mise en œuvre est un processus complexe et des défis seront toujours à prévoir. Par contre, certains défis peuvent être envisagés à l'avance et des stratégies facilitatrices peuvent être mises de l'avant afin de les atténuer.

L'importance de la qualité de la mise en œuvre est une dimension centrale autant pour le praticien, le chercheur, le décideur, les bailleurs de fonds que pour les personnes qui participent au programme. À moins d'accorder une attention particulière à la qualité de la mise en œuvre du programme, les programmes à grande échelle seront peu susceptibles d'être efficaces. Des analyses détaillées sur la mise en œuvre des programmes en prévention du crime doivent être maintenues et poursuivies afin de mieux comprendre leurs spécificités, leurs difficultés et établir des stratégies facilitatrices adéquates.

Outils de planification

Listes de vérification des activités liées aux étapes de mise en œuvre

Cet outil de planification, sous forme de listes de vérification des activités liées aux étapes de la mise en œuvre, s'utilise pour évaluer, planifier et surveiller les activités de mise en œuvre à travers chacune des étapes du processus. Même si ces étapes semblent linéaires, elles ne le sont pas : une étape ne s'arrête pas brusquement lorsqu'une autre débute. Des mouvements de « va-et-vient » entre les étapes existent et sont encouragés lorsque des activités de base ne sont pas complétées. Le tableau 3 présente l'ensemble des activités en fonction des quatre étapes de mise en œuvre et leur moment de réalisation. Ce tableau illustre bien que plusieurs activités se maintiennent dans le temps. Des définitions sur les catégories d'activités utilisées sont présentées après ce tableau.

L'objectif de cette section est de fournir aux organisations un outil afin d'être en mesure de planifier et de développer des plans de mise en œuvre adaptés au programme, aux conditions locales et aux capacités organisationnelles. Aussi, le fait de prendre connaissance de l'ensemble des activités liées aux étapes de mise en œuvre permet d'identifier les forces et les faiblesses afin de mieux cerner où des obstacles pourraient survenir et où des efforts supplémentaires pourraient être exigés.

Tableau 3 : Aperçu des activités de mise en œuvre et leurs étapes de réalisation
Étape 1
Exploration et adoption
Étape 2
Préparation et installation
Étape 3
Mise en œuvre initiale
Étape 4
Mise en œuvre complète
Organisation X X X X
Évaluation (besoins/capacités) X      
Sélection du programme X      
Équipe de mise en œuvre X X X X
Stratégie de communication X X X X
Ressources   X   X
Partenariats et collaborations   X   X
Détails opérationnels du programme   X X X
Culture et climat organisationnel   X X X
Ressources humaines - personnel   X X X
Système de gestion de l'information   X X X
  Pérennisation

Définition des catégories d'activités :

Organisation : comprend les activités liées à la création de l'équipe de mise en œuvre, la sélection finale des programmes, les modifications structurales et fonctionnelles à apporter à l'organisation, le recours à des processus d'amélioration, l'élaboration des réponses à la dérive du programme et les réponses aux questions de modifications/adaptations du programme.  

Évaluation des besoins/capacités : inclut la réalisation d'une évaluation pour déterminer les besoins/ressources de la communauté et une évaluation des capacités de l'organisation.

Sélection du programme : comprend les activités d'identification et de révision des programmes admissibles, l'analyse des résultats et la sélection finale du programme.

Équipe de mise en œuvre : groupe de personnes chargé de fournir des orientations à travers le processus complet de la mise en œuvre du programme en assurant l'engagement, préparer le terrain, assurer la fidélité au programme et le suivi des résultats, les obstacles et stratégies facilitatrices.

Stratégie de communication : développement et maintien d'une stratégie de communication claire, cohérente et fréquente.

Ressources: il s'agit de toutes les activités liées à la sécurisation des ressources (financières, matérielles, humaines, et autres) pour la mise en œuvre du programme.

Partenariats et collaborations : il s'agit de toutes les activités liées à la participation des parties prenantes dans le processus de mise en œuvre, y compris l'identification et l'engagement des «champions», et l'identification de partenaires et des opportunités de collaboration.

Détails opérationnels du programme : comprend les activités de liaison avec les concepteurs du programmes, l'identification et la préparation des sites de mise en œuvre, établissement des références et les processus de recrutement, identifier des éléments facilitateurs, et relever les défis de mise en œuvre.

Climat et culture organisationnels : inclut des activités pour évaluer et gérer l'état de préparation de l'organisation à changer afin de mettre en œuvre le nouveau programme.

Ressources humaines - personnel : il s'agit des activités qui impliquent le personnel d'exécution du programme, y compris la sélection, la formation, l'élaboration des plans de formation, les processus de surveillance et de coaching, et l'assistance/support technique.

Système de gestion de l'information : comprend l'établissement et le maintien d'un système de gestion de l'information pour collecter des données et mesurer la fidélité, la performance et veiller au maintien de la qualité.

Pérennisation : la pérennisation n'est pas une étape isolée. Au contraire, elle doit être prévue dès le début et être examinée à chaque des étapes. Les activités comprennent la sécurisation d'un financement permanent, le développement de nouveaux partenariats et le partage des réussites, le maintien de la mise en œuvre avec fidélité et le soutien à l'amélioration continue du programme.

Étape 1 : Liste de vérification des activités liées à l'étape de l'exploration et de l'adoption
Étape 1 : Exploration et adoption Complété/
Mis en place
En cours/
Partiellement en place
Non réalisé /
Non mis en place
Commentaires / détails
Réaliser des évaluations (besoins/capacités) :
  • Effectuer une évaluation des besoins Note13 : déterminer les besoins/leur prédominance dans la collectivité, cerner les facteurs de risque et de protection, cerner les secteurs et les groupes où les besoins sont les plus majeurs, déterminer les initiatives, ressources et services qui répondent à ces besoins et chercher à savoir s'ils sont efficaces.
  • Mener une évaluation de la capacité de l'organisation Note14 de mettre en œuvre le programme avec fidélité : évaluer les ressources financières, l'engagement organisationnel, la dotation, les systèmes administratifs, et l'appui de la collectivité.
       
Choisir un programme Note15 et prendre une décision finale :
  • Chercher, dans les répertoires Note16 , les programmes dont les composantes-clés correspondent aux besoins de la collectivité, aux groupes et secteurs cibles et aux capacités/ ressources de l'organisation.
  • Utiliser l'outil Pentagone (voir la figure 3) pour examiner et évaluer les programmes.
  • Cerner les facteurs/ enjeux qui favorisent ou empêchent la mise en œuvre efficace d'un programme.
  • Choisir un programme à mettre en œuvre ou formuler une recommandation au niveau organisationnel approprié pour la sélection finale.
       
Établir une équipe de mise en œuvre Note17 :
  • Former un nouveau groupe ou redéfinir/élargir un groupe actuel au sein de l'organisation.
  • Désigner un chef d'équipe ayant un rôle et des responsabilités clairs (s'assurer que cette personne dispose de suffisamment de temps et de ressources pour superviser efficacement le processus).
  • Inclure des personnes de différents domaines avec des compétences variées.
  • Envisager d'inclure des membres de la collectivité ou d'autres personnes externes (chefs d'entreprises, autres organismes) en tant que membres de l'équipe.
  • S'assurer que les membres de l'équipe connaissent leurs rôles et leurs responsabilités.
  • Convenir d'une structure pour l'équipe (comités directeurs, comités consultatifs, groupes de travail).
       
Élaborer une stratégie de communication :
  • Décrire le processus d'exploration aux principaux groupes d'intervenants.
  • Mettre au point des méthodes visant à favoriser l'exploration et déterminer l'appui de la part des divers intervenants/ partenaires.
       

Figure 3 : L'outil Pentagone Note18

L'outil Pentagone
Description longue

Cette figure démontre l'outil Pentagone

  • Correspond aux besoins dans la collectivité
  • S'harmonise aux programmes actuels
  • Recherches et données probantes disponibles
  • Programme prêt à être reproduit, et
  • Capacité de mise en oeuvre de l'organisation

Programme

  • Bref aperçu du programme et de ses objectifs
  • Population cible
  • Facteurs de risque et de protection visés
  • Exigences des sites de réplication du programme 
  • Employés et bénévoles requis (qualifications et expérience)
  • Formation requise (obligatoire/facultative)
  • Processus d'encadrement et de supervision
  • Manuels, guides, outils et autres instruments de mise en œuvre requis
  • Soutien administratif, systèmes de données, autre technologie requise
  • Ressources requises (financières/en nature)

Correspond aux besoins dans la collectivité

S'harmonise aux programmes actuels

Recherches et données probantes disponibles

Programme prêt à être reproduit

Capacité de mise en œuvre de l'organisation

Échelle de cotation
  Oui Partiellement Non Commentaires/détails
Programme correspond aux besoins dans la collectivité        
Programme s'harmonise aux programmes actuels        
Recherches et données probantes sont disponibles        
Programme prêt à être reproduit        
Capacité de mise en œuvre de l'organisation        
Cote globale        

Étape 2 : Liste de vérification des activités liées à l'étape de la préparation et de l'installation
Étape 2 : Préparation et installation Complété/ Mis en place En cours/
Partiellement en place
Non réalisé /
Non mis en place
Commentaires /détails
Communiquer avec les développeurs de programmes sur les sujets suivants :
  • Contenu – comprendre le contenu à voir (p. ex., contenu et documents nécessaires pour chaque séance).
  • Prestation du programme – comprendre les principaux aspects du programme à mettre en œuvre (p. ex., l'emplacement/le milieu, la durée totale, la durée de chaque séance, le nombre de personnes bénéficiant de chaque séance).
  • Ressources et soutien – description du contenu du programme; ressources pour aider à former ceux qui réaliseront l'intervention, aide technique continue.
       
Obtenir et sécuriser toutes les ressources :
  • Établir un budget pour les coûts de lancement : puisque l'installation a lieu avant la prestation du programme, des fonds non remboursables ou non défrayés par d'autres mécanismes de financement doivent être versés.
  • Se procurer le matériel nécessaire (p.ex. manuels, guides, outils, fiches, etc.).
  • Prévoir des coûts supplémentaires (p. ex. équipement, experts externes, formation additionnelle, traduction du matériel, etc.)
       
Désigner et mobiliser des champions :
  • Chercher des personnes au sein de l'organisation et de la collectivité qui ont de l'influence, qui sont respectées et qui sont dévouées au programme. Ces personnes doivent être capables de repérer les problèmes qui surviennent et de proposer des solutions pour soutenir le programme et en assurer la réussite.
  • Ces personnes devraient participer activement au processus de mise en œuvre, faire partie de l'équipe de mise en œuvre ou collaborer avec elle.
       
Évaluer la culture et le climat de l'organisation :
  • Réaliser une analyse environnementale pour comprendre les sources de soutien potentielles, le niveau de préparation, la résistance et les autres réactions au nouveau programme.
  • Garder à l'esprit que les gens ne s'adaptent pas aux changements de la même façon ou au même rythme. Un climat propice à la mise en œuvre pour être créé en reconnaissant que le changement se produit par étape.
       
Apporter des changements structurels et fonctionnels à l'organisation (au besoin) :
  • Revoir les politiques, calendriers, locaux, documents, etc.
  • Redistribuer les rôles et les responsabilités, et les nouveaux postes requis pour lancer le nouveau programme.
  • Établir des procédures pour composer avec la peur et la résistance.
       
Mobiliser l'équipe de mise en œuvre Note19 :
  • S'assurer que les membres comprennent bien le programme à mettre en œuvre, savent comment le mettre en œuvre avec fidélité, et sont capables de devenir plus efficaces et efficients.
  • Demander aux membres de l'équipe d'aider à trouver et à se procurer toutes les ressources nécessaires pour mettre en œuvre le programme, et à préparer le personnel pour le nouveau programme.
       

Trouver et préparer le(s) lieux de mise en œuvre :

  • Repérer les sites appropriés.
  • Faire de la place pour le programme au sein de l'organisation.
       

Déterminer les partenaires et les occasions de collaboration :

  • Conclure des partenariats entre le milieu universitaire et le secteur public, ou des partenariats avec les développeurs, pour appuyer une mise en œuvre fidèle.
  • Travailler avec les intervenants en vue de rédiger des contrats ou des protocoles d'entente afin de faciliter la référence et la mobilisation.
       

Déterminer le processus de référence et procéder au recrutement initial des participants :

  • Établir un processus de référence et des critères pour choisir les participants (inclusion versus exclusion).
  • Débuter le processus de recrutement des participants.
       

Maintenir une stratégie de communication :

  • Discuter de la nécessité du programme et ses avantages (à l'intérieur et extérieur de l'organisation).
  • Établir des liens de communication pour rendre compte des obstacles et des stratégies facilitatrices.
       

Choisir le personnel de la prestation du programme :

  • Définir les qualités, qualifications et degré d'expérience requis.
  • Interviewer le personnel actuel pour s'assurer qu'il possède les qualifications requises.
  • Recruter, sélectionner et embaucher de nouveaux employés au besoin.
       

Entamer la formation et la supervision :

  • Déterminer les ressources et la logistique de la formation.
  • Désigner des personnes responsables d'offrir la formation et l'aide technique au personnel Note20.
  • Former une première cohorte de personnel de la prestation du programme (lui donner l'occasion de mettre en pratique ce qui est appris).
  • Former le personnel dans l'utilisation des nouveaux systèmes ou du nouvel équipement requis pour mettre en œuvre le programme.
  • Dresser des plans d'encadrement et de supervision pour le personnel (stratégies de perfectionnement professionnel).
       

Créer un système de données pour collecter l'information et mesurer les effets :

  • Mettre au point des systèmes de données facilement accessibles pour recueillir et mesurer les effets du programme et des processus.
  • Installer l'équipement requis.
  • Identifier les outils requis pour exécuter le programme et réaliser son évaluation.
  • Adopter des mécanismes d'assurance de la qualité pour évaluer l'utilisation des données.
       

Étape 3 : Liste de vérification des activités liées à l'étape de la mise en œuvre initiale
Étape 3 : Mise en œuvre initiale Complété / Mis en place En cours /
Partiellement en place
Non réalisé /
Non mis en place
Commentaires / détails
Procéder à la mise en œuvre initiale du programme Note21 :
  • Exécuter les principales composantes et activités du programme.
  • Encourager l'application pratique des nouvelles compétences, intégrer progressivement les nouvelles routines du programme, ajuster les rôles et les responsabilités en lien avec le nouveau programme.
       
Mettre en œuvre le processus de référence et procéder au recrutement des participants :
  • S'assurer de la mise en place du processus de référence.
  • S'assurer que des outils d'évaluation fondés sur des données probantes sont utilisés pour le recrutement, et que des réévaluations sont réalisées aux intervalles appropriés.
       
Établir un plan d'encadrement et un processus de supervision du personnel :
  • Mettre au point un système d'encadrement assorti d'un plan d'encadrement écrit.
  • Établir un processus de rétroaction et de supervision du personnel (p. ex., suivi de la conformité et de la qualité de la prestation du programme, fréquence des évaluations de rendement).
       
Gérer la culture et le climat de l'organisation Note22 :
  • Fixer des objectifs et des attentes réalistes concernant les progrès de la mise en œuvre, les calendriers, ainsi que la collecte et l'utilisation des bonnes données au bon moment.
  • Établir un processus de rétroaction pour cerner les obstacles et des stratégies pour les atténuer (p. ex., rencontre hebdomadaire pour cerner les enjeux, dresser des plans, examiner les résultats des efforts antérieurs pour résoudre les problèmes).
  • Assurer le maintien de l'aide technique.
       
Maintenir le système de données pour collecter l'information et mesurer les effets :
  • S'assurer que les systèmes de données permettent de mesurer les résultats et la fidélité et d'en rendre compte (suivi de la mise en œuvre fidèle du programme). Note23
  • S'assurer que les mécanismes d'assurance de la qualité permettent d'évaluer l'utilisation des données (évaluation de l'efficacité et de la qualité du programme).
       
Examiner les défis et les stratégies facilitatrices relativement à la mise en œuvre initiale :
  • Examiner les secteurs suivants : le recrutement et la sélection, la dotation et la formation, les activités et les composantes clés du programme, les processus d'encadrement et de supervision, le système de données, les mesures de la fidélité et les processus de production de rapports, les mesures des données sur les résultats et le processus de production de rapports, et les stratégies de communication.
       

Maintenir une stratégie de communication :

  • Informer les partenaires des dates de lancement et des activités (maintenir l'appui au programme).
  • S'assurer de la mise en place et de la fonctionnalité d'un processus de rétroaction.
       

Étape 4 : Liste de vérification des activités liées à l'étape de la mise en œuvre complète
Étape 4 : Mise en œuvre complète Complété / Mis en
place
En cours /
Partiellement en place
Non réalisé /
Non mis en place
Commentaires / détails
Effectuer une mise en œuvre complète du programme Note24 :
  • Maintenir les composantes intégrées et pleinement fonctionnelles du programme.
  • Intégrer les pratiques, politiques et procédures du programme, les nouveaux apprentissages deviennent pleinement intégrés à l'organisation.
       
Continuer de surveiller et d'améliorer les systèmes en place :
1. Référence et recrutement des participants        
2. Dotation, formation professionnel, perfectionnement, aide technique        
3. Prestation du programme – Activités et composantes clés        
4. Culture et climat de l'organisation        
5. Plan d'encadrement et supervision du personnel        
6. Mesures de la fidélité et processus de production de rapports        
7. Mesures des données sur les résultats et processus de production de rapports        
8. Mécanismes d'assurance de la qualité        
9. Partenariats, collaboration et ressources        
10. Stratégies de communication        

Employer des processus d'amélioration :

  • Régler les enjeux par l'utilisation de données pour cerner les défis et établir des plans de redressement, en faire le suivi et évaluer les résultats jusqu'à ce que l'amélioration ait eu lieu.
       

Fournir une réponse organisationnelle à la dérive du programme :

  • Adopter des mécanismes/ procédures permettant d'indiquer lorsque le programme s'éloigne du programme original. 
  • S'assurer que des mesures correctives seront mises en place, le cas échéant.
       

Composer avec la modification ou l'adaptation du programme :

  • Ajuster le programme en fonction des besoins précis de l'organisation ou des participants.
  • Réaliser les adaptations attentivement et systématiquement avec l'aide des développeurs du programme et en tenant compte des évaluations de processus et d'impact.
  • Envisager des modifications ou des adaptations pour aider à produire des résultats optimaux seulement après une première mise en œuvre fidèle du programme.
  • Décrire et surveiller les adaptations (mesures de la performance et évaluations).
       

Liste de vérification des activités liées à la pérennisation
Pérennisation Complété / Mis en
place
En cours /
Partiellement en place
Non réalisé /
Non mis en place
Commentaires / détails
Établir un financement continu :
  • S'assurer des fonds pour le personnel du programme.
  • S'assurer que l'infrastructure du programme est intégrée au budget de l'organisation.
       
Établir de nouveaux partenariats et communiquer les réussites :
  • Conclure de nouveaux partenariats communautaires tout en maintenant les relations actuelles.
  • Communiquer les résultats positifs au personnel, à la collectivité et à d'autres afin de maintenir le soutien au programme.
  • Célébrer les réussites avec les participants du programme, le personnel et la collectivité.
       
Maintenir la fidélité de la mise en œuvre :
  • S'assurer du suivi continu de la fidélité, de l'encadrement et de la supervision du personnel.
  • S'assurer de la fidélité aux composantes clé du programme.
  • Obtenir des ressources pour la formation continue du personnel actuel et la formation du nouveau personnel.
  • Maintenir les systèmes de données et les mécanismes d'assurance de la qualité.
       
Soutenir l'amélioration continue du programme :
  • Travailler avec les développeurs du programme (p. ex. revoir les méthodes de prestation, certaines activités, etc.), lorsque nécessaire.
  • Développer des plans pour accroître la qualité du programme (lorsque nécessaire).
  • Encourager les échanges continus entre les administrateurs de haut niveau et l'équipe de mise en œuvre, les fournisseurs et les bénéficiaires.
       

Études de cas

1. L'initiative du Blueprints for Violence Prevention : principaux défis entourant le processus de mise en œuvre

Dans le cadre des programmes de l'initiative du Blueprints for Violence Prevention, les sites de réplication ont eu tendance à faire face à des défis semblables et ce, à des moments similaires dans le processus de mise en œuvre : Note25

Défis initiaux entourant la mise en œuvre des programmes

Les premiers défis sont généralement les plus complexes et ceux qui demandent du temps afin de les surmonter. Ces défis surviennent généralement dans les premiers 4 à 8 mois et incluent, sans s'y limiter :

Défis ultérieurs entourant la mise en œuvre des programmes

Après une première année consacrée à la mise en œuvre, les défis associés aux étapes initiales de la mise en œuvre sont généralement réglés; or, à mesure que la mise en œuvre progresse, d'autres types de défis apparaissent :  

Ces résultats permettent donc de penser que certains défis seraient associés à une étape spécifique de mise en œuvre. Le tableau 4 reprend les quatre étapes du processus de mise en œuvre et résume, à partir des recherches menées par Fixsen et ses collègues (2005) et les résultats du Blueprints for Violence Prevention (Mihalic et al., 2003), ce qui semble être les défis les plus courants pour chacune des étapes de mise en œuvre.

Tableau 4 : Principaux défis associés à chacune des étapes de mise en œuvre
Étape 1 – Exploration et adoption
  • Accès limité aux connaissances et aux résultats de recherche
Étape 2 – Préparation et installation
  • Déséquilibre dans les nouveaux services
  • Manque de compréhension
  • Inconfort, tension chez les praticiens 
Étape 3 – Mise en œuvre initiale
  • Résistance aux changements
  • Inertie organisationnelle
  • Adaptations majeures des éléments centraux du programme
Étape 4 – Mise en œuvre complète
  • Manque de formation
  • Manque de matériels
  • Non-respect de la fidélité du programme (p. ex. dosage, séquence des activités, etc.)
  • Roulement élevé de personnel
Pérennisation
  • Les obstacles et les défis entourant la pérennisation du programme sont multiples. La meilleure approche afin d'aider à la pérennisation est de continuer à surveiller les résultats et de rester vigilant aux changements qui pourraient affecter le programme; il peut s'agir par exemple, de changements au niveau des sources de financement, des priorités organisationnelles, de la direction et du leadership de l'organisation.

2. Obstacles dans la mise en œuvre d'un programme de prévention secondaire à l'alcool

Cette étude Note26 relate les obstacles liés à l'implantation d'un programme qui s'adressent aux buveurs excessifs, le programme Alcochoix+. Le but de cette évaluation était de répondre à la question : « quels sont les obstacles qui ont été rencontrés durant la mise en œuvre de ce programme ? ». Les principaux obstacles rencontrés durant la mise en œuvre sont les suivants :

  1. Les lacunes au niveau de la publicité et de la promotion : faible quantité, non-récurrence, et manque de coordination. La simple distribution de dépliants a été insuffisante et le manque de coordination avec d'autres programmes de promotion de saines habitudes de vie a aussi été critiqué.
  2. Le manque de ressources humaines et financières : le peu d'investissement financier dans le programme (comparativement aux coûts engendrés par la problématique de la consommation excessive d'alcool).
  3. Le roulement de personnel élevé à tous les paliers : autant au niveau des intervenants et des cadres que chez les répondants au niveau régional. Cette situation a occasionné un vide de service, a fait augmenter les besoins en formation et serait aussi responsable de la confusion dans l'identification des personnes impliquées dans le programme et des rôles et responsabilités.

Viennent ensuite le manque de leadership dans la prise en charge du programme, le manque de communication (mauvaise circulation de l'information), le manque de temps que les intervenants pouvaient consacrer au programme, la méconnaissance de l'existence du programme (aussi bien à l'intérieur de l'organisation qu'à l'extérieur du réseau de la santé), et la méconnaissance de l'approche sous-jacente au programme. Enfin, le manque d'accessibilité de la formation en dehors des grands centres urbains, le faible taux d'achalandage et le manque de monitorage constituaient d'autres défis.

3. Mise en œuvre en milieu scolaire d'un programme de prévention de toxicomanie qui s'appuie sur les connaissances : quelques exemples de défis

Une initiative Note27, financée sur cinq ans, concernait la mise en œuvre dans trois secteurs scolaires d'un programme de prévention de la toxicomanie appuyé sur les connaissances, le Michigan Model for Comprehensive Health Education. Il ressort des mesures traditionnelles d'évaluation d'impact que ce programme n'a pas eu d'effets significatifs et l'échec à obtenir des résultats est discuté en fonction de défis majeurs liés à sa mise en œuvre.

Sélection inadéquate du programme : le choix du programme à mettre en œuvre représente une étape centrale. Pour choisir le programme le plus approprié, il est crucial de connaître les besoins de la population cible et les ressources/services qui sont disponibles. Un programme qui a été efficace dans un secteur scolaire ne sera pas nécessairement efficace dans tous les autres.

Pour accroître la probabilité de succès dans la sélection du programme :

Engagement limité des partenaires et faible niveau de préparation des écoles : la réussite de la mise en œuvre du programme en milieu scolaire dépend non seulement des enseignants mais aussi du soutien des administrateurs du conseil scolaire, des directeurs, des travailleurs sociaux, des parents et de la communauté. Le manque d'engagement des partenaires a été identifié comme un obstacle important. Le niveau d'effort des écoles dans la préparation n'a pas été suffisant et différentes tâches ont été sous-estimées, notamment celles de préparer et de planifier les ressources et les stratégies visant à intégrer le programme dans le calendrier scolaire sans créer un sentiment de surcharge chez les enseignants.

Pour accroitre les probabilités de succès lors de la mise en œuvre :

Faible fidélité de mise en œuvre : les résultats entourant l'évaluation du programme ont démonté que la fidélité de mise en œuvre n'était pas favorable à la réussite du programme : par exemple, des leçons et des activités avaient été omises tandis que d'autre avaient été combinées pour « sauver du temps ». Le cursus du programme tel qu'il a été conçu et validé par les développeurs du Michigan n'a pas été respecté.

Pour accroitre les probabilités de succès d'une mise en œuvre fidèle :

4. Programmes en milieu scolaire : qu'est-ce qui favorise leur implantation?

Dans le cadre d'une consultation auprès d'experts québécois francophones et anglophones sur les différents programmes d'interventions en milieu scolaire Note28, il a été possible d'identifier des conditions favorables de mise en œuvre de même que les principaux défis.

Conditions favorisant la mise en œuvre des programmes en milieu scolaire :

Obstacles liés à la mise en œuvre des programmes en milieu scolaire :

5. L'initiative du Blueprints for Violence Prevention : principaux éléments clés d'une mise en œuvre de qualité

Les éléments suivants sont issus des résultats de l'évaluation de l'initiative du Blueprints for Violence Prevention Note29, Note30 et sont centraux dans une mise en œuvre efficace et réussie des programmes :

6. Adaptation des programmes selon les contextes de mise en œuvre : quelques conclusions

Voici quelques-unes des principales conclusions tirées d'une étude sur l'adaptation des programmes qui s'appuient sur les connaissances selon les contextes de mise en œuvre. Note31

Fréquence des adaptations :

Nature des adaptations :

Raisons des adaptations :

Résultats des adaptations :

7. Facilitateurs et barrières à la mise en œuvre avec fidélité d'un programme parental qui s'appuie sur les connaissances

Les barrières et les facilitateurs identifiés dans cette étude proviennent de l'évaluation de la réplication du programme « Incredible Years ». Note32 Les éléments suivants sont associés à des facilitateurs et à difficultés dans la mise en œuvre avec fidélité de ce programme. 

Facilitateurs de la mise en œuvre :

Défis de la mise en œuvre :

8. Mise en œuvre des programmes dans les milieux autochtones

La mise en œuvre des programmes de prévention du crime en milieu autochtone soulève une question importante concernant l'adaptation culturelle des programmes. Afin d'offrir des balises en vue de mieux supporter une mise en œuvre culturelle, le Child Development Institute (Toronto, Canada), a récemment publié un guide de mise en œuvre Note33 sur le programme SNAP Note34. Ce guide a été possible grâce à la collaboration des communautés autochtones, des facilitateurs SNAP, des comités aviseurs et d'autres partenaires.

L'objectif central de ce guide est d'assurer une concordance entre le programme SNAP et les valeurs autochtones. Lors de la mise en œuvre de ce programme dans ces communautés, des défis récurrents ont été notés tels que : des difficultés à recruter les parents et maintenir leur engagement; des ressources humaines limitées; un engagement limité de la communauté (buy-in), et des problèmes à trouver des facilitateurs SNAP. Afin d'assurer que le programme SNAP soit culturellement approprié, un cadre de travail culturel appuyé sur les cinq (5) caractéristiques communes de la vision autochtone Note35 a été développé :

Lors des étapes de mise en œuvre, ce guide suggère des éléments afin de faire en sorte que les composantes du programme et de la mise en œuvre correspondent à la culture autochtone (p. ex., au niveau des partenaires, des politiques, du personnel, de la formation, des références, l'engagement de la communauté et des participants).

Annexe

Annexe 1 : Principales caractéristiques associées à la notion de capacité

Flashpohler et ses collègues (2008) discutent de la notion de la capacité à mettre en place et à soutenir des programmes de prévention. Ces auteurs déclinent la notion de capacité en deux sphères (capacités vis-à-vis le nouveau programme et capacités générales) et en trois niveaux (niveau individuel, organisationnel et dans la communauté). Par exemple, une organisation qui dispose d'un personnel hautement qualifié et compétent est susceptible d'avoir de meilleures capacités qu'une organisation où le personnel a moins de capacité. Il est également possible de penser que les organisations qui ont des niveaux élevés de capacité attireront et retiendront du personnel plus qualifiés. Cependant, au moment d'évaluer le niveau de capacité à mettre en place un programme, ces niveaux doivent être perçus comme des niveaux distincts plutôt que comme un agrégat d'attributs. 

Tableau 5 : Caractéristiques individuelles, organisationnelles et communautaires associées à la notion de la capacité
  Capacités en lien avec le nouveau programme Capacités générales
Niveau
individuel
  • Compréhension/connaissance du programme et du problème
  • Capacité perçue à mettre en œuvre un nouveau programme
  • Engagement / attitudes vis-à-vis le programme
  • Capacité du personnel
  • Antécédents du personnel
  • Ouverture du personnel
Niveau
organisationnel
  • Ajustement du programme avec l'organisation
  • Le soutien organisationnel
  • Engagement de l'organisation
  • Assistance technique et formation
  • Capacité d'évaluer la mise en œuvre du programme et d'utiliser les résultats
  • Leadership efficace
  • Vision claire/mission
  • Structure et climat
  • Style de gestion efficace
  • Disponibilité des ressources
  • Partenariats / arrimages avec d'autres systèmes externes
Niveau communautaire  
  • Leadership
  • Participation et possibilités de participer
  • Ressources
  • Liens entre les individus et les organisations
  • Connexions avec les communautés et les institutions extérieures
  • Normes et valeurs
  • Engagement

Adapté de Flaspohler et al., 2008

Références bibliographiques

Bhattacharyya, O., et al. (2009). What is implementation research?: Rationale, concepts and practices. Research on Social Work Practice,19, 491–502.

Blase, K., et al. (2010). Implementation drivers best practices analysis and discussion tool. Developed by National Implementation Research Networkand adapted by the State Implementation & Scaling-up of Evidence-based Practices.

Blase, K. & Fixsen, D. (2013). Core intervention components: Identifying and operationalizing what makes programs work.ASPE Research Brief. Office of the Assistant Secretary for Planning and Evaluation, Office of Human Services Policy, US Department of Health and Human Services.

Blase, K., Kiser, L., & Van Dyke, M. (2013). The hexagon tool: Exploring context. Chapel Hill, NC: National Implementation Research Network, FGP Child Development Institute, University of North Carolina at Chapel Hill.

Botvin, J. (2004). Advancing prevention science and practice: Challenges, critical issues, and future directions.Society for Prevention Research,5(1), 69–72.

Bumbarger, B. (2013). Replicating evidence-based practices with fidelity: Lessons from Pennsylvania's Blueprints Initiative. Presentation as part of a webinar organized by the National Criminal Justice Association. May.

Carroll, C., et al. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2, 40.

Coalition for Evidence-Based Policy (2006). How to successfully implement evidence-based social programs: A brief overview for policymakers and program providers. Working paper.

Consortium for Substance Abuse Research and Evaluation (2003). Evidence-based practices: An implementation guide for community-based substance abuse treatment agencies. Iowa City, IA: Iowa Practice Improvement Collaborative Project, administered by the Consortium for Substance Abuse Research and Evaluation, University of Iowa.

Deborah, D. (2006). How to successfully implement evidence-based social programs: A brief overview for policymakers and program providers. Coalition for Evidence-Based Policy working paper. June.

Domurad, F. & Carey, M. (2010). Implementing evidence-based practices. Coaching packet. Developed for the Prisoner Reentry Initiative Grant Program (FY 2007), sponsored by the US Department of Justice, Office of Justice Programs, Bureau of Justice Assistance. Silver Spring, MD: Center for Effective Public Policy.

Durlak, J. & DuPre, E. (2008). Implementation matters: A Review of research on the influence of implementation on program outcomes and the factors affecting implementation.American Journal of Community Psychology,41, 327–350.

Eccles, M. P. & Mittman, B. S. (2006). Welcome to implementation science. Implementation Science, 1.

Eccles, M. P., et al. (2009). An implementation research agenda. Implementation Science, 4, 18.

Elliott, D., et al. (2001a). Ensuring program success. Blueprints News,2(3).

Elliott, D., et al. (2001b). The importance of implementation fidelity. Blueprints News,2(1).

Elliott, D. & Mihalic, S. (2004). Issues in disseminating and replicating effective prevention programs. Prevention Science,5(1), 47–53.

Fixsen, D. & Blase, K. (2006). "What works" for implementing "what works" to achieve consumer benefits. National Implementation Research Network, University of South Florida, Louis de la Parte Florida Mental Health Institute.

Fixsen, D., et al. (2005). Implementation research: A synthesis of the literature. National Implementation Research Network, University of South Florida, Louis de la Parta Florida Mental Health Institute.

Fixen, D., et al. (2009). Core implementation components.Research on Social Work Practice,19(5), 531–540.

Fixsen, D., et al. (2013). Implementation drivers: Assessing best practices (vol. 4). National Implementation Research Network. 

Flaspohler, P., et al. (2008). Unpacking prevention capacity: An intersection of research-to-practice models and community-centered models.American Journal of Community Psychology,41, 182–196.

Gaudet, J. & Breton, A. (2009).Recension des programmes d'intervention visant le mieux-vivre ensemble : Qu'est-ce qui favorise leur efficacité et leur implantation? Montreal, PQ : Pacific Institute/Canadian Council on Learning.

Gray, M., et al. (2012). Implementing evidence-based practice: A review of the empirical research literature.Research on Social Work Practice,23(2), 257–266.

Greenwood, P. & Welsh, B. (2012). Promoting evidence-based practice in delinquency prevention at the state level. Principles, progress, and policy directions. Criminology & Public Policy,11(3), 493–513.

Gustle, L. H., et al. (2008). Implementation of evidence-based models in social work practice: Practitioners' perspectives on an MST Trial in Sweden. Journal of Child & Adolescent Substance Abuse,17(3), 111–125.

Henderson, J., et al. (2006). Closing the research-practice gap: Factors affecting adoption and implementation of a children's mental health program. Journal of Clinical Child and Adolescent Psychology,35(1), 2–12.

Henggeler, S. & Schoenwald, S. (2011). Evidence-based interventions for juvenile offenders and juvenile justice policies that support them. Society for Research in Child Development,25(1), 1–28.

Lamont, A. & Wright, A. (2013). The quality implementation self-assessment rating scale. Draft document prepared for the Global Implementation Conference. Washington, DC, August 19–21.

Lee, S., et al. (2008). Using planned adaptation to implement evidence-based program with new populations. American Journal of Community Psychology,41, 290–303.

Logan, T. K., et al. (2000). A drug court process evaluation: Methodology and findings. International Journal of Offender Therapy and Comparative Criminology,44, 369–394.

Metz, A., et al. (2007a). A 10-step guide to adopting and sustaining evidence-based practices in out-of-school time programs. Brief Research-to-Results, Child Trends, Part 2 in a Series on Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs.

Metz, A., et al. (2007b). Implementing evidence-based practices: Six "drivers" of success. Brief Research-to-Results, Child Trends, Part 3 in a Series on Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs.

Metz, A., et al. (2007c). Seven activities for enhancing the replicability of evidence-based practices. Brief Research-to-Results, Child Trends, Part 4 in a Series on Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs.

Meyers, D., et al. (2012). The quality implementation framework: A synthesis of critical steps in the implementation process. American Journal Community Psychology, 50(3), 462–480. 

Mihalic , S., et al. (2001). Blueprints for Violence Prevention. Juvenile Justice Bulletin, U.S. Department of Justice, Office of Justice Programs, Office of Juvenile Justice and Deslinquency Prevention.

Mihalic, S. & Irwin, K. (2003). Blueprints for Violence Prevention: From research to real-world settings – factors influencing the successful replication of model programs.Youth Violence and Juvenile Justice,1(1), 1–23.

Mihalic, S., et al. (2004a). Successful program implementation: Lessons from Blueprints. Juvenile Justice Bulletin, U.S. Department of Justice, Office of Justice Programs, Office of Juvenile Justice and Delinquency Prevention.

Mihalic, S., et al. (2004b). The importance of implementation fidelity. Emotional & Behavioral Disorders in Youth,4(4), 83–105.

Minnesota Department of Education. (n.d.). Common principles of effective practice (CPEP) and implementation: A framework for integrating initiatives and sustaining evidence based practices. Implementation of effective practices.

Moore, J. E., et al. (2013). Examining adaptations of evidence-based programs in natural contexts. The Journal of Primary Prevention,34(3), 147–161.

Mullen, E. J., et al. (2005). From concept to implementation: Challenges facing evidence-based social work. The Policy Press,1(1), 61–84.

O'Connor, C., et al. (2007). Program fidelity and adaptation: Meeting local needs without compromising program effectiveness. What Works, Wisconsin Research to Practice Series, 4. Madison, WI: University of Wisconsin–Madison/Extension.

Przybylski, R. (2013). Implementation science and the importance of fidelity: Replicating evidence-based practices. Presentation as part of a webinar organized by the National Criminal Justice Association. May.

Puddy, R. W. & Wilkins, N. (2011). Understanding evidence part 1: Best available research evidence. A guide to the continuum of evidence of effectiveness. Atlanta, GA: Centers for Disease Control and Prevention.

Safe Schools, Healthy Students (n.d.). A framework for effectively implementing evidence-based programs and practices (EBPs). National Center for Mental Health Promotion and Youth Violence Prevention.

Safe Schools, Healthy Students (n.d.). Principles of effective implementation. National Center for Mental Health Promotion and Youth Violence Prevention.

Saul, J., et al. (2008). Research and action for bridging science and practice in prevention. American Journal of Community Psychology, 41, 165–170.

Sherman, F. & Jacobs, F. (2011). Juvenile justice: Advancing research, policy, and practice. In J. Butts & J. Roman.Better Research for Better Policies (chapter 24). New Jersey: Wiley.

Simoneau, H., et al. (2012). Obstacles à l'implantation d'un programme de boire contrôlé dans le contexte organisationnel des services en dependence. The Canadian Journal of Program Evaluation,26(1), 19–37.

Small, S. A., et al. (2007). Guidelines for selecting an evidence‐based program: Balancing community needs, program quality, and organizational resources. What Works, Wisconsin Research to Practice Series, 3. Madison, WI: University of Wisconsin–Madison/Extension.

Smith, V. & Sandler, I. (2008) Use of quality management methods in the transition from efficacious prevention programs to effective prevention services. American Journal of Community Psychology, 41, 250–261.

Sobeck, J. L., et al. (2006). Lessons learned from implementing school-based substance abuse prevention curriculums. Children & Schools,28(2), 77–85.

Stern, S., et al. (2007). Implementing an evidence-based parenting program with adherence in the real world of community practice. Research on Social Work Practice,18, 543–554.

Substance Abuse and Mental Health Services Administration's National Registry of Evidence-based Programs and Practices (2011). Interventions for disruptive behavior disorders: Implementation considerations. Center for Mental Health Services, Substance Abuse and Mental Health Services Administration, US Department of Health and Human Services.

Substance Abuse and Mental Health Services Administration's National Registry of Evidence-based Programs and Practices (2012). A road map to implementing evidence-based programs. Center for Mental Health Services, Substance Abuse and Mental Health Services Administration, US Department of Health and Human Services.

Wandersman, A., et al. (2008). Bridging the gap between prevention research and practice: The interactive systems framework for dissemination and implementation. American Journal of Community Psychology ,41, 171–181.

Notes

1 La première variable ayant le plus influencé les résultats était le profil des facteurs de risque des participants (particulièrement le niveau d'agressivité) (Durlak & Dupre, 2008).

2 Quelques exemples de repertoires/bases de données communément acceptés : Blueprints for Healthy Youth Development; Crime Solutions; OJJDP Model Programs Guide; Coalition for Evidence-Based Policy's Top Tier Evidence; SAMHSA's National Registry of Evidence-based Programs and Practices.

3 Voici quelques références dans le domaine de l'évaluation qui peuvent être consultées afin d'approfondir certaines notions : Huey-Tsyh Chen (1994). Theory Driven Evaluations: Theory Driven Evaluations. Sage Publications; Stewart I. Donaldson (2007). Program Theory-Driven Evaluation Science: Strategies and Applications. Routledge; Marc Alain (2009). Élaborer et évaluer les programmes d'intervention psychosociale. Les Presses de l'Université du Québec; Valéry Ridde & Christian Dagenais (2009). Approches et pratiques en évaluation de programme. Les Presses de l'Université de Montréal.

4 Pour une définition de programme prometteur et modèle, veuillez consulter cette publication disponible à l'adresse suivante : http://www.securitepublique.gc.ca/cnt/rsrcs/pblctns/prmsng-mdl-vlm2/index-fra.aspx#toc_1

5 La mise en œuvre complète du programme est atteinte lorsque 50 % ou plus du personnel utilisent le programme avec fidélité et que l'on obtient de bon résultats de performance (Fixsen et al., 2011).

6 Voir notamment Wandersman et al. 2008; Gray et al. 2012; Durlak & DuPre, 2008

7 Pour plus de détails, consulter Wandersman et al., 2008

8 En 1996, grâce à des fonds alloués par la Division of Criminal Justice du Colorado, les Centers for Disease Control and Prevention et la Commission on Crime and Delinquency de la Pennsylvanie, le Center for the Study and Prevention of Violence (CSPV), de l'Université du Colorado, à Boulder, a conçu et lancé une initiative nationale de prévention auprès des jeunes afin d'identifier et de reproduire des programmes qui avaient été démontré efficaces afin de prévenir la violence, la délinquance et la consommation de drogues. Le projet, initialement intitulé Blueprints for Violence Prevention, identifie les programmes de prévention et d'intervention qui répondent à des normes scientifiques rigoureuses d'efficacité. Depuis 2012, cette initiative se nomme le Blueprints for Healthy Youth Development et est financée par la fondation Annie E. Casey. Dorénavant, les résultats des programmes sont élargis afin d'inclure non seulement les problèmes de comportements, mais aussi l'éducation, le bien-être émotionnel, la santé physique et les relations positives.

9 Pour plus de détails, consulter Implementation Drivers: Assessing Best Practices, National Implementation Research Network, University of North Carolina Chapel Hill (2013). En plus de fournir des éléments théoriques, cette publication propose aussi des grilles d'évaluation et des bonnes pratiques pour chacune des composantes clés.

10 National Implementation Research Network (NIRN) (http://nirn.fpg.unc.edu/) et du State Implementation and Scaling-up of Evidence-based Practices (SISEP) (http://sisep.fpg.unc.edu/)

11 Les listes de vérifications présentées dans la section « Outils d'aide à la planification » illustrent des exemples d'activités réalisées par les équipes de mise en œuvre (ou par d'autres personnes chargées de la mise en œuvre).

12 Pour plus de détails, consulter cette publication : Savignac J. (2010). Outils d'identification des jeunes à risque et outils de mesure du risque de délinquance chez les jeunes. Centre national de prévention du crime, Sécurité publique Canada. Disponible en ligne à l'adresse : http://www.publicsafety.gc.ca/cnt/rsrcs/pblctns/tls-dntf-rsk-rprt/index-fra.aspx

13 L'évaluation des besoins peut comprendre la collecte d'informations à partir des sources suivantes : sources d'informations gouvernementales, écoles, organisations de la collectivité, les médias locaux et régionaux. Des documents de référence sont aussi accessibles en ligne. À titre d'exemple, on retrouve le « Community Tool Box » développé par le groupe « KU Work Group for Community Health and Development » disponible à : http://ctb.ku.edu/en/table-of-contents (en anglais seulement); le rapport « Community Action Guide to Comprehensive Community Needs Assessments » (2011) produit par le National Association for State Community Services Programs (en anglais seulement) disponible à :
http://www.nascsp.org/data/files/CSBG_Resources/Train_Tech_Assistance/Needs_Assessment_FINAL_-_8.22_print_to_pdf.pdf; et la « trousse diagnostique de sécurité à l'intention des collectivités locales » développée par le Centre québécois de ressources en promotion de la sécurité et en prévention de la criminalité, disponible à : http://www.crpspc.qc.ca/default.asp?fichier=accueil.htm (site bilingue). Enfin, certains ministères provinciaux ont également développé des guides à l'intention des collectivités locales afin de les guider dans l'évaluation des besoins.

14 Pour de plus amples informations, voir l'annexe 1 (tableau 5)

15 Certains points à garder à l'esprit au moment de déterminer les programmes admissibles : Quelle quantité de données probantes est requise? Un manuel existe-il pour le programme? Un programme doit-il remplir tous les critères pour être accepté? Quel poids devrait être accordé aux considérations pratiques par opposition au mérite scientifique?

16 Quelques exemples de répertoires facilement accessible et communément acceptés : Blueprints for Healthy Youth Development; Crime Solutions; OJJDP Model Programs Guide; Coalition for Evidence-Based Policy's Top Tier Evidence; SAMHSA's National Registry of Evidence-based Programs and Practices.

17 Le rôle de l'équipe de mise en œuvre peut aussi être rempli par le personnel de l'organisation. Cependant, il est important qu'il s'agisse d'une responsabilité d'équipe et non pas d'une seule personne.

18 Adapation de "The Hexagon Tool" de Laurel Kiser, Karen Blase and Dean Fixsen (2013) : développé à partir du travail de Lauel Kiser, Michelle Zabel, Albert Zachik and Joan Smith (2007).

19 Une organisation peut établir son équipe de mise en œuvre durant l'étape de l'exploration, mais les participants peuvent changer lors du passage à l'étape de l'installation. Une fois de plus, le rôle de l'équipe de mise en œuvre peut être rempli par le personnel de l'organisation.

20 Les personnes qui offrent la formation et l'aide technique devraient comprendre les besoins et les ressources de l'organisation, comprendre les buts et objectifs de l'organisation, et connaître suffisamment le contenu lié expressément au programme pour bien former le personnel.

21 Ce processus est appuyé par l'équipe de mise en œuvre ou le groupe d'employés désigné de l'organisation, suivant le cas.

22 Ce processus est appuyé par l'équipe de mise en œuvre ou le groupe d'employés désigné de l'organisation, suivant le cas.

23 Exemples de méthodes qui peuvent être utilisées : (1) listes de vérification remplies par le personnel de la prestation du programme; (2) listes de vérification remplies par les participants au programme; (3) observation directe des séances du programme; (4) observation vidéo des séances du programme.

24 Ce processus est appuyé par l'équipe de mise en œuvre ou le groupe d'employés désigné de l'organisation, suivant le cas.

25 Mihalic S. & Irwin K. (2003). Blueprints for Violence Prevention: From Research to Real-World Settings – Factors Influencing the Successful Replication of Model Programs.

26 Simoneau et al. (2012). Obstacles à l'implantation d'un programme de boire contrôlé dans le contexte organisationnel des services en dépendance.

27 Sobeck et al. (2006.) Lessons Learned from Implementing School-Based Substance Abuse Prevention Curriculums.

28 Gaudet J. et Breton A. (2009). Recension des programmes d'intervention visant le mieux-vivre ensemble : Qu'est-ce qui favorise leur efficacité et leur implantation?

29 Mihalic S. et al. (2004a). Successful Program Implementation: Lessons from Blueprints.

30 L'évaluation des processus portait sur 9 programmes dans 147 sites (8 programmes de prévention de la violence et 1 programme de prévention de la toxicomanie). Les 8 programmes supportés dans le cadre de l'initiative contre la violence étaient les suivants : Big Brothers Bis Sisters of America (BBBSA), Bullying Prevention Program, Functional Family Therapy (FFT), Multidimensional Treatment Foster Care (MTFC), Multisystemic Therapy (MST), Nurse-Family Partnership, Promoting Alternative Thinking Strategies (PATHS), Quantum Opportunities Program. Le programme contre l'abus de drogues était le Life Skills Training (LST). Il faut noter que les développeurs de programmes étaient responsables de la formation et du support technique entourant la mise en œuvre tandis que les employés du Blueprints étaient responsables de soutenir la qualité de la mise en œuvre dans l'ensemble des sites de réplication en conduisant une évaluation détaillée des processus. (Mihalic et al., 2004).

31 Moore et al. (2013). Examining Adaptations of Evidence-Based Programs in Natural Contexts.

32 Stern S. et al. (2007). Implementing an Evidence-Based Parenting Program with Adherence in the Real World of Community Practice.

33 Child Development Institute (2013). A Companion Manual for SNAP in Aboriginal Communities. Starting your Community's Journey with SNAP. Toronto: Child Development Institute. Pour obtenir une copie, veuillez communiquer avec SNAP Implementation Team, Child Development Institute, snap@childdevelop.ca, 416-603-1827 ext. 3146

34 Le programme SNAP est un programme qui s'appuie sur les connaissances, il est adapté au genre et s'adresse aux garçons et aux filles de 6-11 ans qui présentent des comportements externalisés problématiques et agressifs validés par des mesures cliniques d'évaluation des comportements.

35 Adaptation de Alberta Education (2005). Our Words, Our Ways: Teaching First Nations, Métis and Inuit Learners.

Date de modification :