Rapport final d'évaluation du programme – Towards No Drug Abuse

Rapport final d'évaluation du programme – Towards No Drug Abuse Version PDF (265 KB)
Table des matières

Introduction

Le programme Towards No Drug Abuse (TND) est un programme fondé sur des données probantes conçu pour aider les jeunes à réduire leur consommation de tabac, d'alcool ou de drogues ainsi que leurs comportements violentsFootnote 1. Il a été mis à l'essai dans le cadre de sept tests pratiques expérimentauxFootnote 2 aux États-Unis. Les sept tests ont révélé systématiquement une diminution de la consommation de drogues dures. Quatre des tests ont montré des effets favorables sur la consommation d'alcool, trois, sur la consommation de marijuana, et deux, sur la consommation de tabac. Trois tests ont révélé une réduction de la victimisation avec violence et du port d'armes.

On a mis en œuvre le programme au Canada pour déterminer s'il pourrait entraîner des changements dans les habitudes de consommation de drogues au pays.

La Société John Howard de Hamilton a mis en œuvre le programme TND de juillet 2009 à septembre 2014 dans des écoles du conseil scolaire du district de Hamilton-Wentworth et du conseil scolaire catholique du district de Hamilton-Wentworth, à Hamilton, en Ontario. La Stratégie nationale pour la prévention du crime (SNPC) a versé un financement de 1 556 000 $ pour le programme.

Description du programme

Au départ, le programme TND a été développé sous forme de programme de prévention de la toxicomanie à dispenser en classe auprès d'élèves de 14 à 19 ans qui fréquentent une école secondaire alternative (Sussman, 1996). Or, le programme a également produit des effets bénéfiques chez des élèves d'un échantillon d'écoles secondaires ordinaires (Dent, Sussman et Stacey, 2001).

Le programme TND met l'accent sur trois facteurs de prédiction de la consommation de tabac, d'alcool et de drogues, des comportements violents et d'autres comportements problématiques chez les jeunes :

Selon Steve Sussman, le développeur du modèle, une fois qu'ils ont terminé le programme TND, les élèves devraient être en mesure :

Le modèle américain du programme TND consiste en 12 séances interactives en classe. Chaque séance doit durer de 40 à 60 minutes. Les séances portent sur les sujets suivants : écoute active, stéréotypes, mythes et déni, chimiodépendance, répercussions de la toxicomanie, marijuana, renoncement au tabac, stress, santé et objectifs, maîtrise de soi, pensées positives et négatives, cycles de comportement, points de vue, prise de décisions et engagement.

Le contenu et la durée du programme conçu pour le système scolaire ontarien étaient les mêmes, mais on a réduit à huit le nombre de séances hebdomadaires. En guise de compensation, on a fixé à 90 minutes la durée des séances et augmenté leur fréquence par semaine. Sans ces modifications, le programme n'aurait pas pu être exécuté dans les écoles de l'Ontario, dont le département d'éducation physique ne consacre que 5 jours sur 16 à la toxicomanie.

Groupe cible

Le programme ciblait les jeunes dans les écoles et la collectivité qui présentent un risque élevé de commettre des crimes liés à la consommation de drogues ou d'alcool. La composante scolaire du programme ciblait les élèves des écoles secondaires de la région de Hamilton-Wentworth, en particulier ceux de la neuvième année. On a défini ce groupe cible en supposant que tous les élèves de la région de Hamilton-Wentworth présentaient un risque de consommer des drogues. Pour sa part, la composante communautaire du programme ciblait les jeunes présentant un risque élevé bénéficiant des services d'organismes communautaires, notamment ceux qui ont commis une infraction et ont été aiguillés vers des mesures extrajudiciaires. Ces participants présentaient un risque élevé du fait qu'ils participaient à des programmes d'éducation, d'expulsion ou de suspension dans une école ordinaire ou alternative.

L'échantillon du groupe expérimental (participants au programme TND) comprenait à la fois la composante scolaire (n = 1 836) et la composante communautaire (n = 81). On a regroupé les échantillons des composantes scolaire et communautaire de façon à augmenter la taille d'échantillon, et ce, afin de permettre des analyses multivariables. Le groupe expérimental (groupe TND) comptait légèrement plus de filles que de garçons, tandis que le groupe témoin comptait légèrement plus de garçons que de filles. La moyenne d'âge des participants au début du programme TND était de 14,24 ans (écart-type = 1,01), et l'âge moyen des membres du groupe témoin au prétest était de 14,29 ans (écart-type = 0,57). En ce qui concerne l'origine ethnique, dans les deux groupes, la majorité des participants étaient de race blanche et ne parlaient et n'écrivaient qu'en anglais.

Selon les données sociodémographiques étudiées, aucune différence statistiquement significative n'a été remarquée entre les groupes expérimental et témoin. Suivant les niveaux de risque établis par l'équipe d'évaluation, la majorité des participants au programme TND (68 %) étaient considérés comme présentant un risque faible, tandis que 21 % étaient considérés comme présentant un risque moyen, et 11 %, un risque élevé.

Le groupe témoin présentait un profil de risque semblable : la majorité des membres (69 %) étaient jugés à risque faible, tandis que 17 % étaient jugés à risque moyen, et 14 %, à risque élevé (voir le tableau 1). Les résultats du test du chi carré ont confirmé que les groupes expérimental et témoin étaient semblables, les écarts étant probablement attribuables à l'intervention et non à la prédisposition des jeunes.

Tableau 1 : Caractéristiques des participants au programme TND et des membres du groupe témoin
Caractéristiques Participants au programme TND
(n = 1 917)
Membres du groupe témoin
(n = 309)
Âge (moyen) au début 14,2 ans 14,3 ans
Sexe
Masculin 48 % 53 %
Féminin 52 % 47 %
Composante du programme
Scolaire 96 % 100 %
Communautaire 4 % 0 %
Profil de risque*
Risque faible 68 % 69 %
Risque moyen 21 % 17 %
Risque élevé 11 % 14 %

*Risque faible : aucune consommation d'alcool ou de drogues, aucun port d'armes antérieur, aucun démêlé antérieur avec la justice
Risque moyen : consommation occasionnelle ou modérée de marijuana ou d'alcool
Risque élevé : consommation élevée de marijuana ou d'alcool, consommation de drogues dures, port d'armes occasionnel, démêlés antérieurs avec le système de justice pénale

Objectifs de l'évaluation

Le SNPC a attribué un contrat à l'entreprise Goss Gilroy pour qu'elle effectue une évaluation des impacts du programme TND. Cette évaluation, d'une valeur de 197 412 $, a commencé en 2010 et a pris fin en 2014.

Les objectifs de l'évaluation étaient les suivants :

Méthode d'évaluation

L'évaluation de la composante scolaire du programme reposait sur un devis quasi-expérimental à mesures répétées d'analyse comparative entre les groupes. Les jeunes du groupe témoin provenaient de classes qui n'avaient pas participé au programme TND pendant le semestre. Dans le cadre de l'application du devis à mesures répétées d'analyse au sein du groupe, les participants ont rempli des questionnaires d'autoévaluation à quatre étapes : avant l'intervention (T1); immédiatement après l'intervention (T2); 6 mois après l'intervention (T3); et 12 mois après l'intervention (T4). Le travail acharné de la conseillère principale en évaluation du CNPC et de l'équipe d'évaluation a permis d'élaborer des stratégies novatrices afin de conserver le groupe témoin suffisamment longtemps pour prendre les mesures nécessaires à l'analyse comparative entre les groupes aux périodes de suivi de 6 et 12 mois après l'interventionFootnote 4. Les interactions entre le moment et le groupe (groupe X moment) constituaient les facteurs clés permettant de déterminer si le programme a influencé les effets. Ces interactions seront illustrées à l'aide de tableaux dans le présent rapport.

Pour la composante communautaire, les évaluateurs ont utilisé un devis à mesures répétées d'analyse au sein du groupe, qui ressemble au devis utilisé pour la composante scolaire, mais sans groupe témoin. Ce type de devis permet d'éprouver les changements au sein du groupe cible avant le début du programme et à différents points de suivi après la fin de l'intervention.

Les analyses quantitatives faisaient notamment appel à des fréquences descriptives, à des tableaux croisés (chi carré) et à des analyses multivariables (analyses de la varianceFootnote 5), afin de cerner les différences importantes entre le groupe expérimental et le groupe témoin, entre les sous-groupes (p. ex. sexe, niveau de risque) et dans le temps (p. ex. prétest, post-test, points de suivi) relativement aux principales variables d'effets.

Les analyses qualitatives des données recueillies auprès des groupes de discussion et des principaux informateurs interrogés ont pris la forme d'analyses du contenu visant à cerner les tendances communes dans les réponses.

Dans les tableaux du présent rapport, les effets d'interaction (dernière colonne) déterminent s'il y a des différences statistiquement significatives dans les changements d'une période à l'autre entre les groupes expérimental et témoin. La colonne Participants au programme TND indique les changements au sein du groupe expérimental dans son ensembleFootnote 6, ainsi que selon le niveau de risque et le sexe (sous-groupes).

Limites de l'évaluation

Les principales limites cernées pour l'évaluation sont le nombre moins élevé que prévu de participants, la faible proportion de ces jeunes ayant obtenu l'autorisation de participer à l'évaluation et, en conséquence, le manque de données de suivi attribuable au fait que les jeunes n'avaient pas obtenu le consentement de leurs parents pour participer aux enquêtes de suivi. Par exemple, des quelque 1 800 jeunes ayant participé aux séances en classe avant et après l'intervention, moins de la moitié (n = 765) avaient obtenu le consentement de leurs parents pour répondre aux questions de suivi de l'équipe d'évaluation 6 et 12 mois après l'intervention. Si l'on rajoute des taux de réponse d'environ 35 % aux enquêtes de suivi, il est possible de conclure que certains résultats ont probablement été faussés.

En outre, le recrutement des membres du groupe témoin s'est fait plutôt lentement au départ, avec seulement quelques classes participantes. Cependant, le nombre de membres a augmenté grâce aux améliorations apportées à l'étude d'évaluation au cours des deux dernières années. Le faible nombre de cas de comparaison par rapport aux participants au programme TND a compromis l'efficacité statistique des analyses.

L'étude était également limitée par l'évaluation du niveau de risque des participants et le classement de ces risques. Comme l'application de l'outil d'évaluation des risques initialement choisi pour le programme TND demandait du temps, une autre méthode d'évaluation des risques a été conçue et appliquée. L'analyse des données a toutefois révélé un nombre restreint de participants considérés comme présentant un risque élevé, de même qu'un faible écart dans les éléments d'analyse factorielle visant à déterminer la validité conceptuelle.

L'équipe d'évaluation a eu de la difficulté à recueillir des renseignements personnels au sujet de l'assiduité, des suspensions, des expulsions et des démêlés avec la justice (p. ex. casiers judiciaires, dossiers judiciaires). Les autoévaluations constituaient donc sa seule source de données. Le manque d'accès aux données de sources externes limitait la mesure dans laquelle elle pouvait évaluer certains effets à long terme, comme la diminution des comportements antisociaux menant à des suspensions et à des expulsions, ainsi que la réduction des comportements criminels.

Le degré de fidélité au contenu est resté élevé pendant toute la durée du programme : le contenu et la durée des séances étaient les mêmes et respectaient les exigences du programme pour tous les cours. Par contre, le nombre de cours et leur fréquence n'étaient pas conformes aux exigences du développeur du modèleFootnote 7. Pour s'adapter au contexte de l'enseignement au Canada, qui compte des périodes plus longues (90 minutes au lieu de 45 ou 50 minutes) et des blocs d'apprentissage (enseignement intensif d'une matière sur une courte période, à raison de cinq cours par semaine au lieu d'un seul), on a ajusté le programme en fonction des différences structurales au cours des deuxième et troisième années. L'équipe d'évaluation a été en mesure de déterminer si la modification des exigences liées à la fidélité a eu une incidence sur les effets mesurés : aucune différence n'a été observée dans les effets entre le groupe auquel les exigences de fidélité du développeur ont été appliquées et le groupe pour qui ces exigences ont été adaptées à la structure scolaire canadienneFootnote 8.

Méthodes de collecte des données

Les données ayant servi à l'évaluation provenaient des questionnaires du développeur du modèle qui ont été remplis en personne et en ligne. Des méthodes complémentaires ont été utilisées, dont des groupes de discussion formés de participants de la composante scolaire du programme et des entrevues avec les principaux intervenants du programme : des enseignants, des directeurs d'école, un représentant de chaque conseil scolaire et des partenaires communautaires.

Effets mesurés

Les évaluateurs ont mesuré la capacité du programme d'approfondir les connaissances des participants sur les conséquences du tabagisme et de la toxicomanie, ainsi que sa capacité d'améliorer les aptitudes sociales des participants et leurs compétences en matière de prise de décisions, de maîtrise de soi et d'adaptation. Ils ont aussi évalué la capacité du programme de réduire les facteurs de risque associés aux crimes liés à la consommation de tabac, de drogues dures et d'alcool, au port d'armes et à la victimisation.

Constatations tirées de l'évaluation des impacts

Les constatations liées aux effets attendus se résument au fait qu'environ six mois après avoir participé au programme TND, les jeunes obtenaient bien souvent des résultats semblables à ceux des membres du groupe témoin. Cette observation révèle que la participation au programme TND a une influence limitée sur les compétences et les comportements attendus six mois après le programme. Les participants au programme TND ont tout de même continué à obtenir de meilleurs résultats de test que les membres du groupe témoin au chapitre des connaissances, ce qui montre que la participation au programme a contribué à l'amélioration des connaissances. Malheureusement, cette amélioration ne semble pas s'être répercutée sur les plans des compétences et des comportements.

Tableau 2 : Résumé des constatations liées aux effets attendus
Effet attendu Résultat après comparaison entre le groupe TND et le groupe témoinFootnote 9 (intervalle entre le prétest et le suivi de 6 moisFootnote 10)
Moyenne des résultats de test pour les questions sur les connaissances Favorable
Aucune consommation ou aucune augmentation de la consommation de tabac, d'alcool ou de drogues Aucun changement
Arrêt ou diminution de la consommation de tabac, d'alcool ou de drogues Aucun changement
Connaissance d'activités à faire entre amis autres que la consommation de drogues Aucun changement
Offre d'aide aux membres de la famille pour qu'ils arrêtent de consommer de la drogue ou qu'ils ne commencent pas à en consommer Aucun changement
Réduction de la consommation de tabac Aucun changement
Réduction de la consommation d'alcool Aucun changement
Réduction de la consommation de marijuana Aucun changement
Réduction de la consommation de cocaïne Aucun changement
Réduction de la consommation d'hallucinogènes Aucun changement
Réduction de la consommation d'inhalants Aucun changement
Réduction de la consommation de stimulants Défavorable
Réduction de la consommation d'analgésiques Aucun changement
Réduction de la consommation d'autres substances Aucun changement
Réduction du port d'armes Aucun changement

Changement favorable : Les résultats montrent un changement statistiquement significatif en faveur des participants au programme TND.

Aucun changement : Les résultats ne montrent aucun changement dans les effets mesurés avant et après l'intervention, ou après la comparaison entre les groupes.

Changement défavorable : Les résultats montrent un changement plus favorable pour les membres du groupe témoinFootnote 11.

Remarque : Il se peut que les changements indiqués dans d'autres tableaux du présent rapport soient différents, car les résultats présentés dans ces tableaux concernent toutes les étapes de l'évaluation et sont triés par sexe et niveau de risque.

Connaissances

Les résultats révèlent que les connaissances des participants au programme TND sur les conséquences de la consommation d'alcool, de tabac et de drogues ont augmenté considérablement grâce à la participation au programme. Cette tendance était nettement plus forte que chez les membres du groupe témoin, qui n'ont pas participé au programmeFootnote 12. De plus, l'augmentation des connaissances s'est maintenue 6Footnote 13 et 12Footnote 14 mois après la fin de l'intervention (voir le tableau 3). Ces constatations sont corroborées par les propos recueillis dans le cadre des groupes de discussion avec les participants au programme TND et des entrevues avec les principaux intervenants du programme, ce qui permet de conclure que la participation au programme a accru les connaissances des participants sur les drogues et les statistiques à leur sujet. Même si des connaissances accrues ont été constatées dans les trois profils de risque des participants au programme TND, la quantité réelle de connaissances était, selon les résultats des tests, inférieure chez les participants à risque élevé et de sexe masculin.

Tableau 3 : Résumé des constatations liées aux effets sur le plan des connaissancesFootnote 15
Effets à court terme Participants au programme TND Changements par rapport au groupe témoin (effets d'interaction)
Comparaison au sein du groupe TND Sous-groupe Groupe X momentFootnote 16
Effet
Indicateur
Avant et après Avant et 6 mois après Avant et 12 mois après Niveaux de risque Sexe Avant et après Avant et 6 mois après Avant et 12 mois après
Connaissances accrues
Moyenne des résultats liés aux connaissances

X
Résultats supérieurs

X
Résultats supérieurs

X
Résultats supérieurs

X
Risque élevé : résultats inférieurs

X
Filles : résultats supérieurs

X
Groupe TND : augmentation plus importante des résultats entre le prétest et le post-test

X
Groupe TND : augmentation plus importante des résultats entre le prétest et le post-test

X
Groupe TND : augmentation plus importante des résultats entre le prétest et le post-test

La lettre « X » indique un changement important entre le groupe TND et le groupe témoin au seuil de signification de p < 0,05.

Attitudes et compétences

Au cours de la période d'intervalle entre le prétest et le post-test, les participants au programme TND ont affirmé qu'ils étaient plus susceptibles, à court terme, d'appliquer les leçons apprises à l'école pour bien se comporter dans des contextes sociaux, prendre des décisions, se maîtriser et s'adapter. Cette tendance à court terme était nettement plus forte que chez les membres du groupe témoin, qui n'ont pas participé au programme (voir le tableau 4). Cette amélioration autodéclarée des compétences chez les participants au programme TND ne s'est toutefois pas maintenue 6 et 12 mois après l'intervention. Les quatre mesures liées aux compétences font état d'une baisse de la probabilité qu'un élève puisse utiliser les leçons apprises à l'école pour éviter de consommer de l'alcool, du tabac ou des drogues ou ne pas en consommer davantage; pour cesser ou réduire sa consommation; pour connaître des activités à faire entre amis autres que la consommation de drogues; ou pour aider les membres de sa famille à arrêter de consommer de la drogue ou à ne pas commencer à en consommer. Cette baisse de probabilité n'est pas très différente des changements déclarés par le groupe témoin au chapitre des compétences.

Pour les quatre mesures liées aux compétences, les participants considérés comme présentant un risque élevé ont déclaré qu'ils seraient probablement moins en mesure d'utiliser les leçons apprises à l'école pour bien se comporter dans des contextes sociaux, prendre des décisions, se maîtriser et s'adapter. Pour trois des domaines de compétences, les participants de sexe féminin semblaient avoir plus confiance que les participants de sexe masculin en leur capacité à appliquer les leçons retenues à diverses situations, par exemple pour arrêter ou diminuer leur consommation, pour connaître des activités à faire entre amis autres que la consommation de drogues, et pour aider les membres de leur famille à arrêter de consommer de la drogue ou à ne pas commencer à en consommer.

Tableau 4 : Résumé des constatations liées aux effets sur le plan des attitudes et des compétences
Effets à court terme Participants au programme TND Changements par rapport au groupe témoin (effets d'interaction)
Comparaison au sein du groupe TND Sous-groupe Groupe X moment
Effet
Indicateur
Avant et après Avant et 6 mois après Avant et 12 mois après Niveaux de risque Sexe Avant et après Avant et 6 mois après Avant et 12 mois après
Compétences accrues
Probabilité d'utiliser les leçons apprises pour :

Éviter de consommer de l'alcool, du tabac ou des drogues ou ne pas en consommer davantage

X
Compétences accrues

X
Compétences diminuées
(imprévu)

X
Compétences diminuées
(imprévu)

X
Risque élevé : changement le plus positif chez les jeunes aux compétences inférieures

X
Groupe TND : Augmentation plus importante entre le prétest et le post-testFootnote 17

Arrêter ou diminuer la consommation de tabac, d'alcool ou de drogues

X
Compétences accrues

X
Compétences diminuées
(imprévu)

X
Compétences diminuées
(imprévu)

X
Risque élevé : compétences inférieures à celles déclarées par les participants à risque faible et moyen

X
Filles : compétences supérieures

X
Groupe TND : Augmentation plus importante entre le prétest et le post-testFootnote 18

Connaître des activités à faire entre amis autres que la consommation de drogues

X
Compétences diminuées
(imprévu)

X
Compétences diminuées
(imprévu)

X
Risque élevé : compétences inférieures à celles déclarées par les participants à risque faible et moyen

X
Filles : compétences supérieures

Aider les membres de la famille à arrêter de consommer de la drogue ou à ne pas commencer à en consommer

X
Compétences accrues

X
Compétences diminuées
(imprévu)

X
Compétences diminuées
(imprévu)

X
Risque élevé : compétences inférieures à celles déclarées par les participants à risque faible et moyen

X
Filles : compétences supérieures

X
Groupe TND : Augmentation plus importante entre le prétest et le post-testFootnote 19

La lettre « X » indique un changement important entre le groupe TND et le groupe témoin au seuil de signification de p < 0,05.

Remarque : Les zones grises indiquent un changement positif probablement attribuable au programme TND. Les autres zones fournissent de l'information sur les changements déclarés par les participants au programme TND, qui peuvent toutefois ressembler à ceux observés au sein du groupe témoin.

Comportements

Consommation de tabac

Les participants au programme TND ont déclaré avoir consommé plus de tabac en 30 jours pendant l'intervalle entre le prétest et le post-test (voir le tableau 5). Cette augmentation n'était pas statistiquement très différente des changements déclarés par le groupe témoin quant à la consommation de tabac. De plus, aucune différence statistiquement significative n'a été remarquée entre les participants au programme TND et les membres du groupe témoin aux points de suivi de 6 et 12 mois. Les participants qui présentaient un risque moyen ou élevé étaient plus susceptibles de consommer du tabac, et ont effectivement affiché la consommation accrue la plus élevée au cours de la période d'intervalleFootnote 20. Les garçons étaient également plus susceptibles de consommer du tabac et ont affiché la consommation accrue la plus élevée au cours de cette périodeFootnote 21.

Il est important de mentionner que les participants au programme TND et les membres du groupe témoin ont changé d'environnement entre la huitième et la neuvième année. Il est possible que le passage d'une école intermédiaire à une école secondaire ait contribué à une augmentation de la consommation en raison d'une exposition et d'un accès accrus au tabac.

Tableau 5 : Résumé des constatations liées à la consommation de tabac
Effets à court terme Participants au programme TND Changements par rapport au groupe témoin (effets d'interaction)
Comparaison au sein du groupe TND Sous-groupe Groupe X moment
Effet
Indicateur
Avant et après Avant et 6 mois après Avant et 12 mois après Niveaux de risque Sexe Avant et après Avant et 6 mois après Avant et 12 mois après
Réduction de la consommation de tabac

Consommation de tabac en 30 jours

X
Consommation accrue (imprévu)

X
Risque élevé : consommation accrue la plus élevée (imprévu)

X
Garçons : consommation accrue la plus élevée

Consommation d'alcool, de marijuana et d'autres substances

Des effets négatifs imprévus ont été obtenus quant à la consommation d'alcool, de marijuana et de stimulants. Au cours de la période d'intervalle entre le prétest et le post-test, on a constaté, chez les participants au programme TND, une augmentation de la consommation d'alcool et de marijuana en 30 jours. Cette augmentation à court terme n'était pas statistiquement très différente des données sur la consommation d'alcool et de marijuana en 30 jours recueillies auprès du groupe témoin. Cependant, au suivi de 12 mois, les participants au programme TND consommaient davantage de marijuana par comparaison aux membres du groupe témoin, dont la consommation avait diminuéFootnote 22. Cela dit, les données du suivi de 12 mois proviennent d'un échantillon relativement petit du groupe témoin.

En outre, aux suivis de 6 et 12 mois, on a observé une augmentation statistiquement significative de la consommation de stimulants chez les participants au programme TND comparativement au groupe témoin. Les garçons étaient plus susceptibles de consommer de la marijuana et ont affiché la consommation accrue la plus élevée au cours de cette période. Les participants qui présentaient un risque élevé étaient plus susceptibles de consommer tous les types de substances, et ils ont effectivement affiché la consommation accrue la plus élevée au cours de la période d'intervalle.

Tableau 6 : Résumé des constatations liées à la consommation d'alcool, de marijuana et d'autres substances
Effets à court terme Participants au programme TND Effets d'interaction par rapport au groupe témoin
Comparaison au sein du groupe TND Sous-groupe Groupe X moment
Effet
Indicateur
Avant et après Avant et 6 mois après Avant et 12 mois après Niveaux de risque Sexe Avant et après Avant et 6 mois après Avant et 12 mois après
Réduction de la consommation de drogues dures et d'autres substances

Consommation d'alcool en 30 jours

X
Consommation accrue
(imprévu)

(Diminution non statistiquement significative de la consommation)

X
Risque élevé : consommation accrue la plus élevée
Risque moyen : consommation accrue la plus élevée
(imprévu)

Consommation de marijuana en 30 jours

X
Consommation accrue
(imprévu)

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

X
Garçons :
consommation accrue la plus élevée

X
Groupe TND : diminution moins importante que le groupe témoin (imprévu)

Consommation de cocaïne en 30 jours

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

Consommation d'hallucinogènes en 30 jours

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

Consommation d'inhalants en 30 jours

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

Consommation de stimulants en 30 jours

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

X
Groupe TND : diminution moins importante que le groupe témoin
(imprévu)

X
Groupe TND : diminution moins importante que le groupe témoin
(imprévu)

Consommation d'analgésiques en 30 jours
(**Attention : mauvaise interprétation possible
)

X
Risque élevé : consommation accrue la plus élevée
(*mauvaise interprétation possible)

X
Filles : consommation la plus élevée
Garçons : consommation accrue
(*mauvaise interprétation possible)

Consommation d'autres substances en 30 jours

X
Risque élevé : consommation accrue la plus élevée
(imprévu)

Dans le cadre des groupes de discussion, plusieurs participants au programme TND ont dit ne pas avoir modifié leurs comportements à la suite de leur participation au programme, car ils n'avaient jamais consommé de drogues ni envisagé d'en consommer avant le programme. La plupart des participants ont affirmé que, même sans avoir suivi le programme, ils auraient refusé de prendre des drogues telles que la marijuana si on leur en avait offert.

Réduction du port d'armes et de la victimisation

Les participants au programme TND et les membres du groupe témoin ont autodéclaré que l'incidence du port d'armes était très peu élevée dans l'ensemble. Dans l'analyse initiale de la période d'intervalle entre le prétest et le post-test, l'augmentation du port du couteau n'était pas la même chez les participants au programme et chez les membres du groupe témoinFootnote 23. Six mois après le programme, aucune différence significative n'a été constatée entre le groupe expérimental et le groupe témoin. Au suivi de 12 mois, la diminution du port du couteau était plus importante chez le groupe témoinFootnote 24. Rappelons que les données du suivi de 12 mois proviennent d'un échantillon relativement petit du groupe témoin.

Les garçons et les participants au programme TND présentant un risque élevé étaient plus susceptibles de déclarer qu'ils portaient un couteau ou une arme à feu. De plus, les participants à risque élevé étaient plus susceptibles de déclarer une diminution de leur port du couteau au cours de la période d'intervalle.

Chez les participants au programme TND, on a constaté une importante réduction de la victimisation aux trois points de suivi en ce qui concerne le fait d'être blessé volontairement sans l'aide d'une arme. Six et douze mois après l'intervention, on a également constaté une diminution chez les participants au programme en ce qui a trait au fait d'être victime d'un vol ou d'un bris volontaire de biens. Toutefois, aucun de ces changements ne constituait une différence significative par rapport aux changements observés au sein du groupe témoin. Au suivi de 12 mois, les participants au programme TND n'ont déclaré aucun changement quant au fait d'être menacé à l'aide d'une arme sans être blessé, tandis que le groupe témoin a connu une diminution à ce chapitreFootnote 25.

C'est en ce qui concerne le fait d'être blessé volontairement sans l'aide d'une arme que les participants présentant un risque moyen ont connu la plus grande réduction entre le prétest et le post-test. Les participants à risque élevé ont déclaré avoir été blessés à l'aide d'une arme beaucoup plus souvent après le programme. Ils étaient les plus susceptibles de déclarer avoir subi les quatre aspects de la victimisation, notamment le fait d'être blessé, d'être menacé ou d'être victime d'un vol. Les garçons étaient plus susceptibles que les filles d'avoir été blessés à l'aide d'une arme et menacés à l'aide d'une arme sans être blessés.

Tableau 7 : Résumé des constatations liées au port d'armes et à la victimisation
Effets à court terme Participants au programme TND Effets d'interaction liés au groupe témoin
Comparaison au sein du groupe TND Sous-groupe Groupe X moment
Effet
Indicateur
Avant et après Avant et 6 mois après Avant et 12 mois après Niveaux de risque Sexe Avant et après Avant et 6 mois après Avant et 12 mois après
Réduction du port d'armes

Port du couteau au cours des 12 derniers mois

X
Risque élevé : probabilité accrue et réduction plus importante

X
Garçons : probabilité accrue

X
Groupe TND : augmentation moins importante que le groupe témoin

X
Groupe TND : réduction moins importante que le groupe témoin
(imprévu)

Port d'une arme à feu au cours des 12 derniers mois

X
Risque élevé : probabilité accrue

X
Garçons : probabilité accrue

Réduction de la victimisation

Être blessé volontairement sans l'aide d'une arme au cours des 12 derniers mois

X
Réduction

X
Réduction

X
Réduction

X
Risque élevé : probabilité accrue
Risque moyen : réduction plus importante

Être menacé à l'aide d'une arme sans être blessé au cours des 12 derniers mois

X
Risque élevé : probabilité accrue

X
Garçons : probabilité accrue

X
Groupe TND : réduction moins importante que le groupe témoin
(imprévu)

X
Groupe TND :
réduction moins importante que le groupe témoin (imprévu)

Être blessé à l'aide d'une arme au cours des 12 derniers mois

X
Risque élevé : probabilité accrue et augmentation plus importante

X
Garçons : probabilité accrue

Être victime d'un vol ou d'un bris volontaire de biens au cours des 12 derniers mois

X
Réduction

X
Réduction

X
Risque élevé : probabilité accrue

Analyse coût-efficacité

Pendant l'évaluation provisoire du programme TND, on a remarqué des différences statistiquement significatives entre les participants au programme et les membres du groupe témoin qui justifiaient une analyse coût-efficacité.

Le coût moyen par participant au programme TND était de 544 $, si l'on tient compte des contributions du SNPC et des contributions en nature de la Société John Howard. Certaines contributions en nature ne sont pas incluses dans le calcul, comme les contributions en nature des écoles accueillant le programme TND telles que l'accès aux salles de classe et le temps consacré par le personnel à préparer la venue des facilitateurs du programme en classe. Soulignons que le coût par participant a été calculé à la fois pour les participants des composantes scolaire et communautaire du programme, les données financières de chaque groupe ayant été traitées ensemble. Les coûts n'ont donc pas pu être analysés séparément pour chaque composante.

L'effet différentiel le plus important est l'augmentation des connaissances au sujet des conséquences de la consommation de tabac, d'alcool et de drogues. Selon les analyses coût-efficacité, un gain différentiel de 25 % dans les connaissances coûte 544 $ par élève, ou 135 $ par point de connaissance. En théorie, si l'on prend en considération les constatations tirées d'autres études publiées sur le programme TND et le modèle logique du programme, on peut supposer que ces connaissances supplémentaires devraient, au bout d'un certain temps, contribuer à une réduction de 7 à 50 % (selon la substance et l'étude) de la consommation d'alcool, de tabac, de marijuana et de drogues dures, comparativement aux jeunes qui n'ont pas participé au programme. Les résultats de l'analyse finale soulèvent des doutes quant à la mesure dans laquelle le gain de connaissances a permis de réduire la consommation abusive de substances. Selon ces estimations et les profils de risque des jeunes participants au programme TND, il en coûterait entre 11 000 $ (estimation optimiste de l'impact) et plus de 54 000 $ (estimation prudente de l'impact) pour réduire la consommation de drogues et d'alcool au cours d'une vieFootnote 26.

Le présent rapport ne fait état d'aucun changement différentiel soutenu dans les mesures des effets outre les résultats aux tests de connaissances. Le programme TND n'a eu aucun impact démontrable à long terme (six mois et plus après l'intervention) sur l'amélioration des compétences ni sur la réduction de la consommation de substances, du port d'armes ou de la victimisation. Par conséquent, l'analyse des coûts permet de conclure globalement que les gains différentiels dans les connaissances des participants au programme ne semblent pas se traduire par des gains différentiels dans les autres effets.

Défis et leçons retenues

Bien que les élèves qui ont participé au programme se soient généralement dit très satisfaits, certains d'entre eux ont suggéré des améliorations au programme, par exemple donner davantage d'information sur des sujets comme la consommation d'alcool, le port d'armes, la pression exercée par les pairs et le stress causé par les drogues; mettre l'accent sur la nature interactive de l'enseignement; et accorder davantage d'attention aux types de substances qu'ils jugent prioritaires, comme l'alcool et la marijuana. Ce désir de prioriser l'alcool et la marijuana a été confirmé par les principaux intervenants rencontrés. Les intervenants ont aussi souligné la pertinence de faire passer le nombre de séances de 12 à 8 pour adapter le programme aux périodes d'enseignement prolongées du système scolaire ontarien, d'autant plus que la qualité et la quantité de la matière ont été maintenues.

Les principales difficultés rencontrées dans le cadre de l'évaluation concernaient la formation d'un groupe témoin convenable et les taux de consentement des participants au programme TND. Par conséquent, on retient les principales leçons suivantes sur l'élaboration et la mise en œuvre d'une évaluation de ce type : 1. souligner l'importance d'un groupe témoin convenable dans la réalisation d'une évaluation rigoureuse; 2. envisager de rendre la participation à l'intervention conditionnelle à la participation à l'évaluation; 3. réaliser une étude avant la mise en œuvre d'une intervention particulière pour en évaluer la demande; 4. faire inclure dans l'accord de contributionFootnote 27 un soutien à l'égard du recrutement d'un nombre suffisant de jeunes pour le programme TND et le groupe témoin en vue de l'étude d'évaluation.

Étant donné le manque de répercussions différentielles démontrées sur les effets ciblés par le programme TND dans le contexte donné, il faut faire montre de prudence avant d'élargir ou de renforcer l'application du programme en milieu canadien. L'évaluation des impacts n'a pas permis de faire la preuve que la participation au programme TND a un impact différentiel important sur les principaux effets attendus. Bien que les élèves, les facilitateurs et les intervenants se soient dit très satisfaits, il faudrait sûrement adapter ou modifier davantage le programme pour qu'il ait l'incidence souhaitée sur les jeunes Canadiens.

Comme la prévention de la toxicomanie est essentielle à la réduction de la criminalité, on pourrait adapter le programme notamment en incluant une intervention auprès des jeunes à risque élevé qui ne vont pas à l'école ou qui fréquentent des écoles alternativesFootnote 28. En priorisant la prévention secondaire, on s'assure que les ressources sont destinées aux personnes qui doivent modifier leurs habitudes de consommation de substances. Étant donné le faible risque que présentent les écoles dans la présente étude, on ne constaterait aucun changement substantiel dans la population à faible risque visée même si le programme était efficace. Pour que les interventions en matière de toxicomanie au Canada puissent être davantage fondées sur des données probantes, il faut adapter le programme aux besoins particuliers des jeunes à risque élevé tout en modifiant les outils d'enquête élaborés par le développeur du modèle.

Références

Dent, C.W., S. Sussman et A.W. Stacey. « Project towards no drug abuse: Generalizability to a general high school sample », Preventive Medicine, vol. 32, 2001, p. 514-520.

Sussman, S. « Development of a school-based drug abuse prevention curriculum for high-risk youths », Journal of Psychoactive Drugs, vol. 28, 1996, p. 169-182.

GGIFootnote 29 Towards No Drug Abuse (TND) Impact Evaluation: Final Report, 2014.

Smith-Moncrieffe, D. Using a Fidelity Index to Increase Program Attribution, Société canadienne d'évaluation, 2010.

Smith-Moncrieffe, D. Résultats du projet Towards No Drug Abuse [en ligne], 2014, [http://www.securitepublique.gc.ca/cnt/rsrcs/pblctns/rslts-twrds-ndrg-bs/index-fra.aspx].

Notes

  1. 1

    http://tnd.usc.edu/about.php

  2. 2

    Résumé des résultats : http://tnd.usc.edu/files/TND_TRIALS_SUMMARY_FOR_WEBSITE_Revised_LR.pdf

  3. 3

    Les engagements personnels concernant la consommation de drogues sont évalués à l'aide des questions 40 à 44 de l'enquête. Ils sont déclarés comme des compétences.

  4. 4

    En raison de sa nature dans un contexte de financement fédéral, l'accord de contribution est conçu pour mettre l'accent sur la participation à l'intervention, ce qui nuit souvent aux efforts de recrutement de jeunes au profil de risque et aux besoins similaires en vue de leur participation à un groupe témoin à des fins de recherche.

  5. 5

    L'analyse de la variance est une méthode statistique servant à analyser les différences entre les moyennes de groupe et les procédures connexes (comme la « variation » parmi et entre les groupes).

  6. 6

    Cette technique d'analyse de la variance demeure importante pour obtenir une vue d'ensemble des changements dans le groupe expérimental.

  7. 7

    Selon le développeur du programme TND, celui-ci devrait comprendre 12 séances en classe de 40 à 50 minutes chacune mises en œuvre sur une période de quatre semaines, à raison de trois séances par semaine. Pour en savoir plus : http://tnd.usc.edu/about.php.

  8. 8

    Cette évaluation a été possible grâce aux données accessibles pour une année pendant laquelle les exigences initiales liées à la fidélité ont été appliquées.

  9. 9

    Si la participation au programme TND a eu une incidence positive sur les effets attendus comparativement au groupe témoin, cette colonne devrait indiquer un changement favorable. Par exemple, même si les compétences des participants au programme TND semblent avoir diminué (changement défavorable dans la première colonne), cette diminution a aussi été observée au sein du groupe témoin au cours de la même période (aucun changement dans la deuxième colonne). On peut donc en déduire que la participation au programme TND n'a eu aucune incidence (positive ou négative) sur les compétences.

  10. 10

    Puisque les données du suivi de 12 mois proviennent d'un échantillon relativement petit du groupe témoin, elles ne figurent pas au tableau.

  11. 11

    Dans ce cas, la réduction observée chez les participants au programme TND était moins importante que chez les membres du groupe témoin, ce qui révèle que l'intervention n'a pas aidé les participants au programme à réduire leur consommation de stimulants.

  12. 12

    F=323,52; p<0,001

  13. 13

    F=8,64; p<0,01

  14. 14

    F=5,95; p<0,05

  15. 15

    La lettre « X » indique un changement important au seuil de signification d'au moins p < 0,05.

  16. 16

    L'interaction entre le moment et le groupe indique une différence significative dans le taux de changement avant et après l'intervention entre les participants au programme TND et les membres du groupe témoin. L'absence d'interaction statistiquement significative entre le moment et le groupe signifie que le programme TND n'a eu aucune incidence différentielle sur les participants.

  17. 17

    F=17,32; p<0,001

  18. 18

    F=7,97; p<0,01

  19. 19

    F=5,83; p<0,05

  20. 20

    F=12,37; p<0,001

  21. 21

    F=17,90; p<0,001

  22. 22

    F=6,83; p<0,01

  23. 23

    F=4,74; p<0,05

  24. 24

    F=6,31; p<0,05

  25. 25

    F=4,71; p<0,05

  26. 26

    Ces chiffres ne tiennent pas compte des effets négatifs imprévus décrits dans le présent rapport (p. ex. consommation accrue de marijuana chez les participants au programme TND par comparaison à la diminution de la consommation observée chez le groupe témoin au suivi de 12 mois).

  27. 27

    L'accord de contribution est le véhicule de financement de l'intervention. L'évaluation des impacts est financée séparément et n'a souvent que peu d'influence sur les exigences d'évaluation appliquées au groupe témoin.

  28. 28

    Les écoles alternatives comptent souvent une proportion supérieure de jeunes à risque.

  29. 29

    La responsable technique et gestionnaire du contrat, Donna Smith-Moncrieffe, CNPC, Division des politiques, de la recherche et de l'évaluation, a géré l'évaluation. L'entreprise Goss Gilroy Inc. a été embauchée par Sécurité publique Canada pour mener l'évaluation.

Date de modification :