Résultats du programme Thérapie multisystémiqueNote de bas de page 1
Introduction
Le programme Thérapie multisystémique (TMS) est un programme de prévention fondé sur des connaissances très utilisé qui vise à réduire le comportement antisocial et la récidive chez les jeunes à risque (Henggeler et coll., 2009). Le programme a vu le jour aux États-Unis au milieu des années 70, lorsque Scott Henggeler a été embauché par le ministère de la Pédiatrie de l'État de Virginie pour travailler avec quelques-uns des cas les plus difficiles. M. Henggeler a décidé qu'au lieu de faire suivre une thérapie aux jeunes en clinique, il serait plus efficace de réaliser une intervention directement dans le contexte de la vie des clients, soit chez eux, à leur école et aux endroits où ils passent leur temps libre. Après plusieurs années d'étude et de développement, TMS Services a été formé en 1996 pour faire connaître l'intervention à plus grande échelle, octroyer des licences et offrir de l'aide pour le démarrage et la formation, ainsi que pour fournir un soutien continu en matière d'assistance technique et d'assurance de la qualité.
En avril 2010, la Agincourt Community Services Association (ACSA), financée par le Centre national de prévention du crime (CNPC), a commencé à mettre en œuvre le programme TMS afin de s'attaquer aux comportements agressifs et socialement inacceptables chez les jeunes à risque dans le district de Scarborough, à Toronto, en Ontario. Le principal objectif du programme consistait à éviter à ces jeunes d'avoir des démêlés initiaux ou subséquents avec le système de justice pénale. À ce jour, le CNPC a versé environ deux millions de dollars pour financer le projet TMS de l'ACSA.
Au Canada, une évaluation de la mise en œuvre du programme TMS dans des sites multiples a été effectuée (London, Mississauga, comté de Simcoe et Ottawa) (Leschied et Cunningham, 2002), mais aucun impact du programme sur le comportement délinquant n'a été cerné. Contrairement à de nombreuses évaluations du programme TMS effectuées aux États-Unis et ailleurs (Henggeler et coll., 2009), les résultats finaux de l'étude canadienne n'ont montré aucune différence statistiquement significative entre les participants et les non-participants au programme en ce qui concerne les principaux impacts relatifs au système de justice pénale, comme le nombre de déclarations de culpabilité et de jours de détention. Par conséquent, il est nécessaire d'évaluer davantage les projets TMS mis en œuvre dans le contexte canadien afin d'obtenir plus de preuves quant à l'efficacité du programme.
Le présent sommaire fait un bilan de l'évaluation des processus et de l'évaluation d'impacts du projet TMS de l'ACSA financé par le CNPCNote de bas de page 2. Ce dernier a attribué un contrat à une entreprise indépendante, Harry Cummings & Associates, Inc., pour qu'elle effectue l'évaluation d'impacts. L'étude d'évaluation, d'une valeur de 250 000 $, a été lancée en octobre 2010 et se terminera en avril 2014.
Description du programme
Le programme TMS est une intervention intensive à court terme d'une durée de trois à cinq mois, qui comprend environ 60 heures d'intervention individualisée pour chacun des jeunes participants. Il met l'accent sur l'écologie sociale des jeunes à risque, en mobilisant le jeune et sa famille afin de réduire les facteurs de risque et d'accroître les facteurs de protection en ce qui concerne les relations avec la famille, les pairs, l'école et la collectivité. Les thérapeutes du programme TMS travaillent de près avec les parents des jeunes afin de concevoir des stratégies pour favoriser et suivre les réussites des participants à la maison, à l'école et dans la collectivité. Les séances ont lieu au moins deux fois par semaine dans l'environnement naturel des jeunes, c'est-à-dire généralement dans le foyer familial. Les principales ressources gérant et exécutant le projet TMS de l'ACSA consistent en un superviseur, quatre thérapeutes, un commis aux données et un clinicien à l'admission/adjoint à la recherche.
Groupe cible
Le projet TMS de l'ACSA ciblait les jeunes âgés de 12 à 17 ans qui vivaient avec un principal fournisseur de soins dans les limites de Scarborough et qui remplissaient au moins un des critères suivants :
- risque imminent d'être placé à l'extérieur du foyer ;
- problèmes de délinquance, d'école buissonnière et de rendement scolaire (p. ex. expulsion ou décrochage scolaire, déclaration de culpabilité) ;
- comportement agressif non violent (p. ex. agression verbale et menaces) ;
- comportement violent entraînant des blessures ; et
- signes de consommation de substances dans le contexte des problèmes ci-dessus.
Les jeunes sont dirigés vers le programme par le Toronto Catholic District School Board (55 %), la Children's Aid Society (15 %), les parents (7,5 %) et d'autres sources (22,5 %). Au total, 58 jeunes remplissant au moins un des critères susmentionnés avaient été admis au programme en mars 2012, et un total prévu de 96 à 111 participants devraient avoir reçu des services dans le cadre du programme.
Objectifs de l'évaluation
Les objectifs de l'évaluation sont les suivants :
- évaluer dans quelle mesure le projet est mis en œuvre comme prévu ;
- déterminer si les résultats attendus ont été atteints, et si des résultats imprévus ont été obtenus ;
- fournir une analyse descriptive des coûts pour le projet et une analyse coût-efficacité des principaux résultats ;
- cerner les leçons retenues, en examinant ce qui a bien fonctionné et ce qui n'a pas bien fonctionné, et formuler des recommandations pour renforcer le projet afin d'aider tous ceux qui désirent mettre en œuvre ou soutenir une initiative de ce genre ultérieurement ; et
- évaluer dans quelle mesure le projet a été adapté de manière à répondre aux besoins des jeunes et de la collectivité.
Méthode d'évaluation
En raison de difficultés imprévues, l'approche méthodologique globale de l'évaluation a été modifiée depuis le début de l'étude. Au départ, les impacts du programme devaient être évalués à l'aide d'un devis « d'intervention différée » dans le cadre duquel les participants au programme seraient comparés à un groupe admissible de jeunes attendant de recevoir des services du projet TMS de l'ACSA. Toutefois, la tenue d'une longue liste d'attente s'est avérée incompatible avec la philosophie et les objectifs du programme TMS. En outre, il a été impossible de trouver un groupe de référence convenable au centre de l'ACSA ou dans la région élargie de Scarborough. Par conséquent, les jeunes qui n'ont pas terminé le programme serviront de groupe de référence. Actuellement, 28 jeunes ont terminé le programme, alors que douze l'ont quitté pour d'autres raisons (six ont dû partir pour manque de participation, trois ont été placés dans un milieu où l'accès était restreint et trois ont déménagé à l'extérieur de la région où le programme était mis en œuvre). Dans l'analyse finale, la modélisation statistique sera utilisée pour mesurer les différences entre les deux groupes (p. ex., caractéristiques démographiques des jeunes, antécédents de délinquance, rendement scolaire, caractéristiques de la famille) qui pourraient autrement confondre l'évaluation de l'impact du programme. Par ailleurs, la fidélité au programme (c.-à-d. le degré de conformité des thérapeutes aux principes du programme TMS) aidera à prédire les résultats du programme, ce qui atténuera l'absence d'un groupe de référence idéal permettant d'examiner l'efficacité du programme TMS.
Une analyse coût-efficacité (ACE) du programme sera réalisée dans le but de répondre à la question suivante : À quel point en avons-nous pour notre argent de prévention du crime? Essentiellement, une ACE compare les coûts généraux du programme avec les différences observées dans les résultats entre le groupe de référence et le groupe expérimental, afin de déterminer le coût requis pour entraîner des changements dans les principaux résultats d'intérêt.
Outils de mesure et collecte des données
Afin qu'il soit possible de déterminer si le projet TMS de l'ACSA est mis en œuvre comme prévu et a des effets bénéfiques sur les participants, des données sont régulièrement recueillies sur les processus et les impacts du programme à l'aide d'instruments normalisés, notamment le Referral, Screening and Enrolment Tracking Form, la Child and Adolescent Functional Assessment Scale (CAFAS), la Therapist Adherence Measure – Revised (TAM-R), le Case Tracking Form, le Program Implementation Review Tracking Form, le Project Cost Tracking Form, les Therapist Key Informant Interview Guides, les Supervisor Key Informant Interview Guides et le Family Key Informant Interview Guide.
Un devis de mesures répétées sera utilisé à l'admission (T1), immédiatement avant l'intervention (T2), trois mois après l'admission (T3), immédiatement après l'intervention (T3a), ainsi que six mois (T4) et douze mois après l'admission (T5).
Lorsque cela est approprié, des tests des différences dans les moyennes et les pourcentages des groupes, ainsi que des modèles statistiques plus sophistiqués, serviront à évaluer les différences dans les mesures de résultats entre le groupe expérimental et le groupe de référence. Dans ces analyses, les variables démographiques, les antécédents de délinquance et les autres caractéristiques du jeune et de la famille seront évalués et mesurés, ce qui permettra d'accroître la validité des comparaisons entre le groupe expérimental et le groupe de référence.
Principaux résultats
Voici à présent un survol des principaux résultats obtenus à ce jour en ce qui concerne les principaux indicateurs de processus et d'impacts. Au moment d'examiner ces résultats, il est important de garder à l'esprit les deux limites suivantes : (1) les résultats reflètent uniquement les données disponibles à la mi-parcours et pourraient donc changer au cours de l'étude; (2) comme la modélisation et l'induction statistiques sont impossibles à cause de la petite taille de l'échantillon à ce moment de l'évaluation, les différences entre le groupe expérimental et le groupe de référence ne peuvent pas encore être ajustées ou mesurées, et aucun test statistique n'est disponible pour déterminer l'importance des résultats. Par conséquent, les résultats devraient être considérés comme préliminaires en attendant d'être confirmés et validés au moyen d'un échantillon plus grand.
Résultats de l'évaluation des processus
Le programme est en voie d'atteindre ses objectifs d'inscription. En mars 2012, un total de 58 jeunes avaient été admis au programme et le total final prévu de 96 à 111 participants devrait avoir été atteint. De plus, tous les jeunes admis au programme remplissent au moins un des critères d'admissibilité. Le facteur de risque le plus couramment présenté par les jeunes dirigés vers le programme est le comportement agressif non violent (environ 75 %).
En ce qui concerne la fidélité au programme, 65 % des participants qui ont fourni des scores sur l'échelle de la Therapist Adherence Measure – Revised (TAM-R) ont indiqué que leurs thérapeutes se conformaient suffisamment aux principes du programme TMS; or, ce pourcentage est inférieur à l'objectif recommandé de 80 % (Henggeler, Borduin, Schoenwald, Huey et Chapmann, 2006). D'un autre côté, ces résultats se fondent uniquement sur 31 jeunes ayant quitté le programme. Il sera possible de mieux déterminer le degré global de fidélité lorsqu'un plus grand échantillon de scores sera disponible pour la TAM-R.
Des 40 jeunes qui avaient quitté le programme à la fin mars 2012, 28 (70 %) ont terminé le programme, ce qui dépasse l'objectif minimum de 66 %. Toutefois, six jeunes (15 % des clients) ont dû quitter le programme pour manque de participation durant la même période, ce qui ne correspond pas à l'objectif voulant que moins de 5 % des clients quittent le programme pour cette raison. Par conséquent, il faut mettre davantage l'accent sur les méthodes permettant d'accroître la participation des clients afin de réduire l'abandon du programme et les départs prématurés.
Résultats de l'évaluation d'impacts
Des résultats positifs ont été obtenus jusqu'à maintenant en ce qui concerne les principaux impacts du programme. Par exemple, sur les 13 jeunes ayant quitté le programme (huit ont terminé le programme et cinq ne l'ont pas terminé) qui présentaient un risque imminent d'être placés à l'extérieur du foyer à leur admission au programme, 88 % des jeunes qui ont terminé le programme vivaient encore à la maison trois mois après l'admission, comparativement à 60 % des jeunes n'ayant pas terminé le programme. En outre, trois mois après l'admission, 90 % des jeunes ayant terminé le programme étaient parvenus à éviter de se faire arrêter durant l'intervention, comparativement à seulement 67 % des jeunes n'ayant pas terminé le programme. Enfin, à leur départ du programme, les jeunes ayant terminé le programme et leurs familles avaient l'avantage sur les jeunes n'ayant pas terminé le programme dans divers autres domaines précis :
- succès dans le milieu scolaire ou professionnel (68 % vs 33 %) ;
- fréquentation de pairs prosociaux et participation à des activités prosociales (71 % vs 25 %) ;
- amélioration des compétences parentales du principal fournisseur de soins (82 % vs 25 %) ;
- amélioration des relations familiales (75 % vs 17 %) ; et
- renforcement des soutiens sociaux informels à la famille (75 % vs 25 %).
L'évaluation d'impacts visait non seulement à atteindre les résultats ci-dessus, mais aussi à faire le suivi des changements au fil du temps selon la Child and Adolescent Functional Assessment Scale (CAFAS), une mesure qui combine de l'information sur les problèmes connus par les jeunes dans divers domaines de la vie (école, émotions, comportements, etc.) ainsi que sur les problèmes connus par les principaux fournisseurs de soins dans des domaines particuliers (besoins matériels et soutiens sociaux/familiaux). Une réduction de 20 points ou plus dans le score global de la CAFAS représente une amélioration marquée (Hodges, 2005). Toutefois, en raison de la difficulté de prévoir des évaluations de suivi avec les familles, les données actuelles de la CAFAS sont actuellement trop limitées pour permettre de bien transmettre et interpréter les résultats. Par conséquent, l'équipe de l'évaluation s'efforcera d'accroître la participation des jeunes et des familles aux évaluations de la CAFAS.
Les évaluateurs procéderont à une analyse coût-efficacité (ACE) du projet TMS de l'ACSA, qui tente de répondre à la question suivante : À quel point en avons-nous pour notre argent de prévention du crime? Deux composantes sont nécessaires à la réalisation d'une ACE : (1) les coûts totaux du programme; (2) la différence dans les principaux impacts entre le groupe de référence et le groupe expérimental. Essentiellement, l'ACE donne le coût moyen nécessaire pour entraîner un changement unitaire dans une variable d'impact. Par exemple, dans l'évaluation actuelle, le coût nécessaire pour produire une différence marquée dans la mesure CAFAS (une réduction de 20 points ou plus) sera calculé. Une analyse coûts-économies sera aussi réalisée et cette dernière permettra d'examiner les économies générées par la prévention de certains impacts négatifs comme les placements à l'extérieur du foyer, dont le coût administratif est élevé.
Prochaines étapes
Au cours de la prochaine période de référence, les efforts seront accrus en ce qui concerne l'amélioration de la gestion de l'information, le but étant de faciliter l'entrée systématique et régulière de l'information des dossiers des thérapeutes dans les principaux instruments et la base de données de l'évaluation, ainsi que le maintien de la participation des clients à la transmission des données durant l'inscription et après la fin du projet TMS de l'ACSA. En particulier, les jeunes et les familles seront continuellement encouragés à remplir les questionnaires des mesures TAM-R et CAFAS.
Rapports
Un deuxième rapport annuel a dû être remis en décembre 2012 et le rapport d'évaluation final doit être livré en mars 2014.
Références
Henggeler, S. W., C. M. Borduin, S. K. Schoenwald, S. J. Huey et J. E. Chapman. MST Therapist Adherence Measure – Revised (TAM-R), Charleston (C.S.), Medical University of South Carolina, Family Services Research Center, 2006.
Henggeler, S. W., S. K. Schoenwald, C. M. Borduin, M. D. Rowland et P. B. Cunningham. Multisystemic Therapy for Antisocial Behavior in Children and Adolescents, 2e éd., New York (N.Y.), Guilford Press, 2009.
Hodges, K. « Child and Adolescent Functional Assessment Scale », Mental health screening and assessment in juvenile justice, sous la direction de T. Grisso, G. Vincent et D. Seagrave, New York (N.Y.), Guilford Press, 2005, p. 123-136.
Leschied, A. W., et A. Cunningham. Interim Results of a Four-Year Randomized Study of Multisystemic Therapy in Ontario, Canada, London (Ont.), Centre for Children and Families in the Justice System of the London Family Court Clinic, 2002.
Pour de plus amples renseignements au sujet de ce projet, ou pour obtenir une copie du rapport final d'évaluation, veuillez contacter le Centre national de prévention du crime, par courriel, à ps.prevention-prevention.sp@canada.ca.
Pour recevoir des informations sur les activités du CNPC, nous vous invitons à vous inscrire à la liste d'envoi électronique du CNPC en visitant notre page d'enregistrement à : http://www.securitepublique.gc.ca/cnt/bt/mlng-lst-fra.aspx.
Notes
- 1
Le responsable technique de ce contrat d'évaluation pour le CNPC est Cameron McIntosh, conseiller principal en recherche.
- 2
Toutes les conclusions présentées ici se fondent sur les résultats du rapport d'évaluation semestriel soumis au CNPC le 17 septembre 2012. Les autres conclusions figurant dans le deuxième rapport annuel et le rapport final seront présentées dans un sommaire subséquent.
- Date de modification :