Le programme Alternative Suspension (AS), qui vise à réduire l’activité criminelle en accroissant l’attachement des jeunes à l’école, a été évalué à Chilliwack (Colombie‑Britannique), à Edmonton Nord/Ouest (Alberta) et à Moncton (Nouveau‑Brunswick). Il ciblait les élèves de 12 à 17 ans qui éprouvaient des difficultés dans leur vie scolaire et sociale, et qui avaient été suspendus ou risquaient de l’être. Un devis comportant des prétests et des post-tests et faisant appel à un groupe témoin non équivalent a été utilisé. Les évaluateurs ont eu recours à ce devis pour recueillir des données, en plus d’utiliser les données de l’école et les données collectées par l’organisme de mise en œuvre. Les jeunes qui avaient le plus de chances de connaître des améliorations à leur comportement avaient été dirigés vers le programme AS en raison de leur toxicomanie (29 fois plus de chances), de leur comportement criminel (14 fois plus de chances) ou de leur violence physique ou verbale (12 fois plus de chances). À la fin de l’année scolaire, 75,2 % des élèves ayant achevé le programme et 56,3 % des élèves membres du groupe témoin affichaient au moins un effet positif. Dans l’ensemble, 45,0 % des élèves ayant achevé le programme AS ont terminé tous leurs cours; 44,1 % de ces jeunes et 28,8 % des membres du groupe témoin ont « rempli ou dépassé les attentes » de l’école sur le plan du rendement scolaire. De façon générale, 59,0 % des jeunes ayant achevé le programme et 38,1 % des jeunes membres du groupe témoin ont amélioré leur comportement à l’école. On a noté une diminution des mesures disciplinaires chez 61,5 % des jeunes ayant achevé le programme et 39,6 % du groupe témoin. Environ 3,8 % des jeunes ayant achevé le programme et 14,3 % du groupe témoin avaient abandonné l’école à la fin de l’année scolaire. Le coût moyen par jeune ayant achevé le programme était de 1 340 $ à Moncton, de 2 107 $ à Edmonton et de 1 693 $ à Chilliwack. Le coût moyen net par effet positif variait entre 8 852 $ et 10 818 $, et le coût marginal, entre 5 002 $ et 7 238 $.
Note de l’auteur
Les opinions exprimées dans le présent document sont celles des auteurs et ne traduisent pas nécessairement celles de Sécurité publique Canada. Prière d’acheminer toute correspondance à propos du présent rapport à l’adresse suivante :
L’auteure tient à remercier Malatest Program Evaluation & Market Research; les YMCA du Québec, le YMCA du Grand Vancouver (Chilliwack), le YMCA du Nord de l’Alberta (Edmonton Nord/Ouest) et le YMCA du Grand Moncton pour leur participation à l’évaluation; les YMCA d’Abbotsford et de Surrey (Grand Vancouver), le YMCA de l’Ouest de Terre‑Neuve‑et‑Labrador (Corner Brook), le YMCA du Grand Halifax/Dartmouth, le YMCA du Cap-Breton (Glace Bay), le YMCA d’Exploits Valley (Grand Falls-Windsor), le YMCA de Moose Jaw, le YMCA de Regina, les YMCA-YWCA de Winnipeg (Seven Oaks et Winnipeg) et d’Edmonton Sud (Nord de l’Alberta) et le YMCA de Terre‑Neuve‑et‑Labrador (St. John’s) pour le groupe témoin; ainsi que les écoles et les commissions scolaires pour leurs données. Le présent rapport de recherche fait fond sur le rapport d’évaluation préparé par Malatest Program Evaluation & Market Research.
Introduction
Description du programme
Le programme Alternative Suspension(AS) a d’abord été mis en œuvre par les YMCA du Québec en 1999 comme suite à la demande d’une école locale à Montréal. L’organisation a reçu du financement de Sécurité publique Canada pour mettre en œuvre le programme dans plusieurs sites à l’échelle du Canada de 2009 à 2015Note de bas de page1. L’intervention a pour but ultime de réduire l’activité criminelle en accroissant l’attachement des jeunes à l’école. On s’attend à ce que les participants soient dissuadés d’abandonner l’école, terminent leur année scolaire, fassent l’objet d’un moins grand nombre de mesures disciplinaires et participent davantage à des activités prosociales. Sécurité publique Canada a retenu les services de la firme Malatest Program Evaluation & Market Research pour effectuer une évaluation d’impact multisite du programme AS (valeur de 612 675,00 $) dans les endroits suivants : Chilliwack (Colombie Britannique), Edmonton Nord/Ouest (Alberta)Note de bas de page2et Moncton (Nouveau‑Brunswick). Le programme AS cible les élèves de 12 à 17 ans qui éprouvent des difficultés récurrentes ou sporadiques dans leur vie scolaire et sociale, et qui ont déjà été suspendus ou risquent de l’êtreNote de bas de page3. Le programme fournit un milieu structuré à l’extérieur de l’école, axé sur les activités prosociales, où il s’occupe des besoins et du développement des participants au moyen d’une aide aux devoirs, d’ateliers adaptés, de discussions individuelles et de références. Il propose aussi des activités aux élèves afin de les aider à résoudre les conflits existants et à modifier les attitudes et les comportements négatifs qui ont mené à leur suspension. L’intervenant du programme AS établit un plan personnalisé et une entente de réinsertion scolaire avec l’élève, qui reçoit aussi une liste de ressources personnelles et pédagogiques.
Objectifs de l’évaluation
L’évaluation multisite du programme AS visait les buts suivants :
déterminer dans quelle mesure le programme a été mis en œuvre comme prévu;
déterminer si les effets escomptés ont été accomplis, et si des effets imprévus ont été produits;
déterminer si le programme a été adapté en fonction des besoins des jeunes et de la collectivité;
cerner les leçons retenues et formuler des recommandations;
fournir une analyse descriptive des coûts et réaliser une analyse coût-efficacité.
Méthode d’évaluation
L’évaluation du programme AS reposait sur un devis comportant des prétests et des post-tests et faisant appel à un groupe témoin non équivalent formé de trois catégories de jeunes : 1) élèves qui ont été admis au programme mais n’y ont jamais participé; 2) élèves d’autres sites de service AS qui ont été admis au programme mais n’y ont jamais participé; 3) élèves qui n’ont pas achevé le programme dans les sites d’évaluation et les autres sites du programme, qui ont entamé le programme mais l’ont quitté avant la finNote de bas de page4. Le groupe témoin n’a pas été utilisé pour mesurer les effets à court terme. Les évaluateurs se sont servis des dossiers du programme et des données recueillies par les travailleurs auprès des jeunes au moyen des outils créés par les YMCA du QuébecNote de bas de page5.Certaines écoles ont fourni des données administratives sur les participants au programme et les jeunes faisant partie du groupe témoinNote de bas de page6. À la fin de leur participation au programme, les élèves ont rempli un questionnaire de départ créé par les évaluateurs que leur avaient remis les travailleurs auprès des jeunesNote de bas de page7. Des séances de groupes ont été tenues avec les jeunes en 2012, de même qu’avec les coordonnateurs du programme et les travailleurs auprès des jeunes en 2014. De plus, 180 entrevues auprès d’informateurs clésNote de bas de page8 ont été menées durant les années scolaires allant de 2011 à 2014, et 21 entrevues de suivi auprès de 17 jeunes de la cohorte de 2013-2014 ont été menées en 2014-2015Note de bas de page9. L’analyse statistique descriptive incluait des moyennes, des médianes, des modes, des fréquences et des tableaux croisés. Des techniques statistiques déductives ont permis de relever tout écart important dans les résultats entre les groupes ou entre les sites (tests du chi carré, tests t, régression logistique et analyse de la variance). Une analyse inductive du contenu a été réalisée à partir des données qualitatives pour repérer les secteurs de convergence et de divergence.
Résultats
Fidélité au programme
On a évalué la fidélité au programme en vérifiant si le groupe cible prévu avait été atteint, et dans quelle mesure la mise en œuvre respectait les éléments essentiels du modèle AS. Le nombre réel de références valides effectuées par l’écoleNote de bas de page10 pour l’ensemble des sites de service (n=662) dépassait la cible prévue (n=540) au cours de la période de trois ans (voir le tableau 1). Six cent quatorze (92,7 %) références valides effectuées par l’école se sont traduites par une participation, et 91 % des 614 participations ont mené à l’achèvement du programmeNote de bas de page11. Le personnel du programme et la direction de l’école se sont servis du programme AS comme intervention pour corriger le comportement inapproprié des élèves, au même titre qu’une forme traditionnelle de suspension. Le programme a également servi de mesure préventive pour corriger le comportement perturbateur. Ces applications du programme cadraient avec les stratégies de référence et représentaient les types de participants qui étaient prévus. Plus de 96 % des participants avaient entre les âges prévus de 12 et 17 ansNote de bas de page12(n=213), et 74 % des participants (n=492) étaient considérés à risque élevé par la direction de leur écoleNote de bas de page13.
Tableau 1 : Nombres de participants au programme AS et de références par site et total pour les années scolaires 2011 à 2014
Années scolaires 2011 à 2014
Chilliwack
Edmonton N./O.
Moncton
Total
Références valides effectuées par l’école
190
223
249
662
Références valides effectuées par l’école qui ne se sont pas traduites par une participation
11
24
13
48
Total des participants au programme
179
199
236
614
Participants n’ayant pas achevé le programme
15
32
8
55
Total des participants ayant achevé le programme
164
167
228
559
Source : Données du formulaire Nécessaire pour 2011–2014. Certains élèves ont reçu plus d’une référence.
On a évalué la fidélité au programme en vérifiant dans quelle mesure la prestation de l’intervention s’harmonisait aux sept éléments essentiels du modèle AS (voir le tableau 2). Les deux premiers critères ont été pleinement remplis, tandis que les autres n’ont été appliqués qu’en partie. Il est à noter qu’il y avait généralement une communication régulière entre le personnel du programme et les écoles. En général, des rencontres sur la réinsertion avaient également lieu.
Tableau 2 : Évaluation de la fidélité
Sept éléments essentiels du programme AS
Évaluation de la fidélité
1) Endroit neutre
1) Les activités du programme étaient menées à l’extérieur de l’école.
2) Intervention adaptée offerte à de petits groupes de jeunes (pas plus de 6)
Une intervention adaptée qui s’attaquait directement à la cause de la suspension a été offerte à de petits groupes de jeunes.
3) Intervention équilibrée comprenant des travaux scolaires, des ateliers de groupe, des rencontres individuelles et des activités complémentaires
- 71,6 % des participants qui ont achevé le programme (n=555) ont terminé au moins 75 % de leurs travaux scolaires.
67,6 % des jeunes ont participé aux ateliers de groupe, et 44,6 % aux activités complémentairesNote de bas de page14 (n=614)
- 12,2 % des jeunes ayant achevé le programme (n=559) ont été dirigés vers des programmes ou services externes, 42,4 % ont pris part à des activités parascolaires, et 0,7 % ont participé à des sorties éducatives.
-
46,7 % des jeunes ayant achevé le programme ont participé à une rencontre ou à une séance de counseling individuelle (n=394) tous les jours où ils ont reçu des services dans le cadre du programme.
4) Voie de communication
- Le personnel du programme a entretenu une communication régulière et continue avec les écoles pour 98,5 % (n=458) des références valides effectuées par l’école.
- La présence parentale le premier jour du programme était faible (35 % du temps).
-
La plupart des parents interrogés ont indiqué que les écoles et les intervenants les avaient suffisamment renseignés sur le programme.
5) Un minimum de trois jours de suspension (21 heures) est la norme pour cultiver une relation entre l’élève et l’intervenant
- La suspension de l’élève par l’école atteignait habituellement entre 3 et 5 jours dans 76,9 % des cas (n=614).
- Elle a duré de 15 à 18 jours pour le 1 % de jeunes qui avaient de longs antécédents de problèmes de comportement et de délinquance.
-
Le nombre moyen de jours de suspension était de 4,7.
6) Retour à l’école accompagné faisant intervenir toutes les parties pertinentes (élève, direction de l’école, intervenant et parent/tuteur)
- Des rencontres sur la réinsertion ont eu lieu pour 92,7 % des participants (n=559).
- Toutes les parties pertinentes étaient présentes à 41,3 % des rencontres.
- Les parents/tuteurs ont assisté à 42,9 % des rencontres sur la réinsertion.
-
Quelque 54,7 % des jeunes ayant achevé le programme ont assisté aux rencontres sur la réinsertion, et la participation des jeunes était beaucoup plus faible (χ2=6,09; p=0,01) à Moncton (44,7 %, n=228) qu’à Chilliwack (54,3 %, n=164) ou à Edmonton Nord/Ouest (68,9 %, n=167).
7) Suivi auprès des jeunes
Les intervenants ont fait un suivi auprès de 87 % des participants (n= 614) afin de vérifier leurs progrès et leur réinsertion dans l’école.
Résultats du programme
Résultats à court terme (jusqu’à 4-6 semaines après le programme)Note de bas de page15
De façon générale, si certains élèves ayant participé au programme AS voyaient leur plan de réinsertion comme un outil utile ayant facilité leur retour à l’école, d’autres estimaient que la direction et les enseignants de l’école ne leur avaient pas apporté le soutien prévu dans leur plan de réinsertion. Quelque 87 % des élèves ayant rempli le questionnaire d’évaluation de la réinsertion (n=384) étaient « relativement d’accord » ou « fortement d’accord » pour dire qu’ils étaient prêts à retourner à l’école, alors que l’état de préparation à retourner à l’école variait considérablement d’un site à l’autre (χ2=6,80; p<0,05)Note de bas de page16. Les membres du groupe témoin n’ont pas participé au programme AS et n’avaient donc pas de plan de réinsertion.
Les élèves ayant participé au programme ont fait état de bons niveaux de compréhension de la raison de leur suspension immédiatement après leur retour à l’école et 30 jours plus tard. Environ 89,4 % des élèves (n=207) ont dit qu’ils « comprenaient plus ou moins » ou « comprenaient vraiment » la raison de leur suspension. On a noté des différences importantes entre les sites (χ2=8,11; p<0,05)Note de bas de page17. La compréhension de la raison de la suspension a connu une augmentation statistiquement significative entre la réinsertion et le suivi (t = 2,024; p<0,05), ce qui montre que les jeunes réfléchissaient davantage.
La majorité des élèves qui ont participé au programme AS étaient « fortement d’accord » pour dire qu’ils avaient appris quelque chose de nouveau en participant au programme au site d’Edmonton Nord/Ouest (63 %; n=146) et au site de Moncton (54,1 %; n=135), tandis que 56,7 % des élèves au site de Chilliwack (n=104) étaient « relativement d’accord ». Ces écarts entre les sites sont significatifs (χ2=7,00; p<0,05). Ici encore, comme les membres du groupe témoin n’ont pas participé au programme, les évaluateurs n’ont pas pu déterminer ce que leur programme leur avait appris. Ils ont toutefois recueilli des données en vue de mesurer les résultats du programme. Les évaluateurs ont effectué des comparaisons entre les sites. Pour l’ensemble des sites, 49,6 % des élèves ayant achevé le programme croyaient que ce qu’ils avaient appris leur serait « relativement utile » dans leur carrière scolaire, et 42,1 % que ça leur serait « très utile » (n=382). On note des différences significatives entre les sites : 62,5 % (n=104) des élèves ayant achevé le programme à Chilliwack et 52,6 % (n=133) des élèves ayant achevé le programme à Moncton trouvaient ce qu’ils avaient appris « relativement utile », tandis qu’au troisième site, 52,4 % (n=145) des élèves estimaient que ce qu’ils avaient appris était « très utile » à leur carrière scolaire (χ2=12,17; p<0,01). Environ 49,6 % de tous les élèves étaient d’avis que ce qu’ils avaient appris durant le programme était « utile » à leur vie à l’extérieur de l’école, comparativement à 42,6 % qui ont dit que c’était « très utile » (n=383). La plupart des élèves au site d’Edmonton Nord/Ouest (51,7 %; n=145) trouvaient ce qu’ils avaient appris « très utile » à leur vie à l’extérieur de l’école. Aux sites de Chilliwack (60,6 %; n=104) et de Moncton (50,7 %; n=134), la majorité des élèves trouvaient ce qu’ils avaient appris « relativement utile ». Les écarts entre les sites étaient significatifs (χ2 = 7,00; p<0,05). On n’a noté aucun changement important dans la perception des jeunes quant à l’utilité du programme AS pour leur carrière scolaire et d’autres aspects de leur vie entre leur réinsertion à l’école et le suivi.
Tous les jeunes ayant participé au programme AS ont mentionné une augmentation de leur estime de soi et de leur confiance lorsque les données de suivi à long terme ont été collectées. Le programme AS leur a appris des comportements constructifs et appropriés. Ils semblaient avoir une meilleure compréhension de leur comportement, de même qu’une plus grande volonté et capacité de réfléchir à leurs actes et à leurs motivations. Le personnel scolaire a remarqué qu’à leur retour à l’école, les participants ayant achevé le programme adoptaient généralement une approche plus collaborative (notamment en appliquant des techniques de maîtrise de la colère) pour gérer leurs comportements problématiques. La direction de l’école était d’avis que les jeunes avaient acquis une plus grande maîtrise de leurs émotions après avoir participé au programme, et qu’ils exprimaient mieux leurs sentiments. D’après les élèves, les parents et la direction de l’école, les élèves prenaient de meilleures décisions et affichaient une meilleure maîtrise de soi, ce qui les aidait à éviter les problèmes qui avaient causé leur suspension.
Selon l’évaluation effectuée par l’école, le comportement des jeunes (n=462) s’est considérablement amélioré entre le moment où les jeunes ont été dirigés vers le programme et le suivi 30 jours après leur participation (t=5,287; p<0,01). Le rendement scolaire des élèves (n=319) s’est aussi beaucoup amélioré (t=24,835; p<0,01). Le changement moyen dans les cotes liées au comportement était petit (0,25 sur une échelle de quatre points), alors que le changement moyen dans les cotes liées au rendement scolaire était plus substantiel (1,10 sur une échelle de quatre points). Parmi les élèves ayant achevé le programme (n=80) qui ont été suspendus à nouveau après leur retour à l’école, on n’a constaté aucun changement statistiquement significatif dans la gravité de la raison de leur suspensionNote de bas de page18. L’achèvement du programme avait un effet positif important sur le rattrapage des jeunes dans leurs travaux scolaires, et sur le maintien des améliorations pendant au moins 30 jours après le retour à l’école. Les jeunes ont affirmé avoir connu des changements significatifs dans le rattrapage de leurs travaux scolaires (F=27,090; p<0,01). Il y avait des écarts importants dans les travaux scolaires entre la période précédant la participation au programme AS et la période suivant la réinsertion (t=9,402; p<0,01) ou le suivi (t=6,298; p<0,01). Seulement 23,6 % des élèves (n=411) ont mentionné, dans le questionnaire de suivi, avoir participé à des activités parascolaires; le taux de participation des jeunes était beaucoup plus élevé à Chilliwack (47,9 %; n=73) qu’à Edmonton Nord/Ouest (15,8 %; n=120)Note de bas de page19et à Moncton (19,7 %; n=218)Note de bas de page20. Rien ne montre que le programme AS a accru l’intérêt des jeunes envers les activités parascolaires ou prosociales, quoique certains jeunes, parents, membres de la direction et du personnel de l’école, coordonnateurs et intervenants du programme aient mentionné une telle augmentation.
Résultats à moyen terme (jusqu’à 9 mois après le programme)
Pour l’ensemble des sites, 45 % des élèves ayant achevé le programme AS (n=411) ont terminé tous leurs cours pour l’année scolaire. Le site d’Edmonton Nord/Ouest (n=120) affichait la plus grande proportion d’élèves ayant terminé tous leurs cours ou presque (80,0 %). Le site de Chilliwack (n=79) affichait le pourcentage le plus bas (68,3 %)Note de bas de page21, et à Moncton, le pourcentage s’établissait à 70,3 % (n=212). D’après les données reçues des écoles, 17,7 % seulement des participants au programme (n=401) n’ont pas répondu aux attentes relatives au rendement scolaire, comparativement à 40,4 % du groupe témoin (n=52). De plus, 44,1 % des jeunes ayant participé au programme ont « rempli ou dépassé les attentes », comparativement à 28,8 % chez le groupe témoinNote de bas de page22. Quelque 54,2 % des jeunes ayant achevé le programme au site d’Edmonton Nord/Ouest (n=118) et 43,3 % des ces jeunes au site de Moncton (n=201) avaient de bonnes chances de remplir ou de dépasser les attentes, tandis que 31,7 % des jeunes au site de Chilliwack (n=82) avaient de bonnes chances de remplir quelques-unes des attentesNote de bas de page23.
De façon générale, 59 % des jeunes ayant achevé le programme (n=395) avaient amélioré leur comportement à l’école à la fin de l’année, comparativement à 38,1 % du groupe témoin (n=21)Note de bas de page24 . Les jeunes ayant terminé le programme au site d’Edmonton (n=120) avaient le plus de chances d’afficher des améliorations (71,7 %), les élèves au site de Moncton (n=194) étaient les moins susceptibles de le faire (50,5 %)Note de bas de page25, et les jeunes de Chilliwack se situaient entre les deux (60,5 %). Le tiers (33,2 %) des élèves ayant achevé le programme (n=325) avait été suspendu à nouveau à la fin de l’année scolaire, et 18,2 % (n=439) avaient été expulsés ou transférés dans une autre écoleNote de bas de page26. Selon la direction de l’école, la majorité des jeunes ayant achevé le programme (61,5 %; n=322) avaient connu une baisse du nombre de mesures disciplinaires, comparativement à 39,6 % du groupe témoin (n=48) Note de bas de page27.
Afin de déterminer si le programme AS a connu plus de succès auprès de certaines catégories d’élèves que d’autres, on a réalisé une analyse de régression logistique. On a utilisé comme variables indépendantes plusieurs caractéristiques démographiques des élèves, et comme variables dépendantes le comportement, le rendement scolaire et les mesures disciplinaires à la fin de l’année. Les élèves ayant achevé le programme qui avaient le plus de chances d’améliorer leur comportement avaient été dirigés vers le programme en raison de leur toxicomanie (29 fois plus de chances), de leur comportement criminel (14 fois plus de chances) ou de leur violence physique ou verbale (12 fois plus de chances)Note de bas de page28. Les élèves ayant achevé le programme qui appartenaient à une minorité visible étaient trois fois plus susceptibles que les Blancs de connaître un changement positif dans leur rendement scolaireNote de bas de page29. Les filles ayant achevé le programme (risque relatif = 0,44) étaient beaucoup moins susceptibles que les garçons de connaître une augmentation des mesures disciplinaires. Lorsque les parents étaient présents le premier jour de la participation des jeunes, les résultats liés aux mesures disciplinaires étaient mauvais moins de la moitié moins souvent (risque relatif = 0,39)Note de bas de page30.
Résultats à long terme (un an après la participation au programme)
Pour l’ensemble des sites, 54,6 % des élèves ayant achevé le programme (n=317) et 45,8 % des membres du groupe témoin (n=48) étaient inscrits à la même école l’année suivante; cet écart n’était pas significatif, ce qui donne à penser que le programme AS n’a pas augmenté les chances de rester à l’école. Seulement 3,8 % des jeunes ayant achevé le programme (n=504) et 14,3 % des membres du groupe témoin (n=119) avaient abandonné l’école à la fin de l’année. Un test du chi carré a permis de constater un écart important (χ2 = 23,00; p<0,01). Parmi la cohorte ayant répondu au questionnaire de suivi, 16 jeunes sur 17 avaient été promus au niveau scolaire suivant.
Analyse des coûts
Méthodologie
Les rapports financiers des projets et les dossiers des jeunes ont servi à analyser les coûts du programme. Seuls les coûts associés à la gestion et à la mise en œuvre du programme ont été pris en compte dans les calculs. L’analyse des coûts était limitée parce que ceux-ci n’étaient pas directement liés aux résultats, alors que la prestation du programme comporte des coûts qui n’étaient pas faciles à définir ou à répartir. L’analyse coûts-avantages se penchait sur le coût du programme AS dans le contexte des améliorations au bien-être des élèves durant leur année de participation, selon quatre mesures : les résultats à la fin de l’annéeNote de bas de page31, le comportement, le rendement scolaire et les mesures disciplinaires.
Coût du programme AS
Le site de Moncton a reçu 418 515 $ en financement direct et indirect, le site d’Edmonton Nord/Ouest 447 951 $, et le site de Chilliwack 508 476 $Note de bas de page32. Le montant de financement et le coût de la mise en œuvre variaient d’un site à l’autre, ce qui pourrait être attribuable à des facteurs locaux, à la participation des partenaires communautaires et à des différences dans le coût de l’espace de service et du personnel. Le coût moyenNote de bas de page33 du programme par participant était de 1 279 $ à Moncton, de 1 735 $ à Edmonton Nord/Ouest et de 1 598 $ à Chilliwack. Le coût moyen du programme par jeune ayant achevé le programme était de 1 340 $ à Moncton, de 2 107 $ à Edmonton Nord/Ouest et de 1 693 $ à Chilliwack. L’écart dans le coût moyen par participant repose principalement sur la différence entre les sites dans le nombre d’élèves qui ont été dirigés vers le programme, qui y ont participé et qui l’ont achevé. La large fourchette des coûts moyens laisse également entrevoir des différences régionales importantes dans les salaires et le coût des locaux, et n’est pas due aux méthodes employées pour mettre en œuvre le programme dans les trois sites.
Le coût de l’ajout d’un participant était de 846 $ à Moncton, de 1 190 $ à Edmonton Nord/Ouest et de 1 055 $ à Chilliwack. Le coût de l’ajout d’un participant ayant achevé le programme était de 886 $ à Moncton, de 1 446 $ à Edmonton Nord/Ouest et de 1 118 $ à ChilliwackNote de bas de page34. L’utilisation qu’ont faite les écoles du programme a contribué aux écarts de coûtNote de bas de page35. Le niveau d’effort (3 659 jours), calculé en fonction du nombre de participants et de la durée d’utilisation des ressources du programme, était de 1 572 jours à Moncton, de 966 jours à Edmonton Nord/Ouest et de 1 145 jours à Chilliwack. Le coût moyen par jour (355 $) était de 250 $ à Moncton, de 447 $ à Edmonton Nord/Ouest et de 422 $ à Chilliwack. Le coût marginal par jour (237 $) était de 165 $ à Moncton, de 307 $ à Edmonton Nord/Ouest et de 278 $ à Chilliwack.
Analyse coûts-avantages
On a examiné la situation des élèves à la fin de l’année scolaire (voir le tableau 3). Près de 75,2 % des jeunes ayant participé au programme AS et 56,3 % des membres du groupe témoin avaient connu un résultat positif à la fin de l’année scolaire. Quelque 60,4 % des jeunes ayant achevé le programme avaient amélioré leur comportement, comparativement à 38,1 % du groupe témoin. De plus, 44,3 % des élèves ayant achevé le programme et 28,8 % du groupe témoin avaient rempli les attentes au chapitre du rendement scolaire. Le nombre de mesures disciplinaires avait baissé pour 57 % des participants au programme et 38,2 % des membres du groupe témoin.
Tableau 3 : Résultats chez les élèves à la fin de l’année
(années scolaires 2009–2010 à 2013–2014)
Résultats
Jeunes ayant achevé le programme
Groupe témoin
Résultats à la fin de l’année
n= 723
n= 119
Résultat positif
75.2 %
56.3 %
Résultat négatif
24.8 %
43.7 %
Améliorer le comportement de l’élève
n= 594
n= 21
Le comportement s’est amélioré
60.4 %
38.1 %
Le comportement s’est détérioré ou est resté le même
39.6 %
61.9 %
Remplir les attentes au chapitre du rendement scolaire
n= 594
n= 52
Le rendement scolaire de l’élève a rempli les attentes
44.3 %
28.8 %
Le rendement scolaire de l’élève n’a pas rempli les attentes
55.7 %
71.2 %
Mesures disciplinaires
n= 412
n= 55
Baisse du nombre de mesures disciplinaires
57.0 %
38.2 %
Aucun changement ou augmentation du nombre de mesures disciplinaires
43.0 %
61.8 %
Le coût moyen net par résultat positif et le coût marginal par résultat positif à la fin de l’année sont présentés dans le tableau 4.
Le revenu médian d’une personne ayant un diplôme d’études secondaires est plus élevé de 5 044 $ par année que celui d’un décrocheur du secondaire (Gilmore, 2010), et l’écart dans le revenu imposable s’établit à 757 $ par année. Si l’on suppose une entrée sur le marché du travail après l’obtention du diplôme d’études secondaires, il faudrait 12 ans au gouvernement canadien pour recouvrer les dépenses liées au programme AS. Les décrocheurs du secondaire sont 3,5 fois plus susceptibles de se faire arrêter que les diplômés (Sum et al., 2009), et le niveau d’instruction est étroitement lié à une bonne santé, à un faible taux de décès et à de rares comportements risqués (Freudenberg et Ruglis, 2007).
Tableau 4 : Coût moyen net et coût marginal par résultat positif
à la fin de l’année (années scolaires 2009–2010 à 2013–2014)
Résultats
En général
Résultats à la fin de l’année
Cout moyen par résultat positif ($/résultat)
8 938 $
Coût marginal par résultat positif ($/résultat)
5 900 $
Améliorer le comportement de l’élève
Coût moyen par résultat positif ($/résultat)
7 471 $
Coût marginal par résultat positif ($/résultat)
5 002 $
Remplir les attentes au chapitre du rendement scolaire
Coût moyen par résultat positif ($/résultat)
10 818 $
Coût marginal par résultat positif ($/résultat)
7 238 $
Mesures disciplinaires
Coût moyen par résultat positif ($/résultat)
8 852 $
Coût marginal par résultat positif ($/résultat)
5 923 $
Discussion
Le modèle AS répond directement aux besoins cruciaux des collectivités participantes, notamment au chapitre des taux élevés de décrochage et de délinquance juvénile ainsi que des activités criminelles chez les jeunes. Le programme agit sur les facteurs de risque scolaires en réalisant une intervention à court terme auprès des élèves qui présentent au moins un facteur de risque. Les principales composantes de l’intervention sont considérées comme des pratiques exemplaires par la recherche empirique : counseling individuel; établissement d’une relation et d’un rapport chaleureux entre le jeune et le personnel du projet; possibilités de participation des parents; et séances sur les aptitudes à la vie quotidienne, la maîtrise de la colère et la résolution de conflits.
Trente jours après la participation au programme AS, le comportement des jeunes s’était amélioré, et des changements significatifs ont été observés dans le rattrapage des travaux scolaires lors de la rencontre sur la réinsertion et lors du suivi à court terme. Le programme n’avait pas augmenté la participation des jeunes à des activités parascolaires ou prosociales 30 jours après la participation au programme. À la fin de l’année scolaire, aucun écart significatif entre les deux groupes n’a été mesuré concernant l’expulsion ou le transfert dans une autre école. Toutefois, à ce moment, un plus grand nombre de jeunes ayant achevé le programme que de membres du groupe témoin avaient rempli les attentes de l’école au chapitre du rendement scolaire et amélioré leur comportement à l’école. La baisse du nombre de mesures disciplinaires était beaucoup plus forte chez les participants que chez le groupe témoin. Le programme AS semble avoir eu des effets positifs sur les élèves, quoique le contexte scolaire ait sans doute grandement influé sur ces résultats. Qui plus est, l’intervention a connu le plus de succès auprès des élèves dirigés vers le programme en raison de leur toxicomanie, de leur comportement criminel ou de leur violence physique ou verbale, et auprès des jeunes appartenant à une minorité visible. Aucun effet significatif n’a été observé en ce qui concerne expressément les nouvelles suspensions et les expulsionsNote de bas de page36., mais un plus grand nombre d’élèves du groupe témoin avait abandonné l’école à la fin de l’année. Le programme AS pourrait sans doute jouer un rôle lorsqu’il s’agit d’intervenir dans la trajectoire des élèves de la suspension au décrochage.
Le coût moyen du programme par jeune ayant achevé le programme était de 1 340 $ à Moncton, de 2 107 $ à Edmonton Nord/Ouest et de 1 693 $ à Chilliwack. Le coût de l’ajout d’un jeune ayant achevé le programme était de 886 $ à Moncton, de 1 446 $ à Edmonton Nord/Ouest et de 1 118 $ à Chilliwack. Ces coûts sont faibles compte tenu des coûts de l’activité criminelle. On a d’ailleurs constaté qu’il était possible de recouvrer indirectement le coût de la prestation du programme AS dans la différence entre l’impôt fédéral sur le revenu payé par les personnes ayant obtenu un diplôme d’études secondaires et celles ayant abandonné l’école. La différence dans l’impôt fédéral sur le revenu payé pendant les 12 années suivant l’obtention du diplôme d’études secondaires serait suffisante pour compenser le coût du programme.
Malatest Program Evaluation & Market Research. (2015). Multi-site Evaluation of the Alternative Suspension Program. Final Evaluation Report. Présenté à Danièle Laliberté, Sécurité publique Canada, le 16 décembre 2015.
Dans le cas des catégories 2) et 3), les jeunes provenaient des sites du programme à Abbotsford, à Corner Brook, à Dartmouth, à Edmonton Sud, à Glace Bay, à Grand Falls-Windsor, à Moose Jaw, à Regina, à Seven Oaks, à St. John’s, à Surrey et à Winnipeg.
Au nombre des outils, on retrouvait le formulaire Nécessaire, le suivi quotidien et la procédure de référence, l’évaluation, le compte rendu de séjour, le suivi court terme et le questionnaire de suivi de fin d’année.
Des données complètes provenant du questionnaire de départ étaient disponibles pour 399 jeunes ayant achevé le programme, et des données partielles pour 10 d’entre eux.
Des entrevues auprès d’informateurs clés ont été menées de 2011 à 2014 auprès des jeunes (n=58), des parents/tuteurs (n=35), des intervenants du programme (n=13), des coordonnateurs du programme (n=11), de la direction de l’école (n=35), des autorités scolaires (n=4), des enseignants et conseillers scolaires (n=8) ainsi que des organisations et organismes partenaires/communautaires (n=16).
Élèves des sites de Moncton et d’Edmonton Nord/Ouest qui ont été dirigés vers le programme en 2013‑2014 et qui ont été dirigés vers le programme ou y ont participé à nouveau en 2014‑2015 (n=17). Ce n’était pas habituel pour les participants au programme (la plupart des élèves n’ont participé au programme qu’une seule fois), et la taille d’échantillon était petite.
Les calculs se fondent sur les références valides effectuées par l’école qui se sont traduites par au moins une journée de participation au programme. Certains élèves ont participé au programme plus d’une fois.
On a élargi le groupe cible afin d’y inclure 31 élèves considérés comme « non fonctionnels en milieu scolaire ». Certains élèves n’ont pas bénéficié de l’intervention parce qu’ils étaient détachés dans leur milieu scolaire, qu’ils vivaient loin des sites de service ou que l’association du programme avec la « suspension » les avait dissuadés d’y participer.
Au nombre des activités complémentaires, on retrouvait un vaste éventail d’activités menées à l’extérieur du programme AS et en après-midi, comme le basket-ball, le badminton, des jeux de société, des cours de cuisine, des groupes de discussion, des conversations avec animateur, des activités brise-glace, des vidéos et l’haltérophilie.
Pour la première suspension et les suspensions subséquentes, les élèves étaient habituellement suspendus en raison d’un geste qui justifiait une cote d’environ 4 sur une échelle de gravité allant de 0 à 7 points.
Les coûts non liés au programme (développement, autres sites) étaient de 136 623 $ à Moncton, de 190 588 $ à Edmonton Nord/Ouest et de 220 688 $ à Chilliwack. Les coûts d’évaluation étaient de 196 212 $ à Moncton, de 191 379 $ à Edmonton Nord/Ouest et de 219 079 $ à Chilliwack.
Le calcul du coût moyen et du coût marginal par participant et par jeune ayant achevé le programme excluait le deuxième trimestre de l’exercice financier 2014‑2015, puisque ces coûts n’étaient pas associés à la gestion ou à la mise en œuvre du programme.