Sécurité publique Canada Vérification interne de la mesure du rendement
Le 16 mars, 2016

Sécurité publique Canada Vérification interne de la mesure du rendement Version PDF (289 Ko)

Résumé

Contexte

La mesure du rendement se définit comme suit : « Processus ou systèmes de sélection, d'élaboration et d'utilisation continue de mesures de rendement pour guider le processus décisionnel^{Note de bas de page1} ». La mesure du rendement est un outil de gestion reposant sur les résultats que les organisations fédérales doivent utiliser pour renforcer la prise de décisions, l'amélioration des programmes et la production de rapports; elle revêt de plus en plus d'importance dans une ère de transparence gouvernementale et de reddition de comptes.

Compte tenu de l'importance de la mesure du rendement, le sous-ministre a approuvé la vérification de la mesure du rendement dans le cadre du Plan de vérification axé sur les risques de 2012-2013 à 2014-2015.

Objectif et portée de la vérification

La vérification avait pour objectif de donner une assurance raisonnable que les pratiques et les processus ministériels de mesure du rendement sont adéquats et efficaces et qu'ils respectent les exigences du Conseil du Trésor (CT).

Sa portée est axée sur la manière dont les indicateurs et les mesures du rendement sont élaborés et dont les données sont recueillies et utilisées par le Ministère. La vérification a également porté sur la conformité avec les politiques du CT et du Ministère ainsi que les chartes du comité ministériel de vérification et d'évaluation.

La planification de la vérification et la conduite étaient basées sur l'information et la documentation disponible jusqu'à septembre 2014.

Résumé des constatations

Conformément aux politiques et aux lignes directrices du CT et de Sécurité publique Canada (SP), un processus exhaustif de mesure du rendement comprend ce qui suit :

• politiques et lignes directrices officiellement définies et communiquées, et formation offerte;
• surveillance, reddition de comptes, responsabilités et rôles clairs;
• vision claire des procédures et des pratiques relatives à l'élaboration, à la modification et à l'approbation du cadre de mesure du rendement (CMR);
• vision claire des procédures et des pratiques relatives à l'élaboration et à l'approbation des stratégies de mesure du rendement (SMR);
• harmonisation entre le CMR, la SMR et d'autres documents de planification opérationnelle;
• collecte de données (techniques de collecte de données indiquées, sources de données, rapports exacts et opportuns);
• mesure du rendement utilisée pour les besoins en matière de rapports et la prise de décisions éclairées.

La vérification a démontré que le Ministère a mis en place des processus et des mécanismes de contrôle fondamentaux. Les voici :

• un ensemble accessible de politiques suffisantes qui présente clairement les rôles, les responsabilités et les rapports requis;
• des consultations avec les principaux partenaires et intervenants pendant l'élaboration du CMR ministériel et des SMR des programmes;
• une amélioration des indicateurs et des cibles dans l'élaboration du CMR;
• une meilleure intégration du CMR dans le cycle de planification opérationnelle;
• une bonne compréhension de ce que comporte la préparation d'une SMR exhaustive avec seulement deux des 28 SMR en attente.

L'examen de la documentation, les entrevues, les essais et l'analyse d'échantillons révèlent que les processus de mesure du rendement de SP sont incomplets :

• Bien que les politiques et les directives soient suffisantes pour garantir la clarté des responsabilités et des rôles, nous avons constaté qu'il faut clarifier les rôles et les responsabilités entre la Division de la planification stratégique et l'Unité d'évaluation pour l'examen et la prestation de conseils en ce qui a trait à l'élaboration de SMR.
• Il n'existe aucun processus visant à dissiper les préoccupations liées au CMR.
• Les responsabilités et les rôles des comités sont clairs et précisés dans les documents, mais les renseignements sur la mesure du rendement présentés à divers comités manquent de cohérence.
• Malgré l'existence de processus relatifs au CMR et à la SMR qui comprennent des consultations au sein de Sécurité publique Canada et auprès des intervenants externes, seulement quelques programmes ont démontré un lien clair entre leurs SMR et le CMR.
• Les répondants ont souligné la nécessité d'accroître les conseils et le soutien quant à l'élaboration d'indicateurs du rendement pour mesurer les activités liées aux politiques.
• Des données limitées sont recueillies par rapport aux indicateurs dans le CMR et les SMR; par conséquent une quantité restreinte de  données est disponible pour appuyer la prise de décisions et la production de rapports.
• Certains secteurs de programme comptent sur les données sur le rendement provenant de tiers dont les méthodes de collecte ou de stockage des données ne sont pas établies.

Opinion des vérificateurs

Il faut apporter des améliorations^{Note de bas de page2} aux pratiques et aux processus de mesure du rendement afin d'augmenter leur niveau de conformité aux exigences du CT et leur pertinence et leur efficacité. Il est possible d'améliorer les processus de mesure du rendement et de renforcer la collecte et l'utilisation de renseignements sur la mesure du rendement pour appuyer les activités de gestion et de surveillance.

Énoncé d'assurance et de conformité

Des procédures de vérification suffisantes et appropriées ont été exécutées, avec les éléments probants appropriés, pour étayer l'exactitude de l'opinion formulée dans le présent rapport. L'opinion repose sur une comparaison des conditions, telles qu'elles se présentaient au moment de la vérification, avec des critères de vérification préalablement établis et approuvés par la direction. L'opinion s'applique seulement à l'entité qui a fait l'objet de l'examen et dans les limites de la portée décrite dans le présent document. Les éléments probants ont été recueillis conformément à la Politique sur la vérification interne et à la Directive sur la vérification interne au gouvernement du Canada du Conseil du Trésor. La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le confirment les résultats du programme d'assurance et d'amélioration de la qualité. Les procédures utilisées respectent les normes professionnelles de l'Institute of Internal Auditors (IIA). Les éléments probants recueillis sont suffisants pour convaincre la haute direction du bien-fondé de l'opinion découlant de la vérification interne.

Recommandations

1. Le sous-ministre adjoint du Secteur des affaires du Portefeuille et des communications (SAPC) devrait veiller :
   • à l'harmonisation entre les indicateurs du CMR, du RPP et du RMR;
   • au soutien du dirigeant principal de la vérification et de l'évaluation (DPVE) pour l'examen du CMR et les conseils à cet égard, conformément à la Directive sur la fonction d'évaluation du SCT.
2. Chaque sous-ministre adjoint devrait :
   • indiquer les ressources consacrées à l'élaboration et à la mise en œuvre des SMR;
   • assurer les liens entre le CMR et les SMR.
3. Chaque sous-ministre adjoint devrait :
   • veiller à la collecte de données exactes par rapport aux indicateurs du CMR et des SMR afin de soutenir la prise de décisions et la production de rapports en temps opportun;
   • élaborer des ententes relatives à la collecte de données par un tiers, s'il y a lieu.

Réponse de la direction

La direction accepte les recommandations formulées dans la vérification interne. Ces recommandations tiennent compte du fait que la responsabilité de la mesure du rendement est partagée entre tous les gestionnaires du Ministère.
Les principales mesures à prendre par la gestion pour répondre aux recommandations et aux constatations, ainsi que leurs échéances, se trouvent dans la section Constatations, recommandations et réponse de la gestion du présent rapport.

Signature du DPVE

____________________________

Membres de l'équipe de vérification

Deborah Duhn
Sonja Mitrovic
Kyle Abonasara

Remerciements

La Vérification interne tient à remercier toutes les personnes ayant apporté aide et conseils au cours de la vérification.

1. Introduction

1.1 Contexte

La mesure du rendement se définit comme suit : « Processus ou systèmes de sélection, d'élaboration et d'utilisation continue de mesures de rendement pour guider le processus décisionnel^{Note de bas de page3} ». La mesure du rendement est un outil de gestion reposant sur les résultats que les organisations fédérales doivent utiliser pour renforcer la prise de décisions et la production de rapports.

Plus précisément, la mesure du rendement appuie Sécurité publique Canada (SP) dans son rôle de leadership pour établir une certaine cohérence dans les activités du Ministère. Elle procure également des leviers permettant d'influer sur la cohérence des politiques en plus d'offrir un aperçu des enjeux horizontaux avec de nombreux partenaires fédéraux et grâce à la réalisation des activités de programme suivantes : sécurité nationale, stratégies frontalières, lutte contre le crime et gestion des mesures d'urgence.

Les processus de mesure du rendement permettent de garantir des renseignements pertinents, exacts et opportuns pour la prise de décisions éclairées et la production de rapports solides. La mesure continue du rendement forme une base solide pour la gestion fondée sur les résultats et elle revêt de plus en plus d'importance dans une ère de transparence gouvernementale et de reddition de comptes.

Compte tenu de l'importance de la mesure du rendement, le sous-ministre a approuvé la vérification de la mesure du rendement dans le cadre du Plan de vérification axé sur les risques de 2012-2013 à 2014-2015.

1.2 Cadre législatif

La mesure du rendement est définie au moyen d'un ensemble de politiques, de directives et de lignes directrices du Conseil du Trésor (CT). La Politique sur la structure de la gestion, des ressources et des résultats (SGRR), la Politique sur l'évaluation et la Politique sur les paiements de transfert en font partie. Plus particulièrement, la Politique sur la SGRR vise à « garantir que le gouvernement et le Parlement reçoivent l'information financière et non financière intégrée sur le rendement des programmes, de façon à améliorer les décisions d'affectation et de réaffectation des ressources, tant dans chaque ministère qu'à l'échelle pangouvernementale^{Note de bas de page4} ».

1.3 Rôles et responsabilités

Les rôles et les responsabilités du sous-ministre, des dirigeants des secteurs et du dirigeant principal de la vérification et de l'évaluation (DPVE) en matière de mesure du rendement sont définis dans les politiques du CT et de SP, notamment la Politique sur la SGRR (2010) du CT, la Politique sur l'évaluation (2009) du CT et celle de SP, la Directive sur la fonction d'évaluation (2009) du SCT et la Politique sur les paiements de transfert (2008) du CT. Voici un résumé des responsabilités principales énoncées dans les politiques et directives du CT et de SP.

Les responsabilités principales de l'administrateur général consistent à faire en sorte :

• « que des mesures permanentes du rendement soient en place à l'échelle du ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes^{Note de bas de page5} »;
• « qu'il y ait un cadre permettant d'établir un lien entre les résultats attendus et les mesures du rendement et chaque programme à tous les niveaux de l'architecture d'alignement des programmes (AAP) et pour lesquels les résultats réels sont déclarés;
• que les systèmes d'information, les stratégies de mesure du rendement (SMR), les rapports et les structures de gouvernance des ministères soient conformes à leur SGRR^{Note de bas de page6} »;
• « qu'une SMR soit établie lors de la conception d'un programme, et qu'elle soit maintenue et mise à jour tout au long de son cycle de vie afin de soutenir de façon efficace une évaluation ou un examen de la pertinence ou de l'efficacité du programme de paiements de transfert;
• que des systèmes de surveillance, de contrôle interne, de mesures du rendement et de rapports soient en place pour soutenir la gestion des paiements de transfert^{Note de bas de page7} ».

Le Comité ministériel d'évaluation (CME) :

• « vérifie si les ressources affectées aux activités de mesure du rendement liées à l'évaluation sont suffisantes, et recommande à l'administrateur général un niveau de ressources suffisant pour ces activités^{Note de bas de page8} ».

Les responsabilités principales des dirigeants des secteurs sont les suivantes :

• « élaborer et mettre en œuvre leurs SMR, y compris tenir et mettre à jour leurs stratégies pendant tout le cycle de vie du programme;
• veiller à la collecte de données crédibles et fiables sur le rendement de façon à appuyer efficacement les évaluations;
• présenter au DPVE pour examen et avis les dispositions relatives à la responsabilisation et au rendement devant figurer dans les documents du Cabinet^{Note de bas de page9} ».

En tant que chef de l'évaluation, les responsabilités principales du DPVE sont les suivantes :

• « examiner les SMR concernant toutes les dépenses de programmes directes nouvelles et en cours pour s'assurer que ces stratégies appuient efficacement l'évaluation de la pertinence et du rendement, et fournir des conseils à ce sujet;
• examiner les dispositions sur la responsabilisation et le rendement devant être ajoutées aux documents du Cabinet et fournir des conseils à cet égard;
• examiner le CMR associé à la SGRR du Ministère et fournir des conseils à cet égard;
• présenter au CME un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui des évaluations^{Note de bas de page10} ».

Les responsabilités des gestionnaires de programmes comprennent les suivantes :

• « élaborer et mettre en œuvre des stratégies de mesure continuelle du rendement de leurs programmes et s'assurer que des données crédibles et fiables sur le rendement sont recueillies afin d'appuyer l'évaluation de façon efficace;
• consulter le chef de l'évaluation au sujet des stratégies de mesure du rendement pour toutes les dépenses de programmes directes, nouvelles et en cours^{Note de bas de page11} ».

1.4 Objectif de la vérification

L'objectif de la vérification consistait à donner une assurance raisonnable que les systèmes mis en place et les pratiques appliquées à l'appui de la mesure du rendement sont adéquats et efficaces et qu'ils respectent les exigences du Conseil du Trésor.

1.5 Portée et approche

La vérification portait sur la manière dont les indicateurs et les mesures du rendement sont élaborés et dont l'information connexe sur le rendement est recueillie et utilisée par le Ministère. La vérification était également axée sur le respect des instruments suivants : la Politique sur la structure de la gestion, des ressources et des résultats (SGRR) du CT, la Politique sur les paiements de transfert du CT, la Politique sur l'évaluation du CT, la Directive sur la fonction d'évaluation du SCT, la Politique sur l'évaluation du Ministère, la charte du CME, le cycle de planification et d'établissement de rapports ainsi que la mesure dans laquelle les renseignements sur le rendement sont intégrés aux principales décisions.

Pour la vérification, on a recueilli des échantillons de renseignements sur la mesure du rendement dans toutes les activités ministérielles, y compris les programmes de subventions et de contributions, les activités liées aux politiques et à la recherche et les fonctions de soutien internes jusqu'en septembre 2015.

Exceptions

La présente vérification n'a fourni aucune assurance concernant les éléments suivants :

• La mise en œuvre de l'ensemble des politiques du CT et leur respect; la vérification porte plutôt sur les secteurs propres aux activités de mesure du rendement. Par exemple, le caractère approprié des processus suivis pour l'élaboration d'une AAP serait exclu de la vérification.

1.6 Évaluation des risques

L'évaluation des risques effectuée pendant la phase de planification de la vérification a orienté l'établissement de la portée et des critères de la vérification. Voir les annexes C et D pour les détails.

Les activités opérationnelles du Ministère sont très diversifiées; elles concernent notamment les programmes de paiements de transfert, l'élaboration de politiques et les opérations. Cette diversité fait ressortir la nécessité d'un CMR rigoureux afin de bien comprendre les résultats obtenus dans chacune des activités et d'harmoniser les ressources en conséquence. En raison de la nature de certaines activités de SP, comme l'élaboration de politiques, il est difficile de définir des indicateurs du rendement et des sources de données.

Les secteurs de programme et de politique sont également largement tributaires des processus de collecte de données des intervenants externes, dont certains sont moins bien établis; il en résulte un niveau plus élevé de risques en ce qui a trait à l'intégrité et à la validité de données. En outre, dans certains cas, l'affectation des ressources pour des activités de mesure du rendement entrait en concurrence avec d'autres priorités, ce qui peut avoir donné lieu à des processus incomplets.

Au Ministère, de nombreuses activités, de par leur caractère horizontal, comprennent la participation d'autres ministères et organismes, tant à l'intérieur qu'à l'extérieur du Portefeuille. Cette approche horizontale complique l'acceptation de la mesure du rendement, l'engagement et la production de rapports sur la mesure du rendement par toutes les parties visées.

1.7 Opinion des vérificateura

Il faut apporter des améliorations^{Note de bas de page12} aux pratiques et aux processus de mesure du rendement afin d'augmenter leur niveau de conformité aux exigences du CT et leur pertinence et efficacité. Il est possible d'améliorer les processus de mesure du rendement et de renforcer la collecte et l'utilisation de renseignements sur la mesure du rendement pour appuyer les activités de gestion et de surveillance.

1.8 Énoncé d'assurance et de conformité

Des procédures de vérification suffisantes et appropriées ont été exécutées, avec les éléments probants appropriés, pour étayer l'exactitude de l'opinion formulée dans le présent rapport. L'opinion repose sur une comparaison des conditions, telles qu'elles se présentaient au moment de la vérification, avec des critères de vérification préalablement établis et approuvés par la direction. L'opinion s'applique seulement à l'entité qui a fait l'objet de l'examen et dans les limites de la portée décrite dans le présent document. Les éléments probants ont été recueillis conformément à la Politique sur la vérification interne et à la Directive sur la vérification interne au gouvernement du Canada du Conseil du Trésor. La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le confirment les résultats du programme d'assurance et d'amélioration de la qualité. Les procédures utilisées respectent les normes professionnelles de l'Institute of Internal Auditors (IIA). Les éléments probants recueillis sont suffisants pour convaincre la haute direction du bien-fondé de l'opinion découlant de la vérification interne.

2. Constatations, Recommadations et réponse de la gestion

2.1 Processus de mesure du rendement de Sécurité publique Canada

Dans le cadre de l'examen de diverses politiques et lignes directrices afférentes à la gestion de la mesure du rendement, nous avons relevé les éléments obligatoires suivants qui doivent être soumis aux processus exhaustifs de mesure du rendement :

• politiques et lignes directrices officiellement définies et communiquées, et formation offerte;
• surveillance, reddition de comptes, responsabilités et rôles clairs;
• vision claire des procédures et des pratiques relatives à l'élaboration, à la modification et à l'approbation du cadre de mesure du rendement;
• vision claire des procédures et des pratiques relatives à l'élaboration et à l'approbation des stratégies de mesure du rendement;
• harmonisation entre le CMR, la SMR et autres documents de planification opérationnelle.

Politiques, lignes directrices et formation

Il existe de nombreuses politiques et lignes directrices qui fournissent une orientation relativement à la mesure du rendement. Le Conseil du Trésor a approuvé des politiques et des directives sur la mesure du rendement, notamment la Politique sur la SGRR, la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et la Politique sur les paiements de transfert. Outre les politiques externes, Sécurité publique Canada a également élaboré et approuvé sa Politique sur l'évaluation.

Afin d'offrir un soutien aux ministères dans l'élaboration d'outils de mesure du rendement, le Conseil du Trésor a également publié la Ligne directrice sur une stratégie de mesure du rendement aux termes de la Politique sur les paiements de transfert et le document intitulé Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement. En complément aux directives disponibles et pour appuyer les secteurs de programme et de politiques, SP a également élaboré un guide qui porte sur l'élaboration de modèles logiques, soit le Guide sur les stratégies de mesure du rendement – Renseignements sur les modèles logiques.

Même s'il existe des politiques et des lignes directrices, celles-ci portent principalement sur la gestion de la mesure du rendement des secteurs de programme et fournissent des indications limitées en ce qui touche les activités liées aux politiques. Selon les répondants, le besoin persiste à l'égard de directives supplémentaires sur le rôle unique de SP en tant que coordonnateur et ministère chargé de l'établissement de politiques.

Des programmes spécialisés en évaluation et des cours de gestion générale (G110, G126, G226) sont offerts par l'École de la fonction publique du Canada, dans le but de soutenir la mise en œuvre des politiques, des directives et des lignes directrices énumérées et leur respect.

En outre, la Division de la planification stratégique (DPS) du SAPC a élaboré et présenté un certain nombre d'exposés ciblés à l'intention de divers secteurs et directions générales, y compris une série d'ateliers en 2012. Le nombre de participants à ces ateliers était limité, mais 50 % des répondants ont souligné la nécessité d'offrir une formation et une orientation, en particulier sur l'élaboration des indicateurs associés à la fonction d'élaboration de politiques, et des outils pour la saisie des données requises. À la suite de l'évaluation, l'Unité d'évaluation a élaboré et donné une séance de formation sur les indicateurs de la mesure du rendement pour les activités liées aux politiques afin de répondre au besoin mentionné.

Rôles, responsabilités, reddition de comptes et surveillance

L'examen des documents et les entrevues révèlent que, en général, la reddition de comptes, les responsabilités et les rôles étaient clairs et conformes aux politiques, aux directives et aux instructions mentionnées ci-dessus.

Selon la Directive sur la fonction d'évaluation, le chef de l'évaluation est chargé d'« examiner le cadre de mesure du rendement associé à la structure de la gestion, des ressources et des résultats du Ministère et de fournir des conseils à cet égard^{Note de bas de page13} ». Nous avons effectué un suivi auprès du CT, qui n'a pas fourni une interprétation claire de « conseils », à savoir s'il s'agissait d'une forme quelconque de reddition de comptes et quelle est la façon de garantir la prestation de ces « conseils ». Ainsi, chaque ministère avait sa propre interprétation et pouvait concevoir sa propre méthodologie en vue de répondre à ses besoins et de garantir qu'il respecte la politique. Tandis que les politiques de SP et du SCT prévoient des rôles et des responsabilités en matière de « conseils » et d'« examen » touchant les SMR et le CMR, la fonction d'évaluation de SP n'avait pas de processus officiel pour l'examen de toutes les SMR ou du CMR annuel. Jusqu'à maintenant, la fonction d'évaluation n'a pas participé activement à l'examen du CMR, comme l'exige la Directive sur la fonction d'évaluation du SCT.

Outre le rôle consultatif et d'examen associé à la fonction d'évaluation, la DPS a également offert un soutien au Ministère en matière de gestion de la mesure du rendement. Comme il est inscrit officiellement dans son plan d'activités, la DPS s'est engagée à favoriser la stabilité de l'AAP tout en la modifiant, au besoin^{Note de bas de page14}. Plus précisément, il incombe à la DPS :

• d'élaborer l'AAP en cascade et un répertoire de tous les programmes et de toutes les mesures relatives aux programmes;
• de s'assurer que les engagements du plan d'activités, les stratégies d'atténuation et les données réelles sur le rendement sont surveillés et font l'objet de rapports tout au long de l'année, comme il se doit;
• de créer une base de données pour la collecte ou le stockage de renseignements sur le rendement ministériel;
• de soutenir les secteurs dans l'élaboration de leurs SMR.

L'examen des ententes de gestion du rendement 2014-2015 relatives à chaque cadre supérieur révèle un engagement de la direction à l'égard de la mesure du rendement, notamment par l'inclusion du critère suivant :

« Des progrès importants ont été réalisés en vue d'atteindre les résultats attendus en fonction des secteurs de responsabilité des cadres supérieurs figurant dans le CMR, et des stratégies d'atténuation sont en place pour tenir compte des principaux risques. »

Les rôles, les responsabilités et la reddition de comptes sont clairement énoncés, mais les répondants ont mentionné que les rôles de la DPS et de l'Unité d'évaluation sont mal interprétés, en particulier quant à l'élaboration et la surveillance des activités de mesure du rendement.

D'après la Directive sur la fonction d'évaluation du SCT, le chef de l'évaluation doit présenter au CME un rapport annuel sur l'état de la mesure du rendement. Entre 2009 et 2013, ce rapport n'a pas été produit. Toutefois, à la réunion du CME du 15 juin 2010, il a été question de la mesure du rendement, et le directeur général (DG), Évaluation, a déposé le document Dotation de la fonction de l'évaluation. On y indiquait les activités prioritaires et recommandait celles qui pouvaient être reportées. Le rapport annuel sur l'état de la mesure du rendement était désigné comme l'une des activités à reporter compte tenu de son importance limitée, vu l'état connu de la mesure du rendement dans l'ensemble du Ministère. Le CME a accepté la recommandation relative à la priorité à accorder aux activités.

Le premier rapport annuel sur l'état de la mesure du rendement a été présenté au CME en février 2014 (le résumé des constatations se trouve à l'annexe E). Il visait à fournir les renseignements requis sur la mesure du rendement afin que le Ministère puisse aller de l'avant concernant la gestion fondée sur les résultats. Le soutien à l'égard de la gestion fondée sur les résultats vise à :

• offrir aux ministres un portrait plus uniforme du rendement, notamment en favorisant leur compréhension de l'efficience des programmes, pour leur permettre de prendre des décisions éclairées en matière de politiques et d'affectation des ressources;
• promouvoir une prise de décisions judicieuses au quotidien relativement aux programmes;
• appuyer la qualité et l'efficience des services d'évaluation.

Le rapport a servi de catalyseur pour attirer l'attention sur la mesure du rendement et améliorer la surveillance à cet égard par le CME. Dans le rapport, il était recommandé que le SMA responsable approuve toutes les SMR. La rédaction du rapport et l'adoption des recommandations ont considérablement contribué au renforcement du rôle de l'Unité d'évaluation dans la coordination de ces activités. Après la période de vérification, l'Unité d'évaluation a commencé à collaborer avec la DPS et le Centre d'excellence pour les subventions et les contributions afin de clarifier les rôles, de mettre au point des outils de suivi et de dresser des listes d'inventaire.

En matière de mesure du rendement, la gouvernance de la surveillance regroupe divers comités à différents échelons de l'organisation, soit le CME, le Comité ministériel de vérification (CMV), le Comité de gestion ministériel (CGM) et les comités de gestion des secteurs.

Selon la Politique sur l'évaluation du CT et la charte du CME de SP, le CME assume des responsabilités particulières et clairement définies en matière de MR. Plus précisément, le CME « vérifie si les ressources affectées aux activités de mesure du rendement liées à l'évaluation sont suffisantes, et recommande à l'administrateur général un niveau de ressources suffisant pour ces activités^{Note de bas de page15} ». Outre les constatations et les recommandations figurant dans le rapport annuel sur l'état de la mesure du rendement de SP et à la suite de l'évaluation, on a révisé la charte du CME de SP dans le but d'y ajouter des responsabilités liées aux examens périodiques des SMR approuvées par le sous-ministre adjoint (SMA) et aux examens du CMR ministériel, tous les ans^{Note de bas de page16}.

Conformément à la Politique sur la vérification interne du CT, l'examen des comptes rendus des décisions du CMV nous a permis de constater que le CMV recevait de l'information sur la mise en œuvre de la SGRR et avait examiné les principaux rapports sur le rendement comme le RPP, le RMR et le CMR 2014-2015. Toutefois, nous avons également constaté que le rapport annuel sur l'état de la mesure du rendement de SP n'était pas présenté aux membres du CMV.

Le mandat du CGM prévoit que les renseignements sur le rendement doivent être présentés pour examen à la mi-exercice et à la fin de l'exercice. En ce qui a trait expressément au CMR, le CGM est tenu d'examiner le CMR initial puis d'en examiner les résultats à la mi-exercice et à la fin de l'exercice. Pendant la période de vérification, nous avons constaté que le CMR avait fait l'objet d'un examen bilatéral par les SMA plutôt que par le CGM, comme il aurait été attendu. Les SMA se sont réunis pour discuter de la version définitive du CMR. De plus, en raison de contraintes de temps, les résultats à la mi-exercice du CMR 2013-2014 n'ont pas été présentés au CGM, car on considérait qu'ils n'étaient plus pertinents. En 2014-2015, on a seulement présenté les données d'un nombre limité d'indicateurs à l'examen de mi-exercice et aux discussions de fin d'exercice. Les comptes rendus de décisions du CGM mentionnaient les nouvelles mesures requises afin que le SMA, SAPC, examine les indicateurs existants et s'assure que ceux sélectionnés aux fins de présentation indiquent les problèmes auxquels il faut apporter rapidement des corrections.

En dernier lieu, nous concluons à un manque d'uniformité dans les renseignements sur le rendement présentés aux divers comités et utilisés par ceux-ci dans l'ensemble du Ministère, ce qui peut réduire l'efficacité des comités.

Procédures et pratiques relatives à l'élaboration et à l'approbation du CMR

Un CMR ministériel énonce les résultats attendus et les mesures du rendement de l'AAP. Le nombre d'indicateurs dans le CMR est limité; ces indicateurs visent à soutenir la surveillance et la reddition de comptes au sein du Ministère.

L'élaboration du CMR ministériel s'est améliorée grâce à l'amélioration des cibles, des indicateurs et de l'intégration dans la planification des activités ministérielles. Nous avons constaté que le CMR était harmonisé avec la Politique sur la SGRR du CT; il présente les indicateurs par sous-sous-activité de l'AAP et il est approuvé individuellement par tous les SMA.

Les répondants ont indiqué que la DPS a adopté une approche consultative individuelle avec chaque secteur de programme. Les consultations ont notamment abordé les modifications demandées par le SCT, les processus généraux d'élaboration du CMR et la mise en œuvre des indicateurs. Les répondants ont confirmé une bonne participation générale durant les consultations sur l'élaboration du CMR, mais les attentes à l'égard du CMR et son utilisation ne sont toujours pas claires. Il convient de souligner que, au dire de certains répondants, les indicateurs du CMR étaient peu importants pour eux puisqu'ils ne leur fournissaient pas l'information requise pour orienter leur programme.

Bien que la DPS ait organisé des réunions avec les coordonnateurs des secteurs et les gestionnaires de programmes en vue de faciliter le processus de modification du CMR, rien n'indique l'existence d'une méthodologie établie à l'appui de la demande de modification du CMR. Les répondants ont déclaré que la fonction d'évaluation n'avait pas été consultée en ce qui a trait au soutien de son rôle lié à la prestation de conseils et à l'examen.

Le SCT a formulé des commentaires sur le CMR de SP, et la DPS a retenu les services d'un expert-conseil en 2012-2013 pour l'examen du CMR. Le SCT et l'expert-conseil ont tous les deux formulé des observations, principalement les suivantes :

• instructions ou directives limitées dans le processus d'élaboration du CMR;
• manque d'uniformité au sein du Ministère en ce qui a trait aux résultats attendus et aux indicateurs;
• énoncés des résultats très généraux dans l'ensemble du Portefeuille avec une harmonisation directe restreinte.

Même si la DPS était d'accord avec certaines des observations, rien ne montre que ces observations ont été communiquées à la haute direction.

La DPS a dirigé le processus d'élaboration du CMR; elle a veillé au respect de la SGRR et à l'harmonisation avec l'AAP, mais nous avons constaté qu'il demeure nécessaire d'examiner le CMR en vue d'en garantir la clarté et l'exhaustivité.

Procédures et pratiques relatives à l'élaboration et à l'approbation des SMR

Les SMR permettent de déterminer et de planifier la façon dont les données sur le rendement doivent être recueillies afin de faciliter la surveillance et l'évaluation continues d'un programme. Elles visent à soutenir efficacement la surveillance et la mise en œuvre des programmes au quotidien et l'évaluation éventuelle de ce programme. Il n'y a pas de limite imposée au nombre d'indicateurs pouvant être inclus ou aux résultats et extrants attendus. Toutefois, « la stratégie […] est plus susceptible d'être mise en œuvre si le nombre d'indicateurs est raisonnable^{Note de bas de page17} ».

On a conclu que l'élaboration d'un CMR détaillé est bien comprise, notamment les modèles logiques, les discussions avec les intervenants et la détermination des indicateurs. Plus précisément, 10 répondants sur 11 ont mentionné qu'ils avaient eu des discussions collaboratives avec des intervenants des programmes. Les secteurs de programme ont assuré la sensibilisation et la pertinence, éléments qui revêtent une importance particulière étant donné que nous comptons sur l'apport des partenaires.

Un échantillon discrétionnaire des SMR, soit approximativement 30 %, a été évalué en vue de vérifier leur progrès et l'intégrité de leurs indicateurs. D'après les résultats, on peut faire mieux, principalement en ce qui a trait à l'intégrité et à la définition des indicateurs. Plus particulièrement, nous avons constaté :

• un manque d'indicateurs liés au rôle de leadership et de coordination de SP;
• un lien ténu entre la plupart des indicateurs et des extrants et résultats;
• des indicateurs généralement axés sur les activités des demandeurs et des bénéficiaires;
• des indicateurs de résultat vagues et mal définis pouvant être interprétés différemment et présentant un risque de rapports incohérents;
• un manque de ressources affectées à la collecte, à l'analyse et à la surveillance de données sur le rendement, avec un nombre élevé d'indicateurs reposant sur l'examen des documents, ce qui peut soulever des questions relatives à la capacité.

Bien qu'il reste des améliorations à apporter, l'élaboration de SMR a progressé depuis le rapport annuel sur l'état de la mesure du rendement de SP de 2013.

Qui plus est, le rapport a également attiré l'attention de la haute direction en exigeant que les SMA responsables approuvent les SMR. Plus particulièrement, le sous-ministre a demandé que les SMR dont l'évaluation indiquait « Améliorations requises » soient mises à jour et approuvées par chaque SMA concerné d'ici le 30 septembre 2014. Le diagramme qui suit présente la situation des SMR en septembre 2015.

Figure 1 : État de l'élaboration de SMR, à l'échelle du Ministère

Description de l'image

Ce graphique circulaire intitulé « État de l'élaboration de SMR, à l'échelle du Ministère» est divisé en trois sections. Le total du diagramme circulaire est égal à 28 SMRs. La plus grande section représente 18 des 28 SMRs au total et est nommée « Élaborée, approuvée par le SMA». La deuxième section représente 8 sur 28 SMRs au total et est nommée « Élaborée, non approuvée par le SMA». La plus petite section représente 2 sur 28 SMRs au total et est nommée « en suspens ».

Les deux SMR en suspens ont trait à des activités liées aux politiques.

Harmonisation entre le CMR, les SMR et d'autres documents opérationnels

L'harmonisation entre le CMR, les SMR et d'autres documents opérationnels, comme les plans d'activités, permet l'utilisation des renseignements sur la mesure du rendement pour la saine gestion.

Dans le cadre de l'examen des plans d'activités des secteurs de 2014-2015, nous avons constaté une harmonisation avec le CMR en ce qui a trait aux indicateurs et aux cibles. Cette harmonisation se retrouve également dans les plans de travail qui tenaient compte de l'engagement général d'améliorer les activités de mesure du rendement.

De plus, les répondants ont relevé un écart entre le CMR et les SMR. Au cours de l'examen des documents, nous avons seulement relevé quelques exemples d'harmonisation délibérée entre les indicateurs individuels des SMR et le CMR. Compte tenu des processus d'élaboration du CMR et des SMR, d'autres améliorations sont requises en vue de garantir leur harmonisation.

Malgré les efforts déployés pour améliorer les processus de mesure du rendement au Ministère, nous avons constaté des possibilités d'amélioration qui permettraient d'optimiser les processus d'élaboration et de renforcer l'harmonisation entre les SMR et le CMR. Le manque d'harmonisation entre les SMR et le CMR présente des risques de manque d'uniformité pouvant entraîner une faiblesse du CMR et des SMR et une présentation erronée du rendement du Ministère.

2.2 Collecte de données, production de rapports et prise de décisions sur le rendement à Sécurité publique Canada

Comme les politiques et les lignes directrices l'indiquent, nous avons relevé les éléments suivants, qui sont requis pour la collecte et l'utilisation de données sur le rendement :

• collecte de données (techniques de collecte de données indiquées, sources de données, rapports exacts et opportuns);
• renseignements sur la mesure du rendement utilisés pour les besoins en matière de rapports et intégrés de façon appropriée pour la prise de décisions éclairées.

Collecte de données, production de rapports et prise de décisions concernant le CMR

Le Ministère a démontré qu'il a pris de nombreuses mesures pour améliorer les processus de mesure du rendement. Des efforts ont été déployés pour préciser et adapter l'AAP et l'harmoniser avec les indicateurs du CMR. Nous avons cependant constaté que le Ministère n'a pas fait preuve de stabilité au cours de la dernière année pour permettre la collecte des données et l'analyse des résultats.

L'examen des documents révèle que les données relatives à environ 25 % des indicateurs du CMR 2012-2013 n'ont pas été recueillies et communiquées en 2013-2014. En outre, l'analyse du CMR 2013-2014 nous a permis de constater que les sources de données n'étaient pas précisées pour un certain nombre d'indicateurs. Ces derniers n'étaient donc pas mesurables. L'examen du Rapport sur les plans et les priorités (RPP) et du Rapport ministériel sur le rendement (RMR) a fait ressortir une divergence entre les indicateurs figurant dans le plan et ceux dont les résultats ont fait l'objet de rapports. Nous n'avons trouvé aucune justification pour étayer les modifications apportées à certains des indicateurs du RPP dans le RMR de cet exercice. De même, l'examen a démontré un manque d'uniformité dans les indicateurs, à l'élaboration du CMR et à l'étape de la production de rapports. En raison de ce manque d'uniformité, nous avons relevé des difficultés à assurer l'intégrité du processus de production de rapports et la situation réelle de la mesure du rendement au sein du Ministère.

D'après l'examen du CMR 2014-2015, seul un nombre limité d'indicateurs est présenté au CGM pour l'examen des résultats à la mi-exercice. Rien n'indique qu'on a utilisé un processus de sélection officiel ou de justification de la sélection. Après analyse des documents sur le rendement et examen des ordres du jour et des comptes rendus de décisions du Comité, nous avons constaté qu'il n'y avait pas de mise à jour sur l'état du CMR complet. En outre, même si les renseignements sur le rendement étaient présentés à l'occasion aux comités, nous avons constaté que les préoccupations et les questions liées au CMR n'étaient pas entièrement exposées et abordées en vue de garantir que des mesures correctives étaient prises.

Concernant de la gestion des secteurs, les répondants ont mentionné avoir tenu des réunions régulières; la documentation officielle était cependant limitée. Selon de nombreux répondants, il n'y a guère de demande de la part de la haute direction pour des données ou des résultats sur la mesure du rendement. La plupart des discussions sur la mesure du rendement étaient axées sur l'établissement des indicateurs et la détermination des sources de données.

Collecte de données, production de rapports et prise de décisions concernant les SMR

Même si le processus d'élaboration d'une SMR est bien compris et que 64 % des SMR sont élaborées et approuvées par le SMA, ces stratégies en sont encore au tout début de leur mise en œuvre.

Des efforts ont été déployés pour la collecte de renseignements sur la mesure du rendement, dans la mesure du possible; nous avons cependant constaté que les données n'étaient pas recueillies régulièrement. La collecte des renseignements sur le rendement s'effectue de façon ponctuelle ou selon les besoins. L'examen d'un échantillon de SMR a révélé que quatre programmes sur dix (Programme de prévention du crime, Programme des services de police des Premières nations, Centre des opérations du gouvernement et Infrastructures essentielles) recueillent des renseignements sur la mesure du rendement et les utilisent en appui aux aspects liés à la gestion de programme.

D'après l'examen des SMR et les répondants, la limite de la collecte et de l'utilisation de données est également attribuable, dans certains cas, à la dépendance envers les renseignements fournis par des tiers. Cette dépendance exige la participation continue et active des intervenants, et la collecte de données en temps opportun présente donc des défis. De plus, nous avons constaté que la dépendance à l'égard de tiers n'a pas été éclaircie, et les secteurs de programme en étaient aux premières étapes de la détermination des processus liés à la collecte de données auprès de tiers et à leur stockage. En dernier lieu, l'examen de l'échantillon de SMR a démontré une méthodologie limitée pour l'analyse et l'interprétation des données.

Compte tenu de l'utilisation attendue des renseignements sur la mesure du rendement, nous avons remarqué que le Ministère en est toujours au tout début de la collecte de données, ce qui limite les renseignements disponibles aux fins de production de rapports et de prise de décisions éclairées. Les observations de vérification font état de possibilités de promouvoir l'utilisation des renseignements sur la mesure du rendement et d'améliorer la détermination des sources de données, la collecte régulière de données, l'analyse et la production de rapports. Comme le Ministère a recueilli des données limitées sur le rendement, il existe un risque que les renseignements soient insuffisants pour la prise de décisions éclairées.

2.3 Recommandations

1. Le sous-ministre adjoint du Secteur des affaires du Portefeuille et des communications (SAPC) devrait veiller :
   • à l'harmonisation entre les indicateurs du CMR, du RPP et du RMR;
   • au soutien du dirigeant principal de la vérification et de l'évaluation pour l'examen du CMR et les conseils à cet égard, conformément à la Directive sur la fonction d'évaluation du SCT.
2. Chaque sous-ministre adjoint devrait :
   • indiquer les ressources affectées à l'élaboration et à la mise en œuvre des SMR;
   • assurer les liens entre le CMR et les SMR.
3. Chaque sous-ministre adjoint devrait :
   • veiller à la collecte de données exactes par rapport aux indicateurs du CMR et des SMR afin d'appuyer la prise de décisions et la production de rapports en temps opportun.
   • élaborer des ententes relatives à la collecte de données par un tiers, s'il y a lieu.

2.4 Réponse de la directions

La gestion accepte les recommandations formulées dans la vérification interne. Ces recommandations tiennent compte du fait que la responsabilité de la mesure du rendement est partagée entre tous les gestionnaires du Ministère.

Annexe A : Échelle D'opinion de la direction générale de la vérification interne et de L'évaluation

Voici l'échelle d'opinion des vérificateurs, Direction générale de la vérification interne et de l'évaluation, qui sert à évaluer l'importance de l'ensemble des constatations et des conclusions des vérificateurs.

Annexe B : État de L' élaboration de SMR, par secteur

Annexe C : Critères de vérification

Annexe D : Risques préliminaires liés à la vérification

Voici un résumé des principaux risques qui pèsent sur SP quant à la mesure du rendement.

Annexe E : Résumé du rapport annuel sur l'état de la mesure du rendement de 2013

Le rapport annuel sur l'état de la mesure du rendement de 2013 visait principalement à évaluer l'existence et l'exhaustivité des SMR selon leur activité liée aux programmes et aux politiques indiquées ci-dessus. L'exhaustivité des SMR a été évaluée conformément aux directives du CT qui indiquent les éléments clés, dont les modèles logiques, les indicateurs et la collecte de données. Le rapport établit une base de comparaison future pour le Ministère et résume les lacunes en matière de mesure du rendement.

Le rapport n'a pas tenté de formuler de conclusions sur ces programmes, à savoir lesquels étaient dotés de SMR et si celles-ci étaient mises en œuvre et intégrées dans le cycle de gestion du programme. L'analyse était l'objectif de la présente vérification.

Les constations principales du rapport annuel sont les suivantes :

• L'état de la mesure du rendement et de la responsabilisation concernant l'approbation des stratégies de mesure du rendement varie dans l'ensemble du Ministère.
• L'évaluation a révélé que :
  • environ 15 % des programmes nécessitent des modifications mineures de leurs stratégies de mesure du rendement;
  • près de 55 % des programmes nécessitent un nombre modéré de modifications;
  • environ 30 % des programmes nécessitent une modification importante.
• La plupart des programmes qui exigent une modification importante sont de petits programmes de paiements de transfert (dont le Programme des services de police des Premières nations et le Programme national de prévention du crime) dont les stratégies de mesure du rendement sont incomplètes, du fait que les mesures du rendement sont définies uniquement dans leurs conditions; par conséquent, il leur manque des composantes essentielles.
• Certains programmes n'ont pas harmonisé leurs objectifs à l'architecture d'alignement des programmes.
• Les liens avec les documents de base du Cabinet ne sont pas clairement énoncés.
• La plupart des programmes ne tiennent pas compte des coûts liés à la mesure du rendement, d'où la difficulté d'évaluer si les plans de mesure du rendement sont réalistes.
• Peu de programmes ont élaboré des indicateurs en ce qui a trait à la pertinence et à l'efficacité du programme.
• La plupart des programmes n'ont pas établi de cibles ou de données de référence pour les indicateurs.
• Il y a certaines forces générales en matière de mesure du rendement dans l'ensemble du Ministère, puisque les stratégies de mesure du rendement :
  • contiennent toutes les composantes exigées par les documents d'orientation du Conseil du Trésor;
  • établissent clairement le profil du programme et illustrent le fondement théorique par l'entremise de leurs modèles logiques;
  • établissent des indicateurs de rendement pour les extrants et les résultats escomptés;
  • comprennent des indicateurs généralement de bonne qualité (valables, fiables et réalistes);
  • définissent les rôles et les responsabilités liés à la collecte de données, à l'analyse et à la production de rapports;
  • comprennent des stratégies d'évaluation.

Date de modification :

2022-08-09