Suivi – Vérification du processus de présélection et de classement des projets qu’utilise le Fonds PPP Canada

Résumé de la vérification de suivi : vérification de suivi du processus de présélection et de classement des projets utilisé par le Fonds PPP Canada (rapport en date de mars 2015)

La vérification de suivi avait pour objectif d’évaluer la mise en œuvre du plan d’action approuvé par la direction pour la vérification du processus de présélection et de classement des projets utilisé par le Fonds PPP Canada et de s’assurer que les étapes suivies et les mesures correctives mises en place par la direction atténuent les risques cernés pendant la vérification initiale.

La portée de cette mission de vérification s’étend de la demande de propositions (DDP) pour la sixième ronde du Fonds PPP Canada, qui ont été reçues jusqu’à la date limite de présentation du 13 juin 2014, jusqu’à la présentation des demandes recommandées au conseil d’administration.

Globalement, selon la portée ci-dessus, nous avons découvert que la direction avait répondu à toutes les recommandations formulées dans la vérification d’avril 2013 du processus de présélection et de classement des projets utilisé par le Fonds PPP Canada.

Le tableau suivant présente certaines constatations formulées dans le rapport de la vérification du processus de présélection et de classement des projets utilisé par le Fonds PPP Canada publié en avril 2013. Il donne une description de la recommandation de la vérification initiale, le plan d’action de la direction, et l’observation courante et la conclusion.

Recommandations de la
vérification initiale

 Réponse de la direction et plan d’action

Observations et conclusions de la mission de suivi

Nous recommandons que la direction établisse une pratique visant à confirmer officiellement la participation des membres et leur accord à l’égard de l’évaluation finale du Groupe d’évaluation aux fins de vérification ultérieure.

PPP Canada accepte la recommandation voulant que des pratiques officielles d’attestation de la participation et de confirmation de l’accord des membres aux évaluations finales du Groupe d’évaluation doivent être élaborées.

Le Groupe d’évaluation chargé d’examiner et d’évaluer les demandes présentées au Fonds PPP Canada est composé d’employés compétents et chevronnés provenant des unités organisationnelles du Développement de projets et des Investissements. Les membres du groupe possèdent plusieurs années d’expérience en évaluation et en soutien de projets en PPP.

PPP Canada dressera une liste de participation officielle pour le Groupe d’évaluation chargé de la présélection et du classement des projets. Une fois que les membres du groupe se seront entendus sur les notes, ils devront signer un bordereau d’acheminement qui fait foi de leur accord quant aux notes finales. Les documents sur le consensus final seront sauvegardés dans P3C Docs dans le répertoire pertinent aux fins de vérification ultérieure.

√ – On a adéquatement donné suite à la recommandation.

La direction a élaboré une pratique afin de démontrer officiellement la participation et l’accord aux notes finales du Groupe d’évaluation.

Les notes finales des projets entrées dans les feuilles d’information sur les projets (FIP) sont reproduites sur la feuille de base de données et cadrent avec le bordereau d’acheminement signé par le Groupe d’évaluation.

Nous recommandons que la direction élabore une pratique permettant de confirmer l’approbation des décisions du comité des autres ordres de gouvernement, qui inclura une justification des principales décisions prises au sujet des projets rejetés et des éléments stratégiques liés aux projets.

PPP Canada accepte cette recommandation issue de la vérification.

PPP Canada a déployé beaucoup d’efforts pour concevoir des processus officiels et systématiques ainsi que des mesures de contrôle internes visant à gérer et à appuyer les accords internes en matière de gouvernance. Plus récemment, PPP Canada a élaboré les mandats, les procès-verbaux de réunions et les points de décision consignés pour chaque comité de gouvernance. La secrétaire générale est responsable du soutien au secrétariat et de la distribution des procès-verbaux et des points de décision à l’équipe de gestion aux fins d’examen. L’équipe de gestion a l’occasion de contester le procès-verbal et les points de décision, et de formuler des commentaires à leur sujet aux réunions ultérieures. Une fois qu’un consensus sur l’exactitude du procès-verbal et des points de décisions a été atteint, ils sont approuvés par le président et sauvegardés dans P3C Docs dans le répertoire pertinent aux fins de vérification ultérieure.

Désormais, le Groupe d’évaluation justifiera par écrit ses décisions relatives au rejet des demandes de projet. En outre, le comité des autres ordres de gouvernement consignera sa justification et ses décisions ainsi que la sélection des projets stratégiques. Les motifs des projets refusés et des projets stratégiques seront présentés au comité des autres ordres de gouvernement afin qu’il les étudie et les approuve. Les documents à l’appui seront sauvegardés dans P3C Docs dans le répertoire pertinent, aux fins de vérification ultérieure.

√ – On a adéquatement donné suite à la recommandation.

Des renseignements appropriés sont fournis aux membres du comité des autres ordres de gouvernement aux fins de prise de décision pendant le processus de sélection des demandes de projets du Fonds PPP Canada. Le Groupe d’évaluation présente au comité des autres ordres de gouvernement la sélection et le classement des projets du Fonds PPP Canada. La justification et les décisions liées à la sélection des projets rejetés et des projets stratégiques sont présentées au comité des autres ordres de gouvernement afin qu’il les étudie et les approuve.

Après que le comité des autres ordres de gouvernement a examiné les projets proposés par le Groupe d’évaluation, les décisions du comité des autres ordres de gouvernement concernant les considérations liées aux projets rejetés et aux projets stratégiques du classement ne sont pas consignées dans des points de discussion distincts. Plutôt, les résultats des décisions prises par le comité des autres ordres de gouvernement, qui comprennent le classement et les motifs du rejet des projets, sont résumés dans une soumission officielle présentée au conseil aux fins d’examen et de recommandation au ministre.

Nous recommandons que la direction intègre une étape de vérification de la date de présentation de la demande à la phase d’évaluation qualitative avant que le bien-fondé de celle-ci soit évalué et que toutes les demandes reçues après la date limite de présentation soient systématiquement exclues du processus de présélection.

PPP Canada accepte cette recommandation issue de la vérification.

PPP Canada procède à un examen qualitatif détaillé sur le caractère exhaustif de toutes les demandes présentées au Fonds PPP Canada avant de les évaluer et de les noter. Désormais, toutes les demandes, notamment celles des personnes-ressources régionales, des interlocuteurs et des représentants d’autres ordres de gouvernement, devront être acheminées à l’adresse de courriel attitrée (PPPadministration@p3canada.ca) avant la date et l’heure précisées dans le Guide de présentation d’une demande. Les demandes présentées après la date limite prescrite seront automatiquement exclues du processus de présélection.

L’unité organisationnelle du Développement de projets instaurera une procédure de liste de vérification officielle afin d’assurer le respect des critères obligatoires du processus de présélection.

√ – On a adéquatement donné suite à la recommandation.

Le Guide de présentation d’une demande de la sixième ronde du Fonds PPP Canada indique une date limite claire.

Le Guide d’évaluation des demandes/de l’évaluateur de la sixième ronde du Fonds PPP Canada permet d’évaluer les critères liés à la date limite des présentations des demandes et les critères obligatoires associés aux processus de présélection. La liste de vérification du guide est reproduite sur la feuille d’information sur les projets (FIP).

Les demandes de projets du Fonds PPP Canada ont été acheminées à l’adresse de courriel attitrée, et ce, avant la date limite établie.
Nous recommandons que la direction sépare les responsabilités associées à la feuille d’information sur les projets (FIP) et qu’elle mette en place un processus officiel de gestion du changement afin de gérer tous les changements, les mises à jour et les modifications concernant ce système.
PPP Canada accepte cette recommandation issue de la vérification.

Au cours de la période de planification 2012 2013, PPP Canada a dirigé la mise en œuvre du système de gestion électronique des documents et des dossiers (SGEDD). Le système vise à accroître la capacité de PPP Canada à gérer les documents et les dossiers, et à renforcer la sécurité des renseignements. Grâce à ce système, PPP Canada est en mesure de gérer les droits d’accès et d’établir une piste de vérification claire pour toute modification et suppression de versions des documents et des profils qui leur sont associés. Désormais, PPP Canada gérera la FIP du Fonds PPP Canada dans le SGEDD. L’unité organisationnelle du Développement de projets accordera à certaines ressources choisies le pouvoir de modifier les droits d’accès à la FIP. Tout changement apporté à la FIP sera géré par ces ressources et sera démontré par une piste de vérification dans le SGEDD.
√ – On a adéquatement donné suite à la recommandation.

Comme il a été noté dans l’introduction, le processus de présélection et de classement des projets a changé légèrement depuis la vérification initiale. La feuille de base de données est maintenant utilisée afin de consolider toutes les FIP individuelles et programmée pour se relier aux FIP individuelles. La feuille de base de données, élaborée dans MS Excel, est considérée comme un outil d’agrégation des données, utilisé pour simplifier le processus de rassemblage des renseignements contenus dans la FIP.

Avant le début de la sixième ronde, la direction a signalé que PPP Canada suivait un processus systématique afin de valider la pertinence de la conception de la feuille de base de données. Avant d’entrer dans l’environnement de production, plusieurs modèles de feuilles d’information sur les projets ont apparemment été préparés et mis à l’essai dans la base de données de projets, dans un environnement d’essai séparé. L’unité organisationnelle du Développement de projets a approuvé la précision et le rendement de la feuille de base de données avant qu’elle soit mise en production. Pendant que la sixième ronde était active, l’environnement de production était contrôlé par mot de passe, empêchant ainsi les utilisateurs d’apporter des ajustements aux macros (VBA) sans autorisation appropriée.

Dans le cadre de la vérification de suivi, nous avons découvert qu’en ce qui concerne la feuille de base de données, l’associé du Développement de projets est en mesure de modifier des zones de données sur la feuille de base de données et pourrait manipuler les données présentées à la haute direction et utilisées aux fins de prise de décisions.

Cela étant dit, dans la vérification, nous avons noté qu’il existe des contrôles d’atténuation ultérieurs qui pourraient raisonnablement permettre de détecter des changements non approuvés aux renseignements sur le projet. En particulier, les renseignements extraits de la feuille de base de données sont examinés par le directeur et le vice-président, Développement de projets, avant l’acheminement de la présélection et du classement des projets aux membres du comité des autres ordres de gouvernement. Le nombre de projets présélectionnés a diminué de façon importante par rapport aux rondes précédentes (12 à la sixième ronde), ce qui réduit davantage la probabilité que des changements demeurent non détectés. Enfin, des pistes de vérification de détection ont été créées dans le SGEDD (P3C Docs) qui serviraient de dissuasion et qui réduisent davantage ce risque.
Nous recommandons que la direction procède à un examen de l’approche et de la méthodologie retenues en ce qui a trait à la notation pour les rondes d’évaluation futures afin de s’assurer que des paramètres précis d’évaluation sont utilisés et que ceux-ci sont conformes aux critères établis et à la grille de notation. PPP Canada accepte cette recommandation issue de la vérification.

PPP Canada surveille et examine continuellement les processus, les procédures et l’approche adoptés pour chaque ronde du Fonds PPP Canada. Les leçons tirées et l’expérience acquise des rondes précédentes permettent de peaufiner les processus et les procédures qui serviront pour les rondes futures.

Des travaux sont en cours pour mettre à jour et améliorer le Guide d’évaluation des demandes/de l’évaluateur de la sixième ronde du Fonds PPP Canada afin qu’il corresponde aux critères et à la grille de notation. PPP Canada continuera à donner à son personnel une formation sur l’évaluation des demandes.

Les documents à l’appui, les notes finales attribuées aux projets et le classement de ceux ci seront actualisés dans les dossiers du système de gestion électronique des documents et des dossiers (SGEDD) qui leur sont attitrés aux fins de vérification ultérieure.
√ – On a adéquatement donné suite à la recommandation.

Le Guide d’évaluation des demandes/de l’évaluateur de la sixième ronde du Fonds PPP Canada renferme des paramètres d’évaluation clairs.

La note accordée aux projets selon le consensus obtenu dans le Groupe d’évaluation, telle qu’elle est présentée aux membres du comité des autres ordres de gouvernement, cadre avec les notes attribuées aux projets enregistrées sur les feuilles d’information sur les projets (FIP) du SGEDD.