Notation, mode d’emploi

 

Preffi permet d’analyser des projets. L’objectif d’une analyse de projet est de « connaître afin d’améliorer ». Avant tout, il est important de retenir que Preffi 2.0 est un outil de diagnostic visant à analyser l'efficacité attendue des programmes de promotion de la santé. Les appréciations et les notes n'ont pas beaucoup d'intérêt en elles-mêmes, c’est l'analyse qui compte.

 

L’outil comporte 8 catégories, regroupant 35 indicateurs décomposés en 119 questions.

 

Les questions sont formulées pour que vous puissiez y répondre par « oui » ou par « non ».

Quelques questions peuvent vous sembler difficiles, par exemple si le projet ne fournit pas assez d'informations ou s'il vous manque le savoir-faire nécessaire dans le domaine en question. Dans tous les cas, vous devez essayer de répondre à autant de questions que possible. La mention "non analysable" existe pour un nombre limité de questions souvent difficiles à formuler dans des descriptions de projet ou difficiles à analyser par ceux qui ne sont pas impliqués dans le projet. A chaque question correspond un espace réservé à des commentaires pour indiquer par exemple les raisons pour lesquelles vous répondez par oui ou par non à une question en particulier.

 

À partir des réponses à ces questions, l’indicateur peut se voir attribuer une appréciation "faible", "moyen" ou "fort". "Faible" signifie insuffisant, c’est-à-dire nécessitant une amélioration. "Moyen" indique qu’une amélioration plus ou moins importante est à envisager. "Fort" signifie qu’aucune amélioration n’est exigée. Le logiciel vous propose l’appréciation qui correspond à vos réponses, mais vous devez la confirmer pour l’enregistrer.

Vous pouvez pour chaque indicateur identifier des aspects devant être améliorés.

 

Il s’agit ensuite d'attribuer une note entre 1 et 10 à chaque catégorie. Utilisez votre propre jugement pour déterminer cette note globale à partir des appréciations que vous avez attribuées aux différents indicateurs en fonction de l'importance que vous souhaitez attacher à chacun d’entre eux. Il vous est recommandé de baser la note globale sur les appréciations ("faible", "moyen", "fort") pour chaque indicateur d’une catégorie donnée. On peut ainsi donner une note de 9 ou 10 à une catégorie ayant 3 indicateurs si les 3 indicateurs ont eu une appréciation "fort", tandis que 3 appréciations "moyen" peuvent conduire à une note de 6, et 3 appréciations "faible" à une note de 3. Une appréciation "non analysable" peut être incluse dans la note globale en tant que note neutre, ce qui signifie que vous décidez de la note globale en fonction des autres indicateurs de la catégorie. Vous pouvez également décider d'attacher plus d'importance à certains indicateurs qu’à d'autres lors de la détermination de la note globale. Cela peut correspondre à la nature de l’indicateur, à la nature ou aux ressources du projet. Ou bien vous pouvez décider que 3 appréciations "fort" donnent une note globale de 8 plutôt que de 9, si vous pensez que l’un des indicateurs est un peu moins "fort".

 

Les notes des catégories analysées se reportent dans un graphique global. L’illustration obtenue fait apparaître clairement les points forts et les points faibles d’un projet. Si vous avez analysé l’ensemble du projet, vous pouvez lui attribuer une note globale entre 1 et 10, à partir de votre analyse des différents indicateurs, de l'importance que vous avez attachée à chaque indicateur, des notes accordées aux catégories et de l'importance que vous souhaitez attacher aux catégories suivant la nature du projet ou ses ressources.

 

L’intérêt principal de Preffi est d’identifier les points à améliorer, ainsi que les actions nécessaires à cette amélioration dans un laps de temps précis. Le formulaire de notation final comporte un espace réservé à l'inscription de ces points et actions. Il peut être utile à ce stade de parcourir à nouveau les formulaires de notation des indicateurs, en les utilisant comme une check-list des points à améliorer. Rappelez-vous cependant qu’aucun projet n'obtiendra des notes élevées sur toutes les questions et que toutes les améliorations éventuelles ne pourront pas être réalisées. Soyez sélectif sur les points à améliorer, identifiez ceux qui sont importants, évolutifs et réalisables.

 

----------------------------------------

Le niveau de preuve

 

 

Le guide d’utilisation de Preffi est très complet, et accessible, comme l’outil de notation, sur le site de l’INPES (inpes.sante.fr). Nous en présentons dans ce logiciel une version adaptée, en proposant au regard de chaque catégorie et de chaque indicateur un résumé des explications, assorti de l’appréciation qu’ont fait les auteurs de Preffi sur le niveau de preuve existant.

 

« Les données probantes peuvent être fournies par la recherche, l'expérience pratique ou par la logique et le sens commun. Il n'est pas toujours facile de décider laquelle de ces sources est pertinente, car des modalités de projets sont considérées depuis des années comme allant de soi et n’ont donc pas été discutées. C’est par exemple le cas de l’affirmation selon laquelle il est important de "concevoir des interventions adaptées à la population concernée" ou de "formuler des objectifs précis". Néanmoins, nous avons tenté de décrire brièvement les données probantes disponibles.

Nous avons également tenté d'exprimer la "difficulté" de faire la preuve de chaque indicateur par une note entre 1 et 5. Le résultat doit être considéré comme un essai préliminaire.

Nous utilisons la notation suivante :

1. données provenant d'une expérience pratique ou de suppositions théoriques (y compris "logique"); aucune preuve scientifique ;

2. données probantes disponibles à la fois à partir de l'expérience pratique et de suppositions théoriques, mais aucune preuve scientifique ;

3. preuve scientifique disponible à partir d'une ou de deux bonnes études quantitatives contrôlées, "séries chronologiques" ou quatre à cinq études qualitatives ;

4. preuve scientifique provenant de trois ou plus bonnes études quantitatives ou de plus de cinq études qualitatives ;

5. preuve scientifique disponible à partir d'une méta-analyse ou d'une étude systématique. »