Une nouvelle approche pour évaluer la recherche destinée au « monde réel ».

Il existe depuis quelques années une volonté croissante d’étendre l’évaluation de la recherche au-delà des mesures traditionnelles de la validité, de la reproductibilité et de la responsabilité financière pour inclure l’impact plus large de la recherche sur la société – son applicabilité et son utilité dans le « monde réel ». Une telle façon de voir les choses est particulièrement pertinente pour le CRDI. Dans le domaine du développement international, la qualité et la valeur de la recherche – en fait, son objet même – sont directement liées à sa pertinence et à sa traduction dans des applications pratiques. Les caractéristiques d’une recherche pour le développement réussie comprennent sa capacité de susciter et de façonner des politiques, de changer les collectivités et les systèmes sociaux, et, au bout du compte, d’améliorer la qualité de vie des personnes.

En tant que bailleur de fonds et facilitateur de la recherche pour le développement dans les pays du Sud, le CRDI a entrepris d’élaborer une approche plus holistique de l’évaluation de ses activités de recherche. Ces efforts ont abouti à la création de Qualité de la Recherche Plus (QR+), une approche qui peut être appliquée et adaptée à une variété de contextes de recherche et de besoins organisationnels.

Cette approche tient compte du fait que la recherche ne s’effectue pas en vase clos. Au contraire, l’approche QR+ incite les évaluateurs à examiner systématiquement le contexte dans lequel s’effectue la recherche, et à prendre en compte ce contexte pour évaluer la qualité. Elle rejette en outre l’idée reçue selon laquelle la qualité de la recherche dépend exclusivement de l’excellence méthodologique. Au lieu de cela, l’évaluateur qui utilise QR+ doit prendre en compte la méthodologie et les diverses dimensions de la qualité associées à l’importance de la science pour la société.

Les composantes de QR+
L’application concrète de la recherche est un aspect essentiel des travaux financés par le CRDI. Un cadre d’évaluation efficace doit englober la recherche effectuée dans de nombreux domaines (et qui est souvent multidisciplinaire), tout en générant des résultats cohérents et comparables.

Les trois principales composantes de l’approche QR + sont les suivantes :

Première composante : les facteurs contextuels les plus susceptibles d’affecter la qualité de la recherche. L’identification de ces facteurs permet aux évaluateurs d’examiner de manière significative et systématique la façon dont la recherche est facilitée ou entravée.

Selon le mandat et les priorités d’une organisation, les influences clés déterminées par les évaluateurs peuvent varier considérablement. Pour le CRDI, les cinq principaux facteurs contextuels sont les suivants : maturité du champ de recherche, renforcement des capacités de recherche, risque présent dans l’environnement des données, risque présent dans le milieu de la recherche, risque présent dans le milieu politique.
Deuxième composante : une vision multidimensionnelle de la qualité en recherche. La rigueur scientifique est fondamentale, mais les concepts de qualité devraient inclure d’autres valeurs et objectifs d’importance. Pour le CRDI, voici ce qui est important :

Intégrité de la recherche
La qualité technique ainsi que la pertinence et la rigueur de la conception et de l’exécution.

Légitimité de la recherche
La mesure dans laquelle la recherche tient compte des préoccupations et des idées des parties prenantes concernées.

Importance de la recherche
L’importance et la valeur des connaissances générées par la recherche pour les principaux utilisateurs prévus.

Positionnement en vue de l’utilisation
La mesure dans laquelle la recherche a été gérée et les produits/extrants ont été préparés en vue d’accroître la probabilité que la recherche soit utilisée. En d’autres termes, pour positionner les résultats de la recherche aux fins d’influence et d’impact éventuel.

Troisième composante : les rubriques relatives aux données probantes et à l’évaluation. Tout comme pour les recherches que nous menons, notre évaluation de la qualité doit reposer sur des données empiriques et non uniquement sur une opinion. À l’aide de rubriques systématiques, QR+ demande aux évaluateurs de tirer des conclusions fondées sur des critères d’évaluation clairs. Les rubriques précisent la façon de mesurer le rendement dans les diverses dimensions de la qualité.

Mettre l’approche en pratique
Dans l’application conçue pour le CRDI, la tenue d’une évaluation de la qualité de la recherche à l’aide de QR+ comporte quatre étapes :

Sélection d’un échantillon représentatif de projets de recherche et des résultats associés aux fins d’évaluation.
Compréhension de la façon dont chaque facteur contextuel clé peut influer sur la qualité de la recherche évaluée (en examinant la documentation du projet, en interrogeant les parties concernées et en tenant compte de l’expertise de l’équipe d’examen externe).
Collecte des données et des preuves pour renseigner les évaluations des diverses dimensions (et sous-dimensions) de la qualité pour chaque projet de recherche, au moyen d’une rubrique d’évaluation.
Synthèse des cotes pour produire des évaluations pouvant être regroupées à l’échelle du programme ou de l’organisation.
La flexibilité est un attribut important de l’approche QR+. Celle-ci peut être adaptée à différents contextes de recherche et aux besoins des gestionnaires. À l’origine, l’approche QR+ a été conçue aux fins d’un ensemble d’examens des programmes du CRDI réalisés à l’externe en 2015. Depuis ce temps, QR+ a été utilisée, et souvent adaptée, de diverses manières.

Potentiel élargi
L’utilisation de l’approche par le CRDI a mis en évidence son vaste potentiel. Les évaluations utilisant QR+ sont basées sur les priorités, les valeurs et les principes qui peuvent être utilisés pour faciliter le jumelage et la planification coordonnée entre les partenaires financiers ou de recherche.

Les critères d’évaluation du cadre peuvent contribuer au développement et à l’évaluation des propositions de recherche ainsi qu’à l’évaluation continue des projets et des programmes tout au long de leur cycle de vie. Cela peut aussi faciliter la méta-analyse, une technique qui consiste à rassembler les résultats de différentes études scientifiques en un seul dossier auquel des méthodes statistiques sont ensuite appliquées, ce qui peut accroître la précision et la généralisabilité des résultats.

De plus, l’approche QR+ peut favoriser une meilleure compréhension de la manière dont la recherche peut produire un impact. La combinaison des renseignements recueillis dans le cadre du processus d’évaluation avec un examen des impacts de la recherche à plus long terme peut permettre de mieux définir la recherche et les facteurs contextuels qui produisent des résultats concrets. Ces éléments pourraient aider à façonner la pratique de la recherche pour le développement et améliorer le potentiel de changement positif à long terme.
CRDI

Une nouvelle approche pour évaluer la recherche destinée au « monde réel ».