Richard Marceau, Professeur titulaire
École nationale d'administration publique
richard.marceau@enap.ca

Il n'existe pas de consensus sur la définition même de l'évaluation de programme. En voici une version pratique : l'évaluation d'un programme public consiste à en établir la valeur sociale.

Dans le contexte du secteur public, cette définition s'étend naturellement à d'autres formes d'interventions publiques, plus générales ou plus particulières, telles que les politiques publiques, les stratégies d'actions, les lois, les règlements ou les biens et services publics.

Dans son sens général, évaluer consiste à déterminer la valeur ou l'importance d'une chose (Nouveau Petit Robert, 2011). Cette détermination de la valeur implique forcément l'introduction de critères, de normes, de références, ou tout simplement de valeurs dans l'appréciation des caractéristiques de cette chose (Scriven, 1991, p. 5). Dans le contexte du secteur public, évaluer une intervention de l'État nécessite également l'introduction de références pour juger de son mérite. La société s'impose logiquement comme premier niveau de référence à l'évaluation des interventions publiques. Le concept de société se voulant ici inclusif, l'estimation de la valeur d'une intervention publique sur la seule base des intérêts d'un gouvernement, d'un parti politique, d'un État, ou d'un ou des groupes d'intérêts particuliers apparaît nécessairement partial (Mishan et Quah, 2007, p. 5).

Pour comprendre l'évolution du champ de l'évaluation, il est nécessaire de distinguer les deux écoles de pensée : l'école des programmes sociaux et l'école économique.

L'école d'évaluation des programmes sociaux s'identifie comme telle au moins depuis Suchman (1967). Elle provient des travaux en éducation, en psychologie sociale et en sociologie (Shadish, Cook et Leviton, 1991, p. 21) et profite toujours de la contribution de ces disciplines auxquelles s'ajoutent aujourd'hui plusieurs autres disciplines dont, en particulier, la science politique. Shadish, Cook et Leviton font mention de références à l'usage de l'évaluation publique dans la Chine d'il y a plus de 4000 ans, mais il est plus facile de suivre l'évolution de la pratique évaluative depuis les 200 dernières années. C'est néanmoins dans les années 1960, avec l'arrivée des premiers grands programmes sociaux américains, que se situe la véritable émergence de l'évaluation des programmes sociaux. Shadish, Cook et Leviton attribuent la demande en évaluation de la période moderne aux préoccupations des élus américains concernant ces nouveaux programmes. Leurs préoccupations portaient sur la reddition de comptes, en particulier la bonne gestion et les effets produits par ces interventions massives. L'incapacité du personnel administratif de l'époque à répondre aux besoins évaluatifs aurait amené les facultés d'universités américaines à augmenter significativement la formation en sciences sociales à cet égard. À partir de cette époque, selon Alkin (2004, p. 13), les chercheurs Tyler et Campbell, Scriven ainsi que Stufflebeam sont apparus comme les piliers de trois branches distinctes de l'évaluation des programmes sociaux, soit la méthode, la théorie de la valeur et l'utilisation de l'évaluation. En conséquence, diverses définitions plus limitatives sont apparues misant tantôt sur les dimensions méthodologiques de l'évaluation (Rossi, Lipsey et Freeman, 2004), tantôt sur les dimensions utilitaires (Patton, 1997), tantôt sur les dimensions démocratiques (House et Howe, 1999). Actuellement, la forte opposition entre les positions épistémologiques en sciences sociales concourt encore plus à morceler la notion d'évaluation de programme en un nombre élevé d'approches d'évaluation (Dubois et Marceau, 2005). Owen (2007), par exemple, regroupe en cinq grandes catégories, 20 différentes approches d'évaluation. Cette classification elle-même n'est pas consensuelle et varie d'un auteur à l'autre.

L'école économique d'évaluation de programme ne s'identifie pas comme une école en soi puisque ses tenants éprouvent, de toute évidence, un grand sentiment d'appartenance à la discipline de la science économique avec laquelle ils partagent un ensemble de postulats, de concepts, de théories et de méthodologies (Mishan et Quah, 2007). Cette pratique disciplinaire est tout de même considérée comme une école d'évaluation, puisque son apport est clairement de nature scientifique et que son terrain d'application correspond à l'évaluation des programmes publics, ce qui, en ce sens, constitue une autre option pour qui veut évaluer un programme public. Sa contribution la plus connue est l'analyse avantage-coût des programmes et des projets publics qui peut s'effectuer tant a priori qu'a posteriori. Elle provient elle aussi de l'après-Seconde Guerre mondiale. Elle s'appuie sur une théorie normative, la théorie du bien-être. L'école économique a par la suite contribué à l'évaluation à l'aide de la théorie des défaillances du marché et de l'État, aidant ainsi à mieux justifier l'intervention de l'État par des programmes publics, mais aussi à l'aide de la théorie des moyens d'intervention qui permet d'anticiper les effets des programmes publics et de proposer de meilleurs devis de mesure des effets. La mesure des effets de l'école économique a toujours été caractérisée par des analyses quantitatives et statistiques. À cet égard, les problèmes de biais de sélection dans les études quasi expérimentales ont été traités avec rigueur et des solutions ont été proposées, par exemple, par Heckman et Vytacil (2000). Ces quatre apports théoriques ne sont pas particulièrement intégrés. L'école économique ne présente cependant pas le même morcellement que celui constaté dans l'école des programmes sociaux.

Ces deux écoles d'évaluation sont très rarement amenées à se confronter ainsi que le voudrait pourtant l'épistémologie positiviste de Lakatos (1978). Il est à noter cependant que les livres d'introduction à l'école des programmes sociaux abordent souvent l'analyse avantage-coût comme une option valable d'évaluation. De même, les travaux récents en économique font de plus en plus référence aux modèles expérimentaux et quasi expérimentaux qui proviennent plutôt de l'école des programmes sociaux, et que les économistes combinent aux analyses statistiques avancées.

Si l'évaluation de programme est d'abord devenue une préoccupation du gouvernement américain, le gouvernement canadien, en particulier à la suite des rapports du Vérificateur général du Canada, s'y est investi à partir de 1977 (Turgeon, 1994). Les provinces canadiennes, dont le Québec, ont suivi ce mouvement (Marceau, Simard et Otis, 1992; Marceau, 2004). L'Europe s'y est mise plus tardivement (Perret, 2004), mais l'impulsion donnée par l'obligation d'évaluer les fonds structurels a concouru à diffuser cette pratique à l'échelle de ce continent. Les pratiques et les modèles nord-américains et européens ont aujourd'hui tendance à se rapprocher, en particulier par leur questionnement de la pertinence, de l'efficacité et de l'efficience (Migaud, 2004). La volonté exprimée par de nombreux gouvernements d'implanter une gestion par résultats dans les administrations publiques est certainement un facteur favorable au développement de l'évaluation.

Malgré les évidentes différences de points de vue sur le concept d'évaluation de programme, l'ensemble des évaluateurs, praticiens comme universitaires, énonce sous une forme ou une autre des questions d'évaluation qui touchent : la raison d'être d'un programme, ses cibles et ses objectifs, la nature de son intervention, sa mise en œuvre par l'étude de ses intrants, de ses activités et de ses extrants, ses effets, l'atteinte de ses objectifs et le rendement de ses ressources, soit son efficacité et son efficience (Marceau, Otis et Simard, 1992). Les pratiques varient ensuite selon les méthodes employées pour répondre à ces diverses questions. Elles varient également selon la manière dont les parties prenantes sont amenées à contribuer au processus d'évaluation lui-même et selon le rôle assumé par l'évaluateur.

Depuis une quarantaine d'années, la science et la pratique de l'évaluation ont fait beaucoup de progrès et ont expérimenté de nombreuses formules. Aujourd'hui, les chercheurs et les praticiens de l'évaluation gagneraient à établir un ensemble conceptuel commun, à l'abri des discours politiques qui font trop facilement appel à des innovations terminologiques illusoires, de manière à enclencher un cumul efficace de connaissances. L'évaluation exigeant en plus des ressources financières importantes un contexte à l'abri des intérêts particuliers et politiques, a besoin d'une place dans les institutions politiques, en particulier sur le plan législatif qui, tout en respectant le besoin d'auto-évaluation des gestionnaires de programmes publics pour des fins de décisions courantes, garantirait l'indépendance de jugement. Enfin, un rôle fondamental devrait être octroyé aux produits de l'évaluation dans le débat démocratique des sociétés actuelles, aujourd'hui très à l'affût de renseignements sur la qualité des biens et services, privés comme publics.

Bibliographie

Alkin, M. C. (2004). Evaluation Roots: Tracing Theorists Views and Influences, Newbury Park, Sage Publications.

Dubois, N. et R. Marceau (2005). « Un état des lieux théoriques de l'évaluation : une discipline à la remorque d'une révolution scientifique qui n'en finit pas », Revue canadienne d'évaluation de programme, vol. 20, n^o 1, p. 1-36.

Guba, E. G. et Y. S. Lincoln (1989). Fourth Generation Evaluation, Thousand Oaks, Sage Publications.

Heckman, J. J. et E. J. Vytacil (2000). « Econometric Evaluation of Social Programs: Part I », dans J. Heckman et E. Leamer (dir.), Handbook of Econometrics, vol. V, North Holland.

Henard, F. (2000). Le développement des pratiques d'évaluation en France et en Europe, Société wallone d'évaluation et de prospective, www.wallonie-en-ligne.net/2000_evaluation-prospective/2000_henard_fabrice_france.htm (page consultée en octobre 2010).

House, E. R. et K. R. Howe (1999). Values in Evaluation and Social Research, Thousand Oaks, Sage Publications.

Lakatos, I. (1978). The Methodology of Scientific Research Programmes: Philosophical Papers Volume 1, Cambridge, Cambridge University Press.

Le Nouveau Petit Robert (2011). Dictionnaire alphabétique et analogique de la langue française, Paris, Dictionnaires Le Robert.

Marceau, R. (2004). Évaluation des programmes publics : l'expérience québécoise, www.constructif.fr /Article_23_34_193/evaluation_des_programmes_publics_l_experience_quebecoise_br.html (page consultée en octobre 2010).

Marceau, R., P. Simard et D. Otis (1992). « Program Evaluation in the Government of Quebec », dans J. Hudson, J. Mayne et R. Thomlison (dir.), Action-Oriented Evaluation in Organizations: Canadian Practices, Toronto, Wall & Emerson, p. 48-63.

Marceau, R., D. Otis et P. Simard (1992). « La planification d'une évaluation de programme », dans R. Parenteau (dir.), Management Public, Sainte-Foy, Presses de l'Université du Québec, p. 445-480.

Migaud, D. (2004). Une révolution en douceur, www.constructif.fr/Article_23_34_188/ Une_revolution_en_douceur_br.html (page consultée en octobre 2010).

Mishan, E. J. et E. Quah (2007). Cost Benefit Analysis, 5^e éd., New York, Routledge.

Owen, J. M. (2007). Program Evaluation: Forms and Approaches, New York, The Guilford Press, Sage Publications.

Patton, M. P. (1997). Utilization-Focused Evaluation: The New Century Text, Thousand Oaks, Sage Publications.

Perret, B. (2004). Les lents progrès de l'évaluation de l'action publique, www.constructif.fr/Article_23_34_186/Les_lents_progres_de_l_evaluation_de_l_action_publique_br.html (page consultée en octobre 2010).

Rossi, P. H., M. W. Lipsey et H. E. Freeman (2004). Evaluation: A Systematic Approach, Thousand Oaks, Sage Publications.

Shadish, W. R., T. D. Cook et L. C. Leviton (1991). Foundations of Program Evaluation: Theories of Practice, Newbury Park, Sage Publications.

Scriven, M. (1991). Evaluation Thesaurus, Newbury Park, Sage Publications.

Suchman, E. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs, New York, Russell Sage Foundation.

Turgeon, J. (1994). « Évolution et leçons de l'évaluation de programme aux gouvernements du Canada et du Québec », dans G. Éthier (dir.), L'administration publique : diversité de ses problèmes/complexité de sa gestion, Sainte-Foy, Presses de l'Université du Québec, p. 83-108.

__________________________

Reproduction
La reproduction totale ou partielle des définitions du Dictionnaire encyclopédique de l'administration publique est autorisée, à condition d'en indiquer la source.

Pour citer
Marceau, R. (2012). « Évaluation de programme », dans L. Côté et J.-F. Savard (dir.), Le Dictionnaire encyclopédique de l'administration publique, [en ligne], www.dictionnaire.enap.ca

Dépôt légal
Bibliothèque et Archives Canada, 2012 | ISBN 978-2-923008-70-7 (En ligne)