Approcci alla valutazione degli effetti delle politiche di sviluppo regionale

8 luglio 2013

G. Marchesi, L. Tagle, B. Befani, Approcci alla valutazione degli effetti delle politiche di sviluppo regionale (pdf, 2.06 Mb)

Numero 22 (Metodi), anno 2011


G. Marchesi, L. Tagle, B. Befani, Approaches to Evaluation of Regional Policy Outcomes (pdf, 459 Kb)

Issue 22 (Metodi), 2011

Indice

  • I. Introduzione (Giampiero Marchesi)
  • II. La valutazione degli effetti delle politiche regionali: gli approcci (Nicoletta Stame, Laura Tagle)
  • III. La valutazione controfattuale (Alberto Martini, Gianluca Strada)
  • IV.La valutazione basata sulla teoria (B Befani
  • V. L’approccio realista alla valutazione degli effetti (Ferruccio Biolcati Rinaldi, Liliana Leone)
  • VI. La valutazione partecipata (Claudio Torrigiani, Barbara Befani)
  • VII. L’utilizzo appropriato di approcci e metodi: applicazioni nei gruppi di lavoro del progetto NUVAL (Laura Tagle, Barbara Befani)
  • VIII. Conclusioni (Giampiero Marchesi)

Sommario

La valutazione degli impatti degli interventi pubblici è, in misura crescente, posta al centro del confronto europeo sulla politica di coesione e sulla politica regionale di sviluppo. Mentre in passato gli sforzi di valutazione si sono prevalentemente concentrati su aspetti di processo, più di recente è emersa la necessità, per migliorare l’efficacia anche di nuovi interventi, di valutare ex post quali effetti, positivi e negativi, previsti o inattesi, gli sforzi di policy abbiano prodotto. Si tratta di un cambiamento di rilievo nelle pratiche valutative, che richiede lo sviluppo e l’acquisizione, da parte innanzitutto delle Amministrazioni impegnate nell’attuazione delle politiche, di nuove competenze e capacità valutative. L’Italia si è da tempo dotata di un assetto istituzionale e tecnico in grado di sostenere tale cambiamento: i Nuclei di Valutazione e Verifica degli Investimenti Pubblici; la loro Rete; il Sistema Nazionale di Valutazione (cui partecipano, con il coordinamento dell’UVAL, ISFOL, INEA, Dipartimento per le Pari Opportunità e i Nuclei di Valutazione); il Progetto NUVAL attuato dal Dipartimento per lo Sviluppo e la Coesione economica con il Dipartimento Funzione Pubblica. Tale sistema è oggi in grado di accompagnare le Amministrazioni nell’introduzione di innovazioni nelle loro pratiche valutative. Proprio all’interno di questo complesso sistema, e precisamente nell’ambito del Progetto NUVAL, in collegamento con il SNV, è stato realizzato il percorso dedicato ad alcuni dei principali approcci alla valutazione degli impatti che è alla base di questa pubblicazione. Se ne riportano qui gli esiti con l’obiettivo di assicurare una maggiore conoscenza e di contribuire al dibattito tecnico e operativo. Gli approcci presentati sono diversi, ma non incompatibili nella loro applicazione: possono, anzi, essere combinati in vario modo per rispondere con più puntualità a specifiche domande valutative. L’impegno delle Amministrazioni, coadiuvate dai Nuclei di Valutazione, e con il sostegno del SNV, è proprio quello di individuare e applicare l’approccio (o la combinazione di approcci) più adatta allo specifico bisogno di valutazione.

Abstract

Increasingly, Europe is bringing its cohesion policy governance to revolve around impact evaluation. Naturally, this process is affecting Italy, too. In evaluations, the emphasis is shifting from supporting processes towards detecting, measuring, and explaining outcomes—favorable or unfavorable, expected and unexpected. This is a momentous change, and one which demands that public bodies acquire new competencies and develop new capacities. Italy has long created an institutional framework which enables it to sustain this change. By now, Evaluation Units exist in all Regions and in many Ministries, operate in a Network, and obtain support on evaluation from the National Evaluation System (SNV) and professional development via the NUVAL project, implemented jointly by the Department for Development and Cohesion and by the Department for Public Administration. Italy is, therefore, well positioned to actually implement innovations in evaluation. It is precisely within this framework that the NUVAL project, with scientific guidance from SNV, implemented the professional development course at the basis of this publication. This publication of the course main results aims at making the fundamentals of the main impact evaluation approaches accessible to the wider regional policy community in Italy. It also has the ambition of contributing to the methodological and institutional debate. The course, as well as this publication, focuses on only some of the existing approaches. Even though the approaches greatly differ from each other, the authors contend that they are not incompatible: rather, they can combined to better address evaluation demands and provide credible answers to evaluation questions. It is the responsibility of Regions and Ministries, aided by their Evaluation Units and supported by SNV, to identify and use the approach–or the combination of approaches-which best fits their evaluation needs.

Ciclo 2010

7 luglio 2013

Classici moderni della valutazione

Seminario partecipato di lettura critica  Anno 2010

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

“Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all’altro all’interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo”
(M.Q. Patton, “Il dibattito sui paradigmi”, in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario “Classici della Valutazione” provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l’”identità” di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all’atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

23 febbraio 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Scelta del Classico
Presentazione

13 ottobre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione

16 novembre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
Valutazione dei progetti innovativi, di Marina Forestieri (pps)

1 dicembre 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
B. Perrin, How to – and How Not to – Evaluate Innovation

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
coordinato da Liliana Leone

Le revisioni sistematiche della letteratura sono metodi che si sono sviluppati per identificare, stimare e sintetizzare le evidenze offerte dalla letteratura in merito agli esiti dei programmi. Esse sono ampiamente utilizzate e/o “invocate” per supportare processi decisionali basati sulle evidenze e sono state utilizzate in molti ambiti di policy. Le conoscenze prodotte dalle revisioni sistematiche vengono diffuse e tradotte in linee guida allo scopo di promuovere decisioni politiche e pratiche professionali maggiormente informate. Una delle questioni più discusse riguarda la natura delle evidenze, il tipo di generalizzazioni inferibili dalla valutazione di programmi e le metodologie adeguate utilizzabili nel processo di cumulazione delle conoscenze. Non tutti, però, concordano con il fatto che le revisioni sistematiche siano strumenti desiderabili; poiché diverse argomentazioni sono frutto spesso di fraintendimento e scarsa conoscenza circa la storia e i metodi delle stesse, un obiettivo del laboratorio è permettere ai partecipanti di esplorare con maggiori cognizioni le diverse criticità e le prospettive per il superamento delle stesse.

30 marzo 2010, 15-17
La meta-analisi
introducono: Liliana Leone e Roberto Celentano
I laboratorio. Le meta-analisi: cosa sono, utilizzi, trucchi e suggerimenti per riconoscere le bufale, di Liliana Leone (pdf)
La revisione sistematica e la meta-analisi. Linee guida della Campbell Foundation, di Roberto Celentano (pps)
riferimenti:
Campbell Foudation, “Systematic Reviews Guidelines for the Preparation of Review Protocols” (rtf)
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of InterventionsVersion 4.2.5 (rtf)
Jefferson Tom (2006), Attenti alle bufale. Come usare la evidence-based medicine per difendersi dai cattivi maestri, Il pensiero Scientifico Editore, Presentazione
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions” (rtf),British Medical Journal, 5 Apr 2003, 756-758

20 aprile 2010, 15-17
Le narrative reviews
introducono: Liliana Leone e Veronica Lo Presti
II laboratorio. Narrative Review e sintesi narrative, di Liliana Leone (pdf)
Aspetti metodologici delle Narrative Review: l’implementazione di interventi per la prevenzione degli incendi, di Veronica Lo Presti (pdf)
Le narrazioni nel servizio sociale: A critical review, di Laura Taronna (pdf)
riferimenti
Popay, J., Roberts, H., Sowden, A., Petticrew, M., Arai, L., Rodgers, M. and Britten, N. with Roen, K. & Duffy, S. (2006). Guidance on the conduct of narrative synthesis in systematicreviews. Final report, Institute of Health Research, Lancaster: ESRC Methods
Rodgers M. et Al. (2009), “Testing Methodological Guidance on the Conduct of Narrative Synthesis in Systematic Reviews”Evaluation, Vol. 15, No. 1, 49-73 DOI: 10.1177/1356389008097871
Arai, L., Britten, N., Popay, J., Roberts, H., Petticrew, M. , Rodgers, M., Sowden, A. (2007),“Testing methodological developments in the conduct of narrative synthesis: a demonstration review of research on the implementation of smoke alarm interventions”,Evidence & Policy: A Journal of Research, Debate and Practice, Volume 3, Number 3, pp. 361-383(23)
Popay J., Williams G., “Qualitative research and evidence-based healthcare”, Journal of the Royal Society of Medicine, Supplement No. 3 5 Volume 91, 1998

17 giugno 2010, 15-17
I nuovi approcci: la proposta della sintesi realista
introducono: Liliana Leone, Daniela Ferrazza, Laura Fantini e Nicoletta Stame
Pawson R., Reviewing inner mechanisms: youth mentoring, di Laura Fantini e Daniela Ferrazza (pps)
Le sintesi realiste, di Nicoletta Stame (pdf)
Le sintesi realiste, di Liliana Leone (pdf)
Pawson, Evidence Based Policy, cap. 4 (pdf)
Pawson, Evidence Based Policy, figure cap. 4 (pdf)
Pawson, Evidence Based Policy, cap. 6 (pdf)
Pawson, Evidence Based Policy, figure cap. 6 (pdf)
riferimenti:
Leone L. (2007), “Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione”, Rassegna Italiana di Valutazione, n. 35
Pawson R. (2006), Evidence Based Policy, Sage, London
Pawson R., Boaz A. (2006), “Evidence-based policy, theory-based synthesis, user-led reviews”,ESRC UK Centre for Evidence Based Policy and Practice, London
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British Medical Journal, 5 Apr 2003, 756-758

Guidelines for the evaluation of drug prevention- EMCDDA

21 agosto 2012

Guidelines for the evaluation of drug prevention: a manual for programme planners and evaluators (second edition)

EMCDDA European Monitoring Centre for Drug and Drug Addiction, Lisbon, July 2012

AUTHORS:  For the update version and Chapters 2 and 7 Liliana Leone CEVAS (Rome)

For the original version: Kroger C, Winter H, Shaw R, IFT Munich.    Project Leader:  Gregor Burkhart, EMCDDA

Publication  as pdf (842Kb): Download  English (en)

Pages: 140 ISBN/ISSN: 978-92-9168-499-1

Summary: This second edition is an updated version of the original EMCDDA guidelines of 1998, which contains new methods, concepts and examples of currently available drug prevention interventions and which provides a framework for carrying out an evaluation. These guidelines aimed to facilitate and encourage project leaders to evaluate their own interventions and to design them accordingly. The content has also been updated with developments in online EMCDDA drug prevention and evaluation resources.

Table of contents

  • Acknowledgements
  • Preface
  • Introduction
  • Chapter 1: Assessing intervention planning
  • Chapter 2: Designing and carrying out a theory-driven evaluation
  • Chapter 3: Process evaluation and monitoring system
  • Chapter 4: Outcome evaluation
  • Chapter 5: Communicating the results
  • Chapter 6: Assessing intervention planning
  • Chapter 7: Designing and carrying out a theory-driven evaluation
  • Chapter 8: Process evaluation and monitoring system
  • Chapter 9: Outcome evaluation
  • Chapter 10: Communicating the results

Parliamo di Valutazione con Nicoletta Stame

18 giugno 2012

Interviste a Nicoletta Stame

Nicoletta STAME

Docente di Politica sociale presso l’Università di Roma “La Sapienza” è una dei maggiori esperti di teorie e metodi di valutazione. È stata presidente dell’Associazione Italiana di Valutazione e della European Evaluation Society. Di seguito raccomandiamo alcuni contributi.


Intervista a Nicoletta Stame  in UNA CITTA’  n. 194 /2012 Maggio. (DOWNLOAD)


STREET-LEVEL BUREAUCRAT Intervista realizzata da Barbara Bertoncin
“Il centralismo dello Stato napoleonico, che da noi si è fuso con l’aspetto repressivo del sistema militare piemontese; la cultura della valutazione che stenta a entrare nel pubblico impiego; un sindacato che, difendendo il “basso salario, ma sicuro” in realtà mortifica il dipendente responsabile”.

“La vera valutazione, …, prende forma attorno all’oggetto che stai studiando, in base alla domanda a cui si chiede risposta. Perché non bisogna mai dimenticare che l’oggetto della valutazione è l’amministrazione ma lo scopo è il suo miglioramento.” (Stame)

Webmagazine sulla Formazione Anno VIII N.50- 2008 FORMEZ P.A. Intervista realizzata da Stefania Capogna

(DOWNLOAD

Un contributo all’argomento  sulle teorie e i metodi di valutazione.

Presentazione dell’antologia   Stame N. (a cura di)  “I classici della valutazione”. Franco Angeli, Milano 2007.

Abstract (DOWNLOAD)



-KEYNOTE-ABSTRACT  AES  The Australian Evaluation Conference 27-31 August 2012 Adelaide Convention Centre

“Evaluation and learning in the current crisis”

Intervista a Nicoletta Stame realizzata da Sara Hassan e Laura Fantini per la Scuola residenziale “Valutare per capitalizzare le pratiche di cooperazione tra territori in un’ottica di sviluppo umano”, Roma 23 -25 novembre 2011

Nicoletta Stame

(DOWNLOAD)

ForTeS   Fondazione per il Terzo Settore, Siena. 23 Febbraio 2011

Il senso della Valutazione



(DOWNLOAD) Stame N. Evaluation and the policy context: the European experience. Evaluation Journal of Australia, 2003, vol.3 (New series) 2.  http://www.aes.asn.au/publications/Vol3No2/evaluation_and_the_policy_context.pdf




Theory driven Evaluation Reports

1 giugno 2012

RESEARCH AND EVALUATION OF  SOCIAL-HEALTH POLICIES IN EMILIA-ROMAGNA REGION. A THEORY_DRIVEN EVALUATION APPROACHES

June 2012

Gioia Virgilio (ASSR Regione Emilia Romagna) and Liliana LEONE (CEVAS, Roma)- Italy


La ricerca e le politiche sociali e socio-sanitarie in Emilia-Romagna. Applicazione e approcci per la valutazione

This volume consists of two logically linked parts: the first deals with the second survey about social researches carried out by Regional Departments and the analysis of 25 of them in the family, childhood, adolescence area. The second part treats the evaluation of research and health promotion programmes according to the “theory oriented” methodology. 
After the first survey in 2009 of the researches carried out in Emilia-Romagna Local Authorities (Health Trusts, Municipal and Provincial Administrations and Public Trusts for Personal Services), mainly concerning social and health integration, the Social Innovation Area of the Regional Agency for Health and Social Care considers it worth to promote the same kind of survey on social researches performed in regional Social Departments. The final aim of the project that led to the two surveys is to work out guidelines and action strategies in order to steer research, to make it visible, shared and effective in planning.The comparison between priority issues, rationale, methodology adopted by the Region and Local Authorities can enrich both social operators and decision makers in order to verify the research consistency with sector planning and in Regional Social and Health Plan.
The purpose of the first part of the paper is to make this further knowledge available and to spread and complete the results of the first survey. Moreover it is important to give some development perspectives, in particular to establish a Regional Social Research Registry and interactive tools within the territory.

In 2009, 291 local researches were collected and evaluated; respectively 48 and 64 of them dealt with the themes of “Elderly” and “Immigration”; in the second survey 87 social regional researches were also collected; 25 of them – carried out by the Family, childhood, adolescence regional Department – were analysed.

The introduction of the first part of the volume presents the path followed and the motivations of the regional workgroup of the Agency, who examined the researches. The first Chapter defines the final and specific aims of the project and the main questions for this monitoring. The second Chapter describes the frame of the Regional researches, reporting quantity, promoting Department and principal themes.

The following Chapters present the methodology adopted by the regional group and the main results and comments about the analysed research products, especially their priorities and relevant directions. Chapters 4 and 5 respectively deal with the comparison between regional research products and the planning sector and the working perspectives on social research.

The second part of the volume focuses on the issue of theory-driven evaluation approaches aimed both at developing complex programmes and supporting policy making processes. Those approaches have helped to open the “black box” of programmes and have been developed to deal with the complexity of the programmes; since the ‘80s, they were applied to the evaluation of comprehensive health promotion place-based initiatives delivered at community level.

The introduction explains how and why the Emilia-Romagna Region has decided to propose these innovative methods.

The first Chapter of the second part of the volume sums up the common points of the several theory-oriented health promotion approaches, by pointing out aims and opportunities for decision makers and professionals. In particular, different kinds of programme theories (i.e. “explanatory theories” and “change theories”) adopted to plan, to “investigate the programmes”, to develop evaluation questions and to identify programmes and research hypothesis, are described.

The second Chapter deals with theory-based evaluation (TBE), especially applied to community development projects. Criteria to select the theories are explained and some examples are reported, as the training programme for disadvantaged young people. Moreover the risk of inaccurate use of the “programme theory” is pointed out, like programmes which do not consider gender differences.

The “realist evaluation” (Chapter 3), developed in the Anglo-Saxon context, is explained in its basic points: the concept of programme, the complex social programmes features, the context-mechanism-outcome configuration, the concept of “generative” causality, opposed to the simple linear causality (deterministic model, for example “dose-response”).

The realist synthesis (Chapter 4), a further development of the realist evaluation, is presented as an alternative method of systematic review aimed to synthesise evidence and research results including both qualitative and quantitative studies. It is important to identify the “family of mechanisms”, underlying for example different health promotion interventions, as locus of comparison of the realist synthesis.

The fifth Chapter illustrates the previous approaches by two recent examples: the first is an evaluation study carried out in the Emilia-Romagna Region for the “Safe gym. Prevention and wellness” project; the second is an innovative social research about young people participation, carried out at the national level. In both cases the research objectives and hypothesis, the methods and the main results are pointed out, according to the patterns and the features of “theory-oriented” evaluation approaches.

Conclusions sum up the benefits by these approaches and their perspectives in the Emilia-Romagna Region context.

  • the general scheme of interpretation adopted by the regional evaluation group and criteria for a homogeneous and clear interpretation;
  • the list of the analysed research products, reporting for each of them bibliographical items in a database.

The bibliography includes the basic reference text books or articles for the “theory-oriented” approaches.


ASSR Agenzia Sanitaria e Sociale Regione Emilia Romagna Dossier n.226/2012

1 giugno 2012

ASSR Agenzia Sanitaria e Sociale Regionale Regione Emilia Romagna, DOSSIER N. 226/2012

LA RICERCA E LE POLITICHE SOCIALI E SOCIO-SANITARIE IN EMILIA-ROMAGNA. APPLICAZIONE E APPROCCI PER LA VALUTAZIONE, di Gioia VIRGILIO  (ASSR Emilia Romagna)  e Liliana LEONE (CEVAS)

  • Dossier n. 226 ( Download  pdf, 661 Kb)
  • SUMMARY  (Download ) Research and social and social-health policies in Emilia-Romagna. Application and evaluation approaches

Il Dossier è composto di due parti logicamente collegate. La prima tratta del secondo censimento delle ricerche sociali prodotte dai Servizi regionali e si dedica all’analisi di più di un terzo di esse riferite all’area delle politiche della famiglia, infanzia e adolescenza. La seconda parte affronta il tema della valutazione della ricerca e dei programmi di promozione della salute, secondo approcci metodologici “guidati dalla teoria”. In continuità con il primo censimento realizzato nel 2009 sulle ricerche sociali e socio-sanitarie, effettuate a livello locale dalle Aziende USL, dai Comuni, dalle Province e dalle ASP del territorio emiliano-romagnolo, l’Area Innovazione sociale dell’Agenzia sanitaria e sociale regionale dell’Emilia-Romagna ha ritenuto rilevante raccogliere e censire anche i lavori prodotti dai Servizi regionali sulle stesse politiche sociali e socio-sanitarie.  Scopo della prima parte del Dossier è rendere disponibile questo ulteriore patrimonio conoscitivo, a completamento dei risultati del primo censimento, e fornire alcune riflessioni e prospettive di sviluppo, in particolare sulla necessità di costruire, per la ricerca sociale e socio-sanitaria, una anagrafe regionale e/o una strumentazione interattiva sistematica con i territori.

La seconda parte del Dossier focalizza gli approcci di valutazione, cosiddetti “guidati dalla teoria”, finalizzati sia allo sviluppo di programmi complessi sia al supporto dei processi decisionali. Questi approcci hanno aiutato ad aprire la “scatola nera” dei programmi e sono stati sviluppati per trattare interventi complessi; sin dagli anni ‘80 sono stati applicati alla valutazione di iniziative territoriali di promozione della salute caratterizzate dall’utilizzo di una pluralità di metodi di intervento. L’introduzione spiega come e perché in Regione si è arrivati ad approfondire e a proporre questi metodi innovativi. Il primo Capitolo sintetizza i punti comuni dei vari approcci orientati alla teoria, sottolineandone le finalità e le opportunità per i decisori politici e i professionisti. In particolare, vengono descritte le varie tipologie di teorie (ad esempio “teoria del problema” e “teoria del cambiamento”) utilizzate per pianificare, “interrogare i programmi”, sviluppare quesiti valutativi e identificare ipotesi di programmi e di ricerca. Nel secondo Capitolo si affronta la valutazione basata sull’approccio – theory-based evaluation TBE -, applicata soprattutto nei progetti di sviluppo della comunità. Vengono illustrati i criteri per selezionare le teorie secondo tale approccio, si riportano alcuni esempi (programma di formazione per giovani svantaggiati) e vengono messi in luce alcuni rischi di impiego inaccurato della teoria del programma (ad esempio, realizzare programmi senza tenere conto delle differenze di genere). La valutazione realista (Capitolo 3) sviluppata nel contesto anglosassone viene descritta nei suoi elementi cardine: la concezione di programma, le caratteristiche dei programmi sociali complessi, le configurazioni contesto-meccanismo-outcome, il concetto di causalità “generativa” contrapposto a quello di causalità lineare semplice di tipo deterministico (stimolo-risposta). La sintesi realista (Capitolo 4), che rappresenta un ulteriore sviluppo della valutazione realista, è proposta come metodo alternativo di revisione sistematica, finalizzato a sintetizzare evidenze e risultati di ricerche che comprendono studi sia qualitativi che quantitativi. È importante identificare le “famiglie di meccanismi”, sottostanti ad esempio a differenti interventi di promozione della salute, come luogo di confronto della stessa sintesi realista. Il Capitolo 5 esplicita l’applicazione degli approcci valutativi descritti nei precedenti capitoli, con due recenti esempi: il primo è uno studio valutativo realizzato in Emilia-Romagna per il progetto “Palestra sicura. Prevenzione benessere”, il secondo è una ricerca sociale innovativa sui processi partecipativi dei giovani, realizzata a livello nazionale. In entrambi i casi sono sottolineati gli obiettivi conoscitivi, le ipotesi assunte, le metodologie e i principali risultati raggiunti, secondo i modelli e le peculiarità degli approcci valutativi “guidati dalla teoria” e dalla “valutazione realista”. Le riflessioni conclusive, infine, riprendono i vantaggi di tali approcci e le relative prospettive di sviluppo nel contesto della Regione. Le due Appendici riportano: la griglia di lettura/analisi adottata dal gruppo di progetto regionale, finalizzata a rendere omogenei e trasparenti i criteri di interpretazione e di valutazione; la tabella delle ricerche analizzate, contenente i principali riferimenti bibliografici raccolti nel database per ogni scheda di prodotto di ricerca rilevato. La bibliografia riporta i principali testi di riferimento alla base degli approcci metodologici guidati dalla teoria.

Dossier n. 226 ( Download  pdf, 661 Kb)

SUMMARY  (Download ) Research and social and social-health policies in Emilia-Romagna. Application and evaluation approaches



Promozione della salute e sua valutazione

11 gennaio 2012

 Il contributo degli approcci theory based alla valutazione dei programmi di promozione della salute

L’Agenzia Regionale Sanitaria dell’Emilia Romagna il 1 Marzo 2011 organizza il 2° incontro del ciclo Libri e altri sguardi dal titolo “Politiche di promozione della salute basate sulle evidenze e programmi sociali complessi: il contributo degli approcci di valutazione theory-oriented”  (Scarica Programma pdf) 

Presentazione
L’incontro del ciclo “Libri e altri sguardi” è dedicato alla valutazione dei programmi per la promozione della salute e dei programmi sociali. Similmente ad altri settori di policy, le strategie oggi ritenute più efficaci in questi settori sono caratterizzate da elevati livelli di complessità dovuta a maggiore intersettorialità (v. UE 2006 e WHO Europa), interdipendenza tra sistemi e servizi e a gradi elevati di incertezza ambientale. Tali caratteristiche pongono alla valutazione delle nuove sfi anche sul piano metodologico, che spiegano il crescente interesse per approcci valutativi guidati dalla ‘teoria’ e per metodi di ricerca misti, maggiormente in grado di coniugare le evidenze empiriche con una sistematizzazione di tipo teorico. Nell’incontro verrà discusso in particolare l’approccio della ‘valutazione realista’, sviluppatosi verso la fine degli anni ‘90, che ha l’obiettivo di spiegare gli effetti di un programma, cosa funziona, per chi e in quali circostanze, adottando una concezione di causalità non lineare-sequenziale. Questo approccio è stato adottato ad esempio per la valutazione d’efficacia dei programmi di riduzione del fumo o di prevenzione secondaria delle malattie cardiovascolari, ma anche nell’innovazione e nel trasferimento delle conoscenze nei sistemi sanitari. La ‘sintesi realista’ ne rappresenta un ulteriore sviluppo, legato ai processi di revisione sistematica, di cumulazione dell’evidenza empirica e di sintesi degli studi per trarre indicazioni più generali.

Piani di prevenzione regionali, strategie integrate e loro valutazione II° Forum sulla non Autosufficienza

 Bologna 3-4 novembre 2010

  Autonomia, partecipazione e uguaglianza d’opportunità, 3 Nov 2010 (Programma Plenaria)

Workshop:  Piani di prevenzione regionali per la salute degli anziani pratiche innovative di integrazione di servizi e politiche ( Programma pdf)  

Leone Liliana, Promozione della salute e strategie integrate. Come e cosa valutare delle politiche d’integrazione: determinanti di salute, prevenzione, riduzione dei costi sociali, Relazione Plenaria -Bologna 4/11/2010 (Scarica )

Pesce Caterina, Invecchiare ‘bene’. Le attività motorie per la salute fisica e mentale a supporto della qualità della vita, Servizi Sociali Oggi. Maggioli editore 6/2010 (Scarica. pdf)

Leone Liliana, Coppola Liliana, Strategie di prevenzione integrata, politiche intersettoriali e anziani: sostenibilità finanziaria e innovazione dei modelli d’intervento, n.5, 11-20, 2010, SSO Maggioli Editore (Scarica .pdf)

Slide di Pesce C.  (Università di Roma Foro Italico), Muoversi per invecchiare ‘bene’ :le attività motorie preventive, Relazione 3/11/2010, Forum Non Autosuffcienza Bologna. (Scarica .pdf)

Sito ERMES – Regione Emilia Romagna: Anziani. La non autosufficienza si può prevenire: ecco come.

5/11/2010.   Cambiare gli stili di vita permette di contrastare le forme di disabilità legate all’età. Le proposte del Forum sulla non autosufficienza di Bologna.  “Corretta alimentazione, lotta a fumo e alcol, abitudine all’attività motoria: sono queste le parole d’ordine per prevenire malattie e disabilità tra gli anziani. Dal Forum per la non autosufficienza che si è svolto ieri a Bologna arrivano un invito all’attenzione verso stili di vita corretti e una rassegna delle buone pratiche avviate a livello locale. Tra queste ultime anche il Piano di prevenzione della Regione Emilia-Romagna, che la ricercatrice dello Studio Cevas di Roma Liliana Leone definisce “uno dei più avanzati in Europa” per il contrasto delle malattie croniche. Le politiche legate alla prevenzione e ai corretti stili di vita “sono le più sostenibili in termini di spesa – spiega la ricercatrice – e vanno svolte su tutte le fasce d’età, anche su chi è già anziano, perché funzionano anche a breve termine”. (>>Continua)

Progetto Palestra Sicura – Capofila della sperimentazione Regione Emilia Romagna

 Novembre 2010- Giugno 2011

Il progetto Palestre Sicure ha un modo innovativo di intendere la prevenzione: coinvolge  gestori di palestre e centri fitness, ASL, Comuni, Regioni e  Istituto Superiore di Sanità, Commissione Nazionale Andi Doping. E’ compreso nel Piano nazionale d’azione 2008 contro le dipendenze, e nasce dall’esigenza di prevenire e contrastare tra i frequentatori delle palestre e dei centri di fitness l’utilizzazione e la diffusione delle sostanze dopanti, promuovendo un modello di buona gestione complessiva mirato al miglioramento dello stato di salute e di benessere degli utenti. Responsabile scientifico del progetto è Alessandro Donati. Cevas sta curandone la valutazione. Per saperne di più vedi il  progetto, le Slide con i risultati della prima valutazione e il video. 

 

La Commissione Nazionale per la vigilanza ed il controllo sul doping e per la tutela della salute nelle attività sportive, in collaborazione con l’ISS Istituto Superiore di Sanità, cura la  Relazione al Parlamento sullo stato di attuazione della legge  n. 376/2000 riguardante le politiche antidoping Anno 2008. – 9 febbraio 2010

The EU and the fight against doping Background Paper. EU Conference on Anti-Doping AthEns, 13–15 May 2009 (Scarica  .PDF) L’atto più importante riguardo le politiche Antidoping a livello europeo è rappresentato dal Libro Bianco sullo Sport della Commissione Europea  (COM (2007) 391) che alla sezione 2.2 tratta i temi della lotta al doping.

Esperienze di valutazione:   Programmi e politiche per la pomozione della saluta e la riduzione delle diseguaglianze di salute in UnioneEuropea

  •  Mackenbach, J.P. Stronks, K. (2002), A strategy for tackling health inequalities in the Netherlands, January 2002, BMJ British Medical Journal (Scarica .pdf)
  • Whitehead M, Burström B, Dahl E, et al (2009), Helping chronically ill or disabled people into work: what can we learn from international comparative analyses? Final report to the Public Health Research Programme Department of Health: London. (Scarica .pdf)
  • Popay J (Ed) (2006), Moving beyond effectiveness: Methodological issues in the synthesis of diverse sources of evidence. NICE, London. (Scarica .pdf)
  • Popay J, Attree P,  Hornby D, Milton B, Whitehead M et al et al (2007), Social detreminants effectiveness review. Community engagement in initiatives addressing the wider social determinants of health. A rapid review of evidence on impact, experience and process. Universities of Lancaster, Liverpool and Central Lancashire  (Scarica .pdf)

Cosa sono le determinanti sociali e le disuguaglianze di salute

  • Disuguaglianze di salute e determinanti socio-economiche nell’Unione Europea: Come promuovere una maggiore uguaglianza tra gruppi con  differenti condizioni socio-economiche. I risultati del progetto DETERMINE- versione italiana  (Scarica .pdf)  
  • Un sommario del  famoso rapporto di Sir M.Marmot (che ha diretto la commissione sui determinati sociali di salute del WHO) sulle disuaglianze di salute in Inghilterra. Fair Society,Healthy Lives, Strategic review of health inequalities in england post-2010.  Edito da: The marmot review, Febbraio 2010 (Scarica pdf)
  • I determinanti sociali di salute. Diseguaglianze nella salute- Lezione 5-2010 di Maciocco et al.   (Slide)
  • Intervista con Sir Michael Marmott (Video) Il 28 agosto 2008 la “Commissione sui Determinanti Sociali della Salute” ha presentato al Direttore Generale dell’OMS i risultati del proprio lavoro contenuti nel rapporto “Ridurre il divario in una generazione: equità nella salute attraverso azioni sui Determinanti Sociali della Salute”

 Per approfondimenti sulle recensioni sistematiche theory driven nella promozione della salute vedere sezione del sito CEVAS

 

BMI For Adults Widget

Disegnare valutazioni utili ai policy maker e agli stakeholders

7 dicembre 2011


II  INCONTRO TEMATICO DEL CICLO “L’UTILIZZO EFFICACE DEI RISULTATI DELLA VALUTAZIONE: UN PERCORSO DI APPRENDIMENTO”

INEA,  Roma. 13 dicembre 2011

La Rete Rurale Nazionale, nell’ambito delle attività della Task Force “Monitoraggio e Valutazione” organizza per il 13 dicembre p.v., il secondo incontro (relativo al ciclo di incontri sul tema “L’utilizzo efficace dei risultati della valutazione”) dal titolo: “Disegnare valutazioni utili ai policy maker e agli stakeholders”. La valutazione ha lo scopo di produrre conoscenze utili sugli effetti degli interventi attuati dalle politiche pubbliche. In questo contesto, la chiara espressione della domanda di valutazione e la definizione del disegno di valutazione più appropriato, rispetto alle specificità delle politiche e delle esigenze di conoscenza dei policy makers e degli stakeholders, rappresentano gli elementi determinanti per la realizzazione di valutazioni utili e utilizzabili. Cos’è la domanda di valutazione e come costruirla? Chi partecipa al processo di definizione della domanda di valutazione? Quale ruolo hanno gli stakeholders nella definizione del disegno di valutazione? Quando una valutazione è utile e quando è utilizzabile? Sono queste le domande che potranno essere proposte e dibattute nel corso dell’incontro.

Within the cycle of meetings on the theme “The effective use of the evaluation results”, the National Rural Network for Rural Development organises the second event entitled “Designing useful evaluations for policy makers and stakeholders”. The purpose of the event is to stimulate the discussion among experts on rural development policies, administrations responsible for designing and implementing the public programs, evaluators, thematic experts and the socio-economic partnerships, on the usefulness of designing targeted evaluations in view of improving the policies; the opportunities and the threats related to the emerging of the evaluation needs of programme’s stakeholders; the opportunities and issues related to the implementation of a participative process for designing the evaluations; the role of the evaluator; themes and dimensions of analysis relevant to the stakeholders and in particular to the socio-economic partnerships and the territory; the stakeholders to be involved and their respective roles.
Programme
9.45 – Registration
10.15 – Panel session with: Janet Dwyer, Professor of Rural Policy and Co-Director of CCRI (Countryside and Community Research Unit) Liliana Leone, Director of Cevas Center of Research and Evaluation Andrea Furlan, Officer at Region Emilia-Romagna- Monitoring and Evaluation Office Alessio Terzi, President of Cittadinanzattiva Patrizia Rossi, LIPU –BirdLife Italia Agriculture Officer
12.20 – Discussion
13.15 – Conclusion
Moderator: Simona Cristiano (National Rural Network, INEA)

Tra le letture consigliate per l’incontro: Towards an enhanced evaluation of rural development policy: insights from EU and US approaches (594.86 KB).Come identificare i quesiti di valutazione a partire dalla ricostruzione della teoria del programma: la Theory Based Evaluation (86.37 KB).Come sviluppare un disegno di valutazione (80.45 KB).The active role of citizens in the evaluation process: methods, impact and prospects of Civic Evaluation in Italy (541.6 KB).

ESPAnet conferenza ‘Innovare il Welfare’

1 ottobre 2011

Quarta conferenza annuale ESPAnet Italia 2011
Innovare il welfare.
Percorsi di trasformazione in Italia e in europa
Milano, 29 Settembre — 1 Ottobre 2011 Politecnico di Milano

ESPAnet Italia è una rete di studiosi di politiche sociali che promuove il dibattito interdisciplinare sulle politiche sociali considerando tradizioni teoriche e metodologiche differenti allo scopo di una reciproca e fruttuosa contaminazione. ESPAnet Italia è una gemmazione di ESPAnet www.espanet.org di cui costituisce l’articolazione italiana.

 L’obiettivo della conferenza è quello di analizzare le trasformazioni in corso nei sistemi di welfare europei, con particolare attenzione al caso italiano. La crisi economica degli ultimi anni, ma anche i rilevanti processi di cambiamento sociale, economico e demografico che hanno toccato l’Europa, hanno richiesto dei processi profondi di revisione degli assetti di welfare, in modo da rendere la protezione sociale più adeguata ai bisogni sociali e più sostenibile sul piano finanziario. Gli organizzatori a partire dalla constatazione che in questa fase turbolenta, l’Italia esprime deboli capacità di trasformazione e di innovazione del proprio modello di welfare,  intendono fare il punto su questi temi, invitando gli studiosi italiani ed europei ad interrogarsi sulle direzioni del cambiamento, sulle ragioni che lo rendono necessario e su quelle che ne ostacolano lo sviluppo.

E’ possibile scaricare il programma e i paper presentati durante la conferenza. Di seguito si segnala uno dei Paper presentati alla sessione  8.   CREARE COESIONE SOCIALE NELLE CITTA’. Sono graditi commenti e suggerimenti.

PAPER:  Leone L., Dalla Mura,  Programmi di sviluppo place-based e analisi degli strumenti di implementazione. La valutazione di programmi integrati per la mobilitazione delle conoscenze e degli attori locali,  Settembre 2011 (SCARICA)  

‘BUYING SOCIAL SERVICES’ – Appalti sociali e criteri di valutazione

26 settembre 2011

 Linee Guida sui criteri di valutazione degli aspetti sociali nelle procedure di affido dei servizi- Luglio 2011

Linee Guida su affido dei servizi,clausole sociale e criteri valutazione  
 Scarica  

Leone Liliana   è autrice, per conto della Regione Marche e della Fondazione Brodolini, delle seguenti Linee guida  scaricabili dal sito della Regione Marche Assessorato Istruzione e Formazione .

Per ulteriori sviluppi di metodi di valutazione degli impatti  sociali nelle procedure di appalto pubblico   contattaci 

OBIETTIVI E PRINCIPALI DEFINIZIONI Le  linee guida mirano a chiarire e a diffondere i concetti, le metodologie e gli strumenti del Social Responsible Public Procurement (SRPP) con particolare riferimento ai servizi sociali di interesse generale (SSIG) e al ruolo dell’economia sociale. Le linee guida hanno lo scopo di introdurre, orientare e guidare alla valutazione della dimensione sociale dell’impatto dei servizi pubblici affidati a imprese sociali.   Il documento è stato realizzato  nel Luglio 2011  nell’ambito del Progetto PASE “Politiche pubbliche e imprese sociali” finanziato nell’ambito del Programma di Cooperazione Interregionale INTERREG IVC (Priorità “Innovazione ed economia della conoscenza”), di cui la Regione Marche è Ente promotore. 

Contenuti: 1. BENEFICI PER LA COMUNITÀ NELLE PROCEDURE DI AFFIDO DEI SERVIZI PUBBLICI; 2. APPALTI PUBBLICI SOCIALMENTE RESPONSABILI E NORMATIVA UE;   3. PROCEDURE PER L’AFFIDO DEI SERVIZI;  4. MONITORAGGIO E VALUTAZIONE DEGLI IMPATTI SOCIALI.

Scaricare  le Linee guida (CLICCA)

« Pagina precedentePagina successiva »

Rapporti di ricerca e valutazione

In accordo con i committenti rendiamo disponibili rapporti di valutazione e di ricerca su diversi programmi e aree tematiche.
(continua >>).

Aree tematiche

News

Archivio