LVD invita “Con i Bambini” ad un confronto sulla valutazione

11/14/2016

LVD MarchioLVD invita “Con i Bambini” ad un confronto sulla valutazione

PREMESSA

L’impresa sociale “Con i bambini”, responsabile di rendere operativo il Fondo per il contrasto della povertà minorile, ha promosso due Bandi dedicati alla prima infanzia (0-6 anni) e all’adolescenza (11-17). Tra le condizioni di ammissibilità delle proposte di azione c’è la valutazione dei risultati ed impatti conseguiti. Entrambi i Bandi, infatti, richiedono (punto 2.3.1 lettera f del Bando Prima Infanzia e punto 2.4.1 lettera f del Bando Adolescenza) alle compagini che parteciperanno di elaborare una strategia di valutazione delle azioni proposte che tenga conto delle specificità delle singole realtà coinvolte. La strategia di valutazione deve riguardare l’andamento, i risultati conseguiti al termine delle attività e gli impatti raggiunti a due anni dalla conclusione e rendicontazione del progetto e deve essere proposta già nella prima fase. I Bandi prevedono che i soggetti proponenti indichino nel partenariato un soggetto con comprovata esperienza nelle valutazioni e che, per identificare tale soggetto, possano avvalersi di un elenco, in via di definizione, di gruppi di ricerca appartenenti a dipartimenti universitari, enti ed istituti di ricerca specializzati nelle discipline sociali, economiche e statistiche. L’elenco sarà elaborato da “Con i Bambini” sulla base di un invito aperto fino al 30 Novembre 2016. “Con i Bambini” fornisce anche un Vademecum sulla valutazione di impatto dei programmi per il contrasto alla povertà educativa, focalizzato esclusivamente su metodi di tipo controfattuale. I Bandi prevedono che al gruppo di ricerca potranno essere riconosciuti unicamente rimborsi spesa documentati (viaggio, vitto e alloggio), fino ad un massimo del 2% del contributo assegnato complessivamente al progetto proposto e che non potranno essere previsti rimborsi o compensi per le attività di valutazione svolte successivamente alla conclusione del progetto.

 

L’iniziativa contiene numerosi elementi di grande interesse. Purtroppo, presenta anche elementi che destano preoccupazione.

Gli elementi di interesse sono:

  • “Con i Bambini” attribuisce, con questi Bandi, grande importanza alla valutazione: richiede infatti l’elaborazione di una strategia di valutazione come condizione di ammissibilità delle proposte di azione.
  • La strategia di valutazione deve tenere conto delle specificità delle singole realtà coinvolte. Questo significa suscitare l’adozione di un atteggiamento auto-valutativo nelle compagini che progettano e attuano le azioni, aumentando l’attenzione ai risultati per i destinatari e migliorando la comprensione delle dinamiche a livello locale, dinamiche che spesso restano invisibili ai finanziatori (pubblici o privati) degli interventi.
  • “Con i Bambini” richiede l’elaborazione di una strategia di valutazione. Questo suggerisce che i proponenti sono liberi di inserire la valutazione all’interno della loro operatività e delle loro pratiche auto-riflessive, in risposta a proprie domande ed esercitando la propria autonomia anche nelle pratiche valutative. La valutazione, cioè, non appare concepita per fornire elementi di conoscenza valutativa a chi finanzia le azioni ma, piuttosto, per consentire ai proponenti di meglio comprendere le conseguenze delle proprie azioni nel contesto specifico in cui si operano. Inoltre, i Bandi lasciano le coalizioni libere di organizzarsi in vari modi: utilizzando risorse interne, realizzando partenariati con enti di ricerca o università, oppure ricorrendo a organizzazioni private o professionisti. Questi sono elementi di grandissima positività, che si discostano dall’approccio dirigistico di molte richieste di valutazione da parte di soggetti finanziatori.

Gli elementi che destano preoccupazione sono:

  • La scelta di concentrare il Vademecum su alcuni metodi controfattuali ingenera l’impressione che questi siano i metodi preferiti per le strategie di valutazione. Questo è dannoso, perché mortifica l’autonomia dei proponenti nell’elaborare la propria strategia di valutazione e non rispetta la necessità di combinare disegni di valutazione in modo pluralistico, così che siano adeguati alle caratteristiche degli interventi (che non sempre possono essere concettualizzati come trattamenti) e che restituiscano conoscenza robusta e scientificamente valida sul perché e per quali gruppi gli interventi funzionano (o non funzionano).
  • Il riferimento a impianti valutativi centrati sulla nozione di soggetti ‘trattati’ rappresenta un’incoerenza interna, perché i Bandi fanno riferimento ad un approccio multiservizio e di “Welfare Comunitario” (p.12-13 Bando Prima Infanzia e p.5 Bando Adolescenza) e allo sviluppo del ruolo della comunità educante che a vario titolo si occupa di infanzia ed educazione. Poiché il singolo partenariato non potrebbe realisticamente organizzare un confronto con altre realtà locali esterne al proprio sistema di intervento, sarebbe impossibile identificare i cambiamenti sulla comunità educante nel suo complesso e sul sistema di intervento, in ultimo sui modelli di Welfare comunitario, che rappresentano invece un focus di analisi imprescindibile. La letteratura internazionale e nazionale in materia di valutazione degli interventi educativi include numerosi approcci, adeguati a diverse situazioni, tipo di azioni, domande di valutazione. E’ disponibile, ed accessibile anche in italiano, una guida sintetica per committenti o promotori di valutazioni (Stern, E. 2016, La valutazione di impatto, Milano: Franco Angeli).
  • L’attuale formulazione dei Bandi appare escludere la possibilità di remunerare il lavoro di valutazione, dedicandovi solo rimborsi spese. Questa formulazione contraddice l’importanza data alla valutazione nei Bandi, mortifica e svilisce il lavoro della valutazione ed impedisce alle coalizioni di accedere ad alcune tra le fonti di expertise esistenti nel campo della valutazione. Per ottenere valutazioni credibili, affidabili e scientificamente robuste è necessario dedicarvi risorse umane, finanziarie e organizzative adeguate allo sforzo che si richiede. In un campo così delicato, poi, i cui destinatari sono minori, sono necessarie ulteriori cautele ed expertise specifiche per curare affidabilità dei dati e rispetto delle posizioni, dell’integrità e del benessere delle persone con cui valutatori e proponenti interagiranno.
  • Un’ulteriore incoerenza interna riguarda la richiesta di valutare gli impatti successivamente alla conclusione dei progetti (Punto f, p. 10 Bando Prima Infanzia e Punto f, p. 11 Bando Adolescenza), mentre si escludono esplicitamente rimborsi o compensi per le attività di valutazione svolte successivamente alla conclusione del progetto (nota 13, p.10 Bando Prima Infanzia e nota 14, p.11 Bando Adolescenza). 

Questi elementi dei Bandi, se lasciati immutati, inficiano l’intera operazione di valutazione, danneggiano, piuttosto che sostenere, le stesse azioni proposte e ostacolano la creazione di conoscenza robusta ed affidabile.

 

UNA PROPOSTA DI DIALOGO 

Il Laboratorio di Valutazione Democratica invita l’impresa sociale “Con i Bambini” a riconsiderare questi punti problematici e offre la propria disponibilità ad un dibattito pubblico e aperto, che coinvolga operatori e valutatori.

Roma, 14 Novembre 2016

 

Contatti:  Email   info@cevas.it

Valutazione del Servizio Civile Nazionale nelle cooperative sociali

09/05/2016

Federsolidarieta_logo

LogoCEVAS

Servizio Civile nelle cooperative sociali: un trampolino di  lancio per l’occupazione?


 Friends embraced enjoy looking down    Nel mese di settembre 2016 circa  5000 giovani, che negli ultimi 6 anni hanno fatto domanda per svolgere attività di Servizio Civile Nazionale nelle cooperative sociali, saranno invitati a partecipare ad una indagine on-line.

Fare volontariato nelle imprese sociali migliora l’occupabilità dei giovani? Vi è una crescita di competenze spendibile sul mercato del lavoro? Aumenta il senso di cittadinanza? Quali sono le esperienze e i settori che offrono maggiori opportunità?

Questi alcuni dei quesiti a cui Confcooperative-Federsolidarietà, la più grande associazione di rappresentanza di cooperative sociali in Italia, vuole dare risposta con una ricerca valutativa affidata a CEVAS sugli impatti dell’attività di Servizio Civile.

Il Servizio Civile volontario nasce per promuovere la solidarietà e la cooperazione e offre ai giovani la possibilità di dedicare 12 mesi della propria vita a se stessi e agli altri; formandosi, acquisendo conoscenze ed esperienze e maturando una propria coscienza civica. Per molti rappresenta un trampolino di lancio per l’ingresso nel mondo del lavoro.

Una parte dei volontari del Servizio Civile è, infatti, finanziata dal programma Garanzia Giovani cofinanziato dalla Commissione Europea per favorire l’occupazione giovanile.  Sei un ex-volontario e vorresti fare il questionario?

Se non le è arrivato l’invito online e desidera compilare il Questionario richieda l’accesso a serviziocivile@confcooperative.it

 

graf-rispondenti-21-9-2016    Vuoi sapere chi sta rispondendo? 

   Il grafico del 21 settembre 2016  illustra i primi dati sulla provenienza regionale dei  n. 414  rispondenti mentre l’indagine è aperta.    

   Se vuoi partecipare  anche tu scrivici…ti manderemo un link per accedere al questionario!

IMPACT Europe, Method to evaluate Counter-violent extremism, European Union 7th FP (2013-2017)

08/22/2016

Innovative Method and Procedure to Assess Counter-violent-radicalisation Techniques in Europe

 

IMPACT Europe-Logo IMPACT Europe is a project funded by the European Union’s Seventh Framework Programme aiming to fill the gap in knowledge and understanding of ‘what works’ in tackling violent radicalisation. Running from January 2014 to June 2017, this work will be the result of extensive, multidisciplinary, and end-user focused research and development by some of the most renowned research institutes in Europe and beyond. The project website is at http://impacteurope.eu   The project will answer three questions to fill gaps in our knowledge that are currently limiting the effectiveness of counter-violent-radicalisation work:

  1. How effective are various programmes at tackling violent radicalisation?
  2. What is best practice in tackling violent radicalisation?
  3. How does this inform our knowledge and understanding of violent radicalisation?

The outcome of IMPACT Europe will improve and empower counter-violent-radicalisation policies and interventions across Europe. The project website is at http://impacteurope.eu

AIM

  • IMPACT Europe will develop an evaluation toolkit to help professionals in the public and voluntary sectors design and implement an evaluation of their programmes tackling violent radicalisation, whether policies or interventions. The toolkit will also help professionals go beyond the evaluation of a single project by integrating best practice into the design and implementation of future programmes.This evaluation toolkit will be composed of four elements:
  1. A standardised methodology, to provide professionals with a tool to conduct robust evaluations;
  2. An evaluation results database, to allow professionals to analyse these results over time, identify best practice and develop a more informed understanding of violent radicalisation;
  3. A training course (including a train-the-trainer component), to build professionals’ capacity to design, carry out and learn from appropriate evaluations;
  4.  A training manual, to provide easy reference for professionals applying the toolkit.

Timeline

The project runs from January 2014 to June 2017.

Process

 

 

 

 

 

Partners

IMPACT Europe Consortium consists of 12 partners drawn from across Europe and beyond, specialising in academic and applied research, evaluation, community engagement, policing, commercial software and communications.

PRODUCTS

-  Leone L, Tagle L, Hofman J, Evaluation Needs in the Counter-Violent Extremism Policy Field. Paper presented at the 12th  EES European Evaluation Association biennial Conference, Maastricht (NL),  30 September 2016 (Download)

PARTNERS

Further information on each partner and their role in the project is provided at the links below.

Two additional partners in the form of other end-user organisations have been  recruited during the project.

______________________________________________________________

European_UnionThis project has received funding from the European Union’s
Seventh Framework Programme for research, technological development
and demonstration under grant agreement no 312235

 

 

Sistemi di Valutazione Aperta: Dialogo con Ray Rist _Roma19-05-2016

05/13/2016

LVD (Laboratorio di Valutazione Democratica), AIV (Associazione italiana di valutazione) ed Etica PA (Associazione Nuova Etica Pubblica) promuovono un dialogo sul funzionamento e sulle caratteristiche essenziali di un sistema di valutazione aperta e multi-livello nelle società democratiche con Ray Rist (già vice-direttore della Program Evaluation Methodology Division del GAO, e attualmente senior advisor al Fondo Monetario Internazionale e alla World Bank).

19 maggio 2016

Senato della Repubblica Biblioteca del Senato “Giovanni Spadolini” Sala degli Atti Parlamentari
Piazza della Minerva 38, Roma

Programma

15:00 –15:15 Indirizzo di saluto: Sen. Valeria Fedeli Vicepresidente del Senato

15:15 –15:30 Introduzione: Nicoletta Stame (LVD)

15:30 – 16:30 Relazione: “Evaluation at the service of the legislative: experiences from around the world”: Ray Rist

16:30 – 17:30 Dibattito: “Sfide e opportunità nel contesto italiano” Presiede Mita Marra (AIV). Il dibattito è introdotto da interventi programmati di Manin Carabba (SVIMEZ) e Antonio Zucaro (EticaPA)

17:30 – 17:45 Intervento conclusivo: Claudio De Vincenti Sottosegretario di Stato alla Presidenza del Consiglio dei Ministri

17:45 – 18:00 Conclusioni: Laura Tagle (LVD) L’accesso alla sala è consentito fino al raggiungimento della capienza massima.

 

* Per partecipare è necessario iscriversi fino al 17 maggio inviando una mail a seminarioristsenato@gmail.com

Trasferimenti monetari condizionali (CCT): A Realist Review, Nov 2015

02/09/2016

L’uso delle condizionalità nei trasferimenti monetari condizionali: sintesi delle evidenze nei Paesi dell’area OCSE.

 

Articolo

Leone, L. Le condizionalità nelle politiche di welfare: quando e come utilizzarle. Welfare Oggi n.2 2016, Maggioli ed. Rimini. (Download pdf)

 

Report integrale

Leone L. (a cura di), Trasferimenti monetari condizionali per il contrasto della povertà infantile e l’inclusione sociale: una review realista sui Paesi dell’area OCSE.Novembre 2015     (Download pdf)

Con contributi di:

Silvia Ciampi, Matteo D’Emilione, Francesco Mazzeo Rinaldi, Francesca Raspanti, Laura Stopponi, Gabriele Tomei, Matteo Villa

SINTESI REALISTA PER LE POLITICHE DI INCLUSIONE SOCIALE – è on line il rapporto definitivo dello studio inter-istituzionale promosso dal NUVAP Nucleo di valutazione Dipartimento Politiche di Coesione PCM nell’ambito del Sistema Nazionale di Valutazione (SNV).

La review si è concentrata sulle evidenze di efficacia della condizionalità applicata a misure di Trasferimento Monetario Condizionale nei principali programmi dell’area OCSE. Si è voluto comprendere se i requisiti comportamentali richiesti ai percettori di integrazione al reddito, sussidi di disoccupazione e misure di reddito minimo garantito nei paesi dell’Unione Europea, in Canada e negli Stati Uniti, politiche attive in Europa, siano efficaci e quali siano le ricadute sui figli minori. Il rapporto è scaricabile dal sito del Formez e anche dal nostro.

 

 

 

Evaluation of a cluster of social economy as catalyst of social capital and capabilities

10/25/2014

 Evaluation of a cluster of social economy as catalyst of social capital and capabilities (O178)

11thEES Biennial Conference EVALUATION FOR AN EQUITABLE SOCIETY. DUBLIN, 2 OCTOBER 2014-Session 056: Improved social programmes through evaluation

Slide presentation ( Download)

Community foundations and local coalitions are in an even better position to catalyse the resources and the changes required to achieve a significant increase in social capital and in developing innovative solutions to manage social problems and promoting local development. A three years evaluation research, commissioned to an external evaluator by the Community Foundation of Messina (CFM) will be presented. The CFM promotes a local model of human development structurally related with productive, civil economy clusters able to generate an evolved community welfare, named ‘Evoluted Social District’ (ESD). Rather than being based on charitable giving of the donors the CFM is built by a local cluster of social economy, the Local Health Agency, a public center of scientific research and by the provincial industrial association, at national level the Ethical Bank and Caritas and at European level an umbrella of social enterprises. The aims of the evaluation were to verify the coherence of the complex multisectoral strategy of local development and assessing the effects of a Pilot project. The underlying theory of the programme of the CFM, is based on the idea that local, human and economic development feeds on and amplifies social capital, people’s instrumental freedoms and the economic resources of the analysed clusters. The ‘capabilities approach’ has been adopted as a conceptual framework both for the design of policies by the CFM, and the assessment of individual well-being of recipients. Qualitative and quantitative techniques of research have been used: a network analysis with a structured questionnaire addressed to 47 organisations, a pre-post design of evaluation with a version of ICF International Classification Functioning (WHO) for psychiatric setting, non structured interviews of stakeholders and key individuals, a survey with beneficiaries of a ‘photovoltaic urban park’. The empirical results indicate that the social capital of the ESD, assessed by indicators on trust and exchanges within the network and by a tested Scale of Governance (System of rules, participation and transparency in the decision-making processes), influence the level of innovation and economic competitiveness of the ESD in the observed period. Innovative mechanisms to finance welfare local initiatives have been classified (e.g., how to reinvest the revenue coming from the production of green energy). Furthermore this inclusive model of development resulted to work for social and labour insertion of 56 ex inmates, using the personal ‘capabilitiy budget’, and resulted to empower their wellness and capabilities. A multiple linear regression model has been developed to predict the values of socioeconomic effects (e.g., increased access to credit, share of technical and professional knowledge, access to new potential markets) at meso-level within and outside the boundaries of the CFM. The ‘arising institution’, according the new institutionalism approach, represents a mobilizer of resources and a social capital catalyst within the territorial district. We discuss the implications of the empirical results for public and private funders with an interest in knowledge translation of social innovation and suggest some key dimensions that could be adopt both, to identify and supporting potential successful local coalitions and to evaluate complex place-based initiatives of local development.

Sviluppo è Coesione e Libertà.

10/25/2014

Sviluppo è Coesione   Sviluppo è Coesione e Libertà

 Il caso del distretto sociale evoluto di Messina

(a cura di) Giunta Gaetano, Domenico Marino, Liliana Leone, Gaspare Motta, Francesco Marsico, Angelo Righetti

Horcynus Digital Editions, 2014.Presentazione Fondazione con il Sud (29/10/2014 Roma) (Presentazione)

Acquisto online del libro (€ 19,00)

Sito Fondazione di Comunità di Messina  http://www.fdcmessina.org/

Introduzione

Il testo “Sviluppo è coesione e libertà”  indaga e sottopone a valutazione la rete di visioni e azioni di cui si è composta la storia dei primi anni della Fondazione di Comunità di Messina. Con una premessa sulla storia socio-economica e sull’attualità del territorio messinese, con l’introduzione dedicata ai fondamenti costituzionali del welfare di comunità, il testo racconta un modello socio-economico di sviluppo umano territoriale che “va oltre il pensiero liberal-individualistico che ha innervato i paradigmi economici dominanti della modernità”,  “oltre” la “dicotomia assoluta” tra la dimensione economica e quella socio-culturale e l’antitesi tra la mano pubblica, unica titolata a rappresentare l’interesse collettivo, e il mercato. Si afferma cioè la “imprescindibilità” della trasformazione migliorativa dell’ambiente in cui viviamo, trasformazione che “consiste ineludibilmente nel rilancio e nell’efficientamento dei beni comuni, nella riqualificazione del territorio e delle costruzioni, nell’autorecupero e nell’autocostruzione del diritto alla casa, nel rilancio imprenditoriale della cultura, dell’artigianato, dell’arte, nella cura dell’ambiente, nella promozione della domiciliarità delle cure, della socialità, dello scambio non monetario, nell’accoglienza”. Il modello è stato sottoposto a valutazione e tre capitoli sono dedicati all’illustrazione della metodologia adottata e dei risultati.  In particolare nel quarto e nel sesto capitolo, si analizzano l’evoluzione del capitale sociale del Distretto Sociale Evoluto di Messina e le ricadute a livello socio-economico.  Dopo aver analizzato il modello di funzionamento del Distretto Sociale Evoluto (DSE), il modello teorico e valoriale sulla cui base opera e le caratteristiche relazionali del network di enti, imprese profit e non-profit che lo compongono, si risponde ai quesiti principali: (1) Dopo la nascita della Fondazione si è verificata una crescita della fiducia nei confronti dei membri del DSE?  (2)  Tale crescita si traduce in vantaggi socioeconomici per le organizzazioni che operano nel DSE?

Per approfondimenti:

  •  Giunta, G., Giunta, G., Leone, L., Marino, D., Motta, G., Righetti, A. and Marino, D. (2014) A CommunityWelfare Model Interdependent with Productive, Civil Economy Clusters: A New Approach. Modern Economy, 5,914-923. http://dx.doi.org/10.4236/me.2014.58084
  • Leone L., Giunta G., Martinez L., Evaluation of a cluster of social economy as catalyst of social capital and capabilities growth. Paper presented at the EES European Evaluation Society, 2 October 2014, Dublin (Download)

 

Indice

Premessa

capitolo 1 - di Gaetano Silvestri

I Fondamenti Costituzionali del Welfare di Comunità

capitolo 2 - di Gaetano Giunta, Liliana Leone, Domenico Marino, Francesco Marsico, Gaspare Motta, Angelo Righetti

Nuovi Paradigmi Economici e Welfare di Comunità

capitolo 3  -  di Gaetano Giunta

La Descrizione del Distretto Sociale Evoluto di Messina e del Progetto Luce è Libertà

capitolo 4  - di Liliana Leone

Evoluzione ed Effetti del Capitale Sociale del Distretto Sociale Evoluto di Messina

capitolo 5  - di Liliana Leone, Lucia Martinez

Evoluzione delle Capabilities degli ex Internati in Ospedale Psichiatrico

capitolo 6 –  di Gaetano Giunta, Liliana Leone

Dinamica Economica del DSE

 

BANDO INPS- BORSE DI STUDIO FORMAZIONE PER ASSISTENTI SOCIALI

02/15/2014

INPS band


Il Centro Studi CEVAS –Consulenza e Valutazione nel Sociale, organizza dei Corsi di aggiornamento per assistenti sociali dal titolo: “Programmazione e valutazione delle politiche sociali” con supporti in e-learning.

Le Direzioni delle Regioni Campania, Sicilia, Calabria e Lazio dell’INPS Gestione dipendenti pubblici hanno sottoscritto con il Centro Studi CEVAS delle convenzioni per l’erogazione di n.125 borse di studio per la partecipazione gratuita al Corso. Per conoscere le scadenze selezionare l’AVVISO relativo alla Regione di interesse.


tel.0676900613 o 3475030783   Sig. Mauro Fanti orario ufficio 9.00-17.30

-e-mail segreteria@cevas.it

Approcci alla valutazione degli effetti delle politiche di sviluppo regionale

07/08/2013

G. Marchesi, L. Tagle, B. Befani, Approcci alla valutazione degli effetti delle politiche di sviluppo regionale (pdf, 2.06 Mb)

Numero 22 (Metodi), anno 2011


G. Marchesi, L. Tagle, B. Befani, Approaches to Evaluation of Regional Policy Outcomes (pdf, 459 Kb)

Issue 22 (Metodi), 2011

Indice

  • I. Introduzione (Giampiero Marchesi)
  • II. La valutazione degli effetti delle politiche regionali: gli approcci (Nicoletta Stame, Laura Tagle)
  • III. La valutazione controfattuale (Alberto Martini, Gianluca Strada)
  • IV.La valutazione basata sulla teoria (B Befani
  • V. L’approccio realista alla valutazione degli effetti (Ferruccio Biolcati Rinaldi, Liliana Leone)
  • VI. La valutazione partecipata (Claudio Torrigiani, Barbara Befani)
  • VII. L’utilizzo appropriato di approcci e metodi: applicazioni nei gruppi di lavoro del progetto NUVAL (Laura Tagle, Barbara Befani)
  • VIII. Conclusioni (Giampiero Marchesi)

Sommario

La valutazione degli impatti degli interventi pubblici è, in misura crescente, posta al centro del confronto europeo sulla politica di coesione e sulla politica regionale di sviluppo. Mentre in passato gli sforzi di valutazione si sono prevalentemente concentrati su aspetti di processo, più di recente è emersa la necessità, per migliorare l’efficacia anche di nuovi interventi, di valutare ex post quali effetti, positivi e negativi, previsti o inattesi, gli sforzi di policy abbiano prodotto. Si tratta di un cambiamento di rilievo nelle pratiche valutative, che richiede lo sviluppo e l’acquisizione, da parte innanzitutto delle Amministrazioni impegnate nell’attuazione delle politiche, di nuove competenze e capacità valutative. L’Italia si è da tempo dotata di un assetto istituzionale e tecnico in grado di sostenere tale cambiamento: i Nuclei di Valutazione e Verifica degli Investimenti Pubblici; la loro Rete; il Sistema Nazionale di Valutazione (cui partecipano, con il coordinamento dell’UVAL, ISFOL, INEA, Dipartimento per le Pari Opportunità e i Nuclei di Valutazione); il Progetto NUVAL attuato dal Dipartimento per lo Sviluppo e la Coesione economica con il Dipartimento Funzione Pubblica. Tale sistema è oggi in grado di accompagnare le Amministrazioni nell’introduzione di innovazioni nelle loro pratiche valutative. Proprio all’interno di questo complesso sistema, e precisamente nell’ambito del Progetto NUVAL, in collegamento con il SNV, è stato realizzato il percorso dedicato ad alcuni dei principali approcci alla valutazione degli impatti che è alla base di questa pubblicazione. Se ne riportano qui gli esiti con l’obiettivo di assicurare una maggiore conoscenza e di contribuire al dibattito tecnico e operativo. Gli approcci presentati sono diversi, ma non incompatibili nella loro applicazione: possono, anzi, essere combinati in vario modo per rispondere con più puntualità a specifiche domande valutative. L’impegno delle Amministrazioni, coadiuvate dai Nuclei di Valutazione, e con il sostegno del SNV, è proprio quello di individuare e applicare l’approccio (o la combinazione di approcci) più adatta allo specifico bisogno di valutazione.

Abstract

Increasingly, Europe is bringing its cohesion policy governance to revolve around impact evaluation. Naturally, this process is affecting Italy, too. In evaluations, the emphasis is shifting from supporting processes towards detecting, measuring, and explaining outcomes—favorable or unfavorable, expected and unexpected. This is a momentous change, and one which demands that public bodies acquire new competencies and develop new capacities. Italy has long created an institutional framework which enables it to sustain this change. By now, Evaluation Units exist in all Regions and in many Ministries, operate in a Network, and obtain support on evaluation from the National Evaluation System (SNV) and professional development via the NUVAL project, implemented jointly by the Department for Development and Cohesion and by the Department for Public Administration. Italy is, therefore, well positioned to actually implement innovations in evaluation. It is precisely within this framework that the NUVAL project, with scientific guidance from SNV, implemented the professional development course at the basis of this publication. This publication of the course main results aims at making the fundamentals of the main impact evaluation approaches accessible to the wider regional policy community in Italy. It also has the ambition of contributing to the methodological and institutional debate. The course, as well as this publication, focuses on only some of the existing approaches. Even though the approaches greatly differ from each other, the authors contend that they are not incompatible: rather, they can combined to better address evaluation demands and provide credible answers to evaluation questions. It is the responsibility of Regions and Ministries, aided by their Evaluation Units and supported by SNV, to identify and use the approach–or the combination of approaches-which best fits their evaluation needs.

Ciclo 2010

07/07/2013

Classici moderni della valutazione

Seminario partecipato di lettura critica  Anno 2010

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

“Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all’altro all’interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo”
(M.Q. Patton, “Il dibattito sui paradigmi”, in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario “Classici della Valutazione” provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l’”identità” di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all’atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

23 febbraio 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Scelta del Classico
Presentazione

13 ottobre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione

16 novembre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
Valutazione dei progetti innovativi, di Marina Forestieri (pps)

1 dicembre 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
B. Perrin, How to – and How Not to – Evaluate Innovation

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
coordinato da Liliana Leone

Le revisioni sistematiche della letteratura sono metodi che si sono sviluppati per identificare, stimare e sintetizzare le evidenze offerte dalla letteratura in merito agli esiti dei programmi. Esse sono ampiamente utilizzate e/o “invocate” per supportare processi decisionali basati sulle evidenze e sono state utilizzate in molti ambiti di policy. Le conoscenze prodotte dalle revisioni sistematiche vengono diffuse e tradotte in linee guida allo scopo di promuovere decisioni politiche e pratiche professionali maggiormente informate. Una delle questioni più discusse riguarda la natura delle evidenze, il tipo di generalizzazioni inferibili dalla valutazione di programmi e le metodologie adeguate utilizzabili nel processo di cumulazione delle conoscenze. Non tutti, però, concordano con il fatto che le revisioni sistematiche siano strumenti desiderabili; poiché diverse argomentazioni sono frutto spesso di fraintendimento e scarsa conoscenza circa la storia e i metodi delle stesse, un obiettivo del laboratorio è permettere ai partecipanti di esplorare con maggiori cognizioni le diverse criticità e le prospettive per il superamento delle stesse.

30 marzo 2010, 15-17
La meta-analisi
introducono: Liliana Leone e Roberto Celentano
I laboratorio. Le meta-analisi: cosa sono, utilizzi, trucchi e suggerimenti per riconoscere le bufale, di Liliana Leone (pdf)
La revisione sistematica e la meta-analisi. Linee guida della Campbell Foundation, di Roberto Celentano (pps)
riferimenti:
Campbell Foudation, “Systematic Reviews Guidelines for the Preparation of Review Protocols” (rtf)
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of InterventionsVersion 4.2.5 (rtf)
Jefferson Tom (2006), Attenti alle bufale. Come usare la evidence-based medicine per difendersi dai cattivi maestri, Il pensiero Scientifico Editore, Presentazione
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions” (rtf),British Medical Journal, 5 Apr 2003, 756-758

20 aprile 2010, 15-17
Le narrative reviews
introducono: Liliana Leone e Veronica Lo Presti
II laboratorio. Narrative Review e sintesi narrative, di Liliana Leone (pdf)
Aspetti metodologici delle Narrative Review: l’implementazione di interventi per la prevenzione degli incendi, di Veronica Lo Presti (pdf)
Le narrazioni nel servizio sociale: A critical review, di Laura Taronna (pdf)
riferimenti
Popay, J., Roberts, H., Sowden, A., Petticrew, M., Arai, L., Rodgers, M. and Britten, N. with Roen, K. & Duffy, S. (2006). Guidance on the conduct of narrative synthesis in systematicreviews. Final report, Institute of Health Research, Lancaster: ESRC Methods
Rodgers M. et Al. (2009), “Testing Methodological Guidance on the Conduct of Narrative Synthesis in Systematic Reviews”Evaluation, Vol. 15, No. 1, 49-73 DOI: 10.1177/1356389008097871
Arai, L., Britten, N., Popay, J., Roberts, H., Petticrew, M. , Rodgers, M., Sowden, A. (2007),“Testing methodological developments in the conduct of narrative synthesis: a demonstration review of research on the implementation of smoke alarm interventions”,Evidence & Policy: A Journal of Research, Debate and Practice, Volume 3, Number 3, pp. 361-383(23)
Popay J., Williams G., “Qualitative research and evidence-based healthcare”, Journal of the Royal Society of Medicine, Supplement No. 3 5 Volume 91, 1998

17 giugno 2010, 15-17
I nuovi approcci: la proposta della sintesi realista
introducono: Liliana Leone, Daniela Ferrazza, Laura Fantini e Nicoletta Stame
Pawson R., Reviewing inner mechanisms: youth mentoring, di Laura Fantini e Daniela Ferrazza (pps)
Le sintesi realiste, di Nicoletta Stame (pdf)
Le sintesi realiste, di Liliana Leone (pdf)
Pawson, Evidence Based Policy, cap. 4 (pdf)
Pawson, Evidence Based Policy, figure cap. 4 (pdf)
Pawson, Evidence Based Policy, cap. 6 (pdf)
Pawson, Evidence Based Policy, figure cap. 6 (pdf)
riferimenti:
Leone L. (2007), “Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione”, Rassegna Italiana di Valutazione, n. 35
Pawson R. (2006), Evidence Based Policy, Sage, London
Pawson R., Boaz A. (2006), “Evidence-based policy, theory-based synthesis, user-led reviews”,ESRC UK Centre for Evidence Based Policy and Practice, London
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British Medical Journal, 5 Apr 2003, 756-758

Pagina successiva »

Rapporti di ricerca e valutazione

In accordo con i committenti rendiamo disponibili rapporti di valutazione e di ricerca su diversi programmi e aree tematiche.
(continua >>).

Aree tematiche

Imparare a Progettare e Valutare

LEARNING - Rassegna ragionata di supporti formativi multimediali (ipertesti, articoli, manuali, video e slide) sui temi della valutazione di programmi, revisioni sistematiche 'theory-driven', modelli innovativi di Welfare Mix, progettazione
(continua >>)

Translate

Contenuti

News

Archivio