Valutazione degli impatti occupazionali del Servizio Civile Nazionale

30 marzo 2018

Cop_Leone De Bernardo SCN 2017CEVAS ha condotto per Confcooperative Nazionale  il  lavoro di valutazione degli impatti del Servizio Civile Nazionale (SCN) sugli ex volontari ospitati dalle cooperative sociali. La valutazione mirava a verificare dove e come il nesso tra occupabilità e occupazione riesce a risolversi in una sinergia tra vantaggi individuali e collettivi. I risultati dello studio sono stati pubblicati nell seguente volume che offre spunti di riflessione anche sulle politiche di promozione dell’occupazione giovanile.
(Download)

Utili Link

E-R Fare servizio civile aiuta a trovare lavoro… Vedi…   Vita.it Adesso è ufficiale: fare servizio civile aiuta…(di Gabriella Meroni)… Vedi…
Presentazione del volume 

Contributi di: Maurizio Gardini, Giuseppe Guerini, Anna Giulia Ingellis, Lucia Martinez, Pierpaolo Prandi, Ilaria Rossignoli, Margherita Vangelista
Il testo presenta in modo sistematico i risultati di un lavoro di valutazione degli impatti del Servizio Civile Nazionale (SCN) sugli ex volontari ospitati dalle cooperative sociali aderenti a Confcooperative. Sono stati in passato valutati, in particolare all’estero, gli effetti del SCN sullo sviluppo delle “competenze trasversali” e sui cambiamenti di atteggiamenti e pratiche di cittadinanza. Gli studi non si sono soffermati sugli impatti positivi “imprevisti” di tipo occupazionale; impatti indiretti sinora trascurati sebbene fosse nota la relazione tra competenze trasversali, capitale sociale e ricadute occupazionali. È, dunque, in un periodo caratterizzato da forti incertezze per i giovani, assenza di prospettive, alti tassi di NEET e debole voce come cittadini che occorrono idee e nuove suggestioni per il disegno di misure effettivamente in grado di ridurre il profondo gap di opportunità tra generazioni e tra macro-regioni.
Esiste, infatti, una possibile sinergia tra SCN fondato sui valori di solidarietà e cittadinanza e interesse dei giovani all’autorealizzazione come cittadini e singoli soggetti. Nel testo si illustrano quali sono le condizioni e i contesti per cui tale felice connubio può realizzarsi.
I lettori a cui ci rivolgiamo sono tutti coloro che con ruoli diversi – decisori istituzionali impegnati nel ridisegno della misura del SCN, dirigenti e operatori del movimento cooperativo e del terzo settore, ricercatori – si occupano di SCN, di politiche giovanili e politiche attive del lavoro, di pratiche di cittadinanza attiva, di economia sociale e di promozione dello sviluppo umano ed economico.

Vincenzo De Bernardo ha svolto diversi incarichi in PPAA centrali e locali inerenti le policy del mercato del lavoro e dello sviluppo territoriale. Nel 2008 è stato nominato Coordinatore di Federsolidarietà-Confcooperative e dal 2011 ne è il Direttore. Dal 2010 è inoltre Responsabile nazionale del Servizio Civile Nazionale di Confcooperative.

Liliana Leone, esperta e docente di metodi di valutazione delle politiche pubbliche, dalla metà degli anni ’90 ha valutato programmi in diversi settori di policy (welfare, giovani, lavoro, povertà, sviluppo locale e giustizia). Autrice di vari testi sulla valutazione, dal 2002 è responsabile del CEVAS, Centro di Ricerca e Valutazione (www.cevas.it).
Indice
Giuseppe Guerini, Prefazione. Dall’obiezione di coscienza alla valutazione d’impatto sociale: è sempre una questione di scelte
Liliana Leone,
 Vincenzo De Bernardo, Introduzione
Liliana Leone, 
Scopo e metodi dello studio valutativo
(Introduzione; Quadro di riferimento teorico e ipotesi di ricerca; Scopo e quesiti di valutazione; Metodi e campione)
Liliana Leone, Caratteristiche dei volontari del Servizio Civile Nazionale e delle cooperative ospitanti nel periodo 2005-2015
(Descrizione del campione: chi sono gli ex volontari del Servizio Civile Nazionale?; Opinioni sulle diverse fasi del Servizio Civile Nazionale: selezione, accesso e svolgimento; La rete delle cooperative che ha accolto i volontari del Servizio Civile Nazionale nel periodo 2005-2015; Settore lavorativo al termine del Servizio Civile Nazionale)
Liliana Leone, Crescita dell’occupabilità sviluppata grazie al Servizio Civile Nazionale: le competenze trasversali e il capitale sociale
(Le competenze trasversali; Senso di cittadinanza e valori solidaristici degli ex volontari; Crescita del capitale sociale; Servizio Civile Nazionale e crescita del senso di Autoefficacia)
Liliana Leone, L’impatto occupazionale del Servizio Civile Nazionale
(Impatto del Servizio Civile Nazionale sull’occupazione; Analisi degli impatti occupazionali nei diversi contesti regionali; Influenze del Servizio Civile Nazionale sulla qualità dell’occupazione e sulla stabilità occupazionale; Il nesso tra crescita del capitale sociale, delle competenze trasversali e impatti occupazionali)
Lucia Martinez, Valutazione dell’esperienza dal punto di vista degli ex volontari e degli operatori
(Introduzione; Il Servizio Civile Nazionale: un’esperienza di crescita per i volontari?; Garanzia Giovani: il Servizio Civile Nazionale come misura per aumentare l’occupazione giovanile; Attività di formazione durante il Servizio Civile Nazionale; Conclusioni)
Pierpaolo Prandi, Il Servizio Civile Nazionale in Confcooperative nel decennio 2005-2015: statistiche sulla cooperazione sociale
(Introduzione; Le cooperative aderenti a Confcooperative del Servizio Civile Nazionale; Conclusioni)
Anna Giulia Ingellis, Tra occupazione e occupabilità: uno sguardo alle politiche dell’UE
(Introduzione; Dalle politiche industriali a quelle di sviluppo locale: quando le politiche per il lavoro erano embedded in quelle economiche e di crescita; L’evoluzione delle politiche per il lavoro. Dalle politiche passive alle politiche attive: la Strategia di Lisbona; Un cambiamento paradigmatico. Dal lavoro standard alla flexicurity e dall’occupazione all’occupabilità; La potenza di un cambiamento semantico; La SEO alla prova dell’ultima crisi; Il Servizio Civile Nazionale nella cooperazione: quando occupazione e occupabilità si sostengono reciprocamente)
Liliana Leone, Sintesi e discussione dei risultati dello studio
(Servizio Civile Nazionale e aspetti motivazionali; Servizio Civile Nazionale e crescita dell’occupabilità; Il ruolo del capitale sociale costruito grazie al Servizio Civile Nazionale; Gli impatti occupazionali; Conclusioni)
Vincenzo De Bernardo, Il Servizio Civile Nazionale in una prospettiva di sviluppo umano ed economico: riflessioni conclusive sugli effetti prodotti
(Uno sguardo agli effetti non previsti; Familismo amorale vs Relazioni deboli; Chi si avvantaggia del Servizio Civile Nazionale e quali competenze acquisisce; Il Servizio Civile Nazionale strumento di programmazione delle policy facilmente monitorabile e valutabile?; Responsabilità, libertà, felicità pubblica per un possibile nesso tra occupazione e sviluppo)
Maurizio Gardini, Postfazione
Riferimenti bibliografici
Glossario
Ilaria Rossignoli, Margherita Vangelista, Allegato. Dall’obiezione di coscienza al Servizio Civile Nazionale: evoluzione legislativa
Gli Autori.

Rapporto di valutazione dal SIA al REI – Alleanza contro la povertà

20 gennaio 2018

Copertina_Rapporto_valutazioneValutazione della misura SIA

L’Alleanza contro la povertà ha realizzato nel corso del 2017 la valutazione della misura Sostegno per l’Inclusione Attiva (SIA). Questo lavoro promosso dall’esecutivo dell’Alleanza mirava a identificare alcuni meccanismi di implementazione della misura che possono ostacolarne o favorirne il successo, per poter meglio orientare la futura misura a regime denominata del Reddito d’Inclusione (Rei).(REI). Il Coordinamento Scientifico è stato realizzato da Liliana Leone (CEVAS) che ha  anche curato il rapporto di valutazione finale.

Il “Rapporto di valutazione: dal SIA al REI” illustra i risultati di tale valutazione indipendente sull’attuazione del Sostegno per l’Inclusione Attiva (Sia), promossa dall’Alleanza contro la povertà in Italia. Per indagare i meccanismi di implementazione del programma è stato utilizzato un approccio di valutazione guidato dalla teoria (Theory Based Impact Evaluation) e sono stati utilizzati due principali metodi:
• una indagine tramite questionario rivolta a tutti gli Ambiti territoriali sociali (ATS) che ha interessato 17 regioni e 332 Ambiti pari al 56% degli ATS del Paese. Hanno risposto il 71% degli ambiti del Nord Italia contro il 52% del Sud e delle Isole e il 30% del Centro Italia.
• Otto studi di caso realizzati in altrettante regioni (Sicilia, Calabria, Puglia, Campania, Lazio, Emilia Romagna, Lombardia, Friuli Venezia Giulia). I casi/ATS sono stati individuati secondo l’approccio del caso multiplo e i ricercatori hanno realizzato interviste e focus group in loco contattando circa 90 stakeholder.

RAPPORTO E ALLEGATI

E’ stato inoltre sviluppato un database aggiornato sugli ATS presenti in Italia al 1 gennaio 2017 con sviluppo di indicatori demografici e socioeconomici oltre a un indicatore sulla platea dei beneficiari potenziali. Tale database è messo a disposizione delle amministrazioni e dei ricercatori in formato opendata ed è stato utilizzato per le analisi statistiche che incrociano i risultati dell’indagine con i dati di contesto.

Altri materiali sono reperibili ai seguenti link del sito dell’Alleanza contro la povertà:

______________________________________________

Note per la pubblicazione

Si prega di utilizzare la seguente citazione bibliografica completa:
Leone, L (a cura di) Rapporto di valutazione: dal SIA al REI. Alleanza contro la povertà, Roma, 8 Nov 2017.

Licenza Creative Commons
Quest’opera è distribuita con Licenza Creative Commons Attribuzione – Non commerciale – Condividi allo stesso modo 4.0 Internazionale.

 

Convegno Napoli 7-11-2014

31 ottobre 2014

ProgrammaConvegno_Napoli 7-11-14

Convegno Pratiche innovative di welfare locale a confronto

7 novembre 2014 – ore 9.30 – 17.30

Sala Giunta Palazzo San Giacomo - Comune di Napoli

*Da diritto a n.7 Crediti formativi per  Assistenti Sociali

Programma Convegno  (Download  .pdf)

 Il tema cardine dell’evento riguarda l’identificazione di strategie innovative e sostenibili in un’ottica di sviluppo di modelli di welfare di comunità. Con uno sguardo ai processi di programmazione delle politiche comunitarie del periodo 2014-2020 verranno discusse alcune sperimentazioni riguardanti: • la valutazione di misure di contrasto della marginalità estrema e di inclusione sociale attiva, • l’avvio di strategie integrate di welfare tramite processi partecipati di sviluppo di Piani sociali, • l’utilizzo dei budget di cura o di ‘capacitazione’, • la promozione dei diritti dell’infanzia.

Il convegno presenta buone pratiche emerse in due corsi di aggiornamento per assistenti sociali organizzati dal CEVAS in collaborazione con l’INPS Gestione dipendenti pubblici e con le istituzioni locali nelle città di Napoli e di Palermo.

Evaluation of a cluster of social economy as catalyst of social capital and capabilities

25 ottobre 2014

 Evaluation of a cluster of social economy as catalyst of social capital and capabilities (O178)

11thEES Biennial Conference EVALUATION FOR AN EQUITABLE SOCIETY. DUBLIN, 2 OCTOBER 2014-Session 056: Improved social programmes through evaluation

Slide presentation ( Download)

Community foundations and local coalitions are in an even better position to catalyse the resources and the changes required to achieve a significant increase in social capital and in developing innovative solutions to manage social problems and promoting local development. A three years evaluation research, commissioned to an external evaluator by the Community Foundation of Messina (CFM) will be presented. The CFM promotes a local model of human development structurally related with productive, civil economy clusters able to generate an evolved community welfare, named ‘Evoluted Social District’ (ESD). Rather than being based on charitable giving of the donors the CFM is built by a local cluster of social economy, the Local Health Agency, a public center of scientific research and by the provincial industrial association, at national level the Ethical Bank and Caritas and at European level an umbrella of social enterprises. The aims of the evaluation were to verify the coherence of the complex multisectoral strategy of local development and assessing the effects of a Pilot project. The underlying theory of the programme of the CFM, is based on the idea that local, human and economic development feeds on and amplifies social capital, people’s instrumental freedoms and the economic resources of the analysed clusters. The ‘capabilities approach’ has been adopted as a conceptual framework both for the design of policies by the CFM, and the assessment of individual well-being of recipients. Qualitative and quantitative techniques of research have been used: a network analysis with a structured questionnaire addressed to 47 organisations, a pre-post design of evaluation with a version of ICF International Classification Functioning (WHO) for psychiatric setting, non structured interviews of stakeholders and key individuals, a survey with beneficiaries of a ‘photovoltaic urban park’. The empirical results indicate that the social capital of the ESD, assessed by indicators on trust and exchanges within the network and by a tested Scale of Governance (System of rules, participation and transparency in the decision-making processes), influence the level of innovation and economic competitiveness of the ESD in the observed period. Innovative mechanisms to finance welfare local initiatives have been classified (e.g., how to reinvest the revenue coming from the production of green energy). Furthermore this inclusive model of development resulted to work for social and labour insertion of 56 ex inmates, using the personal ‘capabilitiy budget’, and resulted to empower their wellness and capabilities. A multiple linear regression model has been developed to predict the values of socioeconomic effects (e.g., increased access to credit, share of technical and professional knowledge, access to new potential markets) at meso-level within and outside the boundaries of the CFM. The ‘arising institution’, according the new institutionalism approach, represents a mobilizer of resources and a social capital catalyst within the territorial district. We discuss the implications of the empirical results for public and private funders with an interest in knowledge translation of social innovation and suggest some key dimensions that could be adopt both, to identify and supporting potential successful local coalitions and to evaluate complex place-based initiatives of local development.

La valutazione democratica tra aspirazione ideale e concreta pratica di lavoro

21 marzo 2014

  • Data dell’evento: 03/04/2014
  • Organizzatore: Laboratorio di pratiche valutative in collaborazione con il Laboratorio di Valutazione Democratica e con il sostegno della Conferenza dei Presidenti delle Assemblee Legislative di Regioni e Province Autonome
  • Allegato: Allegato incontro3042014LCAPIRELVD18m.pdf

Giovedì 3 aprile si terrà a Roma un incontro organizzato dal Laboratorio di pratiche valutative in collaborazione con il Laboratorio di Valutazione Democratica sul tema “La valutazione democratica tra aspirazione ideale e concreta pratica di lavoro”. L’incontro, realizzato grazie al sostegno della Conferenza dei Presidenti delle Assemblee Legislative di Regioni e Province Autonome, è riservato ai componenti dei due Laboratori. Per ragioni di spazio si chiede di confermare la partecipazione all’indirizzo:staff@capire.org. Ulteriori informazioni sono disponibili qui.

Ciclo 2007-2008

7 luglio 2013

Classici moderni della valutazione

Seminario partecipato di lettura critica 2007-2008

I primi due cicli di seminari hanno seguito l’ordine dei saggi pubblicati nell’antologia Classici della Valutazione, a cura di Nicoletta Stame, FrancoAngeli, Milano, 2007

Primo ciclo, 2007

Parte I: Il dibattito sui metodi
1. Riforme come esperimenti, di Donald T. Campbell
2. Logica della valutazione e pratica della valutazione, di Michael Scriven
3. Costruire le valutazioni “su misura”, di Peter H. RossiHoward FreemanMark W. Lipsey
4. La valutazione di quarta generazione, di Egon G. GubaYvonna S. Lincoln
5. La valutazione di programmi, con particolare riferimento alla valutazione sensibile, di Robert E. Stake
6. Le nostre novantacinque tesi, di Lee J. Cronbach
7. Il dibattito sui paradigmi: una sintesi utilitarista, di Michael Q. Patton
8. In che modo la valutazione può migliorare la performance di enti e programmi, di Joseph S. Wholey
9. Valutazioni strutturali e valutazioni in forma ridotta, di Charles ManskiIrwin Garfinkel
10. I metodi misti, di Valerie J. CaracelliJennifer C. GreeneWendy F. Graham/p>

Secondo ciclo, 2008

Parte II: Usi e teorie
11. Abbiamo imparato nulla di nuovo sull’uso della valutazione? di Carol H. Weiss
12. Alla scoperta dell’utilità del processo, di Michael Q. Patton
13. Aspetti della valutazione guidata dalla teoria, di Huey-Tsyh ChenPeter H. Rossi
14. La valutazione basata sulla teoria: passato, presente e futuro, di Carol H. Weiss
15. Un’introduzione alla valutazione scientifica realistica, di Ray PawsonNick Tilley
16. L’approccio della teoria del cambiamento applicato alla valutazione delle iniziative integrate di comunità: stato dell’arte, prospettive e problemi, di James P. ConnellAnn C. Kubisch
17. Valutazione e democrazia deliberativa, di Ernest R. HouseKenneth R. Howe

Ciclo 2009

7 luglio 2013

Classici moderni della valutazione – Seminario partecipato di lettura critica

Secondo ciclo
2009-2010

Il primo ciclo di seminari ha seguito l’ordine dei saggi contenuti nell’antologia Classici della Valutazione, a cura di N. Stame, FrancoAngeli, Milano, 2007.Nel secondo ciclo si è deciso di scegliere i saggi da studiare secondo questi criteri:
altri saggi che si riferiscono alla produzione, e al tempo, dei classici
nuovi temi, nuovi approcci
esempi di buone valutazioni

Per informazioni e per ricevere il materiale che verrà discusso nelle sessioni, rivolgersi alla dott.ssa Veronica Lo Presti: veronica.lopresti@gmail.com

Calendario 2009

Seminario del 4/2/2009
Using Programme Theory to Evaluate Complicated and Complex Aspects of Intervention(pdf), di Patricia Rogers
Using Programme Theory to Evaluate Complicated and Complex Aspects of Intervention(pdf), a cura di Eugenia De Rosa e Daniela Luisi

Seminario del 10/3/2009
Evaluation of Gender Mainstreaming (pdf), di Marìa Bustelo
Evaluation of Gender Mainstreaming (pdf), di Marìa Bustelo

Seminari del 7/4 e del 5/5/2009
Counterfactuals and causal inference” di Morgan e Winship – I (pps), di Barbara Befani e Alessandra Decataldo
Counterfactuals and causal inference” di Morgan e Winship – II (pps), di Barbara Befani e Alessandra Decataldo
Counterfactuals and causal inference” di Morgan e Winship – III (pps), di Barbara Befani e Alessandra Decataldo
Counterfactuals and causal inference” di Morgan e Winship – IV (pps), di Barbara Befani e Alessandra Decataldo

Seminario del 10/6/2009
Sintesi Davidson (pdf),a cura di Barbara Befani

Seminario del 22/9/2009
Effective Use and Misuse of Performance Measurement (pdf), di Burt Perrin
Effective Use and Misuse of Performance Measurement (pps), di Eugenia De Rosa e Silvia Sansonetti

Seminario del 14/10/2009
Effects of Closed Circuit Television Surveillance (pdf), di B.C. Welsh e D.P. Farrington
Effetti dei sistemi di videosorveglianza a circuito chiuso (pdf), di Liliana Leone
Effect size (pps), di Palescandolo

Seminario dell’11/11/2009
Using Appreciative Inquiry in Evaluation (pdf), di A.T. Coghlan, H. Preskill e T. Tzavaras Catsambas
Indagine elogiativa e valutazione (pps), di Veronica Lo Pestri
A Dialogical, Story-Based Evaluation Tool: the Most Significant Change Technique (pdf), di Jessica Dart e Rick Davies
Nuovi approcci di empowerment evaluation (pps), di Marina Forestieri

Seminario del 16/12/2009
Comer’s School Development Program in Prince George’s County, Maryland: A Theory-Based Evaluation (pdf), di T.D. Cook, F.-N. Habib, M. Phillips, R.A. Settersten, S.C. Shagle e S.M. Degirmencioglu
Il programma di sviluppo scolastico di Comer nella contea di Prince George: la teoria(pps), di Valentina Andreozzi
Il programma di sviluppo scolastico di Comer nella contea di Prince George: i risultati(pps), di Roberto Celentano

Ciclo 2010

7 luglio 2013

Classici moderni della valutazione

Seminario partecipato di lettura critica  Anno 2010

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

“Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all’altro all’interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo”
(M.Q. Patton, “Il dibattito sui paradigmi”, in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario “Classici della Valutazione” provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l’”identità” di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all’atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

23 febbraio 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Scelta del Classico
Presentazione

13 ottobre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione

16 novembre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
Valutazione dei progetti innovativi, di Marina Forestieri (pps)

1 dicembre 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Presentazione
B. Perrin, How to – and How Not to – Evaluate Innovation

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
coordinato da Liliana Leone

Le revisioni sistematiche della letteratura sono metodi che si sono sviluppati per identificare, stimare e sintetizzare le evidenze offerte dalla letteratura in merito agli esiti dei programmi. Esse sono ampiamente utilizzate e/o “invocate” per supportare processi decisionali basati sulle evidenze e sono state utilizzate in molti ambiti di policy. Le conoscenze prodotte dalle revisioni sistematiche vengono diffuse e tradotte in linee guida allo scopo di promuovere decisioni politiche e pratiche professionali maggiormente informate. Una delle questioni più discusse riguarda la natura delle evidenze, il tipo di generalizzazioni inferibili dalla valutazione di programmi e le metodologie adeguate utilizzabili nel processo di cumulazione delle conoscenze. Non tutti, però, concordano con il fatto che le revisioni sistematiche siano strumenti desiderabili; poiché diverse argomentazioni sono frutto spesso di fraintendimento e scarsa conoscenza circa la storia e i metodi delle stesse, un obiettivo del laboratorio è permettere ai partecipanti di esplorare con maggiori cognizioni le diverse criticità e le prospettive per il superamento delle stesse.

30 marzo 2010, 15-17
La meta-analisi
introducono: Liliana Leone e Roberto Celentano
I laboratorio. Le meta-analisi: cosa sono, utilizzi, trucchi e suggerimenti per riconoscere le bufale, di Liliana Leone (pdf)
La revisione sistematica e la meta-analisi. Linee guida della Campbell Foundation, di Roberto Celentano (pps)
riferimenti:
Campbell Foudation, “Systematic Reviews Guidelines for the Preparation of Review Protocols” (rtf)
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of InterventionsVersion 4.2.5 (rtf)
Jefferson Tom (2006), Attenti alle bufale. Come usare la evidence-based medicine per difendersi dai cattivi maestri, Il pensiero Scientifico Editore, Presentazione
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions” (rtf),British Medical Journal, 5 Apr 2003, 756-758

20 aprile 2010, 15-17
Le narrative reviews
introducono: Liliana Leone e Veronica Lo Presti
II laboratorio. Narrative Review e sintesi narrative, di Liliana Leone (pdf)
Aspetti metodologici delle Narrative Review: l’implementazione di interventi per la prevenzione degli incendi, di Veronica Lo Presti (pdf)
Le narrazioni nel servizio sociale: A critical review, di Laura Taronna (pdf)
riferimenti
Popay, J., Roberts, H., Sowden, A., Petticrew, M., Arai, L., Rodgers, M. and Britten, N. with Roen, K. & Duffy, S. (2006). Guidance on the conduct of narrative synthesis in systematicreviews. Final report, Institute of Health Research, Lancaster: ESRC Methods
Rodgers M. et Al. (2009), “Testing Methodological Guidance on the Conduct of Narrative Synthesis in Systematic Reviews”Evaluation, Vol. 15, No. 1, 49-73 DOI: 10.1177/1356389008097871
Arai, L., Britten, N., Popay, J., Roberts, H., Petticrew, M. , Rodgers, M., Sowden, A. (2007),“Testing methodological developments in the conduct of narrative synthesis: a demonstration review of research on the implementation of smoke alarm interventions”,Evidence & Policy: A Journal of Research, Debate and Practice, Volume 3, Number 3, pp. 361-383(23)
Popay J., Williams G., “Qualitative research and evidence-based healthcare”, Journal of the Royal Society of Medicine, Supplement No. 3 5 Volume 91, 1998

17 giugno 2010, 15-17
I nuovi approcci: la proposta della sintesi realista
introducono: Liliana Leone, Daniela Ferrazza, Laura Fantini e Nicoletta Stame
Pawson R., Reviewing inner mechanisms: youth mentoring, di Laura Fantini e Daniela Ferrazza (pps)
Le sintesi realiste, di Nicoletta Stame (pdf)
Le sintesi realiste, di Liliana Leone (pdf)
Pawson, Evidence Based Policy, cap. 4 (pdf)
Pawson, Evidence Based Policy, figure cap. 4 (pdf)
Pawson, Evidence Based Policy, cap. 6 (pdf)
Pawson, Evidence Based Policy, figure cap. 6 (pdf)
riferimenti:
Leone L. (2007), “Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione”, Rassegna Italiana di Valutazione, n. 35
Pawson R. (2006), Evidence Based Policy, Sage, London
Pawson R., Boaz A. (2006), “Evidence-based policy, theory-based synthesis, user-led reviews”,ESRC UK Centre for Evidence Based Policy and Practice, London
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British Medical Journal, 5 Apr 2003, 756-758

Ciclo Seminari 2011

7 luglio 2013

Classici moderni della valutazione – Seminario partecipato di lettura critica

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

“Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all’altro all’interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo”
(M.Q. Patton, “Il dibattito sui paradigmi”, in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario “Classici della Valutazione” provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l’”identità” di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all’atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

15 febbraio 2011, 15-17
Coordinamento: Laura Tagle, Marina Forestieri e Valentina Andreozzi
Presentazione

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
Coordinamento: Liliana Leone

25 febbraio 2011
In collaborazione con il dottorato di “Metodologia delle scienze sociali” e la Scuola di dottorato Mediatrends
Ray Pawson: La valutazione e le sintesi realiste
Presentazione (pps)
Known knowns, known unknowns, unknown unknowns: the predicament of evidence-based policy (pdf)
Reducing Plague by Drowning Witches (pdf)

Ciclo: La valutazione come analisi del valore
Coordinamento: Barbara Befani

Il ciclo si propone di collocare la valutazione nell’ambito delle attività umane (scientifiche e produttive) sia da un punto di vista filosofico-epistemologico (prima parte) sia storico (seconda parte).
Nella prima parte si analizza il concetto di criterio come elemento essenziale per la valutazione; verranno trattati i suoi legami con la definizione dell’evaluando (con un approccio anche semantico) e con la descrizione/spiegazione dei fenomeni (teoria).
Nella seconda parte verranno messi a confronto diversi campi di applicazione della logica valutativa (valutazione rudimentale vs. valutazione sofisticata), sottolineando i principi comuni che sottintendono tutte le attività valutative di diversi settori ed epoche storiche.
Riferimenti comuni a entrambi i seminari:
Davidson, J. (2005), Evaluation Methodology Basics, Sage
Scriven, M. (2007), “The logic of evaluation” In H.V. Hansen, et. al. (Eds), Dissensus and the Search for Common Ground, CD-ROM (pp. 1-16). Windsor, ON: OSSA
Scriven M. (2009), “The Domain of Evaluation” (manoscritto)

Prima parte, 29 marzo 2011, 15-17
Introducono: Barbara Befani e Serenella Stasi
Oggettività / soggettività, possibilità di valutazione scientifica; criteri di merito e definizione dell’evaluando (differenze tra definizione dizionario, def. enciclopedica, def. labirinto e def. a rete); proposizioni analitiche e sintetiche (sintesi); standard; aspetti dinamici e di confronto; cambiamento dei valori e implicazioni
Eco, U. (1997), Semiotica e filosofia del linguaggio, Torino, Einaudi
Scriven, M. (1959), “The Logic of Criteria”Journal of Philosophy, 56(22): 857–68
Befani, B. (2010), “Criteria and Theory in the evaluation of organizations”Evaluation, 16 (3): 249–262

Seconda parte, 3 maggio 2011, 15-17
Introducono: Barbara Befani e Serenella Stasi
Analisi e confronto di diverse attività valutative; rudimentalità/sofisticatezza della valutazione; esempi di applicazione da diverse scienze e attività umane; cubo di Scriven
Scriven, M. (2008), “The Concept of a Transdiscipline And of Evaluation as a Transdiscipline”Journal of MultiDisciplinary Evaluation, 5(10)
Coryn C., Hattie J. (2006), “The Transdisciplinary Model of Evaluation”Journal of Multidisciplinary Evaluation, 3(4)

23 giugno 2011
Il dibattito sulla valutazione di impatto e il pensiero di Donald Campbell
Introduce Nicoletta Stame
La comunità internazionale della valutazione sta discutendo sui metodi per condurre la valutazione di impatto, al fine di rispondere alla domanda “cosa funziona?”: ai disegni basati sull’analisi contro-fattuale, di tipo sperimentale o quasi-sperimentale, si contrappongono approcci alternativi, di valutazione basata sulla teoria o di valutazione “goal free”. Nonostante l’attualità del dibattito, le basi teoriche su cui esso si fonda sono riconducibili alla elaborazione originaria di Donald Campbell su validità interna ed esterna, e agli sviluppi successivi che hanno ruotato intorno a diversi modi di “eliminare le ipotesi rivali”.
Il seminario si propone di inquadrare queste problematiche, a partire dal modo in cui si è affrontato ciò che “non funziona” nel programma, nella implementazione, nel metodo. Illustrando vari aspetti alla base di tali fallimenti si vuole mettere in luce il contributo multiforme del pensiero di Campbell, dalla attenzione alla complessità, alla rielaborazione sulla validità esterna, alla individuazione del case study come metodo principe per eliminare le ipotesi rivali, alla elaborazione compiuta di una “epistemologia evolutiva” che si interroga sul rapporto tra ripetitività e variazione. 
N. Stame, Il dibattito sulla valutazione di impatto e il pensiero di Donald Campbell (ppt)
N. Stame, 2010, “What doesn’t Work? Three Failures, Many Answers”, in Evaluation, vol. 16, n. 4 (pdf)
D. Campbell, 1986, “Relabeling internal and external validity for applied social scientists”, in WMK Trochim, a cura di, Advances in Quasi-Experimental Design and Analysis, New Development in Program Evaluation, n. 31 (pdf)
P. Rogers, Schemi su aspetti/programmi semplici complicati e complessi (pdf)

Ciclo Seminari 2012

7 luglio 2013

Classici moderni della valutazione

Seminario partecipato di lettura critica Anno 2012

Per l’anno in corso, si prevede di strutturare tre cicli tematici articolati in sessioni di lavoro sulle seguenti tematiche:
1. Ciclo I: La teoria nelle valutazioni
2. Ciclo II: Innovare le pratiche della valutazione per contribuire alla democrazia
3. Ciclo II: Valutare “realisticamente” lo sviluppo locale

Ciclo I: La teoria nelle valutazioni
L’approccio della valutazione basata sulla teoria si è imposto recentemente come uno dei più diffusi nell’ambito delle politiche sociali, dello sviluppo, e delle politiche pubbliche in genere. Il seminario se ne è occupato a più riprese nei cicli precedenti, discutendo articoli di Huey Chen, Carol Weiss, Ray Pawson, Patricia Rogers. La pubblicazione del volume di Sue Funnell e Patricia Rogers Purposeful Program Theory (Sage, 2011) è al centro di due seminari:

17 aprile 2012
Serenella Stasi e Sabrina Spaguolo introducono Purposeful Program Theory:
Presentazione (pdf)
Stasi, Purposeful Program Theory (pdf)
Spagnuolo, Purposeful Program Theory (pps)

23 aprile 2012
Incontro con Patricia Rogers, e presentazione di Better Evaluation
Presentazione (pdf)
Rogers, Better Evaluation (pps)

Ciclo II: Innovare le pratiche della valutazione per contribuire alla democrazia
I quattro seminari del Ciclo propongono ai partecipanti di riflettere collettivamente sulle tensioni e sollecitazioni poste alla valutazione da una serie di innovazioni nelle tecnologie e nelle pratiche amministrative. Tali innovazioni mutano, infatti, il contesto istituzionale e tecnologico e, allo stesso tempo, l’insieme delle aspettative e convinzioni sul “valutatore” e sul suo ruolo nei confronti dei soggetti pubblici e privati interessati alle politiche pubbliche. Il Ciclo intende, in particolare, esplorare i legami tra le varie innovazioni ed il contributo della valutazione ad una trasformazione in senso democratico del rapporto tra amministrazione e cittadini. Tale contributo è stato analizzato in modo più esplicito ed approfondito da alcuni dei Classici (e.g., Greene, House, Weiss).

Quali innovazioni
Il ciclo tratterà di due tipi di innovazioni: quelle nelle tecnologie e quelle nelle istituzioni. Le innovazioni nelle tecnologie (Open Data, software di programmazione, la possibilità di creare e diffondere video) influenzano sia le politiche (il modo in cui sono concepite ed attuate), sia la valutazione (il modo in cui le politiche sono giudicate e le caratteristiche del dibattito pubblico sulle politiche). Esse consentono una creazione di senso autonoma, diffusa e rapida, così modificando sia il mondo entro il quale si fa valutazione, sia l’assetto e la funzione stessa della valutazione. Tali innovazioni investono tutti i compiti e gli aspetti delle valutazioni: dalla domanda di valutazione, attraverso il modo di fare ricerca (disponibilità di dati, i soggetti che ne dispongono, la tipologia di dati, i modi di trattarli, le modalità di raccolta e di interazione), fino al modo di rappresentarne ed utilizzarne i risultati (le modalità e gli strumenti della disseminazione).
A quelle tecnologiche vanno aggiunte le innovazioni istituzionali: negli ultimi 15 anni pratiche valutative sono state introdotte in numerosi ambiti di policy, con risultati variabili e controversi e con una grande varietà di costruzioni istituzionali. Tale varietà è, probabilmente, positiva in una fase di innovazione e creazione.
La fase vissuta finora lascia, tuttavia, aperte numerose questioni:
– l’indipendenza sostanziale dei soggetti che svolgono le valutazioni non appare tutelata da adeguate costruzioni istituzionali; 
– manca tuttora un dialogo pubblico sulle politiche;
– il mercato della valutazione è attualmente ristretto, segmentato, e confuso con altri mercati (p.es., quello dell’assistenza tecnica o della progettazione);
– il rapporto tra amministrazione e soggetti di mercato (o di terzo settore) che collaborano alla definizione, attuazione e valutazione delle politiche è confuso e non ben esplorato nelle sue implicazioni; 
– la grande maggioranza delle pratiche valutative è richiesta dalle amministrazioni, e si trova, quindi, nella sfera dell’esecutivo. Sono ancora poche le pratiche valutative svolte per le assemblee legislative e quelle innescate dai privati (p.es., fondazioni, parti sociali). 
Esiste ormai una mole di lavori che fanno il punto sull’evoluzione delle pratiche valutative in Italia, a livello nazionale, comunitario e internazionale. Numerosi partecipanti al Seminario dei Classici hanno contribuito o realizzato una parte di questi lavori.

Obiettivi e struttura del Ciclo
Obiettivo del Ciclo nel suo complesso è riflettere sulle implicazioni per le pratiche, per le politiche, e per l’assetto della valutazione delle seguenti innovazioni:
1. tra le innovazioni tecnologiche, quelle relative a:
– la creazione e diffusione di informazioni amministrative, essenzialmente attraverso il movimento degli Open (Government) Data;
– la disponibilità di software che consentono di modellizzare fenomeni emergenti (e.g. Netlogo)
2. tra le innovazioni istituzionali, i cambiamenti che la costruzione istituzionale degli ultimi anni ha apportato alle pratiche valutative. 
Con le sessioni del Ciclo ci si domanda come si sta muovendo la comunità della valutazione in risposta ai cambiamenti intervenuti nel mondo in cui essa è immersa. La domanda non è puramente “accademica”: ciascuna sessione ambisce a scambiare e costruire idee che possano sostanziare l’agire individuale delle/dei partecipanti al Seminario nelle rispettive realtà lavorative e associative di riferimento.
Ciascuna sessione affronterà le implicazioni di un gruppo di innovazioni. Tutte si baseranno sugli apporti desumibili dai Classici moderni e si avvarranno della partecipazione di attivisti, studiosi e amministratori.
Il Ciclo è organizzato da Laura Tagle.

Sessioni
1. Gli Open (Government) Data: utilizzazione e creazione La sessione, nella forma di un seminario che prevede una presentazione fatta dagli ospiti, verte sui concetti, temi e problemi fondamentali relativi alla costruzione, diffusione e utilizzo del dato amministrativo in un’ottica Open. 
Ospiti: Vittorio Alvino (OpenPolis) e Aline Pennisi (Ministero dell’Economia)
Organizzatrice: Laura Tagle
24 maggio 2012
Presentazione (pdf)
Bibliositografia (pdf)
Democrazia e innovazioni nella valutazione e nelle amministrazioni (pps)

2. Gli Open (Government) Data: conseguenze operative per valutatori interni ed esterni e per il dibattito pubblico. 
La sessione, nella forma di una tavola rotonda, coinvolgerà soggetti esterni e partecipanti al Seminario dei Classici in una discussione sulle conseguenze dell’affermarsi delle innovazioni auspicate dal movimento degli Open (Government) Data per:
– l’amministrazione ed i suoi funzionamenti interni e nel rapporto con gli altri soggetti istituzionali e con i cittadini; 
– l’assetto della valutazione (chi richiede e utilizza le valutazioni; chi le fa, come valutatore interno o esterno; le domande di valutazione; il dibattito pubblico sulle politiche; le posizioni dell’amministrazione). 
In particolare, in che direzione la possibilità di scrutinio pubblico diffuso, decentralizzato e non necessariamente “esperto” (o diversamente esperto) cambia il ruolo del valutatore? Come interferisce con le dinamiche partecipative (laddove sono state innescate)? Come modifica i valori che entrano nei giudizi sulle politiche pubbliche? 
La sessione è organizzata in congiunzione con l’associazione Effeddì.
Ospiti: Vittorio Alvino (OpenPolis), Aline Pennisi (Ministero dell’Economia), soci Effedì
Organizzatrice: Laura Tagle
6 giugno 2012
Presentazione (pdf)
Report , di Laura Tegle (pdf)

4 luglio 2012
Presentazione (pdf)

3. Innovazioni istituzionali: cosa resta da fare? Cosa va conservato, cosa distrutto, cosa rifatto?
La sessione ha il fine di consentire una riflessione collettiva su quanto conseguito finora dalla complessa (caotica?) costruzione istituzionale sulla valutazione negli ultimi 15 anni in Italia. La costruzione istituzionale ha creato un’esperienza che va apprezzata nei suoi risultati, negativi e positivi; nei problemi che lascia aperti; nelle prospettive di mutamento; nella possibilità che apre all’affermazione di buone pratiche valutative in un’ottica pluralista, che, cioè, utilizzi in modo consapevole i vari approcci alla valutazione. Basata su brevi presentazioni, la sessione impegna le/i partecipanti in una conversazione finalizzata a sostanziare il loro impegno individuale nei rispettivi ambiti disciplinari, istituzionali, associativi.
Ospiti: da definire
Organizzatrici: Nicoletta Stame e Laura Tagle.
Data: da definire

4. Innovazioni tecnologiche e ricerche valutative
Mutamenti tecnologici interessano le modalità utilizzabili per la ricerca. In particolare, la tecnologia consente adesso di studiare sistemi complessi attraverso una modellizzazione “diffusa”: programmi (p.es., netlogo) sono disponibili facilmente (gratis e di open source), rapidi, relativamente facili da usare e, almeno nelle intenzioni, capaci di analizzare fenomeni emergenti.
Il seminario, che parte da una breve dimostrazione pratica, impegna le/i partecipanti in una discussione sulle implicazioni di queste possibilità per la valutazione di programmi complessi.
Organizzatrici: Laura Tagle e Veronica Lo Presti,
Data: da definire

Pagina successiva »

Rapporti di ricerca e valutazione

In accordo con i committenti rendiamo disponibili rapporti di valutazione e di ricerca su diversi programmi e aree tematiche.
(continua >>).

Aree tematiche

News

Archivio