Valutazione sul Piano Strategico di Torino e prospettive di sviluppo dell'area metropolitana - SCENARI PER IL SISTEMA LOCALE, Associazione Torino Internazionale, 2004

La guida Evalsed è rivolta prevalentemente a coloro che si occupano di valutazione di politiche, programmi e progetti di sviluppo socioecomico in Europa e rappresenta uno sviluppo della Collezione MEANS (Commissione Europea). Essa può rappresentare un utile strumento anche in altri settori e a prescindere dall'utilizzo dei Fondi Strutturali. Le principali sezioni della GUIDA  sono:

1. Approcci di valutazione per particolari aree tematiche e di policy;

2. Metodi e tecniche di valutazione;

3. Valutazione e sviluppo di capacità istituzionale;

4. Glossario

La Rete dei Nuclei di valutazione e verifica degli investimenti pubblici - NUVV- ha tradotto e , nel dicembre 2003, messo in rete in versione italiana la Guida Evalsed prodotta per la Commissione Europea (Scarica versione della Guida Evalsed in ITALIANO   153 pp)

 Scarica ciascun capitolo della Guida  EN  

 Versione completa  ZIP [1208Kb] EN  (scarica  )

 Si tratta di un ampio lavoro condotto dal  Tavistock Institute (London) a cui hanno collaborato l'IRS (Milano) e il GHK (London),   commissionato dalla Commissione Europea DG politiche regionaIi

Esistono molti tipi di valutazione che possono applicarsi ai programmi, per esempio, centrata sugli obiettivi (goals-based), sui processi o sugli esiti (outcomes-based). Le organizzazioni non profit sono sempre più interessate agli esiti e particolarmente a loro si rivolge il sito di McNamara. Le linee guida per la valutazione di programmi e progetti vogliono essere uno stimolo per riflettere sulla propria organizzazione e mission (chi è l'organizzazione che vuole avviare una valutazione? da chi è composta? quali sono i suoi processi interni?), su cosa si vuole valutare (finalità, processo o risultati), su come valutare. Particolare attenzione viene data all'utilizzazione della valutazione e alle ricadute sul progetto stesso. Si tratta di un ipertesto con frequenti rimandi ad altre pagine Web che illustrano esempi (es. contenuti di un report di valutazione…) e approfondiscono gli argomenti (es. Outcomes-Based evaluations in non profit organizations; United Way of America; Program planning and Management; Program evaluation planning Checklist; conduzione di focus group, interviste, studi di caso, ecc.).  La versione in italiano tradotta da CEVAS è stata realizzata per diffondere il documento ad un pubblico più vasto di operatori.
( Il documento è disponibile in formato PDF, dimensione 75 Kb )

Contenuti: Cos'è la valutazione di programma? In quali casi è utile un disegno di valutazione? Organizzazione e programma come elementi che si influenzano reciprocamente. Progettare il disegno di valutazione. Alcune tipologie di valutazione di programma e metodi di ricerca. Analizzare, interpretare e riportare i risultati.

La ricerca di una metodologia per la meta valutazione, la sintesi delle evidenze dei diversi studi di efficacia (n.b. le review sistematiche) e la valutazione delle prove di efficacia sono argomenti molto dibattuti, dalla fine degli anni ’90, anche se ancora poco conosciuto dalla maggior parte degli operatori  e dei valutatori di sanità pubblica italiani. La pubblicazione,  una tesi di specializzazione della Scuola medicina preventiva dell'Univeristà di Firenze realizzata da di Sara Bernhardt, analizza lo stato dell’arte sull’argomento e sintetizza l’esperienza sia teorica che pratica, che il gruppo di ricercatori italiani ha raggiunto.

A)  Evaluation Toolkit,  manuale didattico appositamente realizzato come prodotto per la rete dalla Fondazione Kellogg,  intende fornire una sintetica  guida alla valutazione di progetti; è rivolto prioritariamente a coloro che intendono lavorare con un valutatore esterno o che intendono svolgere una autovalutazione rigorosa. Riteniamo tuttavia che chiunque intenda sviluppare un disegno di valutazione davvero utile possa trarre beneficio dalla lettura del manuale.  Il manuale è composto da sette sezioni ciascuna delle quali completamente scaricabile dal sito (free down load). Le sezioni sono:

• Come iniziare (Where to start): Descrive le prime questioni che si affrontano all'inizio di un lavoro di valutazione.
• Approcci di valutazione (Evaluation approaches): Offre alcuni spunti rispetto a diversi approcci di valutazione e a come il valutatore può utilizzarli nell'elaborazione di un disegno di valutazione.
• Quesiti di Valutazione (Evaluation questions): questo capitolo offre suggerimenti su come sviluppare i quesiti di valutazione necessari a guidare il lavoro di valutazione.
• Il disegno di valutazione (Evaluation plan): Fornisce dettagli sulle più importanti componenti di un disegno di valutazione, includendo la raccolta e l'analisi dei dati, lil reporting e l'utilizzazione dei risultati. 
• I Costi (Budgeting): Mostra come creare un budget per la valutazione.
• Assumere e gestire valutatori (Hiring and managing evaluators): troverete suggerimenti su come essere  validi  committenti e su cosa considerare nella selezione di un valutatore da coinvolgere un un vostri progetto.

Risorse aggiuntive (Additional resources): Tvoverete dei Links a interessanti risorse on-line

B)  Il Toolkit  nasce da un precedente testo, Evaluation Hand book della Fondazione W.K.Kellogg, che ha obiettivi simili e si rivolge ai responsabili di progetto. Si tratta di un testo più impegnativo anch'esso scaricabile dal  sito. 

L'approccio di valutazione, secondo gli AA., dovrebbe essere rigoroso nel suo sforzo di determinare la bontà del programma al fine di guidarne l'implementazione e il management, come pure, rilevante e utile per coloro che vi operano. La valutazione oltre ad essere utile ai fini del monitoraggio e dell'accountability dei programmi (per rilevarne l'impatto), dovrebbe anche servire a favorire la maggior efficacia del programma in corso e ad offrire opportunità di apprendimento e migliori conoscenze su "ciò che sta funzionando". Il manuale riguarda prevalentemente la valutazione dei progetti (n.b. progetti per cui si sono avuti dei finanziamenti) e si divide in due parti: nella prima viene presentato sommariamente l'approccio della Kellogg e una review dei fattori che hanno condizionato lo sviluppo della valutazione nel settore dei servizi alla persona e lo spostamento verso le sole funzioni di verifica e misurazione dei risultati. Nella seconda parte il manuale analizza tre componenti della valutazione a livello di progetto (esiti, contesto, processi di implementazione) e offre indicazioni pratiche per disegnare e implementare valutazioni (V. identificare stakeholder, sviluppare quesiti di valutazione, identificare il budget…). Si forniscono, inoltre, esempi reali (case studies) di come la valutazione possa essere di supporto al progetto attraverso la riflessione sulla pratica.

Contenuti: Per un impianto di Valutazione: Rinforzare i progetti; Utilizzare una pluralità di approcci; Disegni di valutazione per individuare problematiche reali delle comunità locali; Favorire la flessibilità dei progetti e approcci di valutazione non prescrittivi; Favorire lo sviluppo di capacità, conoscenze e skills degli attori coinvolti. Il contesto strorico della valutazione nei Servizi alla persona e nel campo educativo. I tre livelli della valutazione: valutazione di progetto, "Cluster Evaluation", valutazione di programmi e policymaking. Analisi delle componenti della valutazione. Progettazione e implementazione della valutazione del progetto. 

La prima versione di questo manuale (User-Friendly Handbook for Project Evaluation: Science, Mathematics, Engineering and Technology Education) risalente al 1993 è pubblicata dalla National Science Foundation (NFS). In questa nuova versione ci si propone di illustrare come i metodi qualitativi possano combinarsi con quelli quantitativi consentendo di raccogliere un maggior numero di informazioni che altrimenti si sarebbero perse. L'obiettivo dell'Handbook è quello di migliorare i processi di comprensione/conoscenza della progettazione e del monitoraggio affinché la valutazione possa essere utilizzata. Si divide in quattro parti:

• nella prima (cap. 1 e 2) si illustra l'impostazione dell'Handbook e viene proposto un ipotetico progetto per esemplificare il disegno di valutazione;

• nella seconda parte (cap. 3 e 4) si analizzano i metodi qualitativi (sono riportati alcuni esempi di strumenti di osservazione, guida al focus group e di intervista in profondità) e le tecniche di analisi per dati qualitativi;

• nella terza parte (cap. 5, 6 e 7) si indica come costruire un disegno di valutazione con metodi misti (ricollegandosi anche al progetto ipotetico della prima parte del manuale) e si spiega perché è importante diffondere i risultati;

• nella quarta ed ultima parte viene presentata una rassegna bibliografica con una breve descrizione del contenuto di testi ed articoli sull'argomento ed un glossario dei termini più comuni.

Contenuti: perché condurre una valutazione; le maggiori differenze tra metodi qualitativi e quantitativi; perché utilizzare metodi misti.

Evaluation Handbook, pubblicato dalla EAC (Evaluation Assistance Center-Western Region, New Mexico Highlands University), è un manuale che si rivolge contemporaneamente ad esperti di valutazione ed a chi è alle prime armi, a direttori di programmi ed in alcune parti anche a membri dello staff. Ha lo scopo di offrire suggerimenti sul "come" fare una buona valutazione, alleviare timori e fornire linee guida per la valutazione. Il manuale nasce dall'esperienza di alcune leggi e programmi di riforma del sistema scolastico statunitense (v. ESEA Elementary an Secondary Education Act 1965; IASA Improving American's Schools Act of 1994 ) il cui scopo era quello favorire il miglioramento dei programmi educativi attraverso supporti finanziari a livello di governo federale.

Il testo è suddiviso in 5 sezioni ciascuno con propri obiettivi e Appendici, a termine del manuale, che forniscono materiale utilizzabile autonomamente dai valutatori e dallo staff.La documentazione fornita può essere riprodotta a scopi non profit.Nell'Appendice I° vengono riportati gli Standard accettati a livello nazionale e sviluppati per valutazioni nel settore educativo (Joint Committee on Standards for Educational Evaluation, 1981). I valutatori e lo staff del programma possono confrontarsi con tali standard per verificare se il proprio lavoro vi corrisponde. La II° Sezione "Thinking About the Evaluation," ci offre un background circa la definizione di: valutazione, misurazione e tecniche. Vengono descritti vari tipi di valutazione ed indicate linee guida per gestire una valutazione. La sezione viene consigliata a coloro che stanno formulando un progetto di valutazione per richiedere finanziamenti.  La III° Sezione fornisce informazioni su come pianificare una valutazione: come scrivere e modificare gli obiettivi "misurabili", creare timelines (temporalizzazione), misurare l'apprendimento (utilizzando strumenti e procedure sensibili alle diversità culturali, di genere e linguistiche) e come selezionare metodi per assegnare punteggi.La sezione successiva riguarda l'implementazione di una valutazione. Assicurarsi che i tempi siano rispettati, formare lo staff, collezionare e analizzare i dati, ecc.La V° Sezione tratta il tema del rapporto di valutazione: come interpretare l'analisi, presentare i risultati, dare raccomandazioni e scrivere un rapporto accurato e completo in collaborazione con l'intero staff.

Contenuti: Disegno di valutazione, Assessment, Analisi qualitative e quantitative; Dirigere la valutazione; Finalità e obiettivi; Raccolta e analisi dei dati; Valutazione formative e summative ; Stesura di un report di valutazione.

Il sito da cui è tratto è realizzato dal Work Group on Health Promotion and Community Development dell'Università del Kansas (USA). Vengono discussi gli assunti comuni di alcuni dei più popolari approcci per migliorare la qualità della vita e la salute della Comunità, come: Healthy Cities/Healthy Communities Model, il PRECEDE/PROCEED model, il Planned Approach to Community Health (PATCH) e viene, infine, proposto il modello logico denominato Building Capacity for Community Change, utilizzato dallo stesso Work Group. Al di là delle differenze che ci possono essere tra i diversi approcci l'obiettivo risulta il medesimo: incrementare le opportunità per i membri della comunità di lavorare insieme per accrescere la qualità della vita. Il manuale offre anche un esempio di valutazione di un'iniziativa di promozione della salute della comunità nel Kansas condotta dal Work Group. A termine del testo si riportano degli strumenti per la verifica dell'apprendimento sviluppato in ciascuna sezione (v. checklist) e una serie di lucidi utilizzabili per attività formative.

Contenuti: Perché valutare? Un modello: iniziative di Comunità come catalizzatori del cambiamento; Principi, assunti e valori della valutazione di Comunità; Un modello logico per la valutazione di Comunità; Esempi e raccomandazioni; Altre risorse; Tools; Checklist.