LVD invita “Con i Bambini” ad un confronto sulla valutazione

11/14/2016

LVD MarchioLVD invita “Con i Bambini” ad un confronto sulla valutazione

PREMESSA

L’impresa sociale “Con i bambini”, responsabile di rendere operativo il Fondo per il contrasto della povertà minorile, ha promosso due Bandi dedicati alla prima infanzia (0-6 anni) e all’adolescenza (11-17). Tra le condizioni di ammissibilità delle proposte di azione c’è la valutazione dei risultati ed impatti conseguiti. Entrambi i Bandi, infatti, richiedono (punto 2.3.1 lettera f del Bando Prima Infanzia e punto 2.4.1 lettera f del Bando Adolescenza) alle compagini che parteciperanno di elaborare una strategia di valutazione delle azioni proposte che tenga conto delle specificità delle singole realtà coinvolte. La strategia di valutazione deve riguardare l’andamento, i risultati conseguiti al termine delle attività e gli impatti raggiunti a due anni dalla conclusione e rendicontazione del progetto e deve essere proposta già nella prima fase. I Bandi prevedono che i soggetti proponenti indichino nel partenariato un soggetto con comprovata esperienza nelle valutazioni e che, per identificare tale soggetto, possano avvalersi di un elenco, in via di definizione, di gruppi di ricerca appartenenti a dipartimenti universitari, enti ed istituti di ricerca specializzati nelle discipline sociali, economiche e statistiche. L’elenco sarà elaborato da “Con i Bambini” sulla base di un invito aperto fino al 30 Novembre 2016. “Con i Bambini” fornisce anche un Vademecum sulla valutazione di impatto dei programmi per il contrasto alla povertà educativa, focalizzato esclusivamente su metodi di tipo controfattuale. I Bandi prevedono che al gruppo di ricerca potranno essere riconosciuti unicamente rimborsi spesa documentati (viaggio, vitto e alloggio), fino ad un massimo del 2% del contributo assegnato complessivamente al progetto proposto e che non potranno essere previsti rimborsi o compensi per le attività di valutazione svolte successivamente alla conclusione del progetto.

 

L’iniziativa contiene numerosi elementi di grande interesse. Purtroppo, presenta anche elementi che destano preoccupazione.

Gli elementi di interesse sono:

  • “Con i Bambini” attribuisce, con questi Bandi, grande importanza alla valutazione: richiede infatti l’elaborazione di una strategia di valutazione come condizione di ammissibilità delle proposte di azione.
  • La strategia di valutazione deve tenere conto delle specificità delle singole realtà coinvolte. Questo significa suscitare l’adozione di un atteggiamento auto-valutativo nelle compagini che progettano e attuano le azioni, aumentando l’attenzione ai risultati per i destinatari e migliorando la comprensione delle dinamiche a livello locale, dinamiche che spesso restano invisibili ai finanziatori (pubblici o privati) degli interventi.
  • “Con i Bambini” richiede l’elaborazione di una strategia di valutazione. Questo suggerisce che i proponenti sono liberi di inserire la valutazione all’interno della loro operatività e delle loro pratiche auto-riflessive, in risposta a proprie domande ed esercitando la propria autonomia anche nelle pratiche valutative. La valutazione, cioè, non appare concepita per fornire elementi di conoscenza valutativa a chi finanzia le azioni ma, piuttosto, per consentire ai proponenti di meglio comprendere le conseguenze delle proprie azioni nel contesto specifico in cui si operano. Inoltre, i Bandi lasciano le coalizioni libere di organizzarsi in vari modi: utilizzando risorse interne, realizzando partenariati con enti di ricerca o università, oppure ricorrendo a organizzazioni private o professionisti. Questi sono elementi di grandissima positività, che si discostano dall’approccio dirigistico di molte richieste di valutazione da parte di soggetti finanziatori.

Gli elementi che destano preoccupazione sono:

  • La scelta di concentrare il Vademecum su alcuni metodi controfattuali ingenera l’impressione che questi siano i metodi preferiti per le strategie di valutazione. Questo è dannoso, perché mortifica l’autonomia dei proponenti nell’elaborare la propria strategia di valutazione e non rispetta la necessità di combinare disegni di valutazione in modo pluralistico, così che siano adeguati alle caratteristiche degli interventi (che non sempre possono essere concettualizzati come trattamenti) e che restituiscano conoscenza robusta e scientificamente valida sul perché e per quali gruppi gli interventi funzionano (o non funzionano).
  • Il riferimento a impianti valutativi centrati sulla nozione di soggetti ‘trattati’ rappresenta un’incoerenza interna, perché i Bandi fanno riferimento ad un approccio multiservizio e di “Welfare Comunitario” (p.12-13 Bando Prima Infanzia e p.5 Bando Adolescenza) e allo sviluppo del ruolo della comunità educante che a vario titolo si occupa di infanzia ed educazione. Poiché il singolo partenariato non potrebbe realisticamente organizzare un confronto con altre realtà locali esterne al proprio sistema di intervento, sarebbe impossibile identificare i cambiamenti sulla comunità educante nel suo complesso e sul sistema di intervento, in ultimo sui modelli di Welfare comunitario, che rappresentano invece un focus di analisi imprescindibile. La letteratura internazionale e nazionale in materia di valutazione degli interventi educativi include numerosi approcci, adeguati a diverse situazioni, tipo di azioni, domande di valutazione. E’ disponibile, ed accessibile anche in italiano, una guida sintetica per committenti o promotori di valutazioni (Stern, E. 2016, La valutazione di impatto, Milano: Franco Angeli).
  • L’attuale formulazione dei Bandi appare escludere la possibilità di remunerare il lavoro di valutazione, dedicandovi solo rimborsi spese. Questa formulazione contraddice l’importanza data alla valutazione nei Bandi, mortifica e svilisce il lavoro della valutazione ed impedisce alle coalizioni di accedere ad alcune tra le fonti di expertise esistenti nel campo della valutazione. Per ottenere valutazioni credibili, affidabili e scientificamente robuste è necessario dedicarvi risorse umane, finanziarie e organizzative adeguate allo sforzo che si richiede. In un campo così delicato, poi, i cui destinatari sono minori, sono necessarie ulteriori cautele ed expertise specifiche per curare affidabilità dei dati e rispetto delle posizioni, dell’integrità e del benessere delle persone con cui valutatori e proponenti interagiranno.
  • Un’ulteriore incoerenza interna riguarda la richiesta di valutare gli impatti successivamente alla conclusione dei progetti (Punto f, p. 10 Bando Prima Infanzia e Punto f, p. 11 Bando Adolescenza), mentre si escludono esplicitamente rimborsi o compensi per le attività di valutazione svolte successivamente alla conclusione del progetto (nota 13, p.10 Bando Prima Infanzia e nota 14, p.11 Bando Adolescenza). 

Questi elementi dei Bandi, se lasciati immutati, inficiano l’intera operazione di valutazione, danneggiano, piuttosto che sostenere, le stesse azioni proposte e ostacolano la creazione di conoscenza robusta ed affidabile.

 

UNA PROPOSTA DI DIALOGO 

Il Laboratorio di Valutazione Democratica invita l’impresa sociale “Con i Bambini” a riconsiderare questi punti problematici e offre la propria disponibilità ad un dibattito pubblico e aperto, che coinvolga operatori e valutatori.

Roma, 14 Novembre 2016

 

Contatti:  Email   info@cevas.it

Sistemi di Valutazione Aperta: Dialogo con Ray Rist _Roma19-05-2016

05/13/2016

LVD (Laboratorio di Valutazione Democratica), AIV (Associazione italiana di valutazione) ed Etica PA (Associazione Nuova Etica Pubblica) promuovono un dialogo sul funzionamento e sulle caratteristiche essenziali di un sistema di valutazione aperta e multi-livello nelle società democratiche con Ray Rist (già vice-direttore della Program Evaluation Methodology Division del GAO, e attualmente senior advisor al Fondo Monetario Internazionale e alla World Bank).

19 maggio 2016

Senato della Repubblica Biblioteca del Senato “Giovanni Spadolini” Sala degli Atti Parlamentari
Piazza della Minerva 38, Roma

Programma

15:00 –15:15 Indirizzo di saluto: Sen. Valeria Fedeli Vicepresidente del Senato

15:15 –15:30 Introduzione: Nicoletta Stame (LVD)

15:30 – 16:30 Relazione: “Evaluation at the service of the legislative: experiences from around the world”: Ray Rist

16:30 – 17:30 Dibattito: “Sfide e opportunità nel contesto italiano” Presiede Mita Marra (AIV). Il dibattito è introdotto da interventi programmati di Manin Carabba (SVIMEZ) e Antonio Zucaro (EticaPA)

17:30 – 17:45 Intervento conclusivo: Claudio De Vincenti Sottosegretario di Stato alla Presidenza del Consiglio dei Ministri

17:45 – 18:00 Conclusioni: Laura Tagle (LVD) L’accesso alla sala è consentito fino al raggiungimento della capienza massima.

 

* Per partecipare è necessario iscriversi fino al 17 maggio inviando una mail a seminarioristsenato@gmail.com

Laboratorio di Valutazione Democratica

11/01/2013

Perchè impegnarsi oggi per una valutazione democratica

Un complesso di condizioni che si sono verificate recentemente nel nostro paese chiamano in causa una valutazione democratica. Da una parte, infatti, la crisi economica, la crescente sfiducia dei cittadini verso l’amministrazione, la domanda di accountability, fanno parlare, come  anche nel resto d’Europa, di un “deficit democratico”; dall’altra, la recente ri-centralizzazione amministrativa, anche coadiuvata da pratiche valutative correnti, non fa che aggravare l’inefficienza dell’amministrazione pubblica. Responsabilità, libertà e democrazia non sono mai date, necessitano di essere difese, sempre riconquistate: la valutazione assume a tal fine un ruolo strategico; può contribuire ad avvicinare i cittadini alle amministrazioni pubbliche.

La valutazione ha a che vedere con la democrazia per molteplici aspetti distinti: è legata a una politica democratica, attenta al raggiungimento di risultati di sviluppo economico e sociale del paese e a un’affermazione dei valori democratici nella società (valutazione nella democrazia); può essere condotta con approcci che si qualificano come collaborativi e democratici (democrazia nella valutazione); può essere organizzata in modi che la facciano rispondere alla collettività, piuttosto che ad una sola categoria di soggetti (valutazione per la democrazia). Noi siamo interessati a tutti questi profili. La valutazione, infatti, mira a rilevare gli esiti effettivi delle policy e raffrontarli, non solo con le intenzionalità pregresse, ma con l’interesse pubblico, con i fabbisogni attuali dei vari attori, e con valori spesso contrastanti cogliendo appieno la possibilità di valorizzare le conoscenze che attuatori, destinatari, utenti e cittadini hanno delle policy, dei loro esiti e delle interazioni con altre policy.

Lavorare per una valutazione democratica significa mirare ad ampliare il numero dei soggetti interessati, il campo dei valori che vengono presi in considerazione, il repertorio dei metodi di ricerca, il campo di interesse delle politiche, la definizione stessa degli oggetti delle valutazioni.

Attualmente, soprattutto in Italia, le potenzialità democratiche della valutazione sono largamente inespresse. La valutazione è una pratica essenzialmente confinata all’interno dell’Amministrazione. Molte pratiche valutative correnti servono a una concezione verticale dell’accountability (il livello “inferiore” risponde solo alle direttive di  quello “superiore”; il livello “superiore” non è interessato alle pratiche dei livelli “inferiori” se non per accertarne la conformità a quanto preordinato) anziché favorire uno scambio reciproco tra diversi livelli (mutual accountability) e un confronto orizzontale tra attuatori di una politica. Per dare un contributo a connotare la valutazione in modo democratico, affrontandone i diversi risvolti pratici, metodologici, istituzionali abbiamo ritenuto necessario dar vita ad un laboratorio ove un gruppo di persone della società civile attraverso le proprie esperienze e il proprio impegno si sforzi di portare l’amministrazione “fuori dagli uffici” a confrontarsi con le conseguenze dell’azione pubblica.

Il Laboratorio per la Valutazione Democratica (LDV) rappresenta l’evoluzione dell’esperienza del Seminario dei Classici della Valutazione dell’Università La Sapienza di Roma, che ha visto un gruppo di practitioner e studiosi approfondire e discutere il pensiero di alcuni pionieri della valutazione nei paesi in cui essa è da tempo pratica costante. Il seminario, nato nel 2008, si distingueva per lo studio critico degli approcci alla valutazione, da quelli degli gli anni ’60 e ’90 del ‘900, presentati nei Classici della Valutazione (2007), agli sviluppi più recenti. L’ispirazione del seminario è sempre stata pluralista, motivata dalla necessità di apprendere un’ ampia strumentazione teorica e metodologica. Il comitato scientifico del Ciclo di Seminari si sta ponendo come traghettatore per la costruzione del Laboratorio.

Documentazione de ‘I Classici della Valutazione’: programmi, articoli e slide

Attività del Laboratorio

07/07/2013

Il Laboratorio di Valutazione Democratica svolge attività rivolte al comitato promotore ed altre rivolte a chiunque voglia parteciparvi. Finora, nella fase iniziale, abbiamo fatto solo attività interne al comitato promotore.

La Valutazione democratica nei “classici”

07/03/2013

Molti valutatori “Classici” hanno affrontato il rapporto tra valutazione e democrazia. Ecco le principali definizioni.

Barry mac Donald

Mac Donald distingue la valutazione democratica da quella burocratica e da quella autocratica.

La valutazione “democratica” è un servizio di informazione alla comunità. Il valutatore riconosce il pluralismo dei valori dei diversi stakeholders, e agisce come negoziatore negli scambi di informazioni tra gruppi di cittadini informati, di cui raccoglie ripetutamente  le differenti reazioni ai programmi, e a cui assicura l’anonimato. Le sue tecniche di ricerca devono essere accessibili a un pubblico non specialista. I suoi lavori non contengono raccomandazioni . I concetti principali sono “riservatezza”, “negoziato”, “accessibilità”, e si giustifica come “il diritto di sapere”.

Mac Donald, B. (1977),  “A political classification of evaluation studies”, in Hamilton, D.,  Jenkins, D.,  King, C.,  MacDonald, B. and Parlett, M. (eds.), Beyond the Numbers Game. A Reader in Educational Evaluation. London: Macmillan Education

Ernest House

Il suo approccio di valutazione deliberativa democratica è basato su tre principi strettamente collegati tra loro. Primo, la valutazione deve includere tutti gli stakeholder: non solo quelli che gestiscono il programma (pubblico, privato, terzo settore) dai manager agli street-level bureaucrat, ma anche i decisori, i beneficiari e tutti quelli che sono in qualche modo coinvolti nel processo. Secondo, la valutazione deve essere dialogica: i punti di vista e gli interessi rispettivi si scoprono meglio attraverso una interazione dialogica tramite cui le persone si creano una propria opinione. Terzo, la valutazione deve essere deliberativa: deve aiutare il processo decisionale esaminando i fatti e i valori tramite un procedimento razionale.

E. House e K. Howe (2000), “Deliberative democratic evaluation”, in New directions for evaluation,  n. 85

Carol Weiss

La sua affermazione che “la valutazione è una impresa razionale che ha luogo in un contesto politico” si basa su un concetto di policy-making diverso da quello di molti valutatori, e pieno di conseguenze riguardo al ruolo del valutatore, agli usi della valutazione, e alla pratica valutativa in generale. I valutatori devono essere consapevoli di svolgere un ruolo politico: le politiche e i programmi sono il frutto di decisioni politiche; la valutazione è fatta per alimentare decisioni politiche; la valutazione stessa è una presa di posizione politica, perché privilegia alcune domande su altre, ascolta alcune voci invece di altre. Ma ciò non è un limite per i valutatori, anzi: “solo essendo sensibili alla politica della ricerca valutativa il valutatore può essere il più creativo e strategicamente utile possibile”.

Carol Weiss riconosce che il processo politico democratico è  immerso in ambiguità e incertezze  e procede attraverso negoziati e interazioni tra differenti stakeholder: è un processo di “decision-accretion”, che utilizza le valutazioni, come ogni altra fonte di informazione, come “illuminazione”. Secondo Carol Weiss,  i valutatori non offrono soluzioni, ma attrezzano gli stakeholder con una migliore comprensione della situazione, in modo che essi possano disegnare le proprie soluzioni.

C. Weiss,  “Where Politics and Evaluation Research Meet” in D. Palumbo, ed., (1987), The politics of program evaluation, Sage.

Jennifer Greene

La valutazione democratica si caratterizza per un’adesione deliberata ai valori democratici della giustizia sociale, dell’eguaglianza e dell’empowerment. La valutazione democratica rifiuta la stessa possibilità di una neutralità dei valori in valutazione, e sostiene la stretta relazione tra valori e pratica valutativa. Essa si basa su argomenti epistemologici (riguardo alla natura e allo scopo della conoscenza) e politici (il posto della valutazione nella società). Essa si preoccupa meno dei disegni e dei metodi valutativi e più dei processi valutativi, del ruolo e dell’impegno dei valutatori. Ciò si esplicita nel chiarire, al livello macro, quali sono gli interessi che il valutatore dovrebbe servire e, al livello micro, quali sono le pratiche che i valutatori devono stabilire nei diversi contesti.  Da queste scelte dipenderanno poi gli aspetti specifici di come stabilire le domande di valutazione, i criteri per giudicare la qualità, le procedure per riportare i risultati della valutazione, così come i disegni e i metodi.

J.C. Greene (2006), “Evaluation, Democracy and Social Change”, in I.F.Shaw, J. Greene, M. Mark, eds. The Sage Handbook of Evaluation, Sage.  A pag. 135 contiene una tabella che distingue (colonne) lo schema filosofico, il concetto di democrazia, la macro-collocazione della valutazione nella società, la micro-collocazione del valutatore nella valutazione rispetto a un gruppo di approcci alla valutazione democratica (righe): la valutazione democratica di macDonald, la valutazione deliberativa democratica (House e Howe), la valutazione partecipativa, la valutazione critica, la valutazione responsabile rispetto al contesto e alla cultura.

Robert Picciotto

La valutazione è di per sé un’attività politica, legata a problemi di distribuzione del potere e di diritti.  Pertanto la valutazione deve essere protetta nella sua indipendenza di giudizio. Il valutatore rispetta i diritti del committente (il manager del programma) e  dei beneficiari alla conoscenza che deriva dalla valutazione. Nella valutazione democratica il valutatore va oltre il ruolo del broker neutrale tra le parti, e fa sforzi deliberati per empower i più deboli e i più poveri. Il modello di valutazione democratica sfida il monopolio dell’informazione dei manager del programma, fa emergere i valori e gli interessi che sottostanno alle politiche e ai programmi, allarga la sfera delle questioni da affrontare per far sì che la voce dei cittadini sia udita. La valutazione democratica impegna il pubblico in una discussione informata sui pro e i contro delle direzioni della politica e dei disegni dei programmi e diffonde i risultati in un linguaggio non specialistico in modo da rendere accessibile ai non esperti e al pubblico in generale i processi e i prodotti della valutazione

R. Picciotto (2013), “What is Democratic Evaluation?”, in Evaluation Connections, EES newsletter, June

Rapporti di ricerca e valutazione

In accordo con i committenti rendiamo disponibili rapporti di valutazione e di ricerca su diversi programmi e aree tematiche.
(continua >>).

Aree tematiche

Imparare a Progettare e Valutare

LEARNING - Rassegna ragionata di supporti formativi multimediali (ipertesti, articoli, manuali, video e slide) sui temi della valutazione di programmi, revisioni sistematiche 'theory-driven', modelli innovativi di Welfare Mix, progettazione
(continua >>)

Translate

Contenuti

News

Archivio