Evaluation of a cluster of social economy as catalyst of social capital and capabilities

25 ottobre 2014

 Evaluation of a cluster of social economy as catalyst of social capital and capabilities (O178)

11thEES Biennial Conference EVALUATION FOR AN EQUITABLE SOCIETY. DUBLIN, 2 OCTOBER 2014-Session 056: Improved social programmes through evaluation

Slide presentation ( Download)

Community foundations and local coalitions are in an even better position to catalyse the resources and the changes required to achieve a significant increase in social capital and in developing innovative solutions to manage social problems and promoting local development. A three years evaluation research, commissioned to an external evaluator by the Community Foundation of Messina (CFM) will be presented. The CFM promotes a local model of human development structurally related with productive, civil economy clusters able to generate an evolved community welfare, named ‘Evoluted Social District’ (ESD). Rather than being based on charitable giving of the donors the CFM is built by a local cluster of social economy, the Local Health Agency, a public center of scientific research and by the provincial industrial association, at national level the Ethical Bank and Caritas and at European level an umbrella of social enterprises. The aims of the evaluation were to verify the coherence of the complex multisectoral strategy of local development and assessing the effects of a Pilot project. The underlying theory of the programme of the CFM, is based on the idea that local, human and economic development feeds on and amplifies social capital, people’s instrumental freedoms and the economic resources of the analysed clusters. The ‘capabilities approach’ has been adopted as a conceptual framework both for the design of policies by the CFM, and the assessment of individual well-being of recipients. Qualitative and quantitative techniques of research have been used: a network analysis with a structured questionnaire addressed to 47 organisations, a pre-post design of evaluation with a version of ICF International Classification Functioning (WHO) for psychiatric setting, non structured interviews of stakeholders and key individuals, a survey with beneficiaries of a ‘photovoltaic urban park’. The empirical results indicate that the social capital of the ESD, assessed by indicators on trust and exchanges within the network and by a tested Scale of Governance (System of rules, participation and transparency in the decision-making processes), influence the level of innovation and economic competitiveness of the ESD in the observed period. Innovative mechanisms to finance welfare local initiatives have been classified (e.g., how to reinvest the revenue coming from the production of green energy). Furthermore this inclusive model of development resulted to work for social and labour insertion of 56 ex inmates, using the personal ‘capabilitiy budget’, and resulted to empower their wellness and capabilities. A multiple linear regression model has been developed to predict the values of socioeconomic effects (e.g., increased access to credit, share of technical and professional knowledge, access to new potential markets) at meso-level within and outside the boundaries of the CFM. The ‘arising institution’, according the new institutionalism approach, represents a mobilizer of resources and a social capital catalyst within the territorial district. We discuss the implications of the empirical results for public and private funders with an interest in knowledge translation of social innovation and suggest some key dimensions that could be adopt both, to identify and supporting potential successful local coalitions and to evaluate complex place-based initiatives of local development.

Approcci alla valutazione degli effetti delle politiche di sviluppo regionale

8 luglio 2013

G. Marchesi, L. Tagle, B. Befani, Approcci alla valutazione degli effetti delle politiche di sviluppo regionale (pdf, 2.06 Mb)

Numero 22 (Metodi), anno 2011


G. Marchesi, L. Tagle, B. Befani, Approaches to Evaluation of Regional Policy Outcomes (pdf, 459 Kb)

Issue 22 (Metodi), 2011

Indice

  • I. Introduzione (Giampiero Marchesi)
  • II. La valutazione degli effetti delle politiche regionali: gli approcci (Nicoletta Stame, Laura Tagle)
  • III. La valutazione controfattuale (Alberto Martini, Gianluca Strada)
  • IV.La valutazione basata sulla teoria (B Befani
  • V. L’approccio realista alla valutazione degli effetti (Ferruccio Biolcati Rinaldi, Liliana Leone)
  • VI. La valutazione partecipata (Claudio Torrigiani, Barbara Befani)
  • VII. L’utilizzo appropriato di approcci e metodi: applicazioni nei gruppi di lavoro del progetto NUVAL (Laura Tagle, Barbara Befani)
  • VIII. Conclusioni (Giampiero Marchesi)

Sommario

La valutazione degli impatti degli interventi pubblici è, in misura crescente, posta al centro del confronto europeo sulla politica di coesione e sulla politica regionale di sviluppo. Mentre in passato gli sforzi di valutazione si sono prevalentemente concentrati su aspetti di processo, più di recente è emersa la necessità, per migliorare l’efficacia anche di nuovi interventi, di valutare ex post quali effetti, positivi e negativi, previsti o inattesi, gli sforzi di policy abbiano prodotto. Si tratta di un cambiamento di rilievo nelle pratiche valutative, che richiede lo sviluppo e l’acquisizione, da parte innanzitutto delle Amministrazioni impegnate nell’attuazione delle politiche, di nuove competenze e capacità valutative. L’Italia si è da tempo dotata di un assetto istituzionale e tecnico in grado di sostenere tale cambiamento: i Nuclei di Valutazione e Verifica degli Investimenti Pubblici; la loro Rete; il Sistema Nazionale di Valutazione (cui partecipano, con il coordinamento dell’UVAL, ISFOL, INEA, Dipartimento per le Pari Opportunità e i Nuclei di Valutazione); il Progetto NUVAL attuato dal Dipartimento per lo Sviluppo e la Coesione economica con il Dipartimento Funzione Pubblica. Tale sistema è oggi in grado di accompagnare le Amministrazioni nell’introduzione di innovazioni nelle loro pratiche valutative. Proprio all’interno di questo complesso sistema, e precisamente nell’ambito del Progetto NUVAL, in collegamento con il SNV, è stato realizzato il percorso dedicato ad alcuni dei principali approcci alla valutazione degli impatti che è alla base di questa pubblicazione. Se ne riportano qui gli esiti con l’obiettivo di assicurare una maggiore conoscenza e di contribuire al dibattito tecnico e operativo. Gli approcci presentati sono diversi, ma non incompatibili nella loro applicazione: possono, anzi, essere combinati in vario modo per rispondere con più puntualità a specifiche domande valutative. L’impegno delle Amministrazioni, coadiuvate dai Nuclei di Valutazione, e con il sostegno del SNV, è proprio quello di individuare e applicare l’approccio (o la combinazione di approcci) più adatta allo specifico bisogno di valutazione.

Abstract

Increasingly, Europe is bringing its cohesion policy governance to revolve around impact evaluation. Naturally, this process is affecting Italy, too. In evaluations, the emphasis is shifting from supporting processes towards detecting, measuring, and explaining outcomes—favorable or unfavorable, expected and unexpected. This is a momentous change, and one which demands that public bodies acquire new competencies and develop new capacities. Italy has long created an institutional framework which enables it to sustain this change. By now, Evaluation Units exist in all Regions and in many Ministries, operate in a Network, and obtain support on evaluation from the National Evaluation System (SNV) and professional development via the NUVAL project, implemented jointly by the Department for Development and Cohesion and by the Department for Public Administration. Italy is, therefore, well positioned to actually implement innovations in evaluation. It is precisely within this framework that the NUVAL project, with scientific guidance from SNV, implemented the professional development course at the basis of this publication. This publication of the course main results aims at making the fundamentals of the main impact evaluation approaches accessible to the wider regional policy community in Italy. It also has the ambition of contributing to the methodological and institutional debate. The course, as well as this publication, focuses on only some of the existing approaches. Even though the approaches greatly differ from each other, the authors contend that they are not incompatible: rather, they can combined to better address evaluation demands and provide credible answers to evaluation questions. It is the responsibility of Regions and Ministries, aided by their Evaluation Units and supported by SNV, to identify and use the approach–or the combination of approaches-which best fits their evaluation needs.

Theory driven Evaluation Reports

1 giugno 2012

RESEARCH AND EVALUATION OF  SOCIAL-HEALTH POLICIES IN EMILIA-ROMAGNA REGION. A THEORY_DRIVEN EVALUATION APPROACHES

June 2012

Gioia Virgilio (ASSR Regione Emilia Romagna) and Liliana LEONE (CEVAS, Roma)- Italy


La ricerca e le politiche sociali e socio-sanitarie in Emilia-Romagna. Applicazione e approcci per la valutazione

This volume consists of two logically linked parts: the first deals with the second survey about social researches carried out by Regional Departments and the analysis of 25 of them in the family, childhood, adolescence area. The second part treats the evaluation of research and health promotion programmes according to the “theory oriented” methodology. 
After the first survey in 2009 of the researches carried out in Emilia-Romagna Local Authorities (Health Trusts, Municipal and Provincial Administrations and Public Trusts for Personal Services), mainly concerning social and health integration, the Social Innovation Area of the Regional Agency for Health and Social Care considers it worth to promote the same kind of survey on social researches performed in regional Social Departments. The final aim of the project that led to the two surveys is to work out guidelines and action strategies in order to steer research, to make it visible, shared and effective in planning.The comparison between priority issues, rationale, methodology adopted by the Region and Local Authorities can enrich both social operators and decision makers in order to verify the research consistency with sector planning and in Regional Social and Health Plan.
The purpose of the first part of the paper is to make this further knowledge available and to spread and complete the results of the first survey. Moreover it is important to give some development perspectives, in particular to establish a Regional Social Research Registry and interactive tools within the territory.

In 2009, 291 local researches were collected and evaluated; respectively 48 and 64 of them dealt with the themes of “Elderly” and “Immigration”; in the second survey 87 social regional researches were also collected; 25 of them – carried out by the Family, childhood, adolescence regional Department – were analysed.

The introduction of the first part of the volume presents the path followed and the motivations of the regional workgroup of the Agency, who examined the researches. The first Chapter defines the final and specific aims of the project and the main questions for this monitoring. The second Chapter describes the frame of the Regional researches, reporting quantity, promoting Department and principal themes.

The following Chapters present the methodology adopted by the regional group and the main results and comments about the analysed research products, especially their priorities and relevant directions. Chapters 4 and 5 respectively deal with the comparison between regional research products and the planning sector and the working perspectives on social research.

The second part of the volume focuses on the issue of theory-driven evaluation approaches aimed both at developing complex programmes and supporting policy making processes. Those approaches have helped to open the “black box” of programmes and have been developed to deal with the complexity of the programmes; since the ‘80s, they were applied to the evaluation of comprehensive health promotion place-based initiatives delivered at community level.

The introduction explains how and why the Emilia-Romagna Region has decided to propose these innovative methods.

The first Chapter of the second part of the volume sums up the common points of the several theory-oriented health promotion approaches, by pointing out aims and opportunities for decision makers and professionals. In particular, different kinds of programme theories (i.e. “explanatory theories” and “change theories”) adopted to plan, to “investigate the programmes”, to develop evaluation questions and to identify programmes and research hypothesis, are described.

The second Chapter deals with theory-based evaluation (TBE), especially applied to community development projects. Criteria to select the theories are explained and some examples are reported, as the training programme for disadvantaged young people. Moreover the risk of inaccurate use of the “programme theory” is pointed out, like programmes which do not consider gender differences.

The “realist evaluation” (Chapter 3), developed in the Anglo-Saxon context, is explained in its basic points: the concept of programme, the complex social programmes features, the context-mechanism-outcome configuration, the concept of “generative” causality, opposed to the simple linear causality (deterministic model, for example “dose-response”).

The realist synthesis (Chapter 4), a further development of the realist evaluation, is presented as an alternative method of systematic review aimed to synthesise evidence and research results including both qualitative and quantitative studies. It is important to identify the “family of mechanisms”, underlying for example different health promotion interventions, as locus of comparison of the realist synthesis.

The fifth Chapter illustrates the previous approaches by two recent examples: the first is an evaluation study carried out in the Emilia-Romagna Region for the “Safe gym. Prevention and wellness” project; the second is an innovative social research about young people participation, carried out at the national level. In both cases the research objectives and hypothesis, the methods and the main results are pointed out, according to the patterns and the features of “theory-oriented” evaluation approaches.

Conclusions sum up the benefits by these approaches and their perspectives in the Emilia-Romagna Region context.

  • the general scheme of interpretation adopted by the regional evaluation group and criteria for a homogeneous and clear interpretation;
  • the list of the analysed research products, reporting for each of them bibliographical items in a database.

The bibliography includes the basic reference text books or articles for the “theory-oriented” approaches.


ASSR Agenzia Sanitaria e Sociale Regione Emilia Romagna Dossier n.226/2012

1 giugno 2012

ASSR Agenzia Sanitaria e Sociale Regionale Regione Emilia Romagna, DOSSIER N. 226/2012

LA RICERCA E LE POLITICHE SOCIALI E SOCIO-SANITARIE IN EMILIA-ROMAGNA. APPLICAZIONE E APPROCCI PER LA VALUTAZIONE, di Gioia VIRGILIO  (ASSR Emilia Romagna)  e Liliana LEONE (CEVAS)

  • Dossier n. 226 ( Download  pdf, 661 Kb)
  • SUMMARY  (Download ) Research and social and social-health policies in Emilia-Romagna. Application and evaluation approaches

Il Dossier è composto di due parti logicamente collegate. La prima tratta del secondo censimento delle ricerche sociali prodotte dai Servizi regionali e si dedica all’analisi di più di un terzo di esse riferite all’area delle politiche della famiglia, infanzia e adolescenza. La seconda parte affronta il tema della valutazione della ricerca e dei programmi di promozione della salute, secondo approcci metodologici “guidati dalla teoria”. In continuità con il primo censimento realizzato nel 2009 sulle ricerche sociali e socio-sanitarie, effettuate a livello locale dalle Aziende USL, dai Comuni, dalle Province e dalle ASP del territorio emiliano-romagnolo, l’Area Innovazione sociale dell’Agenzia sanitaria e sociale regionale dell’Emilia-Romagna ha ritenuto rilevante raccogliere e censire anche i lavori prodotti dai Servizi regionali sulle stesse politiche sociali e socio-sanitarie.  Scopo della prima parte del Dossier è rendere disponibile questo ulteriore patrimonio conoscitivo, a completamento dei risultati del primo censimento, e fornire alcune riflessioni e prospettive di sviluppo, in particolare sulla necessità di costruire, per la ricerca sociale e socio-sanitaria, una anagrafe regionale e/o una strumentazione interattiva sistematica con i territori.

La seconda parte del Dossier focalizza gli approcci di valutazione, cosiddetti “guidati dalla teoria”, finalizzati sia allo sviluppo di programmi complessi sia al supporto dei processi decisionali. Questi approcci hanno aiutato ad aprire la “scatola nera” dei programmi e sono stati sviluppati per trattare interventi complessi; sin dagli anni ‘80 sono stati applicati alla valutazione di iniziative territoriali di promozione della salute caratterizzate dall’utilizzo di una pluralità di metodi di intervento. L’introduzione spiega come e perché in Regione si è arrivati ad approfondire e a proporre questi metodi innovativi. Il primo Capitolo sintetizza i punti comuni dei vari approcci orientati alla teoria, sottolineandone le finalità e le opportunità per i decisori politici e i professionisti. In particolare, vengono descritte le varie tipologie di teorie (ad esempio “teoria del problema” e “teoria del cambiamento”) utilizzate per pianificare, “interrogare i programmi”, sviluppare quesiti valutativi e identificare ipotesi di programmi e di ricerca. Nel secondo Capitolo si affronta la valutazione basata sull’approccio – theory-based evaluation TBE -, applicata soprattutto nei progetti di sviluppo della comunità. Vengono illustrati i criteri per selezionare le teorie secondo tale approccio, si riportano alcuni esempi (programma di formazione per giovani svantaggiati) e vengono messi in luce alcuni rischi di impiego inaccurato della teoria del programma (ad esempio, realizzare programmi senza tenere conto delle differenze di genere). La valutazione realista (Capitolo 3) sviluppata nel contesto anglosassone viene descritta nei suoi elementi cardine: la concezione di programma, le caratteristiche dei programmi sociali complessi, le configurazioni contesto-meccanismo-outcome, il concetto di causalità “generativa” contrapposto a quello di causalità lineare semplice di tipo deterministico (stimolo-risposta). La sintesi realista (Capitolo 4), che rappresenta un ulteriore sviluppo della valutazione realista, è proposta come metodo alternativo di revisione sistematica, finalizzato a sintetizzare evidenze e risultati di ricerche che comprendono studi sia qualitativi che quantitativi. È importante identificare le “famiglie di meccanismi”, sottostanti ad esempio a differenti interventi di promozione della salute, come luogo di confronto della stessa sintesi realista. Il Capitolo 5 esplicita l’applicazione degli approcci valutativi descritti nei precedenti capitoli, con due recenti esempi: il primo è uno studio valutativo realizzato in Emilia-Romagna per il progetto “Palestra sicura. Prevenzione benessere”, il secondo è una ricerca sociale innovativa sui processi partecipativi dei giovani, realizzata a livello nazionale. In entrambi i casi sono sottolineati gli obiettivi conoscitivi, le ipotesi assunte, le metodologie e i principali risultati raggiunti, secondo i modelli e le peculiarità degli approcci valutativi “guidati dalla teoria” e dalla “valutazione realista”. Le riflessioni conclusive, infine, riprendono i vantaggi di tali approcci e le relative prospettive di sviluppo nel contesto della Regione. Le due Appendici riportano: la griglia di lettura/analisi adottata dal gruppo di progetto regionale, finalizzata a rendere omogenei e trasparenti i criteri di interpretazione e di valutazione; la tabella delle ricerche analizzate, contenente i principali riferimenti bibliografici raccolti nel database per ogni scheda di prodotto di ricerca rilevato. La bibliografia riporta i principali testi di riferimento alla base degli approcci metodologici guidati dalla teoria.

Dossier n. 226 ( Download  pdf, 661 Kb)

SUMMARY  (Download ) Research and social and social-health policies in Emilia-Romagna. Application and evaluation approaches



Casi

16 novembre 2010


  Valutazione intermedia dell’ Accordo di Programma Quadro “APQ Recupero della marginalità sociale e pari opportunità” Regione Sicilia. II° Rapporto di Valutazione Analisi di alcuni casi eccellenti. Contrasto della marginalità sociale e riqualificazione degli spazi. Febbraio 2007      (Scarica Pdf) 

Leone L (2008), Giovani legalità e riqualificazione degli spazi, Maggioli Editore. ISBN: 8838746494 - Pagine: 180(Acquista)   

 Il testo si propone di spiegare quali sono le strategie adottate in alcuni casi eccellenti nell’ambito di un programma di contrasto della marginalità e della devianza giovanile, di riqualificazione degli spazi e di aree urbane degradate. Il programma è l’Accordo di Programma Quadro denominato “Recupero della marginalità sociale e pari opportunità”, sottoscritto dalla Regione Siciliana e terminato nel 2007, ed è una delle primissime esperienze a livello nazionale di utilizzo di questo strumento di programmazione per finanziare politiche soft a carattere esclusivamente sociale. La questione della prevenzione della devianza minorile e della legalità viene trattata in connessione con interventi di riqualificazione di spazi urbani, di riappropriazione di spazi e talvolta di beni confiscati alla mafia, e di sviluppo del tessuto connettivo delle comunità locali. Nel volume e nel II° Report scaricabile gratuitamente si mettono in evidenza le strategie e i meccanismi alla base degli interventi realizzati, nonchè i fattori grazie ai quali si producono effetti positivi o negativi.  Si rivolge a coloro che si occupano di riqualificazione urbana, di programmazione di politiche giovanili e di inclusione sociale.     

Rapporti di ricerca e valutazione

In accordo con i committenti rendiamo disponibili rapporti di valutazione e di ricerca su diversi programmi e aree tematiche.
(continua >>).

Aree tematiche

News

Archivio