Cuprins: Planificarea și realizarea evaluării • Forme generale de evaluare a programelor • Evaluări inspirate de teoria programului • Forme participative ale evaluării • Evaluări orientate de utilizare • Evaluări lipsite de constrângerile obiectivelor programului • Evaluări prestabilite de obiectivele programului • Cantitativ versus calitativ în evaluare • Inferența cauzală în evaluare • Eșantionarea în procesul de evaluare.
„Volumul Evaluarea programelor de asistență socială, publicat de conf. univ. dr. Ștefan Cojocaru, constituie o fundamentare teoretico-epistemologică a domeniului evaluării programelor, în general, cu exemple aplicative din asistență socială. Considerăm această carte ca având un înalt grad de sistematizare a informației. De aceea (…) nu putem decât s-o recomandăm cu căldură ca pe o lectură fundamentală a cercetătorului care se apropie de domeniul evaluării programelor, dar și a evaluatorului profesionist.” – Antonio Sandu, 2010, în revista Sociologie românească, volumul VIII.
Capitolul 1- Planificarea și realizarea evaluării
În acest capitol se prezintă o serie de aspecte generale legate de procesul de evaluare a programelor, utilitatea acestuia, criteriile urmărite, elaborarea și implementarea planului de evaluare. Evaluarea programului este un proces care contribuie la dezvoltarea științelor sociale și a cunoașterii datorită capacității acesteia de a se concentra pe aspecte particulare ale situației în care se desfașoară programele, propunând și experimentând noi strategii de cercetare și abordări teoretice.
Utilitatea evaluării – Trecând prin diferite etape de dezvoltare, evaluarea a pus accentul pe elementele specifice ale programului și a utilizat anumite strategii dominante pentru conducerea procesului, înregistrând patru generații: măsurarea, descrierea, judecarea și negocierea. La începuturile sale, evaluarea era considerată în primul rând o formă de sociologie aplicată, apoi a devenit o disciplină în sine pentru că și-a consolidat ”propria identitate și repertoare de concepte, metode și practici”. Autorul consideră „rezultatele cercetării în evaluare contribuie la dezvoltarea cunoașterii”.
Există dezbateri între susținătorii evaluărilor interne și ai celor externe. Apelul la un evaluator extern crește șansele de utilizare a rezultatelor evaluării, deoarece aceasta depinde, la rândul ei de:
1) credibilitatea evaluatorului și a evaluării, capabil să producă date utile;
2) relevanța evaluării față de nevoile beneficiarilor, și nu ale organizației;
3) reputația evaluatorului, construită pe baza experienței personale și verificată în timp;
4) calitatea interpretării rezultatelor și modul cum aceasta este transmisă potențialilor utilizatori (decidenți, implementatori, autorități etc.);
5) implementarea potențialilor utilizatori în evaluare;
6) calitatea evaluării.
Orice strategie de evaluare poartă în sine scopul privind îmbunătățirea programului. Utilizarea diverselor strategii de culegere și analiză a datelor urmărește identificarea datelor relevante ale programului, descoperirea și argumentarea efectelor diferitelor forme de intervenție. Asistăm la promovarea unor „metode de bună practică dezvoltate de diverși furnizori de servicii în variate domenii cum ar fi:
- integrarea socială a persoanelor cu dizabilități;
- consilierea persoanelor dependente de droguri;
- reducerea delincvenței școlare;
- consilierea și sprijinirea copiilor cu părinți plecați la muncă în străinătate;
- promovarea egalității de șanse în obținerea unui loc de muncă;
- sprijinirea și ajutarea persoanelor seropozitive;
- reducerea abandonului școlar;
- reducerea numărului de sarcini nedorite;
- prevenirea separării copilului de familia sa etc.
Aici intervine unicitatea programului, pe de o parte, iar pseudoevaluările interne, pe de alta.
Clarificarea unor probleme sociale presupune sondarea atât a mecanismelor care produc și mențin problema respectivă, cât și strategiilor care pot conduce la diminuarea sau rezolvarea ei. Evaluarea care satisface criteriile de științificitate oferă informații relevante care pot contribui la înțelegerea problemei sociale asupra căreia se focalizează programul, iar acestea în general se focalizează pe problemele sociale ce ajung pe agenda publică din cauza presiunilor mass-media, iar acestea nu sunt în general bine documentate, studiate și analizate.
Analizând factorii care participă la neutilizarea rezultatelor evaluării, Mowbray consideră că aceștia pot fi împărțiți în două categorii:
1) factori care țin de evaluator
2) factori care sunt legatț de decidenți.
Autorul consideră că neutilizarea evaluărilor se datorează modului de prezentare a rezultatelor raportului de evaluare sau faptului că rezultatele nu sunt utile decidenților. De asemenea, atunci când sunt constrângeri financiare sau politice, recomandările evaluării, chiar dacă sunt utile, nu sunt aplicate din cauza lipsei de resurse sau a unor limitări instituționale.
Mowbray propune șase etape pentru maximizarea utilizării rezultatelor evaluării;
1. marketingul evaluării ca serviciu util
2. dezvoltarea și centrarea pe politici
3. planificarea și designul evaluării
4. desfășurarea evaluării
5. transpunerea rezultatelor în concluzii credibile
6. determinarea persoanelor-cheie care să acorde atenție rezultatelor evaluării.
O evoluție a fost posibilă, din punct de vedere a lui Stern, datorită unor contexte precum:
1) apariția și dezvoltarea reformelor în domeniul managementului public;
2) afirmarea și urmărirea noilor obiective ale politicilor publice
3) instituționalizarea evaluării
4) internaționalizarea evaluării
5) legitimitatea crizelor în sistemele democratice.
Criterii generale utilizate în evaluare
– Eficiența programului
– Relevanța programului
– Eficacitatea programului
– Pertinența acțiune-obiectiv
– Participarea beneficiarilor și a partenerilor
– Conformitatea activităților desfășurate
– Coerența și complementaritatea intervențiilor
– Viabilitatea și durabilitatea serviciilor dezvoltate
– Impactul programului
Planificarea și implementarea evaluării presupune:
– Scopurile evaluării
– Stabilirea întrebărilor evaluării
– Întrebări despre implementarea programului
– Întrebări despre impactul programului
– Stabilirea resurselor de informare
– Alegerea metodelor de culegere a datelor
– Culegerea informațiilor
– Analiza și interpretarea datelor
– Realizarea raportului de evaluare
Capitolul 2 – Forme generale de evaluare a programelor
Acest capitol oferă informații despre diferitele tipuri complementare de evaluare, pentru că ele pot fi aplicate în diferite etape de implementare a programului.
Evaluarea internă și evaluarea externă
Evaluarea internă: devine un instrument al administrației; are tendința de a deveni un instrument pentru consolidarea imaginii publice; tinde să se rutinizeze; nu produce suficiente rezultate capabile să opereze modificări importante ale programului; denaturează rezultatele evaluării; birocratizarea evaluării; este mai puțin costisitoare decât evaluarea externă; contribuie la creșterea credibilității; oferă date care pot fi puse imediat în practică; se bucură de o implicare mai ridicată a personalului; contribuie la construcția memoriei organizaționale privind programul implementat.
Evaluarea externă presupune apelul la experți independenți care nu au un contact permanent cu furnizorul de servicii, care nu au fost implicați în implementarea programului, care au experiență academică și practică.
Evaluarea formativă și evaluarea sumativă
Evaluarea formativă a fost definită pentru prima dată de Scriven(1967); se desfășoară în cadrul perioadei de derulare a programului, având rol de a îmbunătăți serviciile oferite și de a aprecia măsura în care programul se desfășoară conform planificării inițiale oferind repere pentru modificări.
Evaluarea sumativă reprezintă o formă de măsurare a rezultatelor finale ale programului, fiind un proces realizat mai ales cu participarea unor evaluatori care nu au fost implicați în implementare, rezultatele obținute neputând fi influențate din cauza finalizării programului.
Evaluarea de implementare și evaluarea de impact – reprezintă două modalități de evaluare care pun accentul fie pe proces (implementare), fie pe rezultatele finale (outcomes) ale programului.
Evaluarea de implementare – forma de clarificare a procesului; cuprinde patru etape:
1) evaluarea nevoilor și a fezabilităților;
2) planificarea și designul programului;
3) desfășurarea programului;
4) îmbunătățirea programului.
Evaluarea de impact se concentrează asupra rezultatelor finale ale programului și urmărește să analizeze efectele programului asupra situației beneficiarilor la finalizarea programului sau la ieșirea lor din program și asupra mediului în care se desfășoară programul.
Capitolul 3- Evaluări inspirate de teoria programului
Evaluarea bazată pe teorie- este necesară punerea în conexiune a trei elemente esențiale: programul, obiectivele și procesul intervenției.
Utilizarea modelului cadrului logic al programului în evaluare are următoarele elemente;
– resursele programului (inputs)
– activitățile programului
– servicii oferite în cadrul programului (outputs)
– rezultatele programului (outcomes)
Dacă evaluarea se concentrează asupra elementelor cadrului logic al programului, putem identifica patru direcții de evaluare:
1) evaluarea resurselor și a modului în care acestea au fost gestionate
2) evaluarea implementării programului
3) evaluarea serviciilor oferite
4) evaluarea impactului
Teoria programului în evaluare este utilă pentru că „ghidează evaluarea prin identificarea elementelor cheie ale programului, clarificând cum aceste elemente sunt planificate pentru a fi legate unele de altele”.
Abordări ale teoriei programului
Stufflebeam – 1. abordarea care pornește de la o teorie validată, 2. abordarea care pornește de la datele culese în contextul programului și care generează o teorie ținând cont de aceasta.
Patton – 1. abordare deductivă, 2. abordare inductivă, 3. abordare centrată pe beneficiar
Micro- și macroteoria programului – Shadish nuanțează propunând două niveluri de teorie: 1.microteoria programului și 2.macroteoria programului, iar Weiss consideră că trebuie ținut cont de următoarele criterii:
1- convingerile oamenilor implicați în program
2- plauzibilitatea teoriilor
3- limitele evaluatorului în cunoașterea domeniului
4- centralitatea teoriei în explicarea programului.
Teoria implicită și implicarea informatorilor-cheie în evaluare- Indiferent de strategia de evaluare aleasă, de teoriile utilizate pentru evaluarea programului, de designul procesului de evaluare, în literatură se afirmă adesea importanța implicării informatorilor-cheie în procesul evaluării.
Evaluarea realistică (Pawson și Tillery -1997) – formă particulară a evaluării bazată pe teorie, dar care pune în centrul atenției teoriile ce fundamentează, explică și interpretează schimbările intenționate ale proiectului, având un pronunțat caracter generativ de noi teorii cu rang mediu.
Capitolul 4- Forme participative ale evaluării
În acest capitol se prezintă și analizează două strategii participative utilizate în evaluare. Ambele strategii se bazează pe metode colective de stimulare și exprimare a cunoașterii, având un pronunțat caracter generativ și adaptativ al acestei cunoașteri, iar analiza calitativă a datelor reprezintă o formă de extragere relevantă ale acestui proces.
Evaluarea participativă reprezintă o „abordare în care persoane instruite în metodica și logica evaluării lucrează în colaborare cu cei care nu sunt la fel de instruiți să desfășoare activități de evaluare” (Cousins,2003). Aceasta are două forme de evaluare explicit participative:
– evaluarea participativă practică – care este fundamentată pe teorii care susțin și argumentează importanța pluralismului democratic în construcția și consolidarea cunoașterii. În 2008, Smits și Champagne realizează o analiză a teoriei evaluării participative practice având ca nucleu patru concepte-cheie:
1) producerea interactivă a datelor
2) construcția cunoașterii
3) contextul local al acțiunii
4) utilizarea instrumentală
– evaluarea participativă transformativă – se bazează pe “principiile fundamentale ale emancipării și justițio sociale”; pune accentul pe implicarea comunităților, având o sferă mai largă de aplicabilitatea recomandărilor și a utilizării rezultatelor.
Cousins și Whitmore realizează o analiză a diferitelor tipuri de evaluare colaborativă, din perspectiva a trei dimensiuni:
1) controlul asupra procesului de evaluare – este împărțit între evaluator și participanți;
2) selectarea informatorilor-cheie – evaluatorul trebuie să identifice persoane care pot furniza informații valoroase și să analizeze, pe de altă parte, riscurile neincluderii unor categorii de participanți în evaluare.
3) gradul de implicare a informatorilor-cheie – nivelurile de implicare ale informatorilor și beneficiarilor unui program variază de la simpla consultare până la participarea în toate etapele procesului de evaluare.
Principiile evaluării participative:
– evaluarea trebuie să implice utilizatorii finali ai programului și să fie utilă;
– evaluarea trebuie să fie contextual-participativă;
– metodologia de evaluare respectă și utilizează cunoștințele și experiența informatorilor-cheie;
– evaluarea nu este și nu poate fi dezinteresată, neutră axiologic;
– evaluarea favorizează metodele colective de generare a cunoașterii;
– evaluatorul (în rolul său de facilitator) împarte puterea cu informatorii-cheie;
– evaluatorul participativ examinează continuu și critic propriile atitudini, idei și comportamente.
Daigneault și Jacob consideră conceptul de evaluare că trebuie supus verificării prin opt criterii: familiaritate, rezonanță, cumpătare, coerență, diferențiere, profunzime, utilitate teoretică și utilitate practică.
Etapele procesului de evaluare sunt următoarele:
– fomarea echipei de evaluare și pregătirea tuturor persoanelor implicate;
– elaborarea planului de elaborare;
– elaborarea instrumentelor de cercetare;
– culegerea datelor, care trebuie realizată în grup;
– codarea, sintetizarea și analiza datelor culese- realizarea grilei de lectură și construcția conceptuală a rezultatelor relevante;
– elaborarea planurilor de viitor;
– selectarea datelor pentru raportul de evaluare, elaborarea recomandărilor și rafinarea modalităților;
– diseminarea rezulatelor.
Utilizarea anchetei apreciative în evaluare
Ancheta apreciativă iși asumă o filozofie și o serie de principii inspirate de “credința că nu există o singură realitate sau un singur adevăr; mai degrabă, adevărul este construit în realități multiple și contextuale, determinate de percepțiile individuale, dialogurile și acordurile împărtășite”(Coghlan, Preskill și Tzavaras Catsambas, 2003, p.8).
Ancheta apreciativă poate fi încorporată în practica evaluării, propunând trei etape de realizare a acestui proces: 1) centrarea pe evaluarea și dezvoltarea planului evaluării; 2) planificarea și realizarea interviurilor și anchetei apreciative; 3) modelarea unui sistem al evaluării.
Modalitățile de organizare a anchetei apreciative aduc în atenție importanța dialogului, ca proces esențial al anchetei calitative și ca premisă pentru inițierea unor schimbări dorite și intenționate. Iată trei criterii pentru elaborarea abordărilor utilizate în evaluarea programelor: 1) plauzibilitatea; 2) practicabilitatea 3) aplicabilitatea.
Capitolul 5 – Evaluări orientate de utilizare
Acest capitol tratează evaluarea centrată pe utilizare și evaluarea multi-site.
Evaluarea centrată pe utilizare – Nici o evaluare nu poate fi concepută fără a încorpora intenția de a schimba ceva în cadrul programului după analiza acestuia fie la nivelul finanțatorilor, fie la nivelul organizării și derulării acestuia. Se pun în evidență două elemente esențiale: selectarea utilizatorilor și abordarea schimbărilor dorite și intenționate. Această evaluare este concentrată pe utilizarea rezultatelor provenite din analiza datelor, procesului, nevoilor și eficienței programului. Această evaluare urmărește să se răspundă la întrebarea: “Ce informații sunt necesare persoanelor interesate de program pentru îmbunătățirea acestuia?”
Trebuie să se țină cont în cadrul acestei evaluări de: identificarea celor mai potriviți utilizatori; utilizarea rezultatelor evaluării; formularea întrebărilor evaluării; procesul dinamic al evaluării centrate pe utilizare; aspecte critice ale evaluării centrate pe utilizare; utilizarea instrumentală și conceptuală a rezultatelor evaluării.
Evaluarea comparativă (multi-site) – Această evaluare este utilizată mai ales în evaluarea unui program care se desfășoară în mai multe locații sau a diferitelor programe care au aceleași obiective sau grupuri-țintă. Aceasta poate fi împărțită în două categorii:
- prospectivă – atunci când evaluatorul asumă de la început un design multi-site pentru evaluarea unui program în derulare, stabilește planul evaluării și urmărește întregul proces de culegere a datelor de pe teren;
- retrospectivă – atunci când evaluatorul utilizează datele evaluărilor unor programe similare, fiind tributar surselor secundare de date.
Evaluarea multi-site permite testarea și măsurarea efectelor contextuale ale unui program și identificarea celor mai eficiente forme de intervenție, care pot constitui o bază de susținere pentru politicile publice. În cadrul acestei evaluări trebuie ținut cont de următoarele particularități ce pot influența procesul și rezultatele evaluării:
1) programul este încadrat în practicile locale, specifice fiecărei locații;
2) programul se desfășoară în contexte diferite determinate de locații, care au o influență majoră asupra acestuia;
3) programul se desfășoară în medii diferite, cu resurse comunitare diferite;
4) programul poate înregistra efecte variate din cauza expertizei diferite a personalului din locațiile implicate, a numărului de angajați ai organizațiilor implementatoare;
5) programul se desfășoară în sisteme descentralizate sau fragmentate;
6) programul se desfășoară pe baza unor stiluri manageriale diferite și în cadrul unor culturi locale extrem de diverse;
7) inexistența unor baze de date comune ale programului care se derulează în locații diferite în condițiile în care implementatorii sunt diferiți.
Asigurarea controlului erorilor în ceea ce privește colectarea datelor este realizată prin:
1) colectarea și centralizarea datelor din toate locațiile implicate în derularea programului evaluat;
2) standardizarea colectării datelor, necesară pentru asigurarea coerenței în ceea ce privește utilizarea unor serii unice de indicatori, cantitativi și calitativi;
3) standardizarea organizării datelor la nivelul locațiilor, pentru eliminarea confuziilor, a diferențelor de înțelegere, a furnizării unor date incomplete sau inutile;
4) verificarea datelor pentru asigurarea încrederii și credibilității informațiilor colectate.
Capitolul 6 – Evaluări lipsite de constrângerile obiectivelor programului
Evaluarea fără obiective – Ca alternativă la tipul clasic al evaluării bazate pe obiective, argumentând importanța identificării efectelor secundare sau a efectelor neanticipate ale programului și încadrarea acestui tip de evaluare în categoia evaluărilor sumative, datorită centrării pe identificarea efectelor actuale ale programului. Așadar centrarea pe nevoi, nu pe obiective și evaluare fară obiective-formă a evaluării externe.
Evaluarea naturalistă – Strategie de evaluare propusă de Lincoln și Guba (1985), considerată începutul celei de-a patra generații de evaluare, ce are ca punct nodal conceptul de negociere. La nivel ontologic se operează cu principiul realist conform căreia există o singură realitate obiectivă independentă de observator care se conduce după legi cauzale obiective, iar adevărul este considerat ca fiind totalitatea faptelor izomorfe cu realitatea. La nivel epistemologic, se consideră că relația dintre evaluator și evaluat este una dualistă de tip obiectivist, în sensul că realitatea cercetată este exterioară individului, iar acesta poate rămâne detașat de realitate, neavând nici un rol sau efect asupra realității. La nivel metodologic, sunt utilizate metode pozitiviste destinate măsurării relității obiective, așa cum este ea în sine, fără a lua în considerare contextul sau situațiile particulare. Aceasta a fost pusă sub semnul întrebării în ceea ce privește cele patru condiții de rigoare caracteristice paradigmelor științifice: 1) validitate externă; 2) validitate internă; 3)consistență; 4) neutralitate axiologică.
Evaluarea receptivă – Construiește o strategie de evaluare pornind de la aspectele epistemologice, etice și metodologice ale acestui proces.
Capitolul 7 – Evaluări prestabilite de obiectivele programului
Reprezintă modalități specifice de măsurare a gradului în care obiectivele inițiale au fost îndeplinite. Evaluarea bazată pe teorie s-a îmbogățit prin rafinarea unor noi strategii, cum sunt: evaluarea variației planificate și analiza cost-beneficiu.
Evaluarea bazată pe obiective (goal-based evaluation) este tipul cel mai folosit în evaluare, legată fiind de începuturile evaluării, care urmărește “să determine în ce măsură obiectivele programului au fost îndeplinite”. O măsură esențială pentru măsurarea gradului de îndeplinire a obiectivelor este legată de modul în care obiectivele inițiale ale programului satisfac criteriul SMART; ele trebuie să fie: specifice; măsurabile; abordabile; realiste și încadrate temporal.
Elaborarea bazată pe obiective și îmbunătățirea programului – Își propune clarificarea obiectivelor. Erorile în implementarea programului și eșecurile înregistrate de program sunt considerate efecte complementare, fiind ignorate cauzele și circumstanțele care au condus la asemenea rezultate.
Evaluarea variației planificate – Este un tip specific de evaluare, care combină aspecte ale modelului colaborativ cu cele ale modelului experimental, este utilizat unui grup de control care măsoară modul în care modificările controlate și intenționate ale anumitor variabile produc schimbări asupra beneficiarilor în cadrul programului evaluat.
Pe parcursul unei evaluări sunt necesare modificări intenționate și controlate ale anumitor parametri și măsurarea efectelor pe care acestea le au, evaluarea variației planificate se aplică doar programelor în derulare, fiind o formă de inovație și de învățare, capabilă să producă noi cunoștințe în ceea ce privește intervențiile și cunoștințele acestora.
Costurile per unitate/beneficiar reflectă totalitatea costurilor.
Distribuția costurilor se referă la modul în care sunt alocate resursele în cadrul programului.
Reducerea/redresarea costurilor urmărește să găsească modalități de reducere a costurilor per beneficiar sau distribuția acestora, cu scopul redistribuirii resurselor între serviciile directe și cele administrative.
Analiza cost- eficacitate se referă la raporturile dintre costuri și anumite valori alternative ale rezultatelor programului.
Capitolul 8 – Cantitativ versus calitativ în evaluare
Acest capitol este dedicat analizei disputei dintre strategiile cantitative și calitative și modalităților de depășire a acestor rivalități.
Disputa dintre cantitativ și calitativ – Această dispută este alimentată și susținută de paradigme teoretice diverse, în funcție de presupozițiile ontologice și epistemologice pe care le întemeiază acestea.
Datele cantitative sunt considerate mai credibile și sunt mai ușor de acceptat de către decidenți. Magia cifrelor este adesea utilizată de evaluatori pentru a influența decidenții în înțelegerea problemelor, politicilor publice și programelor destinate rezolvării acestora.
În cazul utilizării metodelor calitative în evaluare se recunoaște importanța informațiilor subiective și relevanța acestora pentru întelegerea în profunzime a programului. Una dintre provocările evaluărilor calitative este reprezentată de asigurarea creditibilității datelor.
Credibilitatea este una dintre țintele criticilor aduse de cantitativiști abordărilor calitative în evaluare, argumentând că factorii subiectivi alterează interpretarea în ceea ce privește probarea influenței programului. Pentru asigurarea calității datelor, Raines propune o serie de măsuri:
– triangularea surselor de date;
– consultarea colegilor;
– analiza cazurilor negative;
– adecvarea referențială;
– verificarea de către participanți a acurateței datelor și a coerenței concluziilor;
– păstrarea acurateței înregistrărilor;
– triangularea evaluatorilor;
– testarea ipotezelor rivale;
– triangularea teoriilor;
– prelungirea angajamentului evaluatorului față de program;
– triangularea metodelor.
Pentru evaluarea care utilizează metode cantitative de culegere a datelor și analize statistice, sunt utilizate drept criterii de validare științifică: validitatea internă; validitatea externă; fidelitatea instrumentelor și obiectivitatea.
Mixul metodologic (combinarea metodelor în evaluare) – Mixarea metodelor – soluție pentru diminuarea conflictelor dintre pozitivism și constructivism. Combinarea diferitelor metode de cercetare depășește logica clasică a rivalității dintre metodele cantitative și cele calitative, iar Datta (1994) consideră că mixarea metodelor va constitui metodologia dominantă în viitor, datorită combinărilor punctelor tari ale fiecărei metode în parte, iar Chen(1997) consideră că atunci când se combină diferite metode, se reduc punctele slabe ale acestora, iar această srategie de evaluare poate contribui la extinderea scopului evaluării prin triangularea metodelor.
Metisarea teoriilor – reprezintă o formă de descoperire, construcție și argumentare a unor noi teorii, pornind de la elementele unor paradigme diferite, fiind un proces emergent de reconstrucție teoretică. Mixarea modelelor teoretice; Mixarea pragmatică a teoriilor; Mixarea dialectică a teoriilor – proces emergent de inovare teoretică.
Problema validității în evaluare – se ridică în cazul evaluărilor cantitative care utilizează fie un eșantion randomizat, fie un design experimental randomizat. Generalizările concluziilor cauzale ale evaluărilor (Cook) se concentrează pe patru entități: intervenții; observații; populații și cadre sau situații. Validitatea este o formă de reproductibilitate a rezultatelor evaluării.
Factori care influențează validitatea internă:
– Evenimentele externe al persoanelor din grupul de intervenție.
– Evoluția personală a beneficiarilor (maturizarea) din cauza unor condiții exterioare programului poate influența gradul de validitate internă.
– Efectele evaluării inițiale asupra participanților reprezintă o altă sursă de amenințare a validității interne a datelor culese în cadrul evaluării.
– Fidelitatea instrumentelor de măsurare- condiție esențială
– Selecția diferențială a participanților
– Renunțarea participanților din cadrul grupurilor
– Regresia spre medie a variabilelor
– Efectele reactive ale participanților
– Efectele interacțiunilor dintre evaluator și participanți
– Relațiile dintre grupul experimental și cel de control cu multiple situații:
– difuzia intervențiilor și evaluării
– egalizarea compensatorie
– rivalitatea compensatorie
– demoralizarea
Triangularea în evaluare – este văzută ca o strategie prin care se folosesc diverse metode pentru a evalua același fenomen, în scopul asigurării convergenței și creșterii validității, iar această strategie la nivelul măsurării, asigură condițiile pentru mixarea metodelor si convergenta datelor cantitative si calitative Modalitati de triangulare: triangularea datelor; triangularea investigatorilor; triangularea perspectivelor teoretice; triangularea metodologică (Denzin).
Capitolul 9 – Inferența cauzală în evaluare
Acest capitol analizează o serie de modele experimentale și cvasiexperimentale utilizate în evaluare, fiecare prezentând avantaje și dezavantaje.
Utilizarea inferenței cauzale în evaluare – Strategiile cele mai riguroase care utilizează inferența cauzală sunt cea experimentală și cvasiexperimentală, pentru că acestea asigură condiții adecvate pentru creșterea validității interne a ipotezelor cauzale prin asigurarea reproductibilității rezultatelor obținute în evaluare. Inferența cauzală poate avea două forme de abordare a relației de cauzalitate: cauză-efect și efect-cauză.
Chen identifică două modele cauzale utilizate în evaluarea programelor: modelul normativ și modelul descriptiv. Davidson prezintă o listă care prezintă nouă tipuri potențiale de evidențe pentru inferența cauzală: inferența listei cauzale, inferența modus operandi, precedenta temporală; conjuncția constantă; proximitatea influenței; forța asociației; gradientul biologic; coerența și analogia.
Utilizarea acestor tipuri de inferență cauzală în evaluarea programelor bazată pe teoria programului constituie, pentru Davidson, un fundament pentru schițarea a cinci etape ale procesului inferenței cauzale: 1) obținerea informațiilor privind evaluarea nevoilor care necesită un grad ridicat de certitudine; 2) cercetarea schimbărilor semnificative în desfășurarea programului, fără a avea predeterminate anumite obiective; 3) căutarea inductivă a cauzelor care generează aceste schimbări; 4) suplimentarea inducției prin adăugarea unor posibile efecte și lanțuri cauzale; 5) testarea modelului logic revizuit, utilizând surse de informații și destinatari ai programului care nu au fost utilizați în construcția modelului inductive.
Rogers analizează trei tipuri de modele cauzale, pornind de la teoria sistemelor: 1) modelul ciclurilor virtuoase sau vicioase; 2) modelul soluțiilor simptomatice; 3) modelul întârzierilor de feedback.
Reichardt și Gollob propun patru principii, aplicabile atunci când evaluarea urmărește să identifice relațiile de cauzalitate; 1) centrarea mai degrabă pe mărimea unui efect; 2) determinarea mărimii unui efect nu doar ca tendință centrală; 3) dezvoltarea unei serii de estimări care ia în considerare sursele de incertitudine; 4) raportarea rezultatelor care prezintă probabilitatea ca un interval dat de estimări să conțină mărimea efectului.
Designul experimental – Aplicarea designului experimental implică dificultăți legate de:
1) timpul îndelungat necesar realizării acestuia, în condițiile vieții reale, și nu de laborator;
2) situația complicată în care sunt implicate organizațiile, personalul angajat, echipele de manegeri și beneficiarii;
3) locațiile diferite ale programului, în condițiile unei diversități a caracteristicilor beneficiarilor acestuia;
4) complexitatea programului și interferența intervențiilor realizate în cadrul acestuia;
5) capacitatea evaluatorului de a identifica anomaliile și de a anticipa problemele potențiale;
6) abilitatea evaluatorului de a construi oportunități de cercetare;
7) identificarea datelor relevante și valorificarea explicațiilor rivale.
Abordarea cvasiexperimentală în evaluare este utilizată atunci când nu este posibilă randomizarea membrilor grupului-țintă și ai grupului comparativ. Aceasta se distinge de alte strategii de cercetare prin trei caracteristici fundamentale:
1) punerea în evidență a validității relațiilor de cauzalitate locale și de relaționare directă și simplă între cauză si efect;
2) utilizarea metodelor statistice pentru ajustarea și compensarea diferențelor inițiale dintre grupul de control și grupul țintă;
3) utilizarea unui număr redus de unități alocate studiului de evaluare, din cauza constrângerilor financiare, de timp sau de lipsa resurselor umane.
În concluzie, aplicarea interferenței cauzale în evaluare presupune identificarea relațiilor de cauzalitate, verificarea validității și masurarea variabilelor în funcție de tipul experimental sau cvasiexperimental utilizat.
Capitolul 10 – Eșantionarea în procesul de evaluare
Pentru selectarea subiecților în eșantion este necesară definirea populației incluse în procesul de evaluare. Populația studiată se referă la anumite categorii de persoane implicate în programul ce urmează a fi evaluat, fie ca beneficiari direcți sau indirecți fie ca persoane care cunosc programul sau efectele acestuia asupra populației-țintă sau a grupurilor-țintă.
Stabilirea mărimii eșantionului statistic – Stabilirea eșantionului statistic este condiționată de intenția obținerii unei reprezentativități a acestuia astfel încât să existe posibilitatea generalizării concluziilor evaluării pornind de la studierea unui număr redus de subiecți.
Strategii de construire a eșantioanelor statistice – Atunci când dorim ca evaluarea unui program să poată propună soluții și recomandări construite pe baza unor concluzii generale, valabile pentru întreaga populație beneficiară, datele fiind obținute în urma studierii unui număr limitat de subiecți, este necesară alegerea unui eșantion probabilistic, care presupune o selectare aleatoare a subiecților ce vor fi consultați, din întreaga populație investigată. Această caracteristică a eșantionului se numește reprezentativitate.
Întâlnim eșantionare:
– simpla aleatoare
– eșantionare sistematică
– eșantionare stratificată
– eșantionare multistadială
– eșantionare multifazică
– eșantionare pe cote
Strategii de construire a eșantioanelor calitative – Patton (2002) identifică mai multe strategii pentru construirea eșantioanelor calitative utilizate în evaluarea programelor: eșantioane formate din cazuri extreme sau deviante, eșantioane intensive, eșantioane cu variație maximă, eșantioane omogene, eșantioane formate din cazuri tipice, eșantioane formate din cazuri critice, eșantioane raportate la standardele de calitate, eșantioane formate din cazuri care confirmă sau infirmă ipotezele, eșantioanele teoretice și nivelul de saturație a eșantionului, eșantioane calitative stratificate, eșantioane calitative aleatoare și eșantioane formate din cazuri importante din punct de vedere politic.
Prezentarea acestor strategii de construire a eșantioanelor, atât cantitative, cât și calitative, ne oferă o imagine a diversității și complexității procesului de evaluare a programelor de asistență socială.