Metodologia badań

Głównym zadaniem ewaluacji jest znalezienie odpowiedzi na dwa rodzaje pytań:

• Po pierwsze, czy w wyniku podjętych przez nas działań nastąpiły pozytywne zmiany społeczno-ekonomiczne, a jeżeli tak, to jak duże są to zmiany (pytania „czy?” oraz „ile?”).
• Po drugie, jakie są mechanizmy zaobserwowanych przez nas zmian (pytanie „dlaczego?”). W celu znalezienia odpowiedzi na powyższe pytania stosowane są odpowiednio dwa rodzaje podejść badawczych.

W ramach podejścia pierwszego stosowane są metody i techniki, które pozwalają nam zmierzyć efekty społeczno-ekonomiczne w obszarze naszego działania. Metody te ustalają również związki przyczynowo-skutkowe pomiędzy zaobserwowanymi zmianami a podjętymi przez nas działaniami. Podejście to umożliwia nam zatem udzielenie odpowiedzi na pytanie, czy wdrożona przez nas interwencja publiczna przyniosła pożądane efekty. Najdoskonalszymi stosowanymi w tym przypadku metodami są metody kontrfaktyczne (counterfactual impact evaluation). Ich celem jest pokazanie, jak wyglądałaby sytuacja społeczno-ekonomiczna, gdyby dana interwencja nie była realizowana. Porównanie tej hipotetycznej sytuacji z sytuacją rzeczywistą, jaka zaistniała po interwencji, umożliwia nam zmierzenie efektów netto podjętych działań. Do stworzenia sytuacji kontrfaktycznej („co by było, gdyby nie było interwencji”) służą grupy kontrolne. W dużym uproszczeniu są to grupy podmiotów (osób, firm itp.) nie objętych interwencją, które są w możliwie największym zakresie podobne do grup objętych interwencją.

Drugie podejście badawcze ma na celu wyjaśnienie, co zadecydowało o naszym sukcesie lub porażce. Zadaniem stosowanych metod i technik jest w tym przypadku opisanie i wytłumaczenie jakie były przyczyny i mechanizmy zaobserwowanych zmian. Podejście to nazywane ewaluacją opartą o teorię (theory based evaluation) pozwala nam zrozumieć, dlaczego dana interwencja przyniosła takie, a nie inne efekty. Istotnym elementem oceny jest tutaj również badanie kontekstu, czyli specyficznych warunków społeczno-ekonomicznych wdrażanej interwencji. Skuteczność i efektywność instrumentów zależy bowiem bardzo często od warunków w jakich są one stosowane. Dzięki temu zdobywamy wiedzę, którą możemy wykorzystać przy planowaniu następnych interwencji publicznych – wiemy co powinno zadziałać i w jakich warunkach społeczno-ekonomicznych. Zaprezentowane powyżej podejścia są do siebie komplementarne. Każde „pełne” badanie ewaluacyjne powinno co do zasady stosować obydwa podejścia. Sformułowanie użytecznych wniosków i rekomendacji wymaga bowiem zarówno precyzyjnego i wiarygodnego pomiaru zakresu oddziaływania interwencji, jak również wyjaśnienia jego mechanizmów. Znalezienie odpowiedzi na dwa rodzaje pytań, tzn. czy zastosowane instrumenty zadziałały (lub nie) i dlaczego zadziałały (lub nie) jest warunkiem koniecznym dla wyciągnięcia z ewaluacji użytecznych lekcji na przyszłość.

Katalog metod i technik używanych w ewaluacji jest bardzo szeroki i czerpie z bogatego doświadczenia nauk społecznych (głównie socjologii) oraz ekonomicznych. Kwestią, która różni ewaluację od socjologii i ekonomii jest dodatkowy ważny element - ocena przebadanych zjawisk. Innymi słowy, ewaluacja idzie krok dalej od badań naukowych: tam, gdzie naukowcy opisują zastaną rzeczywistość, ewaluator próbuje dokonać oceny zaobserwowanych zjawisk poprzez ustalone kryteria oraz formułuje rekomendacje mające usprawnić działania decydentów.

Dane pierwotne i wtórne

Rozróżnienie danych pierwotnych i wtórnych jest jednym z podstawowych podziałów w metodologii badań. Dane pierwotne to dane zbierane bezpośrednio od respondentów w trakcie wywiadów, ankiet itp. Dane wtórne są natomiast wynikiem dokonanych wcześniej analiz lub pochodzą z dokumentów źródłowych. Zasadniczo zaleca się łączyć w badaniu analizy danych pierwotnych i wtórnych, ponieważ konfrontując te dwa źródła - otrzymuje się pełniejszy obraz. Dodatkową zaletą danych wtórnych jest to, że ich pozyskanie jest zdecydowanie tańsze od danych pierwotnych. Są to też często dane wysokiej jakości.

Podział na metody ilościowe i jakościowe to podstawowy podział metod w naukach badawczych. Najkrócej ujmując, metody ilościowe zbierają wartości liczbowe, które można zliczać, a jakościowe zbierają opinie, pozwalające na pogłębioną interpretację. Co to oznacza w praktyce? Metody ilościowe dają możliwość obróbki narzędziami statystycznymi, ale wyniki są bardziej ogólne. Metody jakościowe dają możliwość pogłębionej obserwacji szczególnych przypadków, ale nie można generalizować danych na populację. Metod ilościowych i jakościowych nie można stosować zamiennie. To metody, które służą innym celom. Zazwyczaj optymalnym rozwiązaniem jest łączeniu obu metod w ramach jednego badania.

Co to jest triangulacja i dlaczego się przydaje?

Triangulacja polega na zwielokrotnieniu metod, technik oraz źródeł danych (dwóch lub więcej) w celu skonfrontowania otrzymanych informacji i ich podsumowania. Można ją również zastosować w zespole badawczym poprzez kilkukrotne analizowanie wyników przez różnych badaczy. Triangulacja pozwala na zmniejszenie błędów pomiaru i podniesienie jakości badania. Wyniki badania stają się wówczas mniej podatne na błędy, a tym samym bardziej wiarygodne. Aby zwiększyć odporność badania na błędy, możemy zwielokrotnić:

• metody i techniki badawcze,
• źródła informacji,
• typy danych i technik analitycznych,
• teorie wyjaśniające,
• liczbę osób realizujących badanie.

Dzięki temu możliwe jest wykrycie i naprawienie błędów badania przez skrzyżowanie rozmaitych punktów widzenia.

Aby dobrać poprawnie metody i techniki do badania, należy wyjść od celów badania oraz pytań badawczych. Poprawnie sformułowane cele i pytania narzucają pewien określony minimalny zestaw metod badawczych, bez którego udzielenie odpowiedzi na zadane pytania nie będzie możliwe. Oczywiście pożądane i konieczne jest rozszerzanie tego zestawu w celu zwielokrotnienia metod (czyli tzw. triangulacja) i podniesienia jakości ewaluacji. Do każdego pytania badawczego powinna być dopasowana metoda (lub technika). 

W praktyce jedna metoda może odpowiadać na kilka pytań lub odwrotnie – kilka metod może odpowiadać na jedno pytanie. Przydatne w tym celu może być skonstruowanie tabeli, łączącej odpowiednie techniki i pytania badawcze.