Ewaluacja projektu

Ewaluacja - jest to kompleksowa ocena danego projektu, polityki, programu czy inwestycji, biorąca pod uwagę wszystkie jego stadia, to jest - planowanie, realizacja, oraz pomiar rezultatów. Dostarcza ona informacji wykorzystywanych przy procesie decyzyjnym.

Zgodnie z rozporządzeniem Rady Europejskiej nr 1083/ 2006 z dnia 11 lipca 2006 roku wszystkie Kraje Członkowskie zobowiązane są do przeprowadzenia ewaluacji pomocy finansowej z funduszy strukturalnych i jej wykorzystania.

Ewaluacje można podzielić pod względem celu na strategiczne (ocena działań w odniesieniu do celów krajowych i wspólnotowych) i operacyjne (wspieranie procesu monitorowania tych działań). Występuje też podział ze względu na moment wykonania ewaluacji danego działania - ewaluacja ex ante (przed rozpoczęciem realizacji), ewaluacja bieżąca (w trakcie realizacji), oraz ewaluacja ex post (po zakończeniu realizacji).

Jako metoda oceny interwencji ewaluacja zyskuje systematycznie na znaczeniu, po roku 2013 ma być głównym miernikiem oceny polityki regionalnej i spójności.

TL;DR

Ewaluacja to kompleksowa ocena projektów, polityk, programów czy inwestycji, mająca na celu dostarczenie informacji dla procesu decyzyjnego. Istnieją różne rodzaje ewaluacji, takie jak ex ante, mid-term, on-going i ex post, które różnią się momentem wykonania oraz przedmiotem oceny. Ewaluacja ma także znaczenie w zarządzaniu projektami, gdzie jest postrzegana jako faza cyklu życia projektu. Może być realizowana przez instytucje zewnętrzne, wewnętrzne lub jako autoewaluacja. Ewaluacja jest istotnym narzędziem w ocenie polityki regionalnej i spójności.

Ewaluacja a zarządzanie projektami

Rys. 1 Fazy cyklu życia projektu według metodyki PCM

W obszarze zarządzania projektami ewaluacja może być postrzegana jako faza cyklu życia projektu [M.Trocki i in. 2013, s. 87]. Zdaniem O. Nadskakuły "ewaluacja projektu - jest to kompleksowy system oceny wartości projektów pod kątem finansowym, użytkowym oraz realizacji strategii organizacji" (O. Nadskakuła 2010, s. 9]. Jest to etap, w którym instytucja, która finansuje przedsięwzięcie, dokonuje oceny po to, aby wyjaśnić, co zostało zdobyte i wyciągnąć wnioski dla następujących projektów. Ewaluacja projektu jest częścią zarządzania cyklu życia projektu (PCM - system zarządzania projektami przyjęty przez Komisję Europejską w 1992 roku). Podstawowe zasady PCM wskazują, że ewaluacja musi być [M.Trocki i in. 2013, s. 87]:

• obiektywna i niezależna,
• prawdziwa i jednoznaczna,
• włączać interesariusza,
• użyteczna.

Ewaluacja projektu jest złożonym i powtarzającym się procesem, więc zatem najważniejszymi kryteriami ewaluacji projektów są ich koszto - i czasochłonność. Gromadzenie wiedzy o statusie projektu jest bardzo ważnym elementem kontrolowania w ujęciu paradygmatów zarządzania [P. Zaskórski 2012, s. 44]

Rodzaje ewaluacji

ze względu na czas realizacji:

• Ewaluacja ex ante (często zwana ewaluacją systemową) - jest wykonywana przed rozpoczęciem przedsięwzięcia lub programu. Ma na celu ustalenie w jakim stopniu podejmowany projekt będzie zgodny z przyjętymi założeniami i czy będzie możliwość uzyskania efektów długookresowych [M.Trocki i in. 2012, s. 272]. Ewaluacja ex ante pozwala ocenić praktyczność i racjonalność wykonywania projektu, a także jego stan przygotowawczy. Umożliwia to możliwość rezygnowania lub modyfikowania projektu jeszcze przed jego etapem początkowym, chociaż nie daje prawo ocenić wyniki projektu [M. Wirkus i in. 2014, s. 150]. Bardzo często proces ewaluacyjny jest wykonywany przez odpowiednio powołanych dla tego ekspertów na podstawie dokumentów przygotowanych przez realizatorów projektu [J.Kisielnicki 2017, s. 335]. Ewaluacja systemowa zwykle jest przygotowywana na podstawie metody Matrycy Logicznej Projektu(ang. Log Frame Matrix) [M.Trocki i in. 2013, s. 91].
• Ewaluacja mid term - jest wykonywana w połowie wdrażania przedsięwzięcia lub programu. Jej celem jest zbadać przybliżone efekty realizowanych projektów, ich wyniki, stopień osiągnięcia celów i jakość wykorzystania zasobów [M.Trocki i in. 2012, s. 272]. Ewaluacja mid-term pozwala modyfikować założenia opracowane na etapie początkowym projektu, np. częściowa zmiana celów. Taka ewaluacja jest dokonywana w oparciu o dane z procesów monitoringowych [J.Kisielnicki 2017, s. 301]. W wyniku zależenia problemów, ewaluator powinien określić odpowiednie polecenia [M.Trocki i in. 2013, s. 94].
• Ewaluacja on-going (często zwana ewaluacją bieżącą) - jest wykonywana w trakcie realizowania projektu, w dowolnym czasie — przeciwnie do ewaluacji mid term nie istnieje tutaj dokładnie ustalony termin wykonania. Bardzo często ewaluacja bieżąca jest realizowana w wyniku wykrycia istotnych problemów ważnych parametrów przedsięwzięcia. Ewaluacja on-going jest przede wszystkim związana z odnotowanym problemem, a jej wynikiem są pomysły jego rozwiązania, np. podział zasobów, zmiany w strukturze zarządzania [M.Trocki i in. 2012, s. 272]. W odróżnieniu od ewaluacji ex ante, która jest bardziej teoretyczna i oparta na prognozach i przypuszczeniach, ewaluacja bieżąca analizuje już aktualną sytuację, realne odchylenia i efekty. W tym samym czasie porównując z ewaluacja ex post, która sprzyja zwłaszcza wyciągnięciu i podsumowaniu wniosków dla przyszłych interwencji, ewaluacja bada efekty w tym samym czasie i momencie, w którym one występują. W związku z tym, jest ona najbardziej wiarygodna i pozwala zmodernizować projekt na bieżąco. Ewaluacja on-going liczy największa grupę badan wdrażanych w sektorze publicznym [M.Trocki i in. 2013, s. 95].
• Ewaluacja ex post - jest wykonywana po zakończeniu realizowanego projektu. Zwykle badaniu poddają się efekty długotrwale — skuteczność (ang. effectiveness) umożliwiająca określenie stopnia osiągnięcia celów założonych na etapie planowania przedsięwzięcia, efektywność (ang. efficiency) polegająca na porównaniu wykorzystanych zasobów z uzyskanymi rezultatami, trafność (ang. relevance), która pozwala ocenić zgodność celów projektu z wymaganiami i zapotrzebowaniem sektora, regionu czy kraju oraz trwałość (ang. sustainability), za pomocą której można wyznaczyć trwałość efektów projektu po zakończeniu jego finansowania [J.Kisielnicki 2017, s. 336]. Wyniki i polecenia z ewaluacji ex post często są wykorzystywane w fazie planowania następnych projektów. Wyodrębnia się ewaluację następczą, realizowaną od razu po zamknięciu projektu i zrealizowaną po pewnym czasie od tego przedsięwzięcia [M.Trocki i in. 2012, s. 272]. Ewaluacja ex-post przedstawia, w jakim stopniu wyniki projektu usprawiedliwiają poniesione koszty. Poza tym, w czasie ewaluacji badane są czynniki zdobytego sukcesu lub porażki [M.Trocki i in. 2013, s. 95].

ze względu na przedmiot ewaluacji:

• Ewaluacja globalna - badanie ewaluacyjne obejmujące obszar analizowanego przedsięwzięcia w całości.
• Ewaluacja horyzontalna (często zwana ewaluacją tematyczną) - badanie ewaluacyjne obejmujące jeden lub kilka obszarów tematycznych w ramach jednego lub większej ilości projektów [M.Trocki i in. 2012, s. 273]. Przykładem ewaluacji horyzontalnej można nazwać badania weryfikujące zasadę równości szans w różnorodnych programach lub stopień wpływu polityki strukturalnej na społeczeństwo informacyjne[M.Trocki i in. 2013, s. 95].
• Ewaluacja szczegółowa (często zwana ewaluacją uzupełniająca) - badanie ewaluacyjne oceniające jedno wybrane zagadnienie w ramach jednego przedsięwzięcia [M.Trocki i in. 2012, s. 273].

ze względu na funkcje:

• Ewaluacja formatywna - badanie ewaluacyjne koncentruje się na analizie procesów i ich modernizowaniu [M.Trocki i in. 2012, s. 273]. Ewaluacja formatywna jest zatem narzędziem wykorzystywanym w procesach decyzyjnych wpierające podniesieniu wartości przyszłych lub aktualnych projektów [M.Trocki i in. 2013, s. 96].
• Ewaluacja podsumowująca (często zwana ewaluacją konkluzywną) dzięki której analizie poddają się wyniki projektu jako całości. Jest ona narzędziem, który wspiera procesy decyzyjne dotyczące przyszłej realizacji przedsięwzięcia [M.Trocki i in. 2012, s. 273]. Ewaluacja podsumowująca jest wykonywana w formie post przeglądu projektu i systemu [J.Nicholas 2015, s. 671].

ze względu na podmiot oceniający:

• Ewaluacja zewnętrzna - podmiotem prowadzącym badanie ewaluacyjne jest instytucja zewnętrzna, co zwykle gwarantuje bardzo dobrą jakość i obiektywne badania, jak i również niską cenę (ze względu na konkurencję jaka występuje w tym obszarze). Wadą ewaluacji zewnętrznej może być niska znajomość organizacji realizującej przedsięwzięcie, nieadekwatne do realnej sytuacji wnioski podejmowane przez podmiot oceniający [M.Trocki i in. 2012, s. 273].
• Ewaluacja wewnętrzna - podmiotem prowadzącym badanie ewaluacyjne jest organizacja związana bezpośrednio lub pośrednio z administracją realizacji przedsięwzięcia, co zapewnia dobrą znajomość tematyki i poświęcenie. Wadą ewaluacji wewnętrznej jest brak sprawiedliwości i personelu z odpowiednimi kwalifikacjami [M.Trocki i in. 2012, s. 273]. Ewaluacja wewnętrzna prowadzi do tego, aby jednostki zewnętrzne nie mieli możliwości podejmować decyzji negatywnych z punktu widzenia wykonywanego przedsięwzięcia. Czasami ewaluacja wewnętrzna zamienia się w autoewaluację [M.Trocki i in. 2013, s. 97].
• Autoewaluacja("krytyczna refleksja nad własną pracą") - podmiotem prowadzącym badanie ewaluacyjne są osoby, które bezpośrednio zaangażowane we wdrażanie projektu. Pozwala ocenić jakość projektu jak i jego realizację. Bardzo często jest ona wykorzystywana w przypadku oceniania tylko niektórych odcinków przedsięwzięcia, a nie projektu w całości (np. założenia finansowe) [M.Trocki i in. 2012, s. 274]. Zaletą takiej ewaluacji jest funkcja wspierająca — uczestnicy zwiększają samoświadomość i obserwują procesu uczenia się [M.Trocki i in. 2013, s. 97].

Ewaluacja projektu — artykuły polecane

Metodyka PCM — Zarządzanie komunikacją wg PMBOK — Portfel projektów — Szacowanie czasu trwania zadań — Zarządzanie ryzykiem wg PMBOK — Badanie ewaluacyjne — Analiza ryzyka — PCM - Etap oceny i audytu — Arkusz analizy ryzyka

Bibliografia

• Dasgupta, P., Sen, A., & Marglin, S. (1972). Guidelines for project evaluation. In UNIDO. Project Formulation and Evaluation (Vol. 2). United Nations. UNIDO
• Frechtling, J. (2002). The 2002 User-Friendly Handbook for Project Evaluation
• Johnston S., Kozak M., Pyszkowski A., Sieradzki J. (1999), Od programu Phare do zreformowanych Funduszy Strukturalnych, Polska Agencja Rozwoju Regionalnego, Warszawa
• Kisielnicki J. (2017), Zarządzanie projektami. Ludzie - procedury - wyniki, Wydawnictwo Nieoczywiste, Piaseczno
• Kisielnicki J. (2017), Zarządzanie projektami. Ludzie - procedury - wyniki, Wydawnictwo Nieoczywiste, Piaseczno
• Kozak M., Kukliński A., Szlachta J. (red.) (1997), Polityka rozwoju regionalnego - innowacje i restrukturyzacja, Polska Agencja Rozwoju Regionalnego, Uniwersytet Warszawski, Centralny Urząd Planowania, Warszawa
• Łopacińska L. (2011). Ewaluacja strategicznych programów badawczych, "Problemy eksploatacji", nr 2
• Nadskakuła O. (2010), Ewaluacja projektów, Bizzare, Warszawa
• Nicholas J., Steyn H. (2015), Zarządzanie projektami zastosowania w biznesie, inżynierii i nowoczesnych technologiach, Wolters Kluwer, Warszawa
• Trocki M. (2012), Nowoczesne zarządzanie projektami, Polskie Wydawnictwo Ekonomiczne, Warszawa
• Trocki M. (2013), Ocena projektów - koncepcje i metody, Oficyna Wydawnicza Szkoła Główna Handlowa w Warszawie, Warszawa
• Walaszczyk L. (2016), Evaluation model for innovative research projects in the 2014-2020 perspective, Problemy eksploatacji, nr 2
• Wirkus M., Roszkowski H., Dostatni E., Gierulski W. (2014), Zarządzanie projektem, Polskie Wydawnictwo Ekonomiczne, Warszawa
• Zaskórski P. (2012), Ewaluacja projektów, Zeszyty Naukowe Wyższej Szkoły Informatyki w Warszawie, nr 8

Autor: Elvira Shymanevska, Piotr Urbański