Ocena - Evaluation

Ewaluacja to systematyczne określanie zasług, wartości i znaczenia podmiotu przy użyciu kryteriów rządzących się zestawem standardów . Może pomóc organizacji, programowi, projektowi, projektowi lub jakiejkolwiek innej interwencji lub inicjatywie w ocenie dowolnego celu, możliwej do zrealizowania koncepcji/propozycji lub jakiejkolwiek alternatywy, aby pomóc w podjęciu decyzji ; lub w celu ustalenia stopnia osiągnięcia lub wartości w odniesieniu do celu i celów oraz wyników każdego takiego działania, które zostało zakończone. Podstawowym celem ewaluacji, oprócz uzyskania wglądu w wcześniejsze lub istniejące inicjatywy, jest umożliwienie refleksji i pomoc w identyfikacji przyszłych zmian.

Ewaluacja jest często wykorzystywana do scharakteryzowania i oceny tematów będących przedmiotem zainteresowania w szerokim zakresie przedsiębiorstw ludzkich, w tym w sztuce , sądownictwie karnym , fundacjach , organizacjach non-profit , rządzie , opiece zdrowotnej i innych usługach dla ludzi. To jest długoterminowe i robione na koniec okresu.

Definicja

Ewaluacja to uporządkowana interpretacja i nadanie znaczenia przewidywanym lub rzeczywistym wpływom propozycji lub wyników. Przygląda się pierwotnym celom oraz temu, co przewidywano lub co zostało osiągnięte i jak to zostało osiągnięte. Tak więc ewaluacja może mieć charakter formatywny , czyli ma miejsce podczas opracowywania koncepcji lub wniosku, projektu lub organizacji, z zamiarem poprawy wartości lub skuteczności wniosku, projektu lub organizacji. Może być również podsumowujący , wyciągający wnioski z zakończonego działania lub projektu lub organizacji w późniejszym czasie lub okolicznościach.

Ewaluacja jest z natury podejściem opartym na teorii (czy to wyraźnie, czy nie), a zatem każda konkretna definicja ewaluacji zostałaby dostosowana do jej kontekstu – teorii, potrzeb, celu i metodologii samego procesu ewaluacji. Powiedziawszy to, ocena została zdefiniowana jako:

  • Systematyczne, rygorystyczne i skrupulatne stosowanie metod naukowych do oceny projektu, wdrożenia, doskonalenia lub wyników programu. Jest to proces wymagający dużych zasobów, często wymagający zasobów, takich jak ocena wiedzy fachowej, pracy, czasu i sporego budżetu
  • „Krytyczna ocena, w możliwie najbardziej obiektywny sposób, stopnia, w jakim usługa lub jej części składowe spełniają postawione cele” (St Leger i Wordsworth-Bell). Celem tej definicji jest uzyskanie obiektywnej wiedzy oraz naukowy lub ilościowy pomiar wcześniej ustalonych i zewnętrznych pojęć.
  • „Badanie zaprojektowane, aby pomóc niektórym odbiorcom ocenić wartość i wartość obiektu” (Stufflebeam). W tej definicji nacisk kładziony jest na fakty, jak również na wartościujące oceny wyników i wartości programów.

Cel, powód

Głównym celem ewaluacji programu może być „określenie jakości programu poprzez sformułowanie oceny” Marthe Hurteau, Sylvain Houle, Stéphanie Mongiat (2009).

Alternatywny pogląd jest taki, że „projekty, ewaluatorzy i inni interesariusze (w tym sponsorzy) będą mieli potencjalnie różne pomysły na to, jak najlepiej ocenić projekt, ponieważ każdy z nich może mieć inną definicję „zasługi”. określenie, co ma wartość”. Z tej perspektywy ewaluacja „jest terminem spornym”, ponieważ „ewaluatorzy” używają terminu ewaluacja do opisania oceny lub badania programu, podczas gdy inni po prostu rozumieją ewaluację jako synonim badań stosowanych.

Istnieją dwie funkcje, biorąc pod uwagę cel ewaluacji. Ewaluacje Formatywne dostarczają informacji na temat ulepszania produktu lub procesu. Ewaluacje Sumatywne dostarczają informacji o krótkoterminowej skuteczności lub długoterminowym wpływie na podjęcie decyzji o przyjęciu produktu lub procesu.

Nie wszystkie ewaluacje służą temu samemu celowi. Niektóre ewaluacje pełnią funkcję monitoringu, zamiast skupiać się wyłącznie na mierzalnych wynikach programu lub ustaleniach ewaluacji, a zestawienie pełnej listy rodzajów ewaluacji byłoby trudne. Wynika to z faktu, że ewaluacja nie jest częścią ujednoliconych ram teoretycznych, czerpiących z wielu dyscyplin, do których należą teoria zarządzania i organizacji , analiza polityki , edukacja , socjologia , antropologia społeczna i zmiana społeczna .

Dyskusja

Jednak ścisłe przestrzeganie zestawu założeń metodologicznych może sprawić, że dziedzina ewaluacji stanie się bardziej akceptowalna dla głównego nurtu odbiorców, ale to przestrzeganie będzie działać w kierunku uniemożliwienia ewaluatorom opracowywania nowych strategii radzenia sobie z niezliczonymi problemami, z którymi borykają się programy.

Twierdzi się, że tylko niewielka część raportów ewaluacyjnych wykorzystywane są przez evaluand (klient) (Datta, 2006). Jednym z uzasadnień jest to, że „kiedy wyniki ewaluacji są kwestionowane lub ich wykorzystanie nie powiodło się, dzieje się tak dlatego, że interesariusze i klienci uznali wnioski za słabe lub przesłanki za nieprzekonujące” (Fournier i Smith, 1993). Przyczynami takiej sytuacji może być nieumiejętność ustalenia przez ewaluatora zbioru wspólnych celów z ewaluowanym lub tworzenie zbyt ambitnych celów, a także nieumiejętność kompromisu i niewłączania różnic kulturowych osób i programów w cele i proces ewaluacji. .

Żaden z tych problemów nie wynika z braku definicji ewaluacji, ale raczej z tego, że ewaluatorzy próbują narzucić predysponowane pojęcia i definicje ewaluacji klientom. Głównym powodem słabego wykorzystania ewaluacji jest prawdopodobnie brak dostosowania ewaluacji do potrzeb klienta, ze względu na wcześniej zdefiniowaną ideę (lub definicję) tego, czym jest ewaluacja, a nie czego klient potrzebuje (House , 1980).

Opracowanie standardowej metodologii ewaluacji będzie wymagało znalezienia odpowiednich sposobów zadawania i przedstawiania wyników pytań dotyczących etyki, takich jak agent-zleceniodawca, prywatność, definicja interesariuszy, ograniczona odpowiedzialność; i czy pieniądze można wydać mądrzej.

Normy

W zależności od interesującego tematu istnieją grupy zawodowe, które dokonują przeglądu jakości i rygoryzmu procesów ewaluacyjnych.

Ocena programów i projektów pod kątem ich wartości i wpływu w kontekście, w jakim są wdrażane, może być wyzwaniem z etycznego punktu widzenia . Ewaluatorzy mogą napotkać złożone, specyficzne kulturowo systemy odporne na ewaluację zewnętrzną. Ponadto organizacja projektu lub inni interesariusze mogą być zainwestowani w konkretny wynik ewaluacji. Wreszcie, sami oceniający mogą napotkać problemy związane z „ konfliktem interesów (COI) ” lub doświadczyć ingerencji lub presji, aby przedstawić wyniki, które wspierają daną ocenę.

Ogólne kodeksy postępowania zawodowego , określone przez organizację zatrudniającą, zwykle obejmują trzy szerokie aspekty standardów behawioralnych i obejmują relacje międzyuczelniane (takie jak poszanowanie różnorodności i prywatności ), kwestie operacyjne (należyte kompetencje , dokładność dokumentacji oraz właściwe wykorzystanie zasobów) oraz konflikty interesów ( nepotyzm , przyjmowanie prezentów i inne formy faworyzowania). Wymagane są jednak konkretne wytyczne dotyczące roli ewaluatora, które można wykorzystać w zarządzaniu wyjątkowymi wyzwaniami etycznymi. Wspólny Komitet Standardów Ewaluacji w Edukacji opracowała standardy dla programu, personelu i oceny studentów. Standardy Wspólnego Komitetu są podzielone na cztery sekcje: użyteczność, wykonalność, poprawność i dokładność. Różne instytucje europejskie również przygotowały własne standardy, mniej lub bardziej powiązane z tymi opracowanymi przez Wspólny Komitet. Dostarczają wskazówek dotyczących oparcia ocen wartościujących na systematycznych badaniach, kompetencjach i uczciwości ewaluatorów, szacunku dla ludzi oraz poszanowaniu ogólnego i publicznego dobra.

Amerykańskie Stowarzyszenie Ewaluacyjne stworzyło zestaw Zasad Przewodnich dla ewaluatorów. Kolejność tych zasad nie oznacza pierwszeństwa wśród nich; priorytet będzie różny w zależności od sytuacji i roli oceniającego. Zasady działają w następujący sposób:

  • Systematyczne dochodzenie : oceniający przeprowadzają systematyczne, oparte na danych zapytania dotyczące tego, co jest oceniane. Wymaga to wysokiej jakości gromadzenia danych, w tym wyboru wskaźników, które można obronić, co zapewnia wiarygodność ustaleń. Ustalenia są wiarygodne, gdy są wyraźnie poparte dowodami, wiarygodne i trafne. Odnosi się to również do wyboru zastosowanej metodologii , tak aby była zgodna z celami ewaluacji i dostarczała wiarygodnych danych. Ponadto użyteczność wyników jest krytyczna, ponieważ informacje uzyskane w wyniku ewaluacji są wyczerpujące i aktualne, a tym samym służą zapewnieniu maksymalnych korzyści i wykorzystaniu dla interesariuszy .
  • Kompetencje: ewaluatorzy zapewniają kompetentne działanie interesariuszom . Wymaga to, aby zespoły ewaluacyjne zawierały odpowiednią kombinację kompetencji, tak aby w procesie ewaluacji dostępna była zróżnicowana i odpowiednia wiedza specjalistyczna oraz aby ewaluatorzy pracowali w ramach swoich umiejętności.
  • Uczciwość / Uczciwość : ewaluatorzy zapewniają uczciwość i integralność całego procesu oceny. Kluczowym elementem tej zasady jest brak uprzedzeń w ocenie, co podkreślają trzy zasady: bezstronność, niezależność i przejrzystość.

Niezależność osiąga się poprzez zapewnienie niezależności osądu, tak aby na wnioski z ewaluacji nie wpływała ani nie wywierała presji ze strony drugiej strony, oraz unikanie konfliktu interesów, tak że ewaluator nie ma żadnego interesu w konkretnym wniosku. Konflikt interesów ma miejsce szczególnie tam, gdzie finansowanie ewaluacji jest zapewniane przez poszczególne organy, które mają interes we wnioskach z ewaluacji, co jest postrzegane jako potencjalnie zagrażające niezależności ewaluatora. Chociaż uznaje się, że ewaluatorzy mogą być zaznajomieni z agencjami lub projektami, które mają ocenić, niezależność wymaga, aby nie byli oni zaangażowani w planowanie lub wdrażanie projektu. W przypadku stwierdzenia korzyści lub związku z projektem należy złożyć deklarację zainteresowania. Wymagana jest niezależność osądu wobec wszelkich nacisków wywieranych na ewaluatorów, na przykład przez podmioty finansujące projekty, które chcą zmodyfikować oceny w taki sposób, aby projekt wydawał się bardziej skuteczny niż

ustalenia mogą zweryfikować.

Bezstronność dotyczy ustaleń będących rzetelną i dokładną oceną mocnych i słabych stron projektu lub programu. Wymaga to należytego wkładu wszystkich zaangażowanych interesariuszy i przedstawienia wyników bez uprzedzeń oraz z przejrzystym, proporcjonalnym i przekonującym powiązaniem między wynikami a zaleceniami. W związku z tym oceniający muszą ograniczyć swoje ustalenia do dowodów. Mechanizmem zapewniającym bezstronność jest przegląd zewnętrzny i wewnętrzny. Taki przegląd jest wymagany w przypadku znaczących (określonych pod względem kosztów lub wrażliwości) ocen. Przegląd opiera się na jakości pracy i stopniu, w jakim istnieje możliwy do wykazania związek między ustaleniami

i zalecenia.

Przejrzystość wymaga, aby interesariusze byli świadomi przyczyny ewaluacji, kryteriów, według których odbywa się ewaluacja oraz celów, do których wyniki zostaną zastosowane. Dostęp do dokumentu ewaluacyjnego powinien być ułatwiony dzięki łatwo czytelnym wynikom, z jasnymi wyjaśnieniami metod ewaluacji, podejść, źródeł informacji i kosztów

poniesione.

  • Szacunek dla ludzi: Ewaluatorzy szanują bezpieczeństwo , godność i poczucie własnej wartości respondentów, uczestników programu , klientów i innych interesariuszy, z którymi wchodzą w interakcje . Jest to szczególnie istotne w odniesieniu do tych, na których wyniki ewaluacji będą miały wpływ. Ochrona osób obejmuje zapewnienie świadomej zgody osób zaangażowanych w ewaluację, zachowanie poufności oraz zapewnienie, że tożsamość osób, które mogą przekazywać wrażliwe informacje na potrzeby ewaluacji programu, jest chroniona. Ewaluatorzy są etycznie zobowiązani do poszanowania zwyczajów i przekonań osób, na które ma wpływ ewaluacja lub działania programowe. Przykładami demonstrowania takiego szacunku jest poszanowanie lokalnych zwyczajów, np. zasad ubioru, poszanowanie prywatności ludzi i minimalizowanie wymagań dotyczących czasu innych. Tam, gdzie interesariusze chcą zgłosić zastrzeżenia do wyników ewaluacji, taki proces powinien być ułatwiony przez lokalne biuro organizacji ewaluacyjnej, a procedury składania skarg lub zapytań powinny być dostępne i jasne.
  • Odpowiedzialność za ogólny i publiczny dobrobyt : Ewaluatorzy wyrażają i biorą pod uwagę różnorodność interesów i wartości, które mogą być związane z ogólnym i publicznym dobrem. Należy ułatwić dostęp do dokumentów ewaluacyjnych szerszej publiczności, tak aby umożliwić dyskusję i informacje zwrotne.

Ponadto organizacje międzynarodowe, takie jak MFW i Bank Światowy, pełnią niezależne funkcje oceny. Różne fundusze, programy i agencje Organizacji Narodów Zjednoczonych pełnią mieszankę niezależnych, częściowo niezależnych i samooceny funkcji, które zorganizowały się w ogólnosystemową Grupę Oceniającą ONZ (UNEG), która współpracuje w celu wzmocnienia funkcji oraz ustanowienie norm i standardów ONZ dotyczących oceny. W ramach OECD-DAC istnieje również grupa ewaluacyjna, która stara się poprawić standardy oceny rozwoju. Niezależne jednostki ewaluacyjne głównych międzynarodowych banków rozwoju (MDB) również utworzyły Grupę Współpracy ds. Oceny, aby wzmocnić wykorzystanie ewaluacji w celu zwiększenia skuteczności i odpowiedzialności MDB, dzielić się wnioskami z ewaluacji MDB oraz promować harmonizację i współpracę ewaluacji.

Perspektywy

Słowo „ocena” ma różne konotacje dla różnych osób, poruszając kwestie związane z tym procesem, które obejmują; jaki rodzaj ewaluacji należy przeprowadzić; dlaczego powinien istnieć proces ewaluacji i jak ewaluacja jest zintegrowana z programem w celu zdobycia większej wiedzy i świadomości?

Istnieją również różne czynniki nieodłącznie związane z procesem oceny, na przykład; do krytycznego zbadania wpływów w programie, które obejmują zbieranie i analizowanie względnych informacji o programie. Michael Quinn Patton umotywował koncepcję, że procedura oceny powinna być ukierunkowana na:

  • Zajęcia
  • Charakterystyka
  • Wyniki
  • Wydawanie osądów na temat programu
  • Poprawa jego skuteczności,
  • Świadome decyzje programistyczne

Opierając się na innej perspektywie ewaluacji przeprowadzonej przez Thomsona i Hoffmana w 2003 r., możliwe jest napotkanie sytuacji, w której proces ten nie mógłby być uznany za celowy; na przykład w przypadku, gdy program jest nieprzewidywalny lub niepoprawny. Oznaczałoby to brak spójnej rutyny; lub zainteresowane strony nie mogące osiągnąć porozumienia co do celu programu. Ponadto osoba mająca wpływ lub menedżer odmawia włączenia istotnych, ważnych kwestii centralnych do oceny

Podejścia

Istnieje kilka koncepcyjnie odmiennych sposobów myślenia, projektowania i prowadzenia działań ewaluacyjnych. Wiele z obecnie stosowanych podejść ewaluacyjnych wnosi naprawdę wyjątkowy wkład w rozwiązywanie ważnych problemów, podczas gdy inne w pewien sposób udoskonalają istniejące podejścia.

Klasyfikacja podejść

Dwie klasyfikacje podejść ewaluacyjnych autorstwa House'a i Stufflebeam'a oraz Webstera można połączyć w możliwą do opanowania liczbę podejść pod względem ich unikalnych i ważnych zasad leżących u ich podstaw.

House uważa, że ​​wszystkie główne podejścia do oceny opierają się na wspólnej ideologii zwanej liberalną demokracją . Ważnymi zasadami tej ideologii są wolność wyboru, wyjątkowość jednostki i dociekania empiryczne oparte na obiektywności . Twierdzi również, że wszystkie one opierają się na subiektywistycznej etyce, w której etyczne postępowanie opiera się na subiektywnym lub intuicyjnym doświadczeniu jednostki lub grupy. Jedna z form etyki subiektywistycznej jest utylitarna , w której „ dobro ” jest określane przez to, co maksymalizuje jedną, jednoznaczną interpretację szczęścia dla społeczeństwa jako całości. Inną formą etyki subiektywistycznej jest etyka intuicjonistyczna / pluralistyczna , w której nie zakłada się jednej interpretacji „dobra” i takie interpretacje nie muszą być wyraźnie stwierdzane ani uzasadnione.

Te pozycje etyczne mają odpowiadające im epistemologiefilozofie zdobywania wiedzy . Epistemologia obiektywistyczna wiąże się z etyką utylitaryzmu; na ogół służy do zdobywania wiedzy, która może być zweryfikowana zewnętrznie (zgoda intersubiektywna) za pomocą publicznie dostępnych metod i danych . Epistemologia subiektywistyczna jest powiązana z etyką intuicjonistyczną/pluralistyczną i służy do zdobywania nowej wiedzy w oparciu o istniejącą wiedzę osobistą, a także doświadczenia, które są (jawne) lub nie są (ukryte) dostępne do publicznego wglądu. House następnie dzieli każde podejście epistemologiczne na dwie główne perspektywy polityczne. Po pierwsze, podejścia mogą przyjąć elitarną perspektywę, koncentrując się na zainteresowaniach menedżerów i profesjonalistów; mogą też przyjąć perspektywę masową, skupiając się na konsumentach i podejściach partycypacyjnych .

Stufflebeam i Webster umieszczają podejścia w jednej z trzech grup, zgodnie z ich orientacją na rolę wartości i rozważania etyczne. Orientacja polityczna promuje pozytywne lub negatywne spojrzenie na przedmiot, niezależnie od tego, jaka jest jego wartość i jaka może być – nazywają to pseudooceną . Orientacja na pytania obejmuje podejścia, które mogą, ale nie muszą dostarczać odpowiedzi konkretnie związanych z wartością obiektu – nazywają to quasi- oceną. Orientacja na wartości obejmuje podejścia, których głównym celem jest określenie wartości obiektu — nazywają to prawdziwą oceną.

Gdy powyższe koncepcje rozważa się jednocześnie, można zidentyfikować piętnaście podejść ewaluacyjnych pod względem epistemologii, głównej perspektywy (z House) i orientacji. Reprezentowane są dwa podejścia pseudo-ewaluacyjne, kontrolowane politycznie i studia public relations. Opierają się na obiektywistycznej epistemologii z perspektywy elity. Sześć podejść quasi-ewaluacyjnych wykorzystuje obiektywistyczną epistemologię. Pięć z nich — badania eksperymentalne , systemy informacji zarządczej , programy testowe, badania oparte na celach i analiza treści — przyjmuje perspektywę elitarną. Odpowiedzialność ma perspektywę masową. Uwzględniono siedem prawdziwych podejść do oceny. Dwa podejścia, zorientowane na decyzje i studia nad polityką , opierają się na obiektywistycznej epistemologii z perspektywy elity. Badania zorientowane na konsumenta opierają się na obiektywistycznej epistemologii z perspektywy masowej. Dwa podejścia — akredytacja/certyfikacja i badania koneserów — opierają się na subiektywistycznej epistemologii z perspektywy elity. Wreszcie, badania zorientowane na przeciwnika i klienta opierają się na subiektywistycznej epistemologii z perspektywy masowej.

Podsumowanie podejść

Poniższa tabela służy do podsumowania każdego podejścia pod kątem czterech atrybutów — organizatora , celu, mocnych stron i słabych stron. Organizator przedstawia główne względy lub wskazówki stosowane przez praktyków do zorganizowania badania. Cel reprezentuje pożądany wynik badania na bardzo ogólnym poziomie. Mocne i słabe strony reprezentują inne atrybuty, które należy wziąć pod uwagę przy podejmowaniu decyzji, czy zastosować podejście do konkretnego badania. Poniższa narracja podkreśla różnice między podejściami zgrupowanymi razem.

Podsumowanie podejść do przeprowadzania ewaluacji
Zbliżać się Atrybut
Organizator Cel, powód Kluczowe mocne strony Kluczowe słabości
Kontrolowany politycznie Zagrożenia Zdobądź, zachowaj lub zwiększ wpływy, władzę lub pieniądze. Zabezpiecz dowody korzystne dla klienta w konflikcie. Narusza zasadę pełnego i szczerego ujawniania.
Public relations Potrzeby propagandowe Stwórz pozytywny wizerunek publiczny. Zabezpiecz dowody, które najprawdopodobniej wzmocnią poparcie publiczne. Narusza zasady wyważonego raportowania, uzasadnionych wniosków i obiektywizmu.
Badania eksperymentalne Związki przyczynowe Określ związki przyczynowe między zmiennymi. Najsilniejszy paradygmat określania związków przyczynowych. Wymaga kontrolowanego ustawienia, ogranicza zakres dowodów, skupia się przede wszystkim na wynikach.
Systemy informacji zarządczej Skuteczność naukowa Nieustannie dostarczaj dowody potrzebne do finansowania, kierowania i kontroli programów. Daje menedżerom szczegółowe dowody dotyczące złożonych programów. Zmienne związane z usługami ludzkimi rzadko podlegają wąskim, ilościowym definicjom.
Programy testowe Różnice indywidualne Porównaj wyniki testów osób i grup z wybranymi normami. Tworzy ważne i wiarygodne dowody w wielu obszarach wydajności. Bardzo znane publiczności. Dane zwykle tylko na temat wyników testowanego, nadmiernie podkreślają umiejętności zdawania testu, mogą być słabą próbką tego, czego się uczy lub czego oczekuje.
Oparte na celach Cele Odnosi wyniki do celów. Powszechnie stosowany zdrowy rozsądek, wykorzystuje cele behawioralne i technologie testowania. Prowadzi do ostatecznych dowodów często zbyt wąskich, aby stanowić podstawę do oceny wartości programu.
Analiza treści Treść komunikatu Opisz i wyciągnij wnioski dotyczące komunikacji. Pozwala na dyskretną analizę dużych ilości nieuporządkowanych, symbolicznych materiałów. Próbka może być niereprezentatywna, ale przytłaczająca pod względem objętości. Projekt analizy często jest zbyt uproszczony w przypadku pytań.
Odpowiedzialność Oczekiwania dotyczące wydajności Zapewnij składnikom dokładne rozliczenie wyników. Popularny wśród wyborców. Ma na celu poprawę jakości produktów i usług. Tworzy niepokoje między praktykami a konsumentami. Polityka często wymusza przedwczesne studia.
Zorientowany na podejmowanie decyzji Decyzje Zapewnij bazę wiedzy i wartości do podejmowania i obrony decyzji. Zachęca do korzystania z ewaluacji do planowania i wdrażania potrzebnych programów. Pomaga uzasadnić decyzje dotyczące planów i działań. Niezbędna współpraca pomiędzy oceniającym a decydentem daje możliwość stronniczości wyników.
Studia polityczne Zagadnienia ogólne Zidentyfikuj i oceń potencjalne koszty i korzyści konkurencyjnych polityk. Nadaj ogólny kierunek szeroko skoncentrowanym działaniom. Często skorumpowane lub obalane przez politycznie motywowane działania uczestników.
Zorientowany na konsumenta Uogólnione potrzeby i wartości, efekty Oceń względne zalety alternatywnych towarów i usług. Niezależna ocena w celu ochrony praktyków i konsumentów przed tandetnymi produktami i usługami. Wysoka wiarygodność publiczna. Może nie pomóc praktykującym w lepszej pracy. Wymaga wiarygodnych i kompetentnych ewaluatorów.
Akredytacja / certyfikacja Normy i wytyczne Określ, czy instytucje, programy i personel powinny być zatwierdzone do wykonywania określonych funkcji. Pomaga społeczeństwu podejmować świadome decyzje dotyczące jakości organizacji i kwalifikacji personelu. Standardy i wytyczne zazwyczaj kładą nacisk na wewnętrzne kryteria z wyłączeniem miar wyników.
Znawca Krytyczne drogowskazy Krytycznie opisz, oceń i oświetl obiekt. Wykorzystuje wysoko rozwiniętą wiedzę specjalistyczną na interesujący temat. Może zainspirować innych do bardziej wnikliwych wysiłków. Zależny od niewielkiej liczby ekspertów, co sprawia, że ​​ocena jest podatna na subiektywność, uprzedzenia i korupcję.
Ocena przeciwnika „Gorące” problemy Przedstaw zalety i wady problemu. Zapewnia równowagę prezentacji reprezentowanych perspektyw. Może zniechęcać do współpracy, potęgować animozje.
Zorientowany na klienta Konkretne obawy i problemy Promuj zrozumienie działań i tego, jak są one oceniane w danym otoczeniu i z różnych perspektyw. Praktykujący otrzymują pomoc w przeprowadzeniu własnej oceny. Niska wiarygodność zewnętrzna, podatna na uprzedzenia na korzyść uczestników.
Notatka. Zaadaptowane i skondensowane głównie z House (1978) oraz Stufflebeam & Webster (1980).

Pseudo-ocena

Studia kontrolowane politycznie i public relations opierają się na obiektywistycznej epistemologii z perspektywy elity . Chociaż oba te podejścia mają na celu błędną interpretację interpretacji wartości obiektu, działają one różnie. Informacje uzyskane w wyniku badań kontrolowanych politycznie są ujawniane lub zatajane w celu zaspokojenia szczególnych interesów posiadacza, natomiast informacje public relations tworzą pozytywny wizerunek obiektu niezależnie od rzeczywistej sytuacji. Pomimo zastosowania obu badań w rzeczywistych scenariuszach, żadne z tych podejść nie jest dopuszczalną praktyką ewaluacyjną.

Obiektywista, elitarny, quasi-ewaluacyjny

Jako grupa, te pięć podejść reprezentuje wysoce szanowany zbiór zdyscyplinowanych podejść do dociekania. Są uważane za podejścia quasi-ewaluacyjne, ponieważ poszczególne badania mogą słusznie koncentrować się tylko na kwestiach wiedzy, bez zajmowania się żadnymi kwestiami wartościowymi. Takie badania z definicji nie są ocenami. Podejścia te mogą dawać charakterystykę bez dokonywania ocen, chociaż konkretne badania mogą dawać jedno i drugie. Każde z tych podejść dobrze służy swojemu zamierzonemu celowi. Omówiono je z grubsza w kolejności, w jakiej zbliżają się do ideału obiektywizmu.

  • Badania eksperymentalne są najlepszym podejściem do określania związków przyczynowych między zmiennymi . Potencjalny problem z wykorzystaniem tego podejścia jako metody oceny polega na tym, że wysoce kontrolowana i stylizowana metodologia może nie być wystarczająco wrażliwa na dynamicznie zmieniające się potrzeby większości programów usług dla ludzi.
  • Systemy informacji zarządczej (MIS) mogą dostarczać szczegółowych informacji o dynamicznych operacjach złożonych programów. Informacje te ograniczają się jednak dodanychłatwo policzalnych, zwykle dostępnych w regularnych odstępach czasu.
  • Programy testowe są znane niemal każdemu, kto uczęszczał do szkoły, służył w wojsku lub pracował dla dużej firmy. Programy te są dobre w porównywaniu osób lub grup z wybranymi normami w wielu obszarach tematycznych lub z zestawem standardów wydajności. Skupiają się jednak tylko na wydajności testowanego i mogą nie próbować odpowiednio tego, czego się uczy lub czego oczekuje.
  • Cele -na podejścia odnoszą się do wyników określonych wcześniej celów, dzięki czemu sądy mają być wykonane o poziom ich realizacji. Niestety często okazuje się, że cele nie są ważne lub koncentrują się na wynikach zbyt wąskich, aby stanowić podstawę do określenia wartości obiektu.
  • Analiza treści jest podejściem quasi-oceny, ponieważ osądy analizy treści nie muszą być oparte na deklaracjach wartości. Zamiast tego mogą opierać się na wiedzy. Takie analizy treści nie są ocenami. Z drugiej strony, gdy sądy analizy treści opierają się na wartościach, takie badania są ocenami.

Obiektywistyczny, masowy, quasi-ewaluacyjny

Obiektywista, elitarna, prawdziwa ocena

  • Studia zorientowane na podejmowanie decyzji mają na celu zapewnienie bazy wiedzy do podejmowania i obrony decyzji. Takie podejście zwykle wymaga ścisłej współpracy między oceniającym a decydentem, co pozwala na podatność na korupcję i stronniczość .
  • Studia polityczne dostarczają ogólnych wskazówek i wskazówek w szerokich kwestiach poprzez identyfikację i ocenę potencjalnych kosztów i korzyści konkurencyjnych polityk . Wadą jest to, że te badania mogą zostać zepsute lub obalone przez politycznie motywowane działania uczestników.

Obiektywista, masowa, prawdziwa ocena

  • Badania zorientowane na konsumenta są wykorzystywane do oceny względnych zalet towarów i usług w oparciu o uogólnione potrzeby i wartości, wraz z szerokim zakresem efektów. Jednak takie podejście niekoniecznie pomaga praktykom usprawnić ich pracę i wymaga bardzo dobrego i wiarygodnego ewaluatora, aby wykonał to dobrze.

Subiektywistyczna, elitarna, prawdziwa ocena

  • Programy akredytacji / certyfikacji opierają się na samodzielnej nauce i wzajemnej ocenie organizacji, programów i personelu. Opierają się na spostrzeżeniach, doświadczeniu i wiedzy wykwalifikowanych osób, które stosują ustalone wytyczne w celu ustalenia, czy kandydat powinien zostać zatwierdzony do wykonywania określonych funkcji. Jednakże, o ile nie stosuje się standardów opartych na wynikach, atrybuty wnioskodawców i procesy, które wykonują, często są nadmiernie podkreślane w stosunku do miar wyników lub efektów.
  • Badania koneserów wykorzystują wysoce wyrafinowane umiejętności osób dobrze zaznajomionych z przedmiotem ewaluacji, aby krytycznie go scharakteryzować i ocenić. Takie podejście może pomóc innym spojrzeć na programy w nowym świetle, ale trudno jest znaleźć wykwalifikowanego i bezstronnego konesera.

Temat, masa, prawdziwa ocena

  • Podejście przeciwnik skupia się na wyciąganiu plusy i minusy kontrowersyjnych zagadnień poprzez quasi postępowania sądowego . Pomaga to zapewnić wyważoną prezentację różnych punktów widzenia na problemy, ale może również zniechęcić do późniejszej współpracy i spotęgować animozje między rywalizującymi stronami, jeśli pojawią się „zwycięzcy” i „przegrani”.

Zorientowany na klienta

  • Badania skoncentrowane na kliencie dotyczą konkretnych obaw i problemów praktyków i innych klientów badania w określonym otoczeniu. Badania te pomagają ludziom zrozumieć działania i wartości z różnych perspektyw. Jednak to responsywne podejście może prowadzić do niskiej wiarygodności zewnętrznej i korzystnego nastawienia w stosunku do osób, które uczestniczyły w badaniu.

Metody i techniki

Ewaluacja jest zróżnicowana metodologicznie. Metody mogą być jakościowe lub ilościowe i obejmować studia przypadków , badania ankietowe , analizy statystyczne , budowanie modeli i wiele innych, takich jak:

Zobacz też

Bibliografia

Zewnętrzne linki