O badaniu

Zespół Współpracy Krajowej i Zagranicznej przeprowadził w 2013 roku badania dotyczące wykorzystania edukacyjnej wartości dodanej (EWD) przez szkoły. Badania prowadzone były i finansowane w ramach ewaluacji wewnętrznej projektu systemowego Działania 3.2. Programu Operacyjnego Kapitał Ludzki - Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (www.ewd.edu.pl).

Edukacyjna wartość dodana jest jedną z metod statystycznych analizowania wyników egzaminacyjnych, rozwijaną w Polsce przy wsparciu środków publicznych od 2005 roku. Efektem zastosowania metody są wskaźniki EWD, które są miarą efektywności nauczania w danej szkole w zakresie sprawdzanym egzaminami zewnętrznymi. Obecnie wskaźniki EWD wyliczono i udostępniono na stronie projektu EWD dla szkół gimnazjalnych, liceów i techników. Trwają prace nad opracowaniem wskaźników dla szkół podstawowych.

Bardzo dziękujemy dyrektorom badanych szkół, nauczycielom, pracownikom organów prowadzących oraz wizytatorom ds. ewaluacji zewnętrznej szkół za udział w badaniach.

Cele badania

Ewaluacja miała na celu odpowiedzieć na pytanie o to, w jakim stopniu projekt EWD został wdrożony skutecznie, a jego rezultaty są użyteczne dla różnych odbiorców systemu edukacji. Przeanalizowano również trafność konstrukcji projektu EWD w odniesieniu do opisu jego celów, produktów i rezultatów (tj. logiki wewnętrznej projektu) oraz ich powiązania z założonymi w dokumentach programowych POKL wskaźnikami Działania 3.2.

Metodologia

Badanie składało się z następujących etapów:

1) badania jakościowego w ramach studiów przypadku dotyczących 11 szkół gimnazjalnych, w którym przeprowadzono wywiady indywidualne z dyrektorami szkół, pracownikami organów prowadzących oraz wizytatorami ds. ewaluacji zewnętrznej szkół. Badanie terenowe przeprowadziło konsorcjum firm Millward Brown SMG/KRS i PBS w okresie od 14 czerwca do 4 września 2013 roku.

2) badania ilościowego na reprezentatywnej próbie 1 223 szkół, dla których opublikowano na stronie www.ewd.edu.pl wskaźniki EWD dla okresu trzyletniego 2010-2012 (najnowsze dostępne w czasie realizacji badania). Badanie zostało zrealizowane przez firmę PBS w dniach 4-28 października 2013 roku.

3) badania jakościowego w ramach studiów przypadku 48 szkół ponadgimnazjalnych, w którym przeprowadzono wywiady indywidualne z dyrektorami szkół, nauczycielami, pracownikami organów prowadzących oraz wizytatorami ds. ewaluacji zewnętrznej szkół. Badania terenowe zrealizowała firma ASM Centrum Badań i Analiz Rynku w dniach od 17 września do 6 grudnia 2013 roku.

4) analizy danych zastanych, w tym:

• wyników ankiet zebranych na konferencjach projektu EWD (tzw. szkołach EWD),
• danych z monitoringu użytkowania strony www.ewd.edu.pl,
• wniosków o płatność i produktów projektu zamieszczonych na stronie projektu EWD.

5) wywiadów indywidualnych z:

• liderem projektu EWD oraz
• członkiem zespołu metodologicznego ds. ewaluacji w projekcie Program wzmocnienia efektywności systemu nadzoru pedagogicznego i oceny jakości pracy szkoły etap III.

Raport

Skuteczność wdrażania projektu EWD oraz użyteczność jego rezultatów oceniono wysoko. Trafność, rozumianą jako spójność logiki wewnętrznej projektu, oceniono jako dobrą. Natomiast spójność wpisanych do POKL wskaźników z logiką wewnętrzną projektu EWD oceniono nisko.

Do grudnia 2013 roku wyliczono i upubliczniono na stronie projektu 10 405 trzyletnich wskaźników EWD. Odsetek gimnazjów (unikalne szkoły, tzn. każda szkoła liczona tylko raz) objętych trzyletnim wskaźnikiem EWD w latach 2006-2013, dla których uzyskano dane egzaminacyjne w ramach trzyletniego okresu (po wykluczeniu szkół dla dorosłych, specjalnych, itp.) wyniósł aż 87,8%. Dla liceów, dla całego okresu 2010-2013 jest on niższy i wynosi 54,2%, natomiast dla techników 76,3%.

Odsetek szkół, oceniających jakość własnej pracy z wykorzystaniem wskaźnika EWD, wyliczony na podstawie zrealizowanej części próby, wyniósł 85,2%. Najwyższą wartość wskaźnik osiągnął dla gimnazjów — 90,9%, następnie 81,1% dla liceów oraz 69,9% dla techników.

Dyrektorzy raczej wysoko oceniają swoją wiedzę na temat wskaźników EWD - niemal 90% dyrektorów w gimnazjach i liceach ocenia ją na co najmniej dobrze, a tylko 12% dyrektorów przyznało, że ich wiedza jest „dostateczna”. Dyrektorzy wszystkich typów szkół, którzy deklarują branie udziału w szkoleniach, jednocześnie lepiej orientują się w tematyce EWD. Jednak badanie pokazało, że bardzo duży odsetek szkół nie orientuje się w wartościach wskaźnikow EWD przez nie uzyskiwanych. Większość dyrektorów, ogólnie deklarujących stosowanie wskaźników EWD do oceny efektywności nauczania, również wykorzystuje je w ramach ewaluacji wewnętrznej.

Na problemy z analizą lub interpretacją wskaźników EWD wskazywała około 1/4 respondentów. Dla tej grupy odbiorców metoda jest trudna, złożona merytorycznie i czasochłonna.

Wskaźniki EWD są uważane za bardzo przydatne do zarządzania szkołą przez 40% dyrektorów gimnazjów oraz 36% dyrektorów szkół maturalnych. Większość dyrektorów przyznaje, że analizy EWD pomogły w dużym (59-69%) lub bardzo dużym stopniu (9-10%) w podjęciu decyzji mających na celu poprawę efektywności nauczania. Decyzje, jakie podjęto z pomocą EWD, to najczęściej wprowadzenie lub zwiększenie liczby godzin zajęć dodatkowych, określenie obszarów problemowych lub opracowanie programu, wprowadzenie lub zwiększenie liczby godzin wyrównawczych. Na podobne typy decyzji/ usprawnień wskazywali dyrektorzy w badaniach jakościowych gimnazjów i szkół ponadgimnazjalnych.

Wskaźniki EWD nie są powszechnie stosowane przez przebadanych wizytatorów ds. ewaluacji zewnętrznej. Równocześnie niewielki odsetek badanych wizytatorów ma obecnie taką wiedzę o EWD, aby wykorzystywać wskaźniki w praktyce.

Obraz wykorzystania EWD przez samorządy jest najmniej optymistyczny spośród przedstawianych w raporcie użytkowników. Przeprowadzone w ramach ewaluacji badania jakościowe wskazują na następujące obszary problemowe:1) brak świadomości samorządów, że są one współodpowiedzialne za monitorowanie oświaty oraz brak współpracy samorządów i wizytatorów w tym zakresie, 2) niska wiedza i zainteresowanie organów prowadzących wskaźnikami EWD, 3) tendencja samorządów do tworzenia rankingów na bazie EWD, 4) oczekiwana przez samorządy forma udostępniania im danych EWD (oszacowania punktowe i przedziały ufności), 5) termin publikacji kolejnych edycji wskaźników niespójny z terminem publikacji informacji oświatowych, 6) obawy szkół przed EWD jako narzędziem wspierającym likwidację szkół.

Bardziej szczegółowe informacje znajdują się w raporcie z badania: pobierz raport [PDF, 1.7 MB].