O badaniu

Zespół Współpracy Krajowej i Zagranicznej przeprowadził w 2013 roku badania dotyczące wykorzystania edukacyjnej wartości dodanej (EWD) przez szkoły. Badania prowadzone były i finansowane w ramach ewaluacji wewnętrznej projektu systemowego Działania 3.2. Programu Operacyjnego Kapitał Ludzki - Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (www.ewd.edu.pl).

Edukacyjna wartość dodana jest jedną z metod statystycznych analizowania wyników egzaminacyjnych, rozwijaną w Polsce przy wsparciu środków publicznych od 2005 roku. Efektem zastosowania metody są wskaźniki EWD, które są miarą efektywności nauczania w danej szkole w zakresie sprawdzanym egzaminami zewnętrznymi. Obecnie wskaźniki EWD wyliczono i udostępniono na stronie projektu EWD dla szkół gimnazjalnych, liceów i techników. Trwają prace nad opracowaniem wskaźników dla szkół podstawowych.

Bardzo dziękujemy dyrektorom badanych szkół, nauczycielom, pracownikom organów prowadzących oraz wizytatorom ds. ewaluacji zewnętrznej szkół za udział w badaniach.

Cele badania

Ewaluacja miała na celu odpowiedzieć na pytanie o to, w jakim stopniu projekt EWD został wdrożony skutecznie, a jego rezultaty są użyteczne dla różnych odbiorców systemu edukacji. Przeanalizowano również trafność konstrukcji projektu EWD w odniesieniu do opisu jego celów, produktów i rezultatów (tj. logiki wewnętrznej projektu) oraz ich powiązania z założonymi w dokumentach programowych POKL wskaźnikami Działania 3.2.

Metodologia

Badanie składało się z następujących etapów:

1) badania jakościowego w ramach studiów przypadku dotyczących 11 szkół gimnazjalnych, w którym przeprowadzono wywiady indywidualne z dyrektorami szkół, pracownikami organów prowadzących oraz wizytatorami ds. ewaluacji zewnętrznej szkół. Badanie terenowe przeprowadziło konsorcjum firm Millward Brown SMG/KRS i PBS w okresie od 14 czerwca do 4 września 2013 roku.

2) badania ilościowego na reprezentatywnej próbie 1 223 szkół, dla których opublikowano na stronie www.ewd.edu.pl wskaźniki EWD dla okresu trzyletniego 2010-2012 (najnowsze dostępne w czasie realizacji badania). Badanie zostało zrealizowane przez firmę PBS w dniach 4-28 października 2013 roku.

3) badania jakościowego w ramach studiów przypadku 48 szkół ponadgimnazjalnych, w którym przeprowadzono wywiady indywidualne z dyrektorami szkół, nauczycielami, pracownikami organów prowadzących oraz wizytatorami ds. ewaluacji zewnętrznej szkół. Badania terenowe zrealizowała firma ASM Centrum Badań i Analiz Rynku w dniach od 17 września do 6 grudnia 2013 roku.

4) analizy danych zastanych, w tym:

• wyników ankiet zebranych na konferencjach projektu EWD (tzw. szkołach EWD),
• danych z monitoringu użytkowania strony www.ewd.edu.pl,
• wniosków o płatność i produktów projektu zamieszczonych na stronie projektu EWD.

5) wywiadów indywidualnych z:

• liderem projektu EWD oraz
• członkiem zespołu metodologicznego ds. ewaluacji w projekcie Program wzmocnienia efektywności systemu nadzoru pedagogicznego i oceny jakości pracy szkoły etap III.

Raport

Skuteczność wdrażania projektu EWD oraz użyteczność jego rezultatów oceniono wysoko. Trafność, rozumianą jako spójność logiki wewnętrznej projektu, oceniono jako dobrą. Natomiast spójność wpisanych do POKL wskaźników z logiką wewnętrzną projektu EWD oceniono nisko.

Do grudnia 2013 roku wyliczono i upubliczniono na stronie projektu 10 405 trzyletnich wskaźników EWD. Odsetek gimnazjów (unikalne szkoły, tzn. każda szkoła liczona tylko raz) objętych trzyletnim wskaźnikiem EWD w latach 2006-2013, dla których uzyskano dane egzaminacyjne w ramach trzyletniego okresu (po wykluczeniu szkół dla dorosłych, specjalnych, itp.) wyniósł aż 87,8%. Dla liceów, dla całego okresu 2010-2013 jest on niższy i wynosi 54,2%, natomiast dla techników 76,3%.

Odsetek szkół, oceniających jakość własnej pracy z wykorzystaniem wskaźnika EWD, wyliczony na podstawie zrealizowanej części próby, wyniósł 85,2%. Najwyższą wartość wskaźnik osiągnął dla gimnazjów — 90,9%, następnie 81,1% dla liceów oraz 69,9% dla techników.

Dyrektorzy raczej wysoko oceniają swoją wiedzę na temat wskaźników EWD - niemal 90% dyrektorów w gimnazjach i liceach ocenia ją na co najmniej dobrze, a tylko 12% dyrektorów przyznało, że ich wiedza jest „dostateczna”. Dyrektorzy wszystkich typów szkół, którzy deklarują branie udziału w szkoleniach, jednocześnie lepiej orientują się w tematyce EWD. Jednak badanie pokazało, że bardzo duży odsetek szkół nie orientuje się w wartościach wskaźnikow EWD przez nie uzyskiwanych. Większość dyrektorów, ogólnie deklarujących stosowanie wskaźników EWD do oceny efektywności nauczania, również wykorzystuje je w ramach ewaluacji wewnętrznej.

Na problemy z analizą lub interpretacją wskaźników EWD wskazywała około 1/4 respondentów. Dla tej grupy odbiorców metoda jest trudna, złożona merytorycznie i czasochłonna.

Wskaźniki EWD są uważane za bardzo przydatne do zarządzania szkołą przez 40% dyrektorów gimnazjów oraz 36% dyrektorów szkół maturalnych. Większość dyrektorów przyznaje, że analizy EWD pomogły w dużym (59-69%) lub bardzo dużym stopniu (9-10%) w podjęciu decyzji mających na celu poprawę efektywności nauczania. Decyzje, jakie podjęto z pomocą EWD, to najczęściej wprowadzenie lub zwiększenie liczby godzin zajęć dodatkowych, określenie obszarów problemowych lub opracowanie programu, wprowadzenie lub zwiększenie liczby godzin wyrównawczych. Na podobne typy decyzji/ usprawnień wskazywali dyrektorzy w badaniach jakościowych gimnazjów i szkół ponadgimnazjalnych.

Wskaźniki EWD nie są powszechnie stosowane przez przebadanych wizytatorów ds. ewaluacji zewnętrznej. Równocześnie niewielki odsetek badanych wizytatorów ma obecnie taką wiedzę o EWD, aby wykorzystywać wskaźniki w praktyce.

Obraz wykorzystania EWD przez samorządy jest najmniej optymistyczny spośród przedstawianych w raporcie użytkowników. Przeprowadzone w ramach ewaluacji badania jakościowe wskazują na następujące obszary problemowe:1) brak świadomości samorządów, że są one współodpowiedzialne za monitorowanie oświaty oraz brak współpracy samorządów i wizytatorów w tym zakresie, 2) niska wiedza i zainteresowanie organów prowadzących wskaźnikami EWD, 3) tendencja samorządów do tworzenia rankingów na bazie EWD, 4) oczekiwana przez samorządy forma udostępniania im danych EWD (oszacowania punktowe i przedziały ufności), 5) termin publikacji kolejnych edycji wskaźników niespójny z terminem publikacji informacji oświatowych, 6) obawy szkół przed EWD jako narzędziem wspierającym likwidację szkół.

Bardziej szczegółowe informacje znajdują się w raporcie z badania: pobierz raport [PDF, 1.7 MB].

O badaniu

Pracownia Historii IBE rozpoczęła realizację „Badania sposobów realizacji podstawy programowej z historii w szkołach ponadgimnazjalnych”.

Badanie realizuje konsorcjum firm: Collect Consulting S.A, Invest & Consulting Group Sp. z o.o., Korporacja Badawcza Pretendent Sp. z o.o., wyłonione w przetargu zgodnie z prawem o zamówieniach publicznych.

Cel badania

Celem przedsięwzięcia jest zbadanie, jakie czynniki ułatwiają lub utrudniają realizację podstawy programowej z historii, a także rozpoznanie, w jaki sposób kształcone są umiejętności historyczne. Zależy nam również na ustaleniu, jakie metody wykorzystują nauczyciele w tym celu. Nasze wnioski umożliwią stworzenie rekomendacji dla systemu oświaty.

Przebieg badania

W badaniu weźmie udział 45 wybranych szkół z 3 województw (pomorskiego, mazowieckiego i małopolskiego). W każdej z nich do badania zaproszony zostanie jeden nauczyciel historii oraz trzech uczniów pierwszej klasy szkoły ponadgimnazjalnej, w których ten nauczyciel uczy historii. Badanie obejmie: obserwację trzech lekcji historii w każdej z klas, następnie zostaną przeprowadzone wywiady z nauczycielem oraz trzema uczniami danej klasy. Wszystkie czynności badawcze zakończą się w maju, a raport z badania zostanie opublikowany w drugiej połowie 2014 roku. Każda szkoła i każdy nauczyciel biorący udział w projekcie otrzyma imienny certyfikat.

Raport

Kontakt

Badanie prowadziła Pracownia Historii Instytutu Badań Edukacyjnych.

Pracownia działała w ramach Zespołu Dydaktyk Szczegółowych.

Koordynator badania:  Joanna Kaźmierczak

Cel i termin badania

Cel i termin badania

DIAGNOZA PRZEDMATURALNA Z JĘZYKA POLSKIEGO to pierwsze przedsięwzięcie badawcze o charakterze egzaminu zgodnego z zasadami przeprowadzania matury z języka polskiego od 2015 roku, które przygotował Instytut Badań Edukacyjnych we współpracy z Centralną i okręgowymi komisjami egzaminacyjnymi.

Zasadniczym celem Diagnozy przedmaturalnej z języka polskiego było przybliżenie uczniom nowej formuły egzaminu maturalnego, do którego przystąpią w 2015 roku szkolnym oraz ocena stopnia realizacji podstawy programowej na poziomie podstawowym.

Badanie odbyło się 10 czerwca 2014 r. o godzinie 9.00 i zostało przeprowadzone zgodnie z procedurami obowiązującymi na egzaminie maturalnym z języka polskiego. Wzięło w nim udział 50 wylosowanych liceów ogólnokształcących, a w nich ok. 4 tys. drugoklasistów.

IBE dostarczyło do wylosowanych szkół wszystkie niezbędne materiały badawcze, w tym zeszyty testowe dla uczniów. Pozostałe licea mogły skorzystać z arkuszy egzaminacyjnych opracowanych na potrzeby badania, pobierając je z przeznaczonych dla dyrektorów szkół serwisów internetowych okręgowych komisji egzaminacyjnych.

Dla nauczycieli biorących udział w badaniu, zorganizowane zostały we wrześniu warsztaty. Omawiano na nich wyniki uczniów oraz narzędzia wsparcia. Eksperci Instytutu przygotowali trzy poradniki, które pomogą uczniom i nauczycielom lepiej przygotować się do egzaminu maturalnego (www.ibe.edu.pl/matura2015).

Raporty

Kinga Białek, Krzysztof Biedrzycki, Adam Brożek, Wioletta Kozak, Błażej Przybylski
Diagnoza przedmaturalna z języka polskiego

Instytut Badań Edukacyjnych, Warszawa 2014

Pobierz raport [pdf, 1.6MB; epub, 2 MB)

Materiały

• Informacja o wstępnych wynikach diagnozy przedmaturalnej - informacja prasowa (pdf)
• Informacja o wstępnych wynikach diagnozy przedmaturalnej - strona IBE
• Prezentacja z wynikami diagnozy przedmaturalej
• Arkusz wykorzystany w diagnozie przedmaturalnej, kryteria oceny i komentarze do zadań
• Kryteria oceniania zadań testowych
• Kryteria oceniania rozprawki lub interpretacji utworu poetyckiego
• Komentarze do zadań (opracowanych przez ekspertów IBE)

Poradniki

• Jak przygotować i napisać rozprawkę maturalną. Poradnik
• Jak przygotować i napisać interpretację. Poradnik
• Jak napisać dobre streszczenie. Poradnik

O badaniu

O badaniu

Konstrukcja narzędzia psychologicznego do pomiaru funkcjonowania moralnego i społeczno-emocjonalnego uczniów w ich otoczeniu szkolnym w celu scharakteryzowania klimatu szkoły.

Funkcjonowanie uczniów pozostaje pod wpływem przekonań podstawowych przekazywanych przez rodzinę, ale działanie uczniów w szkole zależy od czynników sytuacyjnych, czyli jest uwarunkowane warunkami panującymi w placówce (Zimbardo, 1999). Środowisko nauki ucznia jest kształtowane na poziomie szkoły poprzez istniejący w niej styl przywództwa (ang.school leadership) oraz klimat (ang. school climate; Bryk i in., 2010; Blum, McNeely, & Rinehart, 2002; Kennelly & Monrad, 2007; National High School Center, 2008; Oliver, 2007; Ostaszewski, 2012). Dobry klimat szkoły sprzyja niższemu odsetkowi problemów wychowawczych, zachowań ryzykownych i agresji szkolnej wśród uczniów (por.np. "Agresja i przemoc uczniowska a klimat szkoły", raport ORE, 2007; Szymańska, 2003) oraz lepszym osiągnięciom szkolnym (BRIEF, 2004). Niektóre badania wskazują silniejszy wpływ zmiennych indywidualnych na klimat szkoły czy klasy niż zmiennych na poziomie klasy czy szkoły (por.np.Wissink i in., 2013). Pomiar funkcjonowania moralnego uczniów i przekonań podstawowych innych członków społeczności szkolnej, czyli nauczycieli i dyrektora szkoły, pozwala na analizę zgodności postaw z dominującym w społeczeństwem zasadami moralnymi (Żylicz, 2010). Badanie klimatu szkoły powinno obejmować zarówno punkt widzenia uczniów, jak i nauczycieli (Mitchell, 2010; Barile i in., 2012) ze względu na różnice w percepcji tych dwóch grup i skupianie się na innych aspektach oraz poziomach klimatu szkoły (klasa vs.szkoła).

Cel badania

Cel badania

Problematyka badania jest zgodna z zakresem kompetencji społecznych nabywanych w toku kształcenia ogólnego i deskryptorami uniwersalnymi kompetencji społecznych określonymi przez Polską Ramę Kwalifikacji. Narzędzie będzie służyło do scharakteryzowania jednego z wymiarów klimatu szkoły. Klimat szkoły zaś jest korelatem problemów wychowawczych i zachowań ryzykownych uczniów, więc wyniki "Kwestionariusza funkcjonowania moralnego" powinny w przyszłości pozwolić na uzyskanie ważnej składowej wskaźnika (indeksu) klimatu szkoły. Jeśli narzędzie będzie miało zadowalające charakterystyki psychometryczne, to zostanie udostępnione do celów naukowo- badawczych w zakresie badania klimatu szkoły i funkcjonowania moralnego uczniów. Kwestionariusz wzmocni zasób narzędzi badawczych, diagnostycznych i monitorujących efektywność szkół w zakresie wychowania.

Metodologia

Metodologia

W badaniu "EWS- Kwestionariusz funkcjonowania moralnego" udział wezmą uczniowie (n=420), nauczyciele (n=200) oraz dyrektorzy (n=12) szkół podstawowych (klasy VI), gimnazjalnych (kl.I i III) i ponadgimnazjalnych (kl.I). Szkoły będą mieściły się w gminach wielkomiejskich i wiejskich i/lub wiejsko-miejskich o niższym i wyższym statusie ekonomicznym. Dobór szkół do badania będzie kwotowy.

Badanie "EWS- Test funkcjonowania moralnego" ma na celu stworzenie nowego narzędzia psychologicznego typu "papier- ołówek", dlatego będzie miało charakter ankiety audytoryjnej. 

O badaniu

O badaniu

Pamięć roboczą można opisać przy pomocy metafory centralnego systemu wykonawczego lub centralnego procesora, który odpowiada nie tylko za przechowywanie informacji i umieszczanie ich w pamięci trwałej, ale też za wszelkie operacje, które są wykonywane na tym materiale. Jej zakres i pojemność wiążą się z możliwościami uczenia się, przyswajanie nowego materiału, ale również z szybkością wykonywania różnych umysłowych operacji a w związku z tym z zdolnością do prawidłowego rozumowania i rozwiązywania problemów. Miary pamięci roboczej pozwalają na pomiar potencjału poznawczego ucznia w sposób odseparowany od pomiaru kompetencji i wiedzy szkolnej ucznia.

Jak zauważa I. Krejtz (2012 s. 96-97) wiele badań wskazuje na to, że deficyty pamięci roboczej przekładają się na trudności związane z czytaniem, pisaniem, nauką matematyki i nauką języka. Autorka ta wskazuje, że pamięć robocza jest wiązana ze zdolnością do uczenia się oraz rozumowania. Analizy przeprowadzone w ramach badań nad dziećmi siedmioletnimi pokazują, że pamięć robocza ma ogromne znaczenie dla zdolności matematycznych (Bull i Sceriff 2001 za Krejtz 2012). W badaniach przeprowadzonych przez I. Krejtz (2012) wykazano, że w przypadku polskich uczniów z klasy 6 SP pamięć robocza była istotnym czynnikiem przewidującym osiągnięcia szkolne z matematyki i języka polskiego, podobne zależności uzyskano dla badanych gimnazjalistów i licealistów. Test będzie uwzględniać pomiar trzech funkcji pamięci roboczej wyróżnionej przez Klausa Oberauera (2000, 2003). Są to odpowiednio : (1) funkcję przechowywania w trakcie przetwarzania; (2) funkcję nadzorującą; (3) funkcje koordynującą.

Cel badania

Cel badania

Celem badania jest przygotowanie testu Pamięci Roboczej mierzącego trzy funkcje pamięci roboczej:(1) funkcję przechowywania w trakcie przetwarzania; (2) funkcję nadzorującą; (3) funkcje koordynującą.

Przygotowywany test będzie wykorzystywany w ramach prowadzonych w IBE badań w celu pogłębienia wiedzy na temat uwarunkowań efektów pracy szkoły zarówno edukacyjnych jak i wychowawczych. Z przygotowanego narzędzia korzystać będą mogli psycholodzy praktycy zatrudnieni w systemie oświaty szczególnie w poradniach psychologiczno-pedagogicznych w celu poszerzenie indywidualnych diagnoz uczniów.

Metodologia

Metodologia

Dobór próby będzie uwzględniać co najmniej dwie warstwy wyróżnione ze względu na miejsca zamieszkania uczniów (wieś, miasto). W badaniu wezmą udział uczniowie klasy 6 SP n = 30; klasy I, II i III gimnazjum po co najmniej 30 osób na każdym z poziomów.

W badaniu pilotażowym założono próbę kwotową, z warstwami ze względu na wielkość miejscowości, realizowaną na terenie województwa mazowieckiego i lubelskiego. Przekazana próba będzie liczyła, co najmniej 10 szkół.
Minimalne liczebności osób badanych to: w klasie szóstej SP 400 uczniów (200 duże miasta i 200 wsie i małe miasta) oraz w gimnazjum 1200 uczniów (klasy 1,2, i 3) (po 200 uczniów na każdym poziomie i każdej lokalizacji - duże miasta oraz wsie i małe miasta)     

Dane zbierane będą poprzez:

1. test rozwiązywany przez uczniów na komputerach
2. kwestionariusze samowypełnialne (wspomagane komputerowo lub papierowe) wypełniane przez uczniów i ich rodziców oraz nauczycieli uczących w badanych klasach i dyrektorów badanych szkół

Ponieważ Test Pamięci Roboczej jest testem komputerowym zostanie stworzona specjalna aplikacja, która odpowiadać będzie za prezentacje zadań, wszelkich instrukcji oraz obsługę testu włącznie z zbieraniem wyników i ich prezentacją. Charakter zadań sprawia że przygotowanie ich w wersji elektronicznej jest niezbędne. Zdania wykorzystują animacje, wymagają również precyzyjnego pomiaru czasu reakcji.

Uczniowie będą najpierw rozwiązywać Test Pamięci Roboczej a następnie krótką ankietę. Rodzicom, nauczycielom i dyrektorom zostanie dostarczona ankieta w wersji papierowej lub elektronicznej.

Test

Opracowany test oraz bezpłatne szkolenie wraz z tabletami umożliwiającymi jego stosowanie zostało zaoferowane wszystkim publicznym poradniom psychologiczno pedagogicznym w Polsce.

Na zaproszenie odpowiedziało 330 poradni, przeszkolono blisko 600 diagnostów. Test Pamięci Roboczej jest wykorzystywany zarówno w procesie diagnozy indywidualnej dzieci 5,6 i 7-letnich jak i w badaniach naukowych.

Szerzej o konstrukcji testu oraz jego właściwościach psychometrycznych można przeczytać w artykule:
Sedek, G., Krejtz, I., Rydzewska, K., Kaczan, R., & Rycielski, P. (2016). Three functional aspects of working memory as strong predictors of early school achievements: The review and illustrative evidence. Polish Psychological Bulletin, 47(1), 103-111.

Test w wersji dla młodzieży i dorosłych nie został jeszcze udostępniony.

Strona pracowni testów