Kulisy badania PISA 2012
- Opublikowano: 16 Gru 2013
Kto losuje 15-latków, którzy wypełniają test? Jakiego rodzaju zadania wybiera się do PISA? Jakie są szczegółowe wyniki Polaków w trzech dziedzinach? – o tym mówili naukowcy podczas konferencji zorganizowanej przez IBE, IFIS PAN i SGH
Konferencja „Umiejętności 15-latków – PISA 2012” - Szkoła Główna Handlowa
Ponad 200 naukowców, polityków, nauczycieli i wykładowców akademickich spotkali się 12 grudnia 2013 r. w auli Szkoły Głównej Handlowej w Warszawie. Konferencję dotyczącą szczegółów badania PISA, w którym polscy gimnazjaliści znaleźli się wśród europejskich liderów, otworzyła minister edukacji Joanna Kluzik-Rostkowska. – Myślę, że te bardzo dobre wyniki będą utrzymane w kolejnych latach – komentowała sukces polskich 15-latków. – Chciałabym wiedzieć tylko, jak tego nie zepsuć i mam nadzieję, że państwo dziś na to pytanie odpowiecie.
Wiarygodne badanie uczonych, a nie ranking gazety
Gości powitał rektor SGH prof. Tomasz Szapiro, a do szczegółów badania PISA wprowadził ich prof. Andrzej Rychard, dyrektor Instytutu Filozofii i Socjologii PAN. – Jego wartość merytoryczna jest wielka – podkreślał. – Jest to badanie realizowane w terenie z poszanowaniem najwyższych standardów realizacji badań społecznych – dodał. Ocenił, że jego zdaniem wyniki PISA 2012 wskazują, iż następuje proces racjonalizacji polityki edukacyjnej, a to badanie pozwala ocenić reformę edukacji. – IFIS od lat realizował badania PISA, ale nie jest miejscem, gdzie te badania cały czas mogą być w przyszłości realizowane – stwierdził prof. Rychard. – I dobrze, że już następne realizacje spoczywać będą na Instytucie Badań Edukacyjnych.
– Dane z PISA dlatego są wiarygodne, że nie robi tego jakaś gazeta, tylko to badanie prowadzą uczeni – dodał prof. Zbigniew Marciniak z UW. – Można przeczytać raport techniczny z badania, te dokumenty są publikowane – wskazywał. Mówił też o kontroli nad badaniem prowadzonym w krajach, które do niego przystępują. Podawał przykład Anglii, która przed laty została z PISA wykluczona, bo dostrzeżono błędy metodologiczne popełnione w tym kraju.
Czy zadania są łatwe?
Prof. Marciniak zdradził też, w jaki sposób konstruowane są zadania, które rozwiązują 15-latkowie podczas badania. – Jeśli chodzi o matematykę, to nie są powierzchowne zadania typu – policzyć procent jakiejś liczby – opowiadał. – Zamierzenie jest takie, żeby zmierzyć, jak można wykorzystać umiejętności matematyczne w życiu: rozumowanie, udowadnianie, że coś z czegoś wynika – tłumaczył.
Zadania do PISA gromadzone są z całego świata i rzetelnie opracowywane. Cykl przygotowania zadania do głównej części badania trwa aż cztery lata. – Bo sama treść zadania to fraszka – mówił prof. Marciniak. – Zadanie ma coś zmierzyć i trzeba też wiedzieć, jak będziemy oceniać odpowiedzi uczniów.
Zadania muszą uwzględniać też aspekt kulturowy. Dlatego do głównego badania nie zostało kiedyś wzięte zadanie o chlebie, ponieważ Japończycy nie bardzo wiedzą, co to chleb. Z bazy zadań wypadło też kiedyś takie, które dotyczyło dwóch kupowanych w sklepie koszulek i jednej otrzymanej gratis. Bo prawo w Norwegii nakazywało w takich sytuacjach podawania w sklepie cen wszystkich trzech koszulek.
Cześć zadań powtarza się w kolejnych badaniach – to tzw. zadania wiążące. Pomagają porównywać ze sobą różne edycje badania.
– Wielu ludzi spogląda na zadania PISA i mówi, że są łatwe. Ale co to jest łatwość zadania? To odsetek uczniów, którzy potrafią je zrobić – objaśniał prof. Marciniak. – Inną sprawą jest też umiejętność spojrzenia na badanie i ocenienie, czy będzie ono dla uczniów łatwe, umiejętność wypracowania takich cech zadań, które pozwolą to określać w kolejnych edycjach. W ramach badania PISA doszliśmy do jednego wniosku – że podstawowymi cechami pozwalające ocenić czy zadanie jest trudne czy łatwe, to nasycenie zadanie rozumowaniem i argumentacją. Czyli określenie czy uczeń musi myśleć strategicznie i czy potrafi coś zamodelować. Co ciekawe, dwa lata wcześniej określaliśmy te same rzeczy w Polsce. To, do czego doszliśmy w PISA, w naszym kraju mamy prawie od 2008 r.
Losowanie i odsetek biorących udział w PISA.
Dr Jacek Haman z Instytutu Socjologii UW przybliżył metodologiczną stronę badania PISA. Wyłącza się z udziału w nim uczniów niepełnosprawnych intelektualnie, z innymi niepełno sprawnościami, które utrudniają wykonanie testów, a także uczniów nieznających języka, w którym odbywa się test oraz opóźnionych w systemie edukacji więcej niż dwa lata względem danego rocznika. W Polsce do badania wylosowano 5545 uczniów. – Próba, którą losuje się metodą warstwową w amerykańskiej firmie, jest w skali Polski znacząco duża – zauważył dr Haman. - Również w skali międzynarodowej jest to badanie ogromne.
Odsetek wylosowanych do biorących udział w próbie w Polsce wyniósł 83 proc. Dr Haman porównał to z badaniami opinii, w których bierze udział ok. 40 proc. z wylosowanych i z badaniami akademickimi na próbach krajowych. W nich za sukces uznaje się, jeśli w badaniu weźmie udział 65 proc. wylosowanych.
[zdjęcia: Maciej Górski/SGH]
Skąd te wyniki z matematyki
Agnieszka Sułowska z IBE przedstawiła szczegółowe wyniki polskich uczniów z matematyki. Ta dziedzina w najnowszej edycji główną sprawdzaną. Sułowska zaznaczała, że biorąc pod uwagę pozycję Polski, która w poprzednich edycjach nie była krajem z końcówki tabeli wyników z matematyki, to nasz kraj wykonał w latach 2009 – 2012 najbardziej spektakularny skok. Zaprezentowała wykres, na którym widać było, że cała populacja uczniów polskich - na różnych poziomach - poprawiła swoje wyniki. Lepiej wypadli i ci słabi, i ci średni i ci najlepsi.
– Pojawiają się sugestie, że polscy uczniowie „uczyli się pod badanie PISA” – mówiła Sułowska. – Jest to o tyle prawdziwe, że po prostu polskie gimnazjum i badanie PISA stawiają sobie podobne cele. Zależy nam na tym samym. W pomiarze chcemy sprawdzać to, co najważniejsze w umiejętnościach matematycznych: modelowanie – przekładanie sytuacji codziennej na grunt matematyki, potem umiejętność znalezienia drogi rozwiązania – tu już narzędziami matematyki, droga do opracowania strategii, którą uczeń musi umieć sam wytyczyć i zrealizować. Trzecia umiejętność to umiejętność rozumowania i argumentacji – świadomość tego, co wynika z danych a co nie i jakimi argumentami można się posłużyć, by udowodnić tezę, jaką się stawia – tłumaczyła.
W 2012 r. w PISA uczniowie rozwiązywali 83 zadania matematyczne. Było wśród nich 51 zadań otwartych i 32 zamknięte. – Zamknięte zadanie to nie tylko wybór odpowiedniej odpowiedzi: A, B, C, D – zaznaczyła Sułowska – Ale uczeń ma też całą baterię stwierdzeń czy sformułowań, do których musi się odnieść i ocenić, czy są prawdziwe. Wbrew pozorom są to zadania dość trudne – uznała.
Badaczka z IBE zaprezentowała przykładowe zadania z matematyki. Zwracała uwagę na to, jak są rozbudowane i zanurzone w kontekście bliskim codziennego życia. Przy takich zadaniach umiejętność czytania jest niezbędna do wyłuskania matematycznego zadania, które trzeba wykonać.
Przyroda: poprawa z wszystkich przedmiotów
- Przeglądaliśmy dane z PISA pod różnymi względami, żeby znaleźć jakieś słabe punkty, że może uczniowie z czymś jeszcze sobie nie bardzo radzą, ale nic takiego nie znaleźliśmy – mówił prof. Krzysztof Spalik z IBE, który prezentował wyniki polskich 15-latków w przedmiotach przyrodniczych. Podkreślał, że badane w PISA rozumowanie w przedmiotach przyrodniczych, to umiejętność która przydaje się każdemu człowiekowi – rozpoznawanie zagadnień naukowych, odróżnianie faktów od opinii, interpretacja doświadczeń, formułowanie i weryfikacja hipotez.
Prof. Spalik zaprezentował wyniki z kilku edycji PISA. W 2006 r. wynik polskich 15-latków był na poziomie średniej OECD. W 2009 r. poprawił się, ale nadal mieścił się w tej średniej. Istotnie lepszy od średniej jest wynik z 2012 r. – Jeszcze lepiej widać to, gdy zawęzimy wyniki tylko do krajów OECD, wówczas lepsze od nas w ostatnim badaniu są tylko Finlandia i Estonia – chwalił prof. Spalik.
Podkreślił, że umiejętność sprawdzana w PISA jest ujęta w preambule do nowej podstawy programowej dla polskich szkół. Umiejętność rozumowania jest tam określona jako kluczowa umiejętność, którą uczniowie powinni nabyć w kształceniu powszechnym. Zaprezentował też analizę, z której wynika, ze polscy uczniowie w 2012 r. lepiej rozwiązywali wszystkie zadania i poprawili się w każdej grupie (słabsi, średni i najlepsi). – Sprawdziliśmy też, jak poprawa wygląda pod kątem przedmiotowym i okazało się, że poprawiły się wyniki z wszystkich przedmiotów biologii, chemii czy fizyki – dodał.
Dziewczynki czytają lepiej
Trzecią dziedzinę PISA, która ma sprawdzać, jak uczniowie radzą sobie z odbiorem tekstu, odszukują znaczenia w nim zawarte i jak dokonują operacji na tekście, referował prof. Krzysztof Biedrzycki z IBE. Wskazywał, że w 2012 r. Polska zbliżyła się wynikiem do Finlandii i Irlandii, które we wcześniejszych edycjach nas wyprzedzały. Pokazywał, że uczniowie, którzy osiągali najniższy poziom umiejętności, w 2000 r. stanowili spory odsetek, a w ostatnim badaniu jest on prawie niezauważalny.
Prof. Biedrzycki zwrócił uwagę na spore różnice w wynikach dziewcząt i chłopców, które w pozostałych mierzonych dziedzinach nie występują. – Chłopcy osiągnęli w 2012 r. wynik, który ich koleżanki miały 12 lat temu – mówił. – I pogłębia się różnica między dziewczynkami a chłopcami. Choć jeśli przyjrzymy się krajom UE, to pod względem wielkości tych różnic jesteśmy w środku tej grupy, a nasi chłopcy są jednymi z najlepszych – dodał.
Jego zdaniem wyzwaniem dla nauczycieli powinna stać się praca nad interpretacją tekstów i większy wysiłek wkładany w pracę z chłopcami.
Dyrektor IBE: matura powinna być jeszcze upraszczana
Wnioski z badania PISA podsumował dyrektor IBE prof. Michał Federowicz. Zwrócił uwagę, że w 2003 r. i 2006 r. na podstawie wyników tego badania było wiadomo, że mimo poprawy systemowej m.in. wprowadzenia gimnazjów, systemu egzaminów zewnętrznych, uczniowie wciąż wypracowywali swój wynik głównie zadaniami odtwórczymi, wymagającymi zastosowania algorytmu. – W 2007 r. mieliśmy pełną świadomość słabości tradycyjnej szkoły, nieumiejętności przełożenia tej dobrej rutyny szkolnej na nauczanie bardziej otwarte – mówił prof. Federowicz. – I to się właśnie wydarzyło. Nie spodziewaliśmy się, że rezultaty przyjdą tak szybko – ocenił ale dodał, że rezultaty te nie są trwałe i wciąż trzeba pracować nad poprawą jakości polskiej edukacji.
Jego zdaniem polskiej szkole pomogły procesy wprowadzane stopniowo od 2008 r., a wśród nich m.in. prace nad ewaluacją szkoły, namawianie placówek do autoewaluacji. I utrzymanie jasnego i jednolitego kierunku przemian, mimo zawirowań politycznych, medialnych i krytycyzmu różnych reform. Pomogła również zmiana systemu egzaminacyjnego.
- Ale jest to system, który trzeba głęboko reformować – apelował. – Należy skończyć z dobijaniem się wszystkich przedmiotów na maturę. Każdy z nich jest ważny o tyle, o ile buduje kompetencje do dalszego kształcenia się i samodzielnego myślenia. I każdy przedmiot musi być temu podporządkowany. Struktura matury też musi w przyszłości iść w tę stronę.
Pobierz prezentację
PISA 2012 - wyniki badania w Polsce - prezentacja [pptx 3,5MB]
