Trzy pytania do dr. Michała Sitka

Opublikowano: 4 Wrz 2013

Zastępca dyrektora ds. naukowych IBE o tym, dlaczego wyniki niektórych badań nie mogą być uogólniane i o tym, jak naukowcy sprawdzają narzędzia badawcze
.
W jaki sposób sprawdza się, czy narzędzie badawcze jest poprawnie skonstruowane?
W badaniach społecznych nigdy nie mamy pewności, czy pytania zadawane w ankiecie lub np. zadania rozwiązywane przez uczniów w teście mierzą to, co zamierzaliśmy zmierzyć. W narzędziach badawczych często wykorzystuje się też całe zestawy zadań dotyczące określonej umiejętności lub bloki pytań w założeniu mierzące to samo po to, by uzyskać bardziej dokładne wyniki.
Aby zweryfikować trafność i rzetelność pomiarową – bo mówiąc precyzyjnie o to chodzi – prowadzi się badania pilotażowe. Na podstawie analiz statystycznych wyników można obserwować zależności między odpowiedziami na poszczególne pytania i wyeliminować pytania lub zadania o słabych właściwościach.
Czasem w badaniach pilotażowych weryfikuje się też kilka sposobów zadania tego samego pytania. Wykorzystuje się też techniki jakościowe. W kilku badaniach IBE korzystano np. z tzw. wywiadów kognitywnych, w których rozmawiano z badanymi o ich odpowiedziach na pytania testu lub ankiety. Pozwala to na zrozumienie procesów myślowych związanych z udzielaniem odpowiedzi. Wywiady grupowe prowadzone w badaniu czasu pracy nauczycieli zwróciły uwagę na sposób myślenia nauczycieli o czasie pracy i ułatwiły stworzenie katalogu czynności zawodowych.
Badania pilotażowe stały się standardowym elementem procesu badawczego. Zwykle przeprowadza się je na niewielkiej próbie osób. Bo celem tych badań nie jest wyciąganie wniosków o całej populacji, ale zweryfikowania pytań, zadań testowych lub procedur badawczych.

Czasem media na podstawie takich badań wyciągają ogólne wnioski. Tak stało się np. w przypadku badań, przeprowadzonych przez Pedagogium Wyższą Szkołę Nauk Społecznych, dotyczących rodziców sześciolatków. Czy wyniki badań pilotażowych mogą być podstawą do wyciągania ogólnych wniosków?
Badania pilotażowe bardzo się różnią, ale – jak już wspominałem – zwykle obejmują niewiele osób. Oczywiście wnoszą one nową wiedzę, lecz w większości przypadków nie pozwalają wypowiadać się o całej populacji. Nie taki też jest ich cel.
W badaniu Pedagogium wzięło udział zaledwie 6 szkół, które w dodatku nie były dobrane losowo. Do zrealizowania celów badania pilotażowego to wystarcza. Do wyciągania ogólnych wniosków o badanym problemie z pewnością nie. Wyciąganie przez media na podstawie takich badań ogólnych wniosków – jak było w tym przypadku – jest bardzo niefortunne. Wyniki te mają pozór ścisłości i naukowości, co jest mile widziane w informacjach prasowych, w rzeczywistości nie są obiektywnymi faktami.

Czy wyciągnięcie prawidłowych ogólnych wniosków z takiego rodzaju badań jest możliwe przy metodach statystyki małych obszarów?
Metody statystyki małych obszarów pomagają oszacować parametry dotyczących określonych podzbiorowości np. regionu, powiatu lub pewnej kategorii ludności, w sytuacji, gdy w badaniu mamy wystarczającą liczbę obserwacji z tej podzbiorowości. Wykorzystuje się do tego inne, dostępne dane dotyczące tej podzbiorowości, które są powiązane z badanym problemem.
Analiza wyników danych pilotażowych z wykorzystaniem metod statystyki małych obszarów jest możliwe, ale tylko w wyjątkowych przypadkach ma ona sens. Wiąże się to przede wszystkim z tym, że do realizacji celów badań pilotażowych zapewnienie losowości doboru osób do badania i umożliwienie wnioskowania statystycznego o populacji ma drugorzędne znaczenie.

rozmawiał Łukasz Zboralski