Eksperyment jako metoda badania w doktoracie

Eksperyment w naukach społecznych

Mieczysław Łobocki pisze, że „eksperyment pedagogiczny jest metodą badania zjawisk związanych z wychowaniem, nauczaniem i kształceniem, wywo­łanych specjalnie przez osobę badającą w kontrolowanych przez nią warunkach celem poznania tych zjawisk” (M. Łobocki, 2003, s. 106). Bardzo ważne w ekspe­rymencie są zmienne i ich wzajemny wpływ – zmienne niezależne w tym przypad­ku są czynnikami eksperymentalnymi – mogą to być nowe metody, środki i formy kształcenia itp. W eksperymencie sprawdza się ich skuteczność, czyli wpływ zmien­nej niezależnej na zmienną zależną – przyrost wiedzy, umiejętności itp. Przeprowa­dzając badania eksperymentalne, manipuluje się zmienną niezależną, tj. przy wy­wołaniu jej lub zmianie jej natężenia jest określany jej wpływ na zmienną zależną.

Według W. Zaczyńskiego: „Eksperyment jest metodą naukowego bada­nia określonego wycinka rzeczywistości, polegającą na wywoływaniu lub tylko zmienianiu przebiegu procesów przez wprowadzenie do nich jakiegoś nowego czynnika i obserwowaniu zmian powstałych pod jego wpływem” (W. Zaczyński, 1968, s. 83).

Słowo „eksperyment” – pisze J. Sztumski – znaczy tyle co „doświadczenie”. „Kiedy używamy tego słowa w nauce, nie mamy na myśli doświadczeń w potocz­nym rozumieniu, lecz tylko doświadczenie naukowe, czyli takie badanie danego faktu lub procesu, które są ściśle określone i przeprowadzone w celowo stworzo­nych warunkach, dających się z reguły powtarzać” (Sztumski, 1984, s. 63). Eks­peryment w naukowym znaczeniu jest istotnym przedsięwzięciem poznawczym także w naukach społecznych, gdyż pozwala on na prawie pełne kontrolowanie i kształtowanie uwarunkowań sytuacyjnych danego zjawiska lub procesu. W na­ukach społecznych można wyróżnić kilka rodzajów eksperymentów ze względu na sposób ich przeprowadzenia i charakter: eksperymenty projektowane w tere­nie, eksperymenty laboratoryjne, eksperymenty ex post facto, eksperymenty pro­jekcyjne, eksperymenty jednoczesne i sukcesywne (J. Sztumski, 1984, s. 68-71).

Biorąc pod uwagę dobór zmiennych, J. Brzeziński przez procedurę ekspery­mentalną rozumie taką procedurę, która umożliwia (J. Brzeziński, 1978, s. 62):

• manipulowanie co najmniej jedną zmienną niezależną – główną;
• kontrolowanie wpływu zmiennych niezależnych – zakłócających na zmien­ną zależną;
• dokonywanie pomiaru zmienności zmiennej zależnej, spowodowanej przez zmienne niezależne – główne.

Przez manipulowanie zmienną niezależną (główną) rozumie się losowe przy­dzielanie osobom badanym różnych jej wartości (najmniej dwóch). Jeżeli za­stosowana przez badacza procedura nie spełnia chociaż jednego z czterech wa­runków podanych w definicji procedury eksperymentalnej, powiemy, że jest to procedura quasi-eksperymentalna” (J. Brzeziński, 1980, s. 62).

🔬 Eksperyment w doktoracie – ciekawostki:

1. Eksperyment ≠ tylko laboratorium
   Wbrew powszechnej opinii, eksperymenty nie muszą odbywać się wyłącznie w warunkach laboratoryjnych. W naukach społecznych, jak psychologia czy socjologia, częste są eksperymenty naturalne (np. przeprowadzane w klasach, firmach, społecznościach lokalnych), które badają rzeczywiste zachowania ludzi w ich środowisku.

2. Przypadek Hawthorne – eksperyment, który się wymknął
   W latach 30. XX w. firma Western Electric badała wpływ światła na wydajność pracowników. Okazało się, że wydajność rosła niezależnie od zmian warunków – tylko dlatego, że ludzie wiedzieli, że są obserwowani. Tak powstał efekt Hawthorne, czyli jedno z największych ostrzeżeń metodologicznych w eksperymentach społecznych.

3. Randomizacja = złoty standard
   Dla uzyskania wysokiej wiarygodności danych, wiele doktoratów w naukach eksperymentalnych opiera się na randomizowanych badaniach kontrolowanych (RCT). Przypadkowy przydział uczestników minimalizuje stronniczość i zwiększa moc dowodową wyników.

4. Eksperyment w edukacji? Tak, i to z uczniami!
   W badaniach edukacyjnych doktoranci coraz częściej projektują eksperymenty, które np. sprawdzają wpływ nowych metod nauczania na wyniki testów – tworząc grupę eksperymentalną (np. uczących się metodą projektową) i kontrolną (np. uczących się tradycyjnie).

5. Replikacja jest modna
   Coraz więcej doktoratów opiera się na replikacji znanych eksperymentów, by sprawdzić, czy ich wyniki są powtarzalne w innym kontekście, kulturze lub czasie. Przykład: replikowanie badań dotyczących zjawisk psychologicznych (np. efektu potwierdzenia).

6. Etyka przede wszystkim
   Eksperymenty doktorskie muszą przechodzić ocenę komisji etycznych, zwłaszcza jeśli dotyczą ludzi. Nawet proste badania mogą być zablokowane, jeśli nie gwarantują poufności, zgody uczestników czy prawa do rezygnacji z udziału.

7. Eksperymenty z AI i VR w doktoratach
   W nowoczesnych badaniach eksperymentalnych coraz częściej używa się sztucznej inteligencji lub wirtualnej rzeczywistości – np. badanie reakcji ludzi na awatary, testowanie chatbotów jako terapeutów, czy eksperymenty w środowiskach symulowanych.

8. Eksperymenty online – nowa fala po pandemii
   W czasach po 2020 r. wiele doktoratów przeniosło eksperymenty do internetu. Można prowadzić badania behawioralne na platformach takich jak Prolific, MTurk czy Qualtrics – z pełną randomizacją, kontrolą i nagrodami dla uczestników.

9. Eksperyment jako narzędzie zmiany społecznej
   Niektóre prace doktorskie celowo projektują eksperymenty, które interweniują w rzeczywiste problemy społeczne, np. redukcję uprzedzeń, poprawę zdrowia publicznego czy zmianę zachowań środowiskowych – łącząc badanie z działaniem.

10. Wielu doktorantów nie wie, że robi eksperyment
    Czasem badacze prowadzą quasi-eksperymenty (np. porównując dwie grupy w naturalnych warunkach), nie zdając sobie sprawy, że są blisko metodologii eksperymentalnej – ale bez randomizacji czy manipulacji zmienną niezależną.

FAQ: Eksperyment jako metoda badania w pracy doktorskiej

1. Czym w sensie metodologicznym jest „prawdziwy eksperyment” (true experiment) i co odróżnia go od badań quasi-eksperymentalnych oraz obserwacyjnych?

Odpowiedź: Prawdziwy eksperyment, uznawany za złoty standard w badaniach przyczynowo-skutkowych, opiera się na trzech filarach:

• Manipulacji: Badacz aktywnie i celowo wprowadza zmianę w warunkach, manipulując co najmniej jedną zmienną niezależną (np. nowa metoda leczenia, odmienny interfejs użytkownika, specyficzny bodziec).

• Kontroli: Badacz sprawuje kontrolę nad warunkami badania, dążąc do utrzymania stałości wszystkich czynników (zmiennych ubocznych i zakłócających) poza zmienną manipulowaną. Kluczowym elementem jest tu zastosowanie grupy kontrolnej, która nie jest poddana manipulacji.

• Randomizacji: Uczestnicy badania są losowo przydzielani do grupy eksperymentalnej (poddanej manipulacji) lub grupy kontrolnej. Randomizacja jest fundamentalna, ponieważ statystycznie wyrównuje między grupami wszelkie istniejące różnice (zarówno znane, jak i nieznane badaczowi), co pozwala z dużą pewnością przypisać zaobserwowane różnice w zmiennej zależnej wyłącznie działaniu manipulacji.

Odróżnienie od innych badań:

• Quasi-eksperyment: Występuje tu celowa manipulacja zmienną niezależną, ale brakuje losowego przydziału do grup. Badacz korzysta z już istniejących, naturalnych grup (np. dwie różne klasy szkolne, pacjenci z dwóch różnych szpitali). Brak randomizacji osłabia możliwość jednoznacznego wnioskowania o przyczynowości, gdyż grupy mogły różnić się systematycznie jeszcze przed rozpoczęciem badania.

• Badanie obserwacyjne (korelacyjne): Badacz nie manipuluje żadną zmienną, a jedynie obserwuje i mierzy istniejące zjawiska, poszukując między nimi związków (korelacji). Nawet silna korelacja nie uprawnia do wnioskowania o związku przyczynowo-skutkowym.

2. Czy grupa kontrolna jest absolutnie konieczna w każdym eksperymencie i jakie są jej metodologicznie poprawne alternatywy?

Odpowiedź: Grupa kontrolna w klasycznym ujęciu (grupa placebo lub grupa niepoddana żadnej interwencji) jest fundamentem wnioskowania, ponieważ stanowi punkt odniesienia (ang. baseline), pozwalający ocenić, czy zmiana w grupie eksperymentalnej jest wynikiem manipulacji, czy też innych czynników (np. efektu upływu czasu). Nie jest jednak jedynym rozwiązaniem. Metodologicznie poprawne alternatywy obejmują:

• Projekt wewnątrzosobniczy (within-subjects design): Zamiast porównywać dwie różne grupy osób, porównuje się tę samą grupę osób w różnych warunkach. Każdy uczestnik staje się niejako „swoją własną kontrolą”. Pozwala to na zredukowanie wariancji błędu wynikającej z różnic indywidualnych. Kluczowe jest tu zastosowanie przeciwważenia (counterbalancing) kolejności warunków, aby zniwelować potencjalny wpływ efektu uczenia się lub zmęczenia.

• Porównanie z „aktywną kontrolą” lub „złotym standardem”: Zamiast grupy nieotrzymującej żadnej interwencji, stosuje się grupę otrzymującą dotychczas stosowaną, najlepszą dostępną metodę (np. porównanie nowego leku nie z placebo, ale z najskuteczniejszym lekiem już obecnym na rynku). Jest to często rozwiązanie bardziej etyczne i o większej wartości praktycznej.

• Projekt z wieloma grupami eksperymentalnymi: Można porównywać kilka wariantów nowej interwencji (np. różne dawki leku, różne wersje programu szkoleniowego) bez klasycznej grupy kontrolnej, choć jej dodanie zazwyczaj wzmacnia siłę wniosków.

3. Jakie są główne zagrożenia dla trafności wewnętrznej i zewnętrznej eksperymentu i w jaki sposób doktorant może im przeciwdziałać?

Odpowiedź: Trafność jest kluczowym kryterium oceny jakości eksperymentu.
Trafność wewnętrzna odpowiada na pytanie: „Czy zaobserwowana zmiana w zmiennej zależnej jest faktycznie wynikiem mojej manipulacji, a nie innych czynników?”. Główne zagrożenia to:

• Historia: Zdarzenia zewnętrzne, niezwiązane z badaniem, które zachodzą między pomiarami.

• Dojrzewanie: Naturalne zmiany zachodzące w uczestnikach (np. zmęczenie, głód, rozwój).

• Efekt testowania: Sam udział w pierwszym pomiarze (pre-teście) wpływa na wyniki drugiego (post-testu).

• Efekt Hawthorne’a: Zmiana zachowania uczestników wynikająca z samej świadomości bycia obserwowanym.

Metody przeciwdziałania: Randomizacja, stosowanie grupy kontrolnej, standaryzacja procedury oraz techniki ślepej próby (uczestnik nie wie, w której jest grupie) lub podwójnie ślepej próby (ani uczestnik, ani badacz prowadzący bezpośredni kontakt nie wiedzą o przydziale do grup).

Trafność zewnętrzna odpowiada na pytanie: „Czy wyniki mojego badania można uogólnić na inne populacje, warunki i czas?”. Główne zagrożenia to:

• Niereprezentatywność próby: Próba badawcza jest specyficzna (np. tylko studenci psychologii) i różni się od populacji generalnej.

• Sztuczność warunków eksperymentalnych: Wysoce kontrolowane, laboratoryjne warunki mogą nie odzwierciedlać złożoności realnego świata.

Metody przeciwdziałania: Stosowanie losowego doboru próby z populacji (co jest często trudne), dbałość o realizm eksperymentalny oraz przeprowadzanie badań replikacyjnych w różnych warunkach i na różnych grupach.

4. W jaki sposób ustalić odpowiednią wielkość próby badawczej, aby eksperyment posiadał wystarczającą moc statystyczną?

Odpowiedź: Ustalenie odpowiedniej wielkości próby jest jednym z najważniejszych etapów planowania eksperymentu i nie powinno być wynikiem zgadywania. Służy do tego analiza mocy statystycznej (power analysis), którą należy przeprowadzić a priori (przed zebraniem danych). Moc statystyczna to prawdopodobieństwo poprawnego wykrycia efektu (różnicy między grupami), o ile taki efekt faktycznie istnieje w populacji. Przyjętym standardem jest moc na poziomie 0,80 (czyli 80% szansy na wykrycie istniejącego efektu).

Do przeprowadzenia analizy mocy (np. w darmowym programie G*Power) potrzebne są trzy parametry:

1. Poziom istotności (alfa, α): Zazwyczaj przyjmowany na poziomie 0,05.

2. Oczekiwana wielkość efektu (effect size): To standaryzowana miara siły związku lub różnicy między grupami (np. d Cohena dla testu t, eta-kwadrat dla ANOVA). Jej wartość należy oszacować na podstawie wcześniejszych badań w danym obszarze, badań pilotażowych lub przyjąć konwencjonalną wartość (mały, średni, duży efekt). Jest to najtrudniejszy, ale i najważniejszy element szacowania.

3. Pożądana moc statystyczna (1-β): Zazwyczaj 0,80 lub wyżej (np. 0,90 dla badań o dużym znaczeniu klinicznym).

Przeprowadzenie eksperymentu na zbyt małej próbie („underpowered study”) jest nieetyczne (naraża uczestników na ryzyko bez realnej szansy na uzyskanie wiarygodnych wyników) i prowadzi do wysokiego ryzyka popełnienia błędu II rodzaju (nieodrzucenie fałszywej hipotezy zerowej).

5. Jakie są fundamentalne zasady etyczne, których należy bezwzględnie przestrzegać, projektując i prowadząc eksperyment z udziałem ludzi?

Odpowiedź: Każdy eksperyment z udziałem ludzi musi być podporządkowany nadrzędnej zasadzie primum non nocere (po pierwsze, nie szkodzić). Każdy doktorant jest zobowiązany do uzyskania zgody właściwej Komisji ds. Etyki Badań Naukowych. Fundamentalne zasady obejmują:

• Świadoma zgoda (informed consent): Uczestnicy muszą być w pełni poinformowani (w zrozumiały dla nich sposób) o celu badania, procedurach, potencjalnym ryzyku i korzyściach, a także o swoim prawie do wycofania się w dowolnym momencie bez żadnych konsekwencji. Zgodę wyrażają dobrowolnie, najczęściej w formie pisemnej.

• Minimalizacja ryzyka: Ryzyko (fizyczne, psychiczne, społeczne) udziału w badaniu nie powinno przewyższać tego, z którym uczestnicy spotykają się w życiu codziennym. Jeśli ryzyko jest większe, musi być uzasadnione potencjalnymi, znaczącymi korzyściami naukowymi lub społecznymi.

• Poufność i anonimowość: Dane osobowe uczestników muszą być chronione. Należy dążyć do anonimizacji danych (usunięcia wszelkich informacji identyfikujących), a jeśli to niemożliwe, zapewnić pełną poufność (dostęp do danych identyfikujących ma tylko wąskie grono badaczy).

• Unikanie maskowania (deception), a jeśli to konieczne – stosowanie odkłamania (debriefing): Należy unikać wprowadzania uczestników w błąd co do prawdziwego celu badania. Jeśli jest to metodologicznie niezbędne (np. aby uniknąć wpływu oczekiwań na wyniki), po zakończeniu udziału w eksperymencie należy bezwzględnie przeprowadzić sesję odkłamania, podczas której wyjaśnia się prawdziwy cel, powody zastosowania maskowania i odpowiada na wszystkie pytania, a także monitoruje samopoczucie uczestnika.