Trafność eksperymentu

Trafność eksperymentu – termin odnosi się do badania eksperymentalnego, bądź quasi-eksperymentalnego, w dziedzinie psychologii. Według Campbella i Stanleya trafność należy rozpatrywać pod aspektem wewnętrznym oraz zewnętrznym.

Trafność wewnętrzna

Występuje ona wtedy, kiedy zmienna niezależna X w efekcie manipulacji zadziałała na zmienną zależną Y, zgodnie z założeniami przyjętymi w hipotezie badawczej. Aby tak było, plan badania musi być adekwatny do hipotezy oraz czynniki wpływające na zachowanie się badanych (zmienne niezależne uboczne oraz zmienne zakłócające) w trakcie całego eksperymentu muszą być kontrolowane przez badacza. W zachowaniu trafności wewnętrznej niezbędna jest efektywna manipulacja zmienną niezależną-główną X. Plan badania musi eliminować alternatywne wyjaśnienia zmienności zmiennej zależnej Y, które mogą wynikać z czynników zewnętrznych (np. warunki pogodowe, poziom wyspania badanych). Dobrym sposobem maksymalizacji trafności wewnętrznej są Systematycznie Modyfikowane Autoreplikacje (SMAR). Przykładem takiego działania jest badanie Dolińskiego i Nawrata, którego celem było zbadanie zjawiska, jakim jest podatność na wpływy innych po nagłym ustąpieniu emocji strachu (huśtawka emocjonalna). Pierwszy eksperyment polegał na tym, że osoby próbujące przejść w nieoznakowanym miejscu słyszały gwizdek policyjny, co miało na celu wzbudzenie u nich strachu. Jednak zamiast policjanta pojawiała się młoda dziewczyna z kwestionariuszem. Mimo nieprzyjemnej pogody i warunków aż 59% osób wypełniało ankiety (w grupie kontrolnej, w której nie był zastosowany gwizdek – 46%). Aby zwiększyć trafność wewnętrzną następnego badania o tej samej tematyce, Doliński i Nawrat postanowili powtórzyć eksperyment przy zwiększeniu natężenia manipulacji eksperymentalnej oraz oczyszczenia jej z niepożądanych efektów. Autorzy wywnioskowali z wyników poprzedniego zadania brak jednoznacznego sygnału o ustąpieniu zagrożenia, dlatego w tym badaniu chcieli go ulepszyć. Tym razem badali kierowców parkujących w niedozwolonym miejscu. Kierowca, zbliżając się do auta, widział kartkę przypominającą mandat. Kiedy ją odwracał, okazywało się, że jest to jedynie reklama środka na porost włosów i w tym momencie pojawiała się studentka z kwestionariuszem. W tym przypadku zgodziło się aż 62% badanych (w grupie, w której "mandat" znajdywał się przy bocznej szybie tylko 37%, a w grupie bez "mandatu" – 36%). Dzięki ulepszeniu sposobu manipulowania stanem ulgi badacze dokonali maksymalizacji trafności wewnętrznej.

Według Campbella i Cooka czynniki zakłócające, wpływające na trafność wewnętrzną to:

Historia

Czas pomiędzy pretestem Y, a posttestem Y powinien być jak najkrótszy. W innym wypadku dużym prawdopodobieństwem będzie zadziałanie czynnika poza eksperymentalnego (niedotyczącego hipotezy badawczej), który zakłóci jego trafność. Przykładowo, jeżeli badana jest skuteczność reklamy na odbiorcę, a w przerwie pomiędzy prestestem Y, a posttestem Y pojawi się reklama towaru o podobnym przeznaczeniu, bardziej atrakcyjna, badany mylnie dojdzie do wniosku, że reklama badana jest mało skuteczna.

Dojrzewanie

Są to zmiany fizjologiczne i psychiczne osób badanych, które mogą mieć wpływ na badanie. Najczęściej problem ten pojawia się przy badaniach z udziałem dzieci. W celu zmniejszenia czynnika dojrzewania, czas pomiędzy pretestem, a posttestem powinien być jak najkrótszy.

Selekcja

Osoby badane powinny być losowo przydzielane do grup eksperymentalnych (randomizacja 2. stopnia). W innym przypadku może dojść do poważnego zakłócenia trafności badania. Przykładowo, jeżeli w badaniu dotyczącym kształtowania postaw do grupy eksperymentalnej dobierzemy osoby o poglądach rasistowskich, a do grupy kontrolnej osoby ze stowarzyszenia walczącego z rasizmem, efekt badania będzie fałszywie silny. Aby tego uniknąć, należy skorzystać z randomizacji.

Testowanie

Aby zbadać „wyjściowy” poziom zmiennej zależnej u badanych dokonuje się jej pomiaru (pretest Y). W niektórych przypadkach (np. przy pomiarach postaw za pomocą kwestionariusza) to właśnie pretest wpływa na zmienną zależną, a nie postępowanie eksperymentalne. Wyeliminowanie efektu testowania jest możliwe jedynie poprzez zastosowanie planu wg Solomona (por. Brzeziński, 1996).

Instrumentacja

Czynnik związany jest ze zmianami narzędzi pomiarowych, procedurą, metodą obliczania wyników, doświadczeniem osób dokonujących pomiarów. Aby zminimalizować to zakłócenie, nie wolno zmieniać osób kodujących oraz należy przeprowadzić z nimi trening.

Regresja statystyczna

Jest to związane z tendencją do obniżania bardzo wysokich wyników eksperymentu oraz do podwyższania bardzo niskich , co prowadzi do uśredniania się ich. Osoby o niskich, bądź wysokich wynikach, które zostały przydzielone na ich podstawie do grup, podwyższają/obniżają wyniki posttestu. Aby wykluczyć ten czynnik, nie należy prowadzić badań na osobach o takich wynikach w preteście.

Utrata osób badanych

Jeżeli okres prowadzenia badania jest długi, możliwa jest utrata osób badanych. Jeżeli są to osoby o wysokich/niskich wynikach, może dojść do zafałszowania wyników, na których badacz odrzuci lub przyjmie swoją hipotezę.

Interakcja selekcji z historią, dojrzewaniem lub instrumentacją

Zdarza się, że czynnik selekcji zbiega się z trzema wymienionymi powyżej. Może to prowadzić do różnicy wzrostu w wynikach posttestu zmiennej Y. Aby tego uniknąć, należy indywidualnie eliminować każdy z tych czynników.

Przenikanie informacji związanych z postępowaniem eksperymentalnym między grupami

Czynnik występuje głównie wtedy, kiedy eksperyment przeprowadzany jest w warunkach naturalnych. Kontakt między grupą kontrolną, a eksperymentalną może prowadzić do poważnych zakłóceń. W wyniku może dojść do zatarcia różnic między grupami. Może być to spowodowane, między innymi, chęcią grupy, aby jak najlepiej wykonać zadanie.

Kompensujące, programowe zróżnicowanie grup porównawczych, wyrównanie ich traktowania

Ten czynnik również dotyczy głównie badań przeprowadzanych w warunkach naturalnych. Jeżeli badacz wprowadza szczególną manipulację odbiegającą od innych warunków eksperymentalnych dla jednej z grup, inne grupy mogą podejmować próbę zatarcia różnic międzygrupowych, co prowadzi do sfałszowanych wyników.

Kompensowanie mniej pożądanych warunków i spowodowane nim rywalizacyjne zachowanie się osób badanych

Również dotyczy warunków naturalnych eksperymentu. Jeżeli eksperyment wydaje się atrakcyjny i wyróżniający badanych z grupy eksperymentalnej, może to prowadzić do rywalizacji między nią, a grupą kontrolną. Powoduje to, jak w punkcie wyżej, zatarcie różnic międzygrupowych.

Obrażanie się osób badanych

Badani z grupy kontrolnej, jeżeli znalazły się w gorszych warunkach, mogą „manifestować” swoje niezadowolenie poprzez obniżenie swoich możliwości. Prowadzi to do sztucznego zwiększenia różnicy między grupami, a zarazem do nieprawdziwych wyników, które sprawiają wrażenie przychylnych dla akceptacji hipotezy badanej.

Bibliografia

• Brzeziński, J. (1996) Metodologia badań psychologicznych. Warszawa: PWN
• Brzeziński, J. (2004) Metodologia badań psychologicznych. Wybór tekstów. Warszawa: PWN
• Campbell, D., Stanley, J. (1963) Experimental and quasi-experimental designs for research. Houghton Mifflin Company
• Cook, T.D. & Campbell, D.T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Chicago: Rand McNally.