Wspomniany naukowiec to doktor psychologii i ekonomista Sebastian Beri. W swoim poście napisał, że ankieta miała „bardzo ogólny tytuł i opis”, a pytania dotyczyły głównie porównań społecznych i pieniędzy. Mimo tak powszechnej tematyki, aż 91% z 300 osób, które wypełniły ankietę stanowiły kobiety, a ich średni wiek wyniósł 21 lat.
Jak nietrudno się domyślić, tak nierówny stosunek płci w przypadku badań naukowych to spory problem. Aby móc uznać wyniki badania za wiążące, grupa badawcza musi być reprezentatywna dla całej populacji – czyli musi obejmować odpowiednią liczbę kobiet i mężczyzn, w różnym wieku i w różnej sytuacji ekonomicznej.
Pod postem dr. Beriego kilku innych badaczy przyznało, że ma dokładnie ten sam problem z nadreprezentacją młodych kobiet w badaniach ankietowych. Naukowców łączył jeszcze jeden szczegół – wszyscy zamieścili swoje ankiety na tej samej platformie internetowej – prolific.co.
Niechciana reklama badań naukowych na TikToku
Platforma Prolific pozwala naukowcom szybko zgromadzić niezbędne do badań dane ankietowe. Wystarczy określić liczebność grupy docelowej, dodać pytania, a następnie czekać na raport z odpowiedziami.
Z drugiej strony są internauci, którzy wybierają interesujące ich ankiety i wypełniają kwestionariusze. Nie tylko muszą odpowiedzieć na pytania, lecz także uzupełnić swój profil – podać płeć urodzenia, wiek, miejsce zamieszkania czy poziom wykształcenia. Za wypełnienie ankiet mogą otrzymać niewysokie honorarium – i właśnie ten punkt stał się przyczyną ostatnich problemów.
Sarah Frank, nastolatka z Florydy, która od pewnego czasu zarabiała niewielkie kwoty, wypełniając ankiety na Prolific, postanowiła podzielić się swoim „patentem” z innymi. Opowiedziała o serwisie w krótkim nagraniu, które zamieściła na TikToku. Wideo błyskawicznie stało się hitem, a w ciągu miesiąca obejrzało je ponad 4,1 mln osób.
Zapewne nawet sama autorka nie spodziewała się, że zrobi Prolific tak świetną reklamę. Niestety, czas pokazał, że była to niedźwiedzia przysługa. W ciągu kilku dni w serwisie zarejestrowały się dziesiątki tysięcy nowych użytkowniczek – głównie były to młode kobiety, ale nie zabrakło też mężczyzn – które natychmiast zaczęły przystępować do wypełniania ankiet.
Ponieważ platforma nie posiadała żadnych narzędzi przesiewowych, które pozwalałyby upewnić się, że dostarcza naukowcom odpowiednie próbki reprezentujące ogół populacji, wkrótce wszystkie badania zostały zdominowane przez kobiety. Co za tym idzie – wszystkie kwalifikowały się do powtórki.
Naukowcy muszą ponownie przeprowadzić lub sprawdzić 4600 badań
Dla badaczy, którzy polegają na reprezentatywnych próbkach populacji, ta nagła „zmiana demograficzna” była poważnym problemem. Członek Stanford Behavioral Laboratory napisał na forum Prolific: „Zaobserwowaliśmy ogromny skok liczby uczestników z puli amerykańskiej – z 40 tys. do 80 tys. Co jest super, tylko że teraz wiele naszych badań ma nierównowagę płci, gdzie nawet 85% uczestników to kobiety. Poza tym wiek wyniósł średnio około 21 lat”. Podobne problemy zauważyło wielu naukowców.
Współzałożyciel Prolific, Phelim Bradley, powiedział, że wielu nowych użytkowników wydaje się szybko zniechęcać i opuszczać platformę. – Przed wideo z TikToka około 50% odpowiedzi na naszej platformie pochodziło od kobiet. Film spowodował wzrost o 75% na kilka dni, ale od tego czasu liczba ta spada i obecnie wróciliśmy do ok. 60% odpowiedzi od kobiet – powiedział.
Według Bradleya, około 4600 badań zostało zakłóconych, ale zdecydowana większość powinna być możliwa do uratowania. Niestety, większość badań będzie również opóźniona, bo ponowne zgromadzenie danych może potrwać kilka tygodni.
Prolific wprowadza ograniczenia, by uniknąć zafałszowania wyników
Wcześniej – bez niechcianych reklam w mediach społecznościowych – Prolific cieszył się dobrą opinią i zaufaniem wielu naukowców. Po zalewie TikTokerek, a potem także użytkowników Reddita, platforma planuje nieco rozbudować swoje narzędzia i wprowadzić filtry, które pozwolą uniknąć podobnych problemów w przyszłości.
Na razie wprowadzono blokadę dla nowych użytkowników, aby nie mogli brać udziału w zbyt wielu badaniach. Autorom badań pozwolono też bardziej dokładnie określić, którzy z ankieterów mogą wziąć udział w badaniach.
Źródło: The Verge.