Po wyborach prezydenckich mówiło się o blamażu ośrodków badania opinii publicznej. Organizacja Firm Badania Opinii i Rynku (OFBOR) zleciła grupie naukowców przygotowanie raportu oceniającego metodologię i rezultaty sondaży przedwyborczych.  Zanim raport został sporządzony ośrodki ponownie skompromitowały się podczas wyborów samorządowych. Jeden z ośrodków, który wypadł relatywnie dobrze podczas wyborów prezydenckich, dołączył do reszty.

Pomimo tego w prasie nadal ukazują się sondaże (ktoś za nie płaci), komentatorzy nadal je komentują, mówią o „lekkim spadku PO", „stabilizacji PiS", o „możliwości dostania się do Sejmu PJN". Owszem używają zastrzeżeń typu „nie można do końca wierzyć sondażom", „trzeba pamiętać, że sondaże pokazują tylko tendencje" – ale komentują je tak, jakby, mimo wszystko, odzwierciedlały one rzeczywiste poglądy i preferencje Polaków. Na portalu wPolityce sondaże pieczołowicie komentuje Michał Kolanko, a ostatnio za podstawę swojej analizy wziął je Piotr Zaremba.

Ten ostatni tekst sprowokował mnie już do reakcji.  Zaremba bierze pod uwagę sondaże z 11 lutego, CBOS-u oceniającego stosunek dwóch głównych partii – PO i PiS – na 37 do 20, i Homo Homini oceniającego ten stosunek na 32 do 28. Jedna pracownia twierdzi, że PO przeważa nad PiS-em prawie dwukrotnie (!), a druga, że idą w zasadzie łeb w łeb. I Zarembie to za bardzo nie przeszkadza. A przecież jest to kompletny skandal!

Tydzień później GFK Polonia oceniła ten stosunek na 46 do 30: a więc w lutym 2011 roku PO ma poparcie 46 czy 32 proc. Polaków? Można, rzec 14 proc. w tą czy w tamtą, co za różnica. Połowa Polaków i tak już nie wierzy w żadne sondaże, a komentatorzy muszą przecież coś komentować – chociażby to była tylko wirtualna rzeczywistość.

Są dwie możliwości: albo jedna z pracowni popełnia jakieś kardynalne błędy (i powinna zniknąć z rynku) albo obie mylą się w stopniu nieakceptowalnym! Co na to raport naukowców? Gdy zobaczyłem, że do grupy wszedł prof. Radosław Markowski (który na antenie TV swoje własne preferencje polityczne miesza z faktami) nie miałem wielkiej nadziei. Nawet mimo tego, że szefem komisji został prof. Henryk Domański. I rzeczywiście, ogłoszony niedawno raport minął prawie bez echa. Góra zrodziła mysz.

Naukowcy zwrócili uwagę, że  „sondaży wyborczych nie można traktować jako prognozy wyborczej",  że „niedoszacowanie PiS może wynikać z poprawności politycznej", że „ludzie co innego mówią, a później inaczej głosują" – czyli nic ponadto, co było jasne beż żadnych badań.

Czyli tak ma być. Nic więcej nie da się zrobić. Czy ta niemoc nie staje się już cechą charakterystyczną III RP? Tempo budowy autostrad mamy jakie mamy, to i jakość sondaży też jest jaka jest. W związku z taką sytuacją ludzie dzielą się na cztery grupy. Pierwsza, traktująca sprawę na „chłopski rozum": sondaże są do bani, i nie ma co na nie zwracać uwagi (zwykle towarzyszą temu proste wyjaśnienia, takie jak: „sondaże w III RP robione są na zamówienie ośrodków politycznych i po prostu kłamią" albo „zwykłe dziadostwo, tak jak we wszystkim"). Druga grupa (nie używająca rozumu, do tak skomplikowanych rzeczy jak ocena tego, co podają media) – ta przyjmuje biernie komunikat, że Polacy nadal gremialnie chcą głosować na PO, więc (chyba) nic złego się nie dzieje (znaczna część tej grupy wbrew rozsądkowi bierze udział w kolejnych wyborach).

Trzecia grupa to dziennikarze i komentatorzy. Ci wiedzą, że coś jest nie tak, ale jednocześnie wierzą, że nie aż tak bardzo (przecież nie są oszołomami!). W demokratycznych krajach rozsądni ludzie kierują się sondażami i badaniami opinii publicznej, więc my też. Możliwości, że nie jesteśmy normalnym krajem demokratycznym nie biorą pod uwagę.  Sondaże traktują poważnie i obśmiewają z wyższością tych, którzy w swoich rachubach wyniki sondaży kwestionują. Wystarczy tylko przed analizą wyklepać formułkę: „Nie można do końca wierzyć sondażom, ale ..." i już można komentować rzeczywistość wykreowaną przez sondaże. Wreszcie czwarta grupa to fachowcy, którzy wiedzą jak się robi sondaże, na czym to polega, i jaki jest kłopot. Ci, z różnych powodów, milczą.

Ja nie mam żadnego powodu, żeby milczeć, więc pozwolę sobie stwierdzić najpierw, zanim uzasadnię: Polskie sondaże to humbug. Różnice jakie prezentują różne ośrodki są nieakceptowalne! Tak znacznych i regularnych rozbieżności nie ma w żadnym normalnym kraju demokratycznym. Dziedzina badań opinii publicznej w Polsce cierpi na tę samą chorobę, co wiele innych dziedzin, gdzie „nasze osiągnięcia" są kompromitujące.

Wspomniany raport naszych naukowców to niestety też humbug. Jak można przeczytać w prasowych sprawozdaniach raport został sporządzony na podstawie ankiet, a ośrodki „nie na wszystkie pytania chciały odpowiadać, motywując to tajemnicą handlową i prawem własności". Jednym słowem  sondażownie zachowały się tak samo jak ankietowani Polacy.

W niektórych sondażach odsetek realizacji kształtował się na poziomie 10 – 20 proc., co sprawia, że jest mało prawdopodobne, by uzyskany w nich wynik odzwierciedlał dokładnie preferencje wyborcze

– czytamy w raporcie. Czyli media prezentują nam sondaże, w których 90 proc. zapytanych odmawia udziału w ankiecie! Pytanie, dlaczego w Polsce mamy tak olbrzymi odsetek odmów, pozostaje bez odpowiedzi.  A proszę sobie wyobrazić ankietera, studenta, któremu wszyscy odmawiają udziału w sondażu? Co taki zrobi? Co w tej sytuacji zrobi „cwany Polak"?

Na konferencji prasowej, Łukasz Mazurkiewicz z OFBOR zwrócił uwagę na trzy czynniki, które mogą negatywnie wpływać na trafność sondaży. Wymienił: rosnące oczekiwania co do tempa realizacji badania, traktowanie sondaży jako narzędzia walki politycznej oraz brak jasnych reguł tworzenia prognoz wyborczych na podstawie danych sondażowych. Zastanawiam się, co znaczy „traktowanie sondaży jako narzędzia walki politycznej". Czy pan Mazurkiewicz sugeruje, że nasze sondażownie biorą udział w walce politycznej? Dopasowują wyniki do oczekiwań zleceniodawcy? A co znaczy „brak jasnych reguł tworzenia prognoz wyborczych na podstawie danych sondażowych"? Są dobrze opracowane reguły naukowe tworzenia takich prognoz i są sytuacje, kiedy staje się jasne, że reguły te nie zostały spełnione.

Chyba, że pan Mazurkiewicz niefortunnie się wyraził i chodziło mu o reguły prezentowania wyników szerokiej publiczności. Swego czasu zwracałem już na to uwagę w „Rzeczpospolitej", że do zmieszania przyczynia się brak jednakowego standardu w przedstawianiu wyników badań. Jedni nie uwzględniali w prezentacji wyników wyborców niezdecydowanych, inni uwzględniali (ale nie informowali o tym). W rezultacie wyniki GFK Polonia potrafiły być o kilkanaście procent mniejsze, niż innych sondażowni. (Obecnie GFK Polonia zmieniła już sposób). Jednak problem standaryzacji prezentacji wyników sondaży pozostał nierozwiązany (o ile mi wiadomo nie zwróciła na to uwagi komisja naukowców!).

Należy sobie powiedzieć wyraźnie: zdecydowana większość ludzi i komentatorów politycznych odczytuje prezentowane wyniki sondaży według zasady: "Co by było, gdyby wybory odbyły się dzisiaj", a więc jako potencjalny procentowy wynik wyborczy. Jest to wystarczający powód, żeby tak właśnie prezentowane były wyniki sondaży. Tego oczekujemy od firm. Tak prezentowane są wyniki sondaży (jako prognozy wyborcze) we wszystkich krajach zachodnich, które sprawdziłem.

A u nas: od Sasa do lasa. Jedni w rubryce „Inne" podają 3% drudzy 23% (wszystkie dane z okolic 11 lutego 2011). Oznacza to, że jedni liczą tylko głosy oddane rzeczywiście na inne partie, a drudzy dodają do tego głosy niezdecydowanych i niewiedzących. Nie trzeba żadnego audytu, żeby to zauważyć. W tej sytuacji branie średniej (jak poradził na swoim blogu znany socjolog) jest brakiem zrozumienia elementarnej matematyki kryjącej się za tymi wynikami. Czy nasi komentatorzy i socjologowie biorą średnią według znanego prawa nauk humanistycznych, że „prawda leży gdzieś pośrodku"? A może po prostu nigdy nie widzieli rubryki „Inne", bo nasze „leniwe" gazety tego nie podają?

Z gazet nie dowiemy się też (bo komu chciałoby się takie szczegóły sprawdzać), że w starych krajach demokratycznych jest inaczej. Po pierwsze, wszystkie główne ośrodki badań opinii podają swoje prognozy według tego samego schematu, a więc są one rzeczywiście porównywalne. Po drugie, wyniki różnych firm albo są niemal identyczne, albo różnią się o 2-4%:  bardzo rzadko występują różnice osiągające 6 procent (±3 %; błąd statystyczny dla badania na standardowej próbie 1000 osób). Po trzecie, główne firmy są zrzeszone w branżowych stowarzyszeniach mocno dbających o jakość badań i gwarantujących ich solidność. Po czwarte, dobre badania muszą kosztować.

Dla przykładu: w Finlandii firma Taloustutkimus publikuje co miesięczne wyniki sondaży na próbie ponad 3000 osób z błędem statystycznym ±1.8%. W Szwecji, rezultaty wyborów w 2010 roku firmy sondażowe przewidziały z dokładnością do 1% (stosując standardowe badania na próbach 1000 osób). O prawidłowej metodologii świadczy fakt, że zmiany na dwa-trzy miesiące przed wyborami w publikowanych wynikach były niewielkie. A u nas? Na kilkanaście dni przed wyborami w 2007 roku PiS w pewnych sondażach miało 6% przewagi nad PO, by w końcu przegrać 9%. Komentatorzy przypisywali to przegranej przez prezesa PiS debacie telewizyjnej. Czyli: ponieważ Kaczyński „źle się uśmiechnął" 15 % wyborców w ostatniej chwili zmieniło zdanie?! Jeśli to prawda, to jesteśmy rzeczywiście wyjątkowym narodem. Jest to fascynujący temat dla socjologów. Problem jednak w tym, że powtarzające się grube pomyłki wszystkich sondażowni „na mecie" nie pozwalają tych domniemanych zmian nastrojów w elektoracie komentować na poważnie.

Jestem rozczarowany wynikami prac komisji prof. Domańskiego. Wnioski powinny być znacznie mocniejsze na bazie samych tylko faktów, które przytaczam w tym artykule. Przede wszystkim należało stwierdzić, że sytuacja na polskim rynku badania opinii publicznej nie spełnia europejskich standardów i konieczne są zdecydowane działania naprawcze w tym sektorze. Jeśli same firmy nie chcą powołać silnego stowarzyszenia branżowego, które definiowałoby normy prowadzonych badań i monitorowało rynek (tak jak np. we Francji), powinna powstać niezależna instytucja o odpowiednio dużym autorytecie, która zaczęłaby krytycznie oceniać firmy i poddawać je rankingom. Taka instytucja mogłaby sformułować jednolite wymagania prezentacji prognoz wyborczych i oceniać firmy wedle zgodności sondaży przedwyborczych z rezultatami wyborów.  Może dla prawdziwej konkurencji, należałoby sprowadzić do Polski Instytut Gallupa (który obecny jest w wielu krajach)?

Nie rozumiem dlaczego komisja nie wydała zalecenia publikowania kategorii „Inne" i jej ujednolicenia. (A może nawet nie zwróciła na to uwagi?). To jest istotny element sondażu i na rozbieżnościach w tej rubryce widać nieporównywalność wyników różnych firm. Niezależnie od tego komentatorzy i dziennikarze powinni być też zainteresowani liczbami osób niezdecydowanych i niezainteresowanych. Wyniki powinny być przekazywane redakcjom w dwóch wersjach: prognozy wyborczej („gdyby wybory odbyły się dzisiaj"), do publikacji, oraz wyników zawierających wskazane przeze mnie dodatkowe dane, do komentowania.

Sondaże wyborcze to co prawda tylko 5 procent działalności firm badania opinii publicznej, ale te 5 procent powinno stanowić wizytówkę ich wiarygodności. Prawdopodobnie w warunkach polskich należy przeznaczyć znacznie większe środki finansowe na te badania: na skuteczniejsze szkolenie i kontrolowanie ankieterów, na zachęty dla ankietowanych do barania udziału w sondażach, na ekspertów opracowujących prognozy, itd. Wtedy można by wreszcie uzyskiwać wyniki, które okazywałyby się zbieżne z późniejszymi rzeczywistymi rezultatami.