NIFC odcina się od Kontka, Kenner broni. Czyj system ocen?NIFC odcina się od Kontka, Kenner broni jego algorytmu, Kontek wskazuje błędy NIFC. Zamieszanie wokół Konkursu Chopinowskiego

Wyniki XIX Konkursu Chopinowskiego wywołały niemałe poruszenie. Wątpliwości nie uspokoiło opublikowanie przez Narodowy Instytut Fryderyka Chopina szczegółowej punktacji jurorów. Kevin Kenner, jeden z siedemnastu jurorów konkursu, w rozmowie z „Gazetą Wyborczą” ubolewa, że „tym razem dało się wykorzystać tylko niektóre narzędzia zaproponowane przez dr. Kontka”. NIFC z kolei stanowczo dementuje doniesienia o współpracy z Krzysztofem Kontkiem podczas tworzenia systemu oceniania i twierdzi, że w tegorocznej edycji „nie zastosowano systemu Kontek/Kenner”. „Gazeta Wyborcza” jednak, publikując już drugi wywiad z Kontkiem, pisze że „na zlecenie NIFC opracował on zręby regulaminu i zmiany w systemie głosowania, choć nie wszystkie jego rozwiązania zostały zastosowane”. Fakt współpracy z Instytutem ujawnił sam Krzysztof Kontek, zgłaszając się do redakcji „Wyborczej”, by zaalarmować, że w „ostatecznej wersji, do której stosują się jurorzy 19. Konkursu Chopinowskiego, nie ma kilku kluczowych algorytmów służących do wykrywania manipulujących jurorów”. O co w tym wszystkim chodzi? Skoro dr Kontek opracował system oceniania, którego nie wdrożono, to rodzą się kolejne pytania: ile to kosztowało i dlaczego zlecenie nie znalazło zastosowania? Czy NIFC jako instytucja publiczna, nie powinien wykazywać się transparentnością i gospodarnością?

XIX Konkurs Chopinowski miał burzliwy przebieg. Narodowy Instytut Fryderyka Chopina wprowadził szereg rewolucyjnych zmian: nowy system oceniania, nowy regulamin prac jury, zmiany repertuarowe czy nowatorski klucz doboru jurorów, w wyniku którego po raz pierwszy w historii przewodniczącym nie był Polak, lecz Amerykanin. Zwycięstwo Erica Lu, ucznia dwóch pedagogów zasiadających w jury – Roberta McDonalda i Dang Thai Sona – spotkało się z falą krytyki. Adam Rozlach stwierdził, że „przegrał Konkurs, przegrał Chopin”, a prof. Marek Dyżewski, że styl gry Lu „jest niemal całkowitym zaprzeczeniem stylu gry Fryderyka Chopina”. Wątpliwości pogłębiał fakt, że Eric Lu nie zdołał zdobyć żadnej nagrody specjalnej, co stanowi sytuację tyleż nową, co zastanawiającą.

Zmiany w systemie oceniania

Dyrektor NIFC, zapowiadając przez Konkursem zmiany regulaminowe, wyjaśniał że w tej edycji system będzie wyłącznie punktowy. „Zrezygnowaliśmy z podwójnego systemu: TAK/NIE i równolegle przyznawanych punktów na rzecz jedynie systemu punktowego. W naszej opinii podwójny system zacierał nieco obraz, dodawał pracy jurorom. Osoby o wyższej punktacji, ale z mniejszą liczbą głosów TAK przegrywały z uczestnikami o mniejszej liczbie punktów, jednak z jednym głosem TAK więcej. Oznaczało to, że muzycy bardziej kontrowersyjni, ale wysoko oceniani przez część jurorów przegrywali z uczestnikami, którzy nie mieli ani wielu pozytywnych, ani negatywnych not” – tłumaczył Artur Szklener w rozmowie z „Gazetą Wyborczą” 2 października. „Dodatkowo wprowadziliśmy mechanizm uwzględniania not z wcześniejszych etapów, tak by jurorzy mogli się skupić na ocenie ostatnich przesłuchań bez konieczności uwzględniania wykonań z wcześniejszych rund konkursu, jak poprzednio. Dlatego tym razem po finale werdykt zaproponowany przez system będzie efektem przeliczenia wyników wszystkich etapów” - mówił.

W regulaminie przewidziano także tzw. „korekcję punktów indywidualnych” ograniczającą maksymalne odchylenie od średniej do 3 pkt w pierwszym etapie i 2 pkt w kolejnych. Przykładowo, jeśli średnia ocen wynosiła 18,5 pkt, a juror przyznał 23 pkt, jego ocena była korygowana do 20,5. Po wprowadzeniu korekt wyliczana jest nowa średnia.

Jurorzy zaskoczeni własnym werdyktem

Czy system się sprawdził? Już w pierwszym etapie przepadło wielu utalentowanych pianistów, co wywołało rozgoryczenie obserwatorów i zdziwiło samych jurorów. Przewodniczący Garry Ohlsson podczas ogłaszania listy uczestników II etapu, przyznał że nawet dla jury „lista jest zaskakująca”. „Wszyscy czuliśmy, że było wielu uczestników, których bardzo chcieliśmy usłyszeć w dalszej części konkursu, ale niestety nie zostali zakwalifikowani do kolejnego etapu” – oświadczył. To zaskoczenie towarzyszyło mu także później.

O przyczyny tej sytuacji „Wyborcza” zapytała innego jurora już po zakończeniu Konkursu. Kevin Kenner potwierdził opinię Ohlssona:

Byłem zaskoczony po każdym etapie. Również tym, że tak wiele moich ocen, zwłaszcza tych najwyższych dla pianistów, którzy moim zdaniem mogli wygrać konkurs, zostało skorygowanych w dół.

I odwrotnie, moje punkty dla kilku osób, co do których byłem pewien, że nie przejdą do następnego etapu, zostały skorygowane w górę„.

Zdaniem Kennera, wynika to z nowego systemu oceniania:

Ze względu na wprowadzony w tym konkursie system, oceny jurorów mogły być korygowane w taki sposób, aby je do siebie zbliżyć [uśrednić - red.]. A to potencjalnie mogło skutkować wynikami, które nie w pełni odzwierciedlały indywidualne preferencje jurorów.

„Szkoda, że nie mogliśmy skorzystać z systemu transpozycji wyników opracowanego przez dr. Krzysztofa Kontka. Pozwoliłoby to wszystkim na swobodne korzystanie z całego zakresu ocen bez obawy o korektę lub wykluczenie opinii skrajnej. (…) NIFC dołożył wszelkich starań, aby znaleźć najlepszy system, jaki był możliwy do zastosowania w danych okolicznościach. Niestety, tym razem dało się wykorzystać tylko niektóre narzędzia zaproponowane przez dr. Kontka”.

Algorytmy Kontka i mechanizmy antymanipulacyjne

Gdyby nie burzliwa batalia, jaką dr Krzysztof Kontek prowadził na rzecz unieważnienia wyborów prezydenckich, pewnie jego współpraca z NIFC przeszłaby bez większego echa. Sam jednak zadbał o własną rozpoznawalność, tworząc wyborcze algorytmy, które okazały się dosyć bałamutne. Do „Gazety Wyborczej” zgłosił się sam, aby wyjaśnić na czym polegają mankamenty oceniania pianistów. Rozmowa została opublikowana 20 października, a przeprowadzona 3 dni wcześniej, czyli tuż przed finałem, o czym już pisaliśmy.

W tej ostatecznej wersji, do której stosują się jurorzy 19. Konkursu Chopinowskiego, nie ma kilku kluczowych algorytmów służących do wykrywania manipulujących jurorów. W ich miejsce jest korekta ocen o +/- 3 punkty, a w dalszych etapach o +/- 2 punkty. Ten system korekt mocno krytykowaliśmy w swoich artykułach z Kevinem. Nie tylko krytykowaliśmy, ale też ostrzegaliśmy przed jego zastosowaniem. W tej wersji nowy system oceniania jest trochę jak wóz na trzech kółkach

— mówił Kontek, wyjaśniając w jaki sposób przyjęty system może generować błędy. Bo choć „jurorzy nie mogą głosować na swoich studentów, to przecież mogą dać niskie oceny głównym kontrkandydatom”. Podkreślił, że zdystansowanie się przez przewodniczącego jury do listy uczestników II etapu to „ewenement na skalę światową. Nie słyszałem, by ktoś kiedykolwiek przedtem zrobił coś takiego na innym konkursie” - stwierdził.

Na czym polegała współpraca Kontka z NIFC?

Zapytany wprost o to, czy jest jednym z autorów nowego regulaminu i systemu oceniania w tym konkursie, Kontek odpowiada:

Dostałem na to zlecenie z Narodowego Instytutu Fryderyka Chopina. Nawet dwa zlecenia, bo pierwsze było na analizę wyników poprzednich edycji. Tam już od pewnego czasu dojrzewała myśl o wprowadzeniu zmian w sposobie oceniania.

Dyrektorowi Instytutu, Arturowi Szklenerowi, przedstawił mnie Kevin Kenner, wybitny pianista, laureat II nagrody 12. Konkursu Chopinowskiego w Warszawie (1990). Od wielu lat zasiada w jury tego konkursu. (…) Później poznałem Kevina Kennera, z którym napisaliśmy kolejne dwa artykuły. Ma z Polską bliskie związki – żonę, mieszkanie w Krakowie, komunikuje się trochę w naszym języku. A więc koncepcja nowego systemu ocen jest moja i Kevina Kennera.

W ubiegłym roku przy wsparciu Kevina napisałem pierwszą wersję regulaminu. Później moje drogi z Instytutem się rozeszły, nie dogadaliśmy się w sprawie szczegółów umowy – nie ma co do tego wracać. Mogę zapewnić, że z dyrektorem Szklenerem podzielaliśmy przekonanie o konieczności przeprowadzenia jak najbardziej uczciwego konkursu.

W styczniu tego roku z Kevinem zastosowaliśmy naszą koncepcję w pełnej formie w Konkursie Chopinowskim w Miami, którego zwycięzcą był William Yang. Wszystko doskonale się sprawdziło. Nie było żadnych zastrzeżeń do końcowych wyników

— podkreśla Kontek, przyznając że ostateczna wersja regulaminu obecnej wersji konkursu została opracowana w NIFC.

Dyrektor Artur Szklener zrobił spore zmiany redakcyjne do tej pierwszej wersji. Poprawił zapisy regulaminu i zrobił to bardzo dobrze. Główne koncepcje pozostawały moje i Kevina. Była tam m.in. kumulacja ocen z poszczególnych etapów, rotacja kolejności uczestników z etapu na etap, oddawanie głosów przez jurorów od razu po sesji, a nie na końcu etapu i inne

— wylicza Kontek tłumacząc, że „w ostatecznej wersji, do której stosują się jurorzy, nie ma kilku kluczowych algorytmów służących do wykrywania manipulujących jurorów”. Zaznacza też, że „system punktowy wymaga bardzo silnych „bezpieczników”, gdyż jest niezwykle podatny na manipulacje jurorów czy też ich nieświadome błędy”.

Komentarz Kontka po publikacji punktacji

Krzysztof Kontek wrócił do „Wyborczej” po wstępnej analizie punktacji jurorów, którą NIFC opublikował tydzień po zakończeniu Konkursu. W rozmowie z 4 listopada potwierdza swoje wątpliwości, przyznając że „wyniki są dość zaskakujące”. Co ciekawe, „Gazeta” kolejny raz pisze, że to człowiek „który na zlecenie NIFC opracował zręby regulaminu i zmiany w systemie głosowania, choć nie wszystkie jego rozwiązania zostały zastosowane”.

Ten końcowy wynik był zaskoczeniem dla niemal wszystkich obserwatorów konkursu. Mogę sobie doskonale wyobrazić zaskoczenie samych jurorów, gdy zobaczyli końcową klasyfikację.

Przyjrzałem się też indywidualnym ocenom jurorów i muszę stwierdzić, że są one niezwykle rozbieżne – i to w różnych kierunkach. (…)

Zidentyfikowałem w związku z tym osiem przypadków głosowań jurorów, które w sposób istotny, w sensie statystycznym, odbiegały od konsensusu całego jury i od głosów innych jurorów

— twierdzi Kontek. Nazwisk nie podaje, by „nie narażać ich na medialny lincz”. Zaznacza, że problemem nie jest sama ocena skrajna, ale zaniżanie not pianistom, których wysoko punktują inni:

Problem pojawia się, gdy juror przyznaje niską ocenę kandydatowi, który jest ogólnie wysoko oceniany przez innych, a jednocześnie daje bardzo wysoką ocenę komuś, kto jest oceniany nisko. Jeśli takie zachowanie się powtarza, zaczynam traktować cały sposób głosowania danego jurora jako odstający od reszty. Zatem mówimy o ośmiu przypadkach, w których jurorzy głosowali wyjątkowo niespójnie z resztą jury. W takich sytuacjach zakładam, że wszystkie oceny danego jurora – na przykład 40 ocen w II etapie – są niewiarygodne i należy je usunąć. W rezultacie liczba takich indywidualnych wątpliwych ocen rośnie – to już dziesiątki, jeśli nie setki ocen. A nie mówię o przypadkach, gdy głosowania jurorów były na statystycznej granicy uznania za odstające.

NIFC odcina się od Kontka

Narodowy Instytut Fryderyka Chopina, zapytany o to, kto jest autorem nowego systemu oceniania i jaka jest w nim rola dr. Krzysztofa Kontka, stanowczo zaprzecza, by miał on w tej sprawie jakikolwiek udział. Dyrektor i rzecznik NIFC podkreślili na konferencji prasowej, że „zastosowany system jest absolutnie nieeksperymentalny”.

W konkursie nie został użyty system doktora Kontka i Kevina Kennera. Nie było eksperymentu. Było wykorzystanie jednego z wariantów regulaminu, który wielokrotnie miał zastosowanie w przeszłości

— stwierdził szef NIFC, dodając że zrezygnowano jedynie z systemu TAK?NIE.

Metoda proponowana przez Kennera/Kontka polega na zupełnie innych założeniach. Mianowicie zamiast korygować noty, które odbiegają w sposób znaczący od średniej — jeśli chodzi o jedno wykonanie — to analizuje się matematycznie wszystkie noty wszystkich jurorów i w momencie, jeżeli wszystkie noty w danym etapie danego jurora odbiegają od średniej, to wtedy wszystkie one są skreślane. I dodatkowo w ramach tamtego systemu dochodzi do tak zwanego skalowania ocen, czyli pewnych matematycznych operacji, które mają w efekcie dać większą kompatybilność ocen między sobą. I chcę jeszcze raz podkreślić, że ani jedna, ani druga z tych metod nie zostały zastosowane. A te, które zastosowaliśmy, są dobrze znane z historii konkursu chopinowskiego i innych konkursów muzycznych.

— podkreśl Artur Szklener, wskazując że Kontek nie jest również autorem regulaminu jury, a podstawą prac nad tym dokumentem nie była żadna propozycja zapisów regulaminowych opracowana przez Kontka.

O co w tym chodzi?

Skoro tak, to dlaczego NIFC nie reaguje na powielane w „Gazecie Wyborczej” informacje, według których „zręby regulaminu przygotowywał Krzysztof Kontek”? Dlaczego zatrudniony przez NIFC juror, otwarcie mówi w wywiadzie, że „tym razem dało się wykorzystać tylko niektóre narzędzia zaproponowane przez dr. Kontka”? Dlaczego NIFC nie komentuje informacji, że przygotowany przez obu panów system został zastosowany „w pełnej formie w Konkursie Chopinowskim w Miami”? Skąd ten ruch uprzedzający Kontka w „Wyborczej”? Dlaczego mówi w nim, że dyrektor Szklener „zrobił spore zmiany redakcyjne do pierwszej wersji” regulaminu, „poprawił zapisy”, ale „główne koncepcje pozostawały” jego i Kevina Kennera? Jakie środki zostały wydane na analizy i opracowanie nowej metody, której ostatecznie nie wprowadzono? Mamy przecież do czynienia z państwową instytucją. Czy nie jest tak, że polityczna „sława” dr. Kontka stała się dla NIFC na tyle dużym obciążeniem, że Instytut nie chce być z nim kojarzony? Z kolei czy Krzysztof Kontek, widząc negatywne skutki wdrożonego systemu punktacji, poczuł potrzebę zaznaczenia, że nie zastosowano jego mechanizmów antymanipulacyjnych, by udaremnić ewentualne zarzuty? Dlaczego wreszcie Kevin Kenner uporczywie upomina się o system przygotowany przez zaproponowanego przez siebie naukowca? Dlaczego w ogóle juror pracuje przy regulaminie na jakimkolwiek etapie? Skąd tyle niejasności? A może chodzi o jakiś konflikt wewnętrzny? Wszystko to budzi mnóstwo wątpliwości. Wysłaliśmy do NIFC szereg pytań, bo niewyjaśnionych spraw wokół Konkursu Chopinowskiego jest znacznie więcej.

CZYTAJ TAKŻE:

—UJAWNIAMY. NIFC usunął Wydanie Narodowe z Konkursu Chopinowskiego. Syn prof. Ekiera do Szklenera: To dyskredytacja. Protestuję!

— Marzena Nykiel: Kolejny skandal na Konkursie Chopinowskim! NIFC dał muzykom nuty z błędami. „To już po prostu sabotaż”

— Rocznica śmierci Chopina i kolejny zgrzyt! Ciche „Requiem” w bazylice odciętej przez „Lalkę”. Konkurs Chopinowski nie jest ich priorytetem