MegaBaza edukacyjna Perspektywy®


 

Oświadczenie "Perspektyw"

Błąd to nie "fałszerstwo"

Na Onet.pl ukazał się 8 stycznia artykuł pt. "Ranking (nie)dojrzałości Perspektyw" dotyczący Rankingu Liceów i Techników "Perspektywy". W związku z tym oświadczamy:

"Perspektywy" przygotowują od 25 lat profesjonalne rankingi edukacyjne, które pomagają kolejnym pokoleniom młodych ludzi w wyborze szkoły i uczelni. Jesteśmy z tego dumni. Z największa starannością weryfikujemy i przetwarzamy dane oraz korygujemy, jeśli zachodzą ku temu przesłanki, stosowaną w rankingach metodologię. Korzystamy w tym zakresie ze wsparcia Kapituły Rankingu, która składa się z osób zaufania publicznego w zakresie edukacji i szkolnictwa wyższego.

O ile dobór kryteriów i wskaźników używanych w rankingach oraz wag, z jakimi są one  stosowane należy w pełni do kompetencji Kapituły, to jakość danych jest czynnikiem krytycznym, gdyż pozyskiwane są one ze źródeł zewnętrznych. Zdarzają się, na szczęście bardzo rzadko, pomyłki wynikające z niezamierzonego zazwyczaj błędu operatora. 

Taki właśnie błąd, niewielki w naszej ocenie, znalazł się w pierwotnej wersji Rankingu Liceów i Techników Perspektywy 2018 i został szeroko przeanalizowany na łamach Onet.pl.

Należy podkreślić, że wszystkie wyliczenia związane z rankingiem 2018 (bazującym na danych z matury 2017) zostały wykonane prawidłowo. Jednakże po kilku tygodniach od opublikowania rankingu okazało się, że niewielka część użytych danych posiada wadę, wynikającą z błędu pracownika OKE przygotowującego materiał na użytek rankingu. Błąd polegał na tym, że liczba osób zdających egzamin maturalny z informatyki w woj. mazowieckim została omyłkowo podwojona. Dotyczyło to uczniów ze 172 szkół - na 3929, które dane były analizowane w całym kraju. Egzamin ten zdawało na Mazowszu 1138 uczniów, z których każdy wypełniał dwa arkusze egzaminacyjne, co prawdopodobnie zmyliło osobę w OKE.

Dla wyników rankingu wpływ tej pomyłki był minimalny. Jeśli weźmie się pod uwagę, że podczas matury 2017 w całym kraju wypełnionych zostało łącznie ok. 1,3 miliona arkuszy egzaminacyjnych (według danych CKE), przekazane nam mylnie dane o dodatkowych 1138 arkuszach z informatyki stanowią zaledwie 0,875 promila (0,000875) całości danych egzaminacyjnych.

Po wykryciu błędu w danych wejściowych dokonaliśmy ponownego przeliczenia rankingu. Okazało się, że w "medalowej" czołówce obu rankingów głównych (liceów oraz techników) nie nastąpiły znaczące zmiany. Tylko w jednym z kilkudziesięciu publikowanych przez nas rankingów cząstkowych, konkretnie w Rankingu Maturalnym Liceów, nastąpiła zmiana lidera, którym zostało LXVII LO im. Jana Nowaka-Jeziorańskiego w Warszawie.

Na początku lutego 2018 odwiedziliśmy tę szkołę i przekazaliśmy Dyrektorowi Krzysztofowi Mirowskiemu informację o zaistniałym błędzie oraz wręczyliśmy należny mu dyplom za zajęcie I miejsca w tym rankingu cząstkowym. Zawiadomiliśmy też o zmianie pozycji dyrekcję liceum, które utraciło palmę pierwszeństwa.

Naszym błędem było jedynie, że z opóźnieniem opublikowaliśmy poprawione wyniki rankingu, za co przeprosiliśmy szkoły i wszystkich zainteresowanych.

Zarazem wyrażamy stanowczy protest, co do użytego w publikacji Onetu określenia "zafałszowany ranking" i "zafałszowane wyniki", bowiem żadna intencja zafałszowania wyników nie miała miejsca oraz, co więcej, nie została opisana ani wykazana w samym artykule. Mamy nieodparte wrażenie, że określenie to służy jedynie podbijaniu "klikalności" publikacji - bez względu na rzeczywistość. W naszej ocenie, Onet.pl wykazał się w tym zakresie niedojrzałością i naruszył nasze dobre imię. Nasi prawnicy analizują podjęcie kroków w tej sprawie.

Zwracamy też uwagę, że - przy całym szacunku dla krytyki jaka nas spotkała - publikacja Onetu w istocie potwierdza rzetelność i przejrzystość rankingu Perspektyw. Krytyka ta była bowiem możliwa dzięki temu, że autorzy rankingu w transparentny sposób upubliczniają zarówno rodzaje i źródła danych, z których korzystają, jak i kryteria, wskaźniki oraz formuły matematyczne wykorzystywane przy obliczeniach.

A już w czwartek zapraszamy do śledzenia wyników Rankingu Liceów i Techników Perspektywy 2019. Metodologia rankingu jest transparentna, zatem każdy będzie mógł sprawdzić osobiście poprawność wyliczeń! Wszystkich zainteresowanych zapraszamy o północy z 9 na 10 stycznia na stronę: www.perspektywy.pl

Waldemar Siwiński
Perspektywy

8 stycznia 2019

 

Korespondencja z 7 stycznia 2019

Na portalu Onet.pl ukazał się dzisiaj (8 stycznia) tekst na temat naszego Rankingu Liceów i Techników. Informujemy w związku z tym, że na stronach: licea.perspektywy.pl oraz technika.perspektywy.pl opublikowana została skorygowana wersja rankingu 2018, niestety z opóźnieniem.

Za to opóźnienie bardzo przepraszamy zainteresowane szkoły i odbiorców rankingu!

Publikujemy poniżej tekst z wyjaśnieniami, przesłany wcześniej w odpowiedzi na pytania red. Andrzeja Gajcy z Onetu:

 

Szanowny Panie Redaktorze,

Dziękuję za zainteresowanie się Rankingiem Liceów i Techników przygotowywanym od ponad 20 lat przez Fundację Edukacyjną "Perspektywy".

Ranking ten spełnia standardy międzynarodowe (określone w tzw. IREG Berlin Principles) wymagane od tego typu publikacji. Posiada on jednoznacznie określonego adresata, którym są absolwenci szkół podstawowych (wcześniej gimnazjów), stosuje transparentną metodologię, korzysta wyłącznie ze sprawdzonych danych zewnętrznych, posiada system zewnętrznego nadzoru (Kapitułę Rankingu składają się z osób zaufania publicznego w zakresie edukacji) oraz posiada procedury zapewniające przestrzeganie zasad jakości przy opracowywaniu i publikacji rankingu.

Od strony formalno-matematycznej ranking oparty jest na klasycznej metodzie analizy wielokryterialnej Multi-Criteria Analysis (MCA).

Każde opracowanie o charakterze jakościowym wymaga aby oceniana grupa podmiotów była maksymalnie jednorodna (aby nie porównywać "gruszek z jabłkami"). Dlatego Ranking Liceów i Techników "Perspektywy" uwzględnia jedynie część szkół kończących się maturą (bez szkół dla dorosłych i bez szkół specjalnych), w których egzamin maturalny zdaje w danym roku minimum 12 osób, a średnie wyniki szkoły z języka polskiego i matematyki zdawanych na poziomie obowiązkowym są nie niższe niż 0,75  średniej krajowej w danej grupie (liceów lub techników). Nie są również brane pod uwagę egzaminy zdawane na tzw. arkuszach niestandardowych (dla niewidzących i słabo widzących, niesłyszących i słabo słyszących), na których maturę corocznie zdaje w kraju mniej niż 1 procent. Kapituła Rankingu corocznie analizuje te kryteria i podejmuje decyzje o ew. korektach metodologii - w ciągu 20 lat podejmowano takie decyzje kilkakrotnie, m.in. w związku z wprowadzeniem nowego systemu matur.

Dlatego nie możemy zgodzić się z zarzutem o "niesprawiedliwym zliczaniu matur zdawanych na kartach niestandardowych". Z wyszczególnionych powyżej powodów metodologicznych, nasz ranking - decyzją Kapituły - takich matur w ogóle nie zlicza.

Jeśli natomiast chodzi o sugerowane "nieprawidłowości" przy tworzeniu Rankingu Liceów i Techników "Perspektywy 2018", to wyjaśniam, że edycja ta przygotowana została z zachowaniem wszelkim zasad prawidłowego tworzenia rankingów, w oparciu o transparentną, dostępną dla wszystkich metodologię. Jak zawsze, wykorzystaliśmy dane pochodzące z systemu zewnętrznych egzaminów maturalnych (z roku 2017). Zostały one prawidłowo przeliczone i opublikowane w styczniu 2018.

Po kilku tygodniach od opublikowania rankingu okazało się, że niewielka część tych danych posiada wadę, polegającą na tym, że liczba osób zdających egzamin maturalny z informatyki w woj. mazowieckim, została podwojona. Dotyczyło to uczniów ze 172 szkół - na 3929, które dane były analizowane w całym kraju. Egzamin ten zdawało na Mazowszu 1138 uczniów, z których każdy wypełniał dwa arkusze egzaminacyjne, co prawdopodobnie zmyliło osobę w OKE przygotowującą dane.

Dla wyników rankingu wpływ tej pomyłki był minimalny. Jeśli weźmie się pod uwagę, że podczas matury 2017 w całym kraju wypełnionych zostało łącznie ok. 1,3 miliona arkuszy egzaminacyjnych (według danych CKE), przekazane nam mylnie dane o dodatkowych arkuszach z informatyki stanowią zaledwie 0,875 promila (0,000875) całości danych egzaminacyjnych. Oznacza to, że zgodnie ze standardami badań jakościowych dane te spełniają wymagania wysokiej jakości i uzyskane z ich użyciem wyniki rankingu są prawidłowe.

Po wykryciu błędu w danych wejściowych dokonaliśmy ponownego przeliczenia rankingu. Okazało się, że w "medalowej" czołówce obu rankingów głównych (liceów oraz techników) nie nastąpiły żadne zmiany. Tylko w jednym z kilkudziesięciu publikowanych przez nas rankingów cząstkowych, konkretnie w Rankingu Maturalnym Liceów, nastąpiła zmiana lidera, którym zostało LXVII LO im. Jana Nowaka-Jeziorańskiego w Warszawie. Na początku lutego 2018 odwiedziliśmy szkołę i przekazaliśmy Panu Dyrektorowi Krzysztofowi Mirowskiemu informację o zaistniałym błędzie oraz wręczyliśmy należny mu dyplom za zajęcie I miejsca w tym rankingu cząstkowym. Zawiadomiliśmy też o zmianie pozycji dyrekcję liceum, które utraciło palmę pierwszeństwa.

Zwyczajowo, przed opublikowaniem sprostowania, czekamy zawsze kilka tygodni na sygnały o innych ew. błędach zgłaszanych nam przez czytelników. Takich, poza wyżej omówionym, szczęśliwie nie było.

Na stronach: www.licea.perspektywy.pl oraz www.technika.perspektywy.pl opublikowana już została skorygowana wersja rankingu 2018, niestety z opóźnieniem.

Za to opóźnienie przepraszamy zainteresowane szkoły i odbiorców rankingu!

Informujemy też, że skorygowane pozycje szkół w rankingu 2018 zostaną odnotowane w trzyletniej "historii rankingowej szkoły", która zostanie opublikowana w najbliższym Rankingu Liceów i Techników "Perspektywy 2019".

Z poważaniem

Waldemar Siwiński
Prezes Zarządu
Fundacja Edukacyjna "Perspektywy

Warszawa, 7 stycznia 2019

 

 

© 2019 Perspektywy.pl    O nas | Patronaty | Polityka Prywatności | Znak jakości | Reklama | Kontakt