W jaki sposób w Rankingu Szkół Ponadgimnazjalnych uwzględnić EWD, czyli edukacyjną wartość dodaną – zastanawiali się członkowie Kapituły na listopadowym posiedzeniu tego gremium. Prace nad umieszczeniem jej w algorytmie rankingowym trwają, warto zatem wiedzieć, jak powstaje EWD i co tak naprawdę pokazuje.
Wyniki egzaminacyjne uczniów zależą od wielu czynników niezależnych od szkoły, przede wszystkim od uprzednich osiągnięć uczniów. Dlatego końcowe wyniki egzaminacyjne mogą być w wielu wypadkach wysoce zawodnymi wskaźnikami tego, czy dana szkoła dobrze naucza. W odróżnieniu od zespołu ekspertów Perspektyw, Zespół EWD promuje metodę statystyczną, która prowadzi do wyliczenia wyników egzaminów i efektywności nauczania z uwzględnieniem wyników uczniów, którzy rozpoczęli naukę w szkole ponad-gimnazjalnej.
Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania oraz nazwa wskaźnika efektywności nauczania.
Aby można ją zastosować, musimy zgromadzić wyniki dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. W modelu szacowania wskaźników EWD dla szkoły uwzględniamy informacje o wynikach egzaminacyjnych oraz dodatkowo informacje o płci ucznia oraz dysleksji.
Metoda EWD pozwala analizować wyniki nauczania w szkołach ze względu na zasoby „na wejściu”. W wypadku liceów ogólnokształcących i techników najlepszą, dostępną miarą zasobów „na wejściu” są wyniki uczniów na egzaminie gimnazjalnym. Wyniki egzaminu gimnazjalnego informują nie tylko o poziomie osiągnięć szkolnych ucznia na progu szkoły ponadgimnazjalnej, ale są też „nośnikiem” wiedzy o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki egzaminu gimnazjalnego są uwarunkowane podobnymi czynnikami, co rezultaty matury. Postęp ten w poprawny statystycznie sposób pozwala wyznaczać metoda edukacyjnej wartości dodanej.
Wskaźniki EWD mają charakter względny i nie informują o bezwzględnych postępach w nauce. Służą do porównywania szkół.
W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wskaźnik EWD dla liceum ogólnokształcącego mówi o tym, na ile wysokie/niskie wyniki matury uzyskali jego absolwenci w porównaniu do uczniów o analogicznych wynikach na egzaminie gimnazjalnym. Podobnie wskaźnik EWD dla technikum pokazuje, na ile wysokie/niskie wyniki matury uzyskali jego absolwenci w porównaniu do uczniów techników w Polsce przy statystycznej kontroli wyników na egzaminie gimnazjalnym.
Wartość dodatnia EWD wskazuje na ponadprzeciętną w skali kraju efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.
Jakie dane wykorzystywane są do szacowania wskaźników?
Do wyliczenia ewaluacyjnych wskaźników egzaminacyjnych wykorzystywane są dane egzaminacyjne dla trzech roczników maturzystów, np. 2010-2012. Do publicznej wiadomości podano trzyletnie wskaźniki, że względu na większą rzetelność oszacowań tych wskaźników zależną w dużej mierze od liczby danych. Wieloletnie wskaźniki egzaminacyjne są mniej narażone na losowe wahania niż jednoroczne i dzięki temu są bardziej rzetelną miarą wyników i efektywności nauczania poszczególnych szkół.
|
Cztery obszary nauczania Dla każdej szkoły obliczane są ewaluacyjne wskaźniki egzaminacyjne z zakresu czterech obszarów nauczania.
Uzyskane dla każdego z czterech wyróżnionych obszarów nauczania wskaźniki poziomu umiejętności maturzystów są przeliczane na skalę standaryzowaną o średniej krajowej 100 i odchyleniu standardowym 15. Procedura standaryzacji przeprowadzana jest oddzielnie dla uczniów liceów ogólnokształcących i techników w każdym z czterech opisywanych wskaźnikami obszarów nauczania. Poniższy wykres przedstawia zakładany procentowy rozkład wyników. Na wykresie przedstawiono wartości procentowe dla wybranych punktów skali. I tak wynik 130 oznacza, że tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, natomiast rezultat 85 wskazuje, że blisko 16% zdających uzyskało wynik niższy.
Wyskalowane wyniki maturalne służą zarówno do prezentacji średniego rezultatu maturalnego dla danego liceum ogólnokształcącego lub technikum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. Dla wskaźnika EWD skala ma swój środek w punkcie 0. Na przykład – wynik EWD szkoły równy 5 pkt. oznacza, że wynik w danym obszarze nauczania przeciętnego ucznia tej szkoły na maturze był o 5 punktów wyższy (w skali standardowej, czyli o 1/3 odchylenia standardowego wyższy), niż by to wynikało z jego rezultatu na egzaminie gimnazjalnym. Średni wynik egzaminacyjny i EWD, czyli wskaźnik efektywności nauczania, to miary komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z osobna. |
Do szacowania maturalnych wskaźników egzaminacyjnych wykorzystuje się informację o wykonaniu wszystkich zadań egzaminacyjnych przez każdego ucznia zarówno na poziomie podstawowym, jak i rozszerzonym.
Dzięki nowoczesnym metodom skalowania wyników testowania (tzw. Metody IRT i modelowi selekcji 2PL/GPCM) możemy oszacować na jednej skali poziom umiejętności uczniów, mimo że nie rozwiązywali tego samego zestawu zadań. W procesie skalowania każdego zadania szacowane są dwa parametry: trudność zadania i moc różnicująca (dyskryminacja). Drugi z nich pozwala różnicować uczniów ze względu na poziom umiejętności mierzonej danym testem.
Przy wyliczaniu wyskalowanego wyniku ucznia przykładamy większą wagę do zadań o większej
mocy różnicującej. Uznajemy, że dobre rozwiązanie zadania o dobrych własnościach pomiarowych jest lepszym świadectwem wysokiego poziomu umiejętności. Przy tym sposobie skalowania wynik uzyskany przez maturzystę nie zależy od liczby wykonywanych zadań, tylko od tego, jak poradził sobie z zadaniami o różnej trudności, które rozwiązywał podczas maturalnych zmagań.
Warto zwrócić uwagę, że na stronie www.ewd.edu.pl – obok czterech wykresów przedstawiających wskaźniki dla każdej szkoły – występuje tabela ilustrująca
liczbę uczniów, którzy przystąpili do egzaminów maturalnych z uwzględnieniem struktury wyboru przedmiotów i poziomów maturalnych.
Możemy także porównywać efektywność pracy i wyniki egzaminacyjne w stosunku do średniego wyniku w Polsce, województwie czy powiecie, a także między wszystkimi szkołami tego samego typu w powiecie, województwie czy kraju.
Dodatkowo w tabelach podano informację o liczbie osób, które przystąpiły w szkole do egzaminu maturalnego w latach 2010-2012 wraz ze strukturą wyboru przedmiotów i poziomów egzaminów.
Znajomość wskaźników
Trzyletnie wyniki egzaminacyjne i EWD winny służyć szkołom do ewaluacji wewnętrznej i zewnętrznej celem ustalenia czy uczniowie uzyskują postęp porównywalny/wyższy/niższy niż w szkołach, które pracowały z uczniami o tym samym potencjale co w tej szkole.
Znajomość wskaźników to początek refleksji nad jakością pracy i planowaniem dalszego jej rozwoju.
Wiele szczegółowych informacji, materiałów merytorycznych i szkoleniowych oraz publikowanych artykułów na ten temat można znaleźć na stronie
dr Maria Krystyna Szmigel
Wicedyrektor OKE w Krakowie, członek zespołu badawczego IBE ds. wypracowania metodologii EWD pracującego pod kierunkiem prof. dr. hab. Romana Dolaty.