Pomiar Edukacyjny

Informacje o projekcie

Studia z zakresu pomiaru edukacyjnego na Uniwersytecie Jagiellońskim organizowane są dzięki środkom przekazanym przez Instytut Badań Edukacyjnych w ramach projektu systemowemu finansowanego ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki, Priorytet III: Wysoka jakość systemu oświaty, Poddziałanie 3.1.1 Tworzenie warunków i narzędzi do monitorowania, ewaluacji i badań systemu oświaty. http://eduentuzjasci.pl/pl/oprojekcie.html.

Projekt realizowany jest w trakcie pierwszych dwóch lat studiów doktoranckichi dotyczy studiów doktoranckich rozpoczynajacych się w latach 2011/2012 oraz 2012/2013. Łącznie przewiduje się realizację dwóch komponentów „Pomiar edukacyjny".

W ramach projektu realizowanych jest 240 godzinnego komponentu "Pomiar edukacyjny" (Educational measurement), wraz z możliwością przeprowadzenia przed obowiązkowym programem zajęć, dodatkowego 30-godzinnego „Repetytorium ze statystyki i rachunku prawdopodobieństwa" .

I.                        Cel realizacji komponentu "Pomiar edukacyjny"

·                Wykształcenie wysokokwalifikowanej kadry badawczej przygotowanej do prowadzenia badań naukowych w zakresie „Pomiaru edukacyjnego".

Kadra ta będzie przygotowana do:

o      - prowadzenia badań w dziedzinie edukacji z wykorzystaniem światowych osiągnięć w zakresie teorii i praktyki pomiaru edukacyjnego;

o      - włączenia pomiaru edukacyjnego do programu istniejących kierunków studiów;

·                Zwiększenie liczby osób wybierających ścieżkę naukową w dziedzinie pomiaru edukacyjnego i budowy narzędzi pomiarowych badań.

·                Zwiększenie konkurencyjności instytucji prowadzących badania edukacyjne w Polsce.

II.                        Rezultat wprowadzenia komponentu "Pomiar edukacyjny"

·                Zwiększenie kompetencji kadr badawczych stanowiących zaplecze m. in. dla systemu edukacji;

·                Rozwijanie programów doskonalenia metodologii pomiaru edukacyjnego;

·                Rozwijanie narzędzi badań empirycznych służących m.in. systemowi edukacji i kształtowaniu polityki opartej na faktach.

III.              Zakładane kwalifikacje absolwentów studiów doktoranckich:

1.     Umiejętność formułowania innowacyjnych i służących wiedzy o edukacji projektów badawczych;

2.     Umiejętność analizowania i interpretacji wyników badań oraz umiejętność ich prezentowania;

3.     Umiejętność doboru właściwych narzędzi/metod pomiaru w zależności od badanej grupy i grupy odbiorców;

4.     Umiejętność weryfikacji dobranych narzędzi/metod pomiaru poprzez stosowanie własnych lub dostępnych narzędzi sprawdzających;

5.     Umiejętność porównywania metod pomiaru stosowanych w Polsce i za granicą;

6.     Umiejętność łączenia zagadnień z zakresu psychometrii;

7.     Umiejętność interpretacji wyników badań w kontekście prowadzenia polityki edukacyjnej opartej na wynikach badań naukowych.

IV. Wymagania wobec doktorantów na poszczególnych etapach komponentu:

1.    Po pierwszym roku:

Umiejętność sformułowania problemu badawczego w zakresie pomiaru edukacyjnego oraz opracowanie szczegółowego projektu badawczego.

2.    Po drugim roku:

Umiejętność analizy wyników pomiaru edukacyjnego za pomocą procedur pakietu statystycznego i wyciąganie poprawnych metodologicznie wniosków.

Opis studiów

1.                  Program, według którego następuje realizacja komponentu "Pomiar edukacyjny":

Repetytorium ze statystyki i rachunku prawdopodobieństwa

30 godzinne „Repetytorium ze statystyki i rachunku prawdopodobieństwa". Będzie prowadzone przed rozpoczęciem zajęć dla studentów zakwalifikowanych na studia doktoranckie obejmujące komponent "Pomiar edukacyjny".

Repetytorium ze statystyki i rachunku prawdopodobieństwa obejmujące następujący zakres tematyczny:

a.              matematyka dla psychometrii

b.             zmienna losowa (ciągła, skokowa)

c.              rozkład zmiennej losowej, wartość oczekiwana i wariancja zmiennej losowej i ich właściwości

d.             dobór próby do badań

e.             podstawy wnioskowania statystycznego: próba vs. populacja, parametr vs estymator

f.                       testy statystyczne

g.              statystyki opisowe, miary związku dwóch cech ciągłych

h.             model regresji liniowej wielu zmiennych.

Przewiduje się maksymalnie 2 edycje Repetytorium ze statystyki i rachunku prawdopodobieństwa (jedno dla każdego z naborów).

Ramowy program 120 godzin warsztatów i 120 godzin ćwiczeń, łącznie 240 godzin  komponentu „Pomiar edukacyjny":

I.1           Podstawy metodologii badań edukacyjnych, pomiar dydaktyczny i budowa narzędzi

a.         Podstawowe zagadnienia pomiaru (pomiar sprawdzający a pomiar różnicujący)

b.         Specyficzne problemy pomiaru dydaktycznego

c.          Trafność

d.         Rzetelność

e.         Praktyka budowy narzędzi pomiarowych (plany testu, pilotaże, schematy badawcze)

f.          Badania ankietowe

g.         Realizacja badania

I.2.         Analiza danych za pomocą pakietu statystycznego np.„R".

II.1         Klasyczna teoria testów

a       Model klasycznej teorii testów x=tau+e. Definicja rzetelności. Metody szacowania rzetelności z naciskiem na alpha Cronbacha i test-retest.
Trafność testu, rodzaje trafności oraz sposoby szacowania trafności. Zależność między trafnością a rzetelnością

c        Parametry zadań klasycznej teorii testów i ich związek z rzetelnością oraz trafnością

d       Ćwiczenia z wykorzystaniem dostępnych danych z badań edukacyjnych

e       Uogólnienie teorii klasycznej do Generalizability Theory

II.2         Wybrane zastosowania IRT

a.         Zrównywanie i łączenie wyników testowych

b.         Zróżnicowane funkcjonowanie pozycji testowych (DIF)

c.          Banki zadań

d.         Adaptatywne testowanie (CAT)

e.         Próbkowanie macierzowe

f.          Wyznaczanie poziomów wykonania testów

g.          Ćwiczenia

III.1        Modele pomiaru cechy ukrytej

a.                   Modele dla zmiennych ciągłych

                                                i.          Analiza głównych składowych

                                              ii.          Eksploracyjna analiza czynnikowa

                                            iii.          Konfirmacyjna analiza czynnikowa

                                             iv.          Porównanie modeli liniowych

                                               v.          Ćwiczenia - analiza struktury wewnętrznej testu z wykorzystaniem analizy czynnikowej oraz analizy skupień

b.                  Modele dla zmiennych 0-1

                                            i.              Model Rascha, 1pl, 2pl, 3pl  (krzywa charakterystyczna zadania testowego, Krzywa charakterystyczna testu, Krzywa informacyjna zadania i testu)

                                          ii.              Podstawowe informacje o algorytmach stosowanych do estymacji parametrów IRT na podstawie zebranych danych. Założenie o lokalnej niezależności pomiarów. Informacja Fishera jako lokalna miara błędu oszacowania parametru umiejętności. Plausible Values i ich zastosowanie.

                                          ii.              Miary dopasowania modeli - szacowanie zgodności modelu z danymi empirycznymi

                                        iii.              Ćwiczenia

c.                         Modele dla zmiennych porządkowych

                                            i.                   PCM (Partial Credit Model)

2. GPCM  (Generalized Partial Credit Model)

                                        iii.                   GRM (Graded Response Model)

                                        iv.                   Szczególny nacisk na interpretacje parametrów

                                          v.                   Powtórka z miar dopasowania

                                        vi.                   Ćwiczenia

III.2 Warsztaty z analizy powszechnie dostępnych danych z międzynarodowych badań edukacyjnych, np. PISA

Wymagane jest zrealizowanie na pierwszym roku komponentu minimum 30 godzin wykładów i 30 godzin ćwiczeń, łącznie 60 godzin zajęć z tematyki wyszczególnionej w ramowym programie komponentu z co najmniej tematyki wyszczególnionej w pkt. I.1 „Podstawy metodologii badań edukacyjnych, pomiar dydaktyczny i budowa narzędzi".

1.Dodatkowe informacje dotyczące realizacji komponentu:

a.       Zakres komponentu obejmuje również przeprowadzenie co najmniej 3 ogólnodostępnych otwartych wykładów gościnnych (1,5-2 godz. wraz z dyskusją; 1 godzina = 60 minut) w każdym roku akademickim, na których prezentowane będą najnowsze badania lub wyniki badań wykorzystujące modele pomiarowe, z czego przynajmniej 2 wykłady powinny dotyczyć analiz przeprowadzonych w innych krajach lub międzynarodowych analiz porównawczych.