Kontakt
Wyzsza Szkoła Technologii Informatycznych,
01-030 Warszawa, ul.Pawia 55
tel. (0-22) 536-54-83, (0-22) 536-54-84
fax (0-22) 536-54-64
e-mail: rekrutacja@vizja.net
1. Ogólna charakterystyka pakietu
Przedmiotem opisu jest oprogramowanie do prowadzenia egzaminów testowych oraz obliczania ich wyników w oparciu o sieć połączonych PC - wariant pierwszy w powyższej tabeli. Pakiet został opracowany z wykorzystaniem wieloletnich doświadczeń przy prowadzeniu egzaminów testowych w oparciu o karty odpowiedzi.
Na poniższym rysunku przedstawiono wykorzystywana konfiguracją sprzętową.
Praktycznie nie ma ograniczeń na liczbę stanowisk testowych.
Poniżej podano wykaz funkcji pakietu z podziałem na 5 grup.
|
PRZYGOTOWANIE TESTU KONFIGUROWANIE DZIELENIE DANYCH |
OBLICZANIE WYNIKÓW OPERACJE NA PLIKACH |
Pakiet umożliwia obliczanie wyników egzaminu przy pytaniach jednokrotnego wyboru. W opracowywaniu jest wersja umożliwiająca także stosowanie także pytań wielokrotnego wyboru.
2. Opis poszczególnych funkcji pakietu
Poniżej zostały krótko scharakteryzowane poszczególne funkcje pakietu, przy czym operacje na plikach scharakteryzowano w następnym punkcie.
A - Tworzenie testu
Tworzenie testu obejmuje określenie:
- Pytań wraz z możliwymi odpowiedziami, pytania mogą być w formie tylko tekstowej lub zawierać dodatkowo elementy graficzne w postaci rysunków lub zdjęć.
- Charakterystykę testu, określającą lub nie:
- ograniczenie czasu odpowiedzi na poszczególne pytania;
- ograniczenie czasu na sumaryczny czas odpowiedzi;
- możliwość opuszczenia wybranych pytań i udzielania odpowiedzi na nie w terminie późniejszym;
- możliwość poprawy wcześniej udzielonych odpowiedzi.
Dodatkowo w ramach charakterystyki określa się formatkę tytułową testu.
Pytania wraz z możliwymi odpowiedziami zapisywane są w pliku o podawanej nazwie i standardowym rozszerzeniu.
B - Określanie prawidłowych odpowiedzi
Określa się prawidłowe odpowiedzi dla poszczególne pytań. Prawidłowe odpowiedzi zapisywane są w pliku o takiej samej nazwie jak pliku z pytaniami + możliwe odpowiedzi + charakterystyka, ale innym standardowym rozszerzeniu.
Dodatkowo wyznacza się procenty odpowiedzi poszczególnych rodzajów oraz testuje losowość ciągu prawidłowych odpowiedzi - funkcja ta miała duże znaczenie przy braku losowania kolejności pytań oraz kolejności możliwych odpowiedzi.
C - Wprowadzanie nazwisk i identyfikatorów
Dla programowo wyznaczanych kolejnych numerów osób podaje się nazwiska i imiona. Istnieje także możliwość wprowadzania:
- do 5 identyfikatorów, każdy z których może mieć postać liczby dwu cyfrowej,
- identyfikatora w postaci odcisku linii papilarnych
- 12 znakowego oznaczenia osobistego
D - Wybór liczby i lokalizacji stanowisk
Funkcja to umożliwia określenie wykorzystywanych stanowisk testowych poprzez określenie ich lokalizacji w postaci numeru pomieszczenia oraz numeru w ramach pomieszczenia.
E - Wczytywanie testu
Wczytywanie testu obejmuje odczyt z zewnętrznego nośnika:
- Pytań wraz z możliwymi odpowiedziami
- Charakterystyki testu przygotowanych w ramach funkcji A.
Na każdym z wykorzystywanych stanowisk testowych wyświetlana jest formatka tytułowa testu oraz instrukcja oparta o ustaloną charakterystykę testu. Realizowane jest oczywiście po zajęciu miejsc przy stanowiskach testowych przez wszystkich egzaminowanych.
Każdy z egzaminowanych zobowiązany jest do wprowadzenia 12 znakowego oznaczenia osobistego, wręczanego w kopercie przy wejściu na salę egzaminacyjna lub odciśnięcia linii papilarnych, w przypadku zainstalowania stosownych czytników przy stanowiskach testowych.
F - Generowanie pytań i rejestracja odpowiedzi
Funkcja to powoduje asynchroniczne wyświetlanie na poszczególnych stanowiskach testowych kolejnych pytań testu wraz z możliwymi odpowiedziami. W zależności od ustalonej charakterystyki testu generowanie pytań ma miejsce lub nie:
- ograniczenie czasu odpowiedzi na poszczególne pytania;
- ograniczenie czasu na sumaryczny czas odpowiedzi;
- możliwość opuszczenia wybranych pytań i udzielania odpowiedzi na nie w terminie późniejszym;
- możliwość poprawy wcześniej udzielonych odpowiedzi.
Należy szczególnie podkreślić, że na każdym stanowisku pytania są wyświetlane w losowanej kolejności oraz w losowanej kolejności są wyświetlane możliwe odpowiedzi. Takie rozwiązanie praktycznie uniemożliwia jakiekolwiek „współdziałanie” egzaminowanych.
Egzaminowani dokonują wyboru prawidłowych odpowiedzi spośród wyświetlanych, odpowiedzi te są rejestrowane na bieżąco.
G - Odczytanie identyfikatorów
Funkcje tę stosuje się jedynie przy prowadzeniu obliczeń wyników dla wybranej części osób.
H - Wybieranie osób
Funkcję tę stosuje się przy konieczności dokonania analizy odpowiedzi wybranej części osób testowanych, możliwej do określenia w przypadku wykorzystywania dostępnych identyfikatorów (patrz funkcja D).
Każdy z warunków określony jest przez 3 liczby:
- numer wyróżnika;
- kod relacji, mogący przyjmować jedną z postaci:
- mniejsze,
- mniejsze lub równe,
- równe,
- większe,
- większe lub równe,
- nierówne;
- wartość wyróżnika.
I - Wybieranie pytań
Wykorzystanie tej funkcji następuje w przypadku konieczności odrębnej oceny fragmentu egzaminu, np. w formie kilku egzaminów częściowych.
Możliwe są dwa sposoby określania pytań, których odpowiedzi są wybierane:
- kolejne pytania;
- dowolne pytania.
W każdym z wyróżnionych sposobów należy podać numery wybieranych pytań.
J - Wczytanie prawidłowych odpowiedzi
Odczytanie z zewnętrznego nośnika prawidłowych odpowiedzi dla danego testu.
Zwraca się uwagę, że następuje to po zakończeniu udzielania odpowiedzi przez wszystkich zdających egzamin testowy.
K - Ocena odpowiedzi
Dla kolejnych pytań oblicza się procenty udzielonych poszczególnych odpowiedzi. Wyniki w tym zakresie mogą być także otrzymane w postaci graficznej w formie wykresów słupkowych lub kołowych z wyróżnieniem odpowiedzi prawidłowej.
L - Analiza testu
Dokonuje się analizy rzetelności testu obliczając dla każdego pytania procenty poszczególnych odpowiedzi, łatwość pytania oraz współczynnik korelacji punktowo-biseryjnej. Dla całego testu oblicza się m.in. najlepszy i najgorszy wynik, łatwość, średnią i odchylenie standardowe, współczynnik 20 Kudera-Richardsona oraz rozkład ilości punktów.
M - Eliminacja pytań
Dla wybranych pytań, m.in. na podstawie analizy testu, zamienia się dla wszystkich osób udzielone odpowiedzi na prawidłowe.
N - Obliczanie liczby punktów
Dla każdej osoby oblicza się liczbę odpowiedzi pokrywających się z odpowiedziami prawidłowymi oraz dodatkowo numery pytań, na które została udzielona odpowiedź błędna. Oceniana jest normalność rozkładu liczby punktów. Istnieje możliwość graficznego przedstawienia liczby punktów uzyskanych przez poszczególne osoby.
O - Ustalanie granic punktowych dla ocen
Wstępnie wybiera się jedną z dwóch skal ocen: cztero lub sześciostopniową. Następnie wybiera się jeden z trzech sposobów ustalania granic: w oparciu o średnią i odchylenie standardowe, w oparciu o centyle lub arbitralnie. Dla wybranego sposobu obliczane są liczby i procenty osób uzyskujących możliwe oceny. Proces ten prowadzony jest do momentu uzyskania akceptowanych granic.
P - Tworzenie listy imiennej
Funkcja ta wykorzystuje zbiory: nazwisk, uzyskanych punktów i wyznaczonych granic. Dla każdej osoby podawany jest numer, nazwisko i imię, liczba punktów, ocena i miejsce w grupie zdających.
Zwraca się uwagę, że następuje to po zakończeniu udzielania odpowiedzi przez wszystkich zdających egzamin testowy.
3. Opis wykorzystywanych plików
>Pakiet wykorzystuje lub tworzy różnego rodzaju pliki:
| Grupa | Lp | Rodzaj plików | Funkcja pakietu | |
| Tworzy | Wykorzystuje | |||
| Dane | ||||
| 1 | Pliki z treścią pytań, możliwymi odpowiedziami oraz charakterystyką testu | A | E, F | |
| 2 | Pliki z prawidłowymi odpowiedziami | B | J | |
| 3 | Pliki z nazwiskami i identyfikatorami osób testowanych | C | G | |
| Wyniki | 4 | Pliki z pytaniami i udzielonymi odpowiedziami, dla każdej z osób testowanych | F | K, L, M,N |
| 5 | Pliki z oceną odpowiedzi | K | - | |
| 6 | Pliki z oceną testu | L | - | |
| 7 | Pliki z granicami punktowymi dla ocen | O | P | |
| 8 | Pliki z wynikami punktowymi | N | - | |
| 9 | Pliki z wynikami imiennymi | P | - | |
Tworzone pliki mają standardowo nazwy składające się z takiej części głównej oraz rozszerzenia, zależnego od rodzaju pliku.
4. UWAGI KOŃCOWE
Opracowany pakiet oprócz bogatej funkcjonalności, ma dwie wyróżniające go cechy:
- Zapewnia prowadzenie obliczeń w maksymalnym stopniu eliminując wystąpienie różnego rodzaju nieprawidłowości (zastępowanie wzajemne egzaminowanych poprzez „dublerów”, „przeciek” prawidłowych pytań, czy imienne „preferowanie” wybranych osób).
- Posiada mechanizmy weryfikujące rzetelność testu oraz wykluczające niektóre z pytań na podstawie wartości współczynników korelacji punktowo-biseryjnej.
W opracowaniu oprócz wspomnianego wcześniej testu z wielokrotnym wyborem znajduje się także
- Wersja testu do sprawdzania wiedzy w Intranecie lub extranecie.
- Oprogramowanie do nauczania określonej wiedzy, oparte o opisany pakiet i funkcjonujące na pojedynczym komputerze oraz w Intranecie lub extranecie. Tak jak w przypadku egzaminu generowane są przygotowane pytania i udzielane odpowiedzi. W przypadku udzielenia błędnej odpowiedzi, wyświetlane są dodatkowe informacje i pytanie takie powtarza się po pewnym czasie. Możliwe jest także określanie liczby udzielenia poprawnych odpowiedzi na każde z generowanych pytań, przy czym w kolejnych zapytaniach możliwe odpowiedzi są podawane w każdorazowo losowanej kolejności.
Należy podkreślić, że zakończenie wersji użytkowej testu z wielokrotnym wyborem wymaga jedynie oprogramowania zasady weryfikacji rzetelności testu - patrz funkcja L.