Методы шкалирования и интерпретации результатов тестирования

Практическая работа №3 по теме: "Анализ контрольных измерительных материалов по предметам. Статистические характеристики. Тренинг по интерпретации характеристик".

Задание 1. Даны профили ответов тестируемых в таблице (Приложение 1). Перенесите её в электронную таблицу для дальнейшей работы.

Ответ: Чтобы просмотреть таблицу пройдите по ссылке.

 

Задание 2. Рассчитайте трудность заданий, входящих в тест.

Ответ: Основным показателем трудности заданий теста является индекс трудности (Ui), вычисляемый по формуле:

Ui = (1 - Np/N)*100%,

где Ui - индекс трудности задания в процентах;

Np – число учащихся, правильно решивших задачу;

N - общее число учащихся.

Задания, которые имеют значения трудности 20<( меньше 20) и >80(больше 80) не рекомендуют включать.

Задание 1            2,9%

Задание 2            8,6%

Задание 3            8,6%

Задание 4          14,3%

Задание 5          31,4%

Задание 6          80,0%

Задание 7          62,9%

Задание 8          57,1%

Задание 9          57,1%

Задание 10        62,9%

Задание 11        65,7%

Задание 12        57,1%

Задание 13        68,6%

Задание 14        74,3%

Задание 15        71,4%

Задание 16        80,0%

Задание 17        97,1%

Задание 18        14,3%

Задание 19        14,3%

Задание 20          0,0%

Задание 21          0,0%

Задание 22          0,0%

Задание 23          0,0%

Задание 24          0,0%

Трудность задания можно посмотреть в таблице Excel

 

Задание 3. Определите задания, которые на основании этого параметра необходимо удалить из теста.

Ответ: Вопросы, которые необходимо убрать из тестирования - это 1(2.9), 2(8.6), 3(8.6), 4(14,3),18(14,3), 19(14,3) 20(0), 21(0), 22(0), 23(0), 24(0) задания( эти задания являются меньше 20, а значит, что они очень простые). Значения трудности( условная величина, зависящая от выборки: для сильных и слабых групп), меньшие 20 и большие 80, считают критическими, и в нормативно-ориентированные тесты такие задания включать не рекомендуют. Остальные задания больше 20 и меньше 80.

Задание 4. Рассчитайте дифференцирующую способность каждого задания, используя метод крайних групп.
Ответ:

Дискриминативность (метод крайних групп) D=(N1сильн /Nсильн)-(Nслаб/N слаб),
0,1
0,2
0,3
0,3
0,3
0,2
0,4
0,3
0,3
0,4
0,6
0,8
0,3
0,6
0,5
0,5
0,0
0,2
0,2
0,0
0,0
0,0
0,0
0,0

Просмотреть результат можно в таблице( формат Excel)
 
Задание 5. Определите задания, которые на основании этого параметра необходимо удалить из теста. Обоснуйте свои выводы.
Ответ:  Задание со значением, близким к +1, правильно разделяет учащихся : оно означает, что большинство сильных учащихся справились с заданием, а слабым это не удалось. Нулевое значение указывает, что доли справившихся с заданием и в сильной и в слабой группах равны, поэтому задания нуждается в корректировке В тест должны входить задания со значением дискриминативности 0,2 и выше. 

На основании параметра крайних групп следует, что заданияв тесте необходимо либо удалить, либо откорректировать: задания 1(0,1), 2(0,2), 6(0,2), 17(0,0) 18(0,2), 19(0,2), 20(0,0), 21(0,0), 22(0,0), 23(0,0) 24(0,0).

Задание 6. Оцените в общем качество теста. Способен ли он оценить качество подготовки обучающихся?
Ответ: Исходя из профиля ответов тестируемых, трудности заданий, можно сказать, что тест необходимо доработать  так как в заданиях присутствует очень много заданий простого и сложного характера. По пропорции метода крайних групп следует, что сильная группа с тестом справилась хорошо, а слабая группа с заданиями справились удовлетворительно.

Посмотреть таблицу  в формате Excel