Тема 7. Типичные ошибки при разработке педагогического теста

1. Типичные ошибки при разработке педагогического теста

Разработка педагогических тестов является очень непростой задачей, на пути решения которой можно допустить немало ошибок. Предлагаем перед конструированием тестов ознакомиться с теми затруднениями, которые могут возникнуть у него в процессе работы. Полагаем, что их анализ позволит предотвратить возникновение большей части ошибок, характерных для процесса разработки педагогического теста.

Для организационного этапа характерны затруднения при формулировании цели тестирования. Постановка цели определяет направление приложения сил специалистом. Ошибки при определении цели тестирования чреваты тем, что, во-первых, специалист может неверно избрать подход, в рамках которого ему предстоит разрабатывать тест, в то время как нормативно-ориентированный и критериально-ориентированный подходы определяют существенные различия на большинстве этапов разработки теста. Во-вторых, от целей тестирования зависит определение источников валидности будущего теста. Валидность теста является одним из основных показателей качества теста. Она должна устанавливаться в отношении той конкретной области применения, для которой разрабатывался тест. Таким образом, если неверно определена эта область, неверно поставлена цель, то разрабатываемый инструмент нельзя считать качественным. Например, если целью тестирования является оценка уровня знаний у специалистов, а основным источником валидности избирается соотнесение результатов теста с показателями его будущей деятельности, а не соответствие содержания теста с содержанием курса, то нельзя утверждать, что этот тест разработан для проверки уровня знаний.

На содержательном этапе вероятно возникновение такой ошибки, как недостаточно полный охват технологической матрицей содержания учебного материала. Технологическая матрица является тем документом, на основании которого разрабатываются в дальнейшем тестовые задания. Поэтому содержание учебного материала, оценка которого предполагается в ходе тестирования, должно полностью покрываться технологической матрицей. Промахи в определении содержания будущего теста отрицательно сказываются на его валидности.

На подготовительном этапе можно столкнуться с ошибками, во-первых, при составлении тестовых заданий, в том числе инструкций к ним.

Во-вторых, упущением является недостаточно серьезное отношение к необходимости проведения содержательной и тестологической экспертизы тестовых заданий. Проведение содержательной и тестологической экспертизы позволяет выявить некачественные тестовые задания с тем, чтобы исключить их из теста или, если это возможно, переформулировать.

В-третьих, существует вероятность возникновения ошибок при построении выборки для апробации тестовых заданий, теста в целом. Выборка, на которой планируется проведение исследования, должна иметь достаточный объем и быть репрезентативной по отношению к генеральной совокупности, на которую планируется распространение результатов исследования. Чтобы выборка была репрезентативной генеральной совокупности, необходимо учитывать те факторы, которые могут влиять на изменчивость изучаемого признака. Такими факторами могут быть возраст, пол, стаж работы, уровень образования и т.д. Качество построения выборки оказывает значительное влияние на корректность расчетов трудности и дискриминативности заданий, надежности и валидности.

В-четвертых, специалист, занимающийся конструированием тестов, может допустить ошибки при компоновке заданий для апробации, например, это может касаться количества тестовых заданий в бланке, пространственного и шрифтового оформления тестовых заданий, наличия инструкции и корректности её формулировки.

Что касается исследовательского этапа, то, наверное, самой глобальной ошибкой, которую можно допустить на этом этапе, является в принципе его отсутствие. Можно встретить тесты, которые состоят из набора тестовых заданий, разработанных, вероятно, с учетом определенной цели и на основе определенных учебных программ, однако авторы этих тестов не посчитали нужным проверить качественные характеристики разработанного ими инструмента, такие как трудность заданий, их дискриминативность, надежность теста в целом и его валидность. Абсолютно точно, что инструмент, не имеющий подобных характеристик, нельзя называть тестом, призванным объективно измерить уровень знаний у обучающихся.

К более частным ошибкам, которые могут возникнуть на этом этапе, можно отнести неточности в расчетах показателей качества тестовых заданий и надежности теста. Подобные ошибки, чаще всего, обусловлены непрочными знаниями в области статистики и могут быть устранены путем увеличения своей компетентности в этой области знаний.

Для стандартизационного этапа характерны ошибки при планировании процедуры проведения тестирования и, как следствие, при описании этой процедуры в руководстве к педагогическому тесту. Например, специалист может не придать должного значения тем условиям, которые влияют на обучающихся во время прохождения тестирования. Однако даже незначительные аспекты тестовой ситуации могут существенным образом сказаться на результатах тестирования. Точные указания относительно используемого тестового материала, временных ограничений, инструкций тестируемым и любых других тонкостей проведения теста, в частности, обеспечения рабочих мест, освещения, вентиляции, шумоизоляции и т.д., позволят создать одинаковые условиях тестирования для всех обучающихся, сделать процедуру тестирования единообразной.

На интерпретационном этапе вероятны недочеты при написании инструкции по проверке тестов. Случается, что написанная инструкция является неполной, недостаточно ясно описывает алгоритм действий специалистов, в чьи задачи входит проверка тестов. Это может привести к неясностям и ошибкам при оценивании результатов тестирования и к нарушению единообразия процедуры обработки тестовых результатов.

Перечисленные ошибки следует учитывать в своей работе по конструированию педагогического теста и, по возможности, избегать.

2. Примеры наиболее часто встречающихся ошибок в тестовых заданиях

Исходя из предложенных Выше рекомендаций по разработке тестов и тестовых заданий, можно назвать ряд наиболее часто встречающихся ошибок. Постараемся разобрать их на примерах.

Пример 1.

В каком году была перенесена столица Казахстана?

А) в 1996 г.

В) в 1997 г.

С) в 1998 г.

Д) в 1999 г.

Сразу несколько ошибок можно обнаружить в данном тестовом задании. Во-первых, тестовый вопрос сформулирован в вопросительной форме, а не в повествовательной. Во-вторых, вопрос начинается с предлога. В-третьих, и, пожалуй, самая крупная ошибка, в вопросе нет уточнения, о каком именно переносе столицы идет речь (ведь история Казахстана знает несколько таких случаем). Конечно, в данном конкретном случае понять это можно из вариантов ответов, но представьте, как отвечать на данный вопрос, если бы тестовое задание было открытым.

Правильным будет сформулировать тестовое задание так:

Столица Казахстана была перенесена в Астану

А) в 1996 г.

В) в 1997 г.

С) в 1998 г.

Д) в 1999 г.

Пример 2.

Автором романа «Мастер и Маргарита» является

А) Михаил Булгаков

В) Толстой

С) Гоголь

Д) Пастернак

В этом примере ошибка составителя уже кроется в вариантах ответа. Правильный ответ, на фоне других вариантов, становится наиболее привлекательным, т.к. в нем указаны не только фамилия, но и имя автора. Избегать данной ошибки очень легко – достаточно лишь следить, чтобы варианты ответов были однотипными. В данном случае, правильным будет, если в каждом варианте ответа будут указаны и имя, и фамилия автора:

Автором романа «Мастер и Маргарита» является

А) Михаил Булгаков

В) Алексей Толстой

С) Николай Гоголь

Д) Борис Пастернак

После такой правки, правильный вариант сразу же теряет свою привлекательность. Приведем еще несколько примеров частых ошибок, также связанных с повышенной привлекательностью одного из вариантов ответов из-за неправильного оформления.

Угол между направлением на север и направлением на какой-либо заданный предмет

А) Компас

В) азимут

С) Широта

Д) Долгота

Здесь выделяется вариант В), который начинает со строчной буквы, а не с заглавной, как другие варианты. Такая ошибка встречается крайне часто из-за следующего. Обычно составители копируют текст вопроса в редактор (например, Word). Из вопроса «выдергивают» (копируют) правильный ответ, а остальные (неправильные) варианты набирают вручную. В результате получается, что введенные вручную варианты ответов начинаются с заглавной буквы (из-за того, что в текстовом редакторе происходит автоматическая замена), а скопированный вариант остается со строчной буквы.

Очень схожа ситуация со знаками пунктуации на конце варианта ответа. Зачастую составитель тестовых заданий не обращает на «приклеившуюся» точку, запятую к скопированному варианту ответа. Например:

Автор знаменитого модернистского произведения «Черный квадрат» (1915 г.)

А) К. Малевич;

В) П. Пикассо

С) С. Дали

Д) В. Ван Гог

Пример 3.

Вопрос 1. Герой романа И.С. Тургенева «Отцы и дети», который может быть назван «маленьким человеком»

а) Василий Иванович Базаров

б) Николай Петрович Кирсанов

в) Аркадий Николаевич Кирсанов

г) Павел Петрович Кирсанов

Вопрос 2. Посвящение романа адресовано

а) В.Г. Белинскому

б) А.И. Герцену

в) Н.А. Некрасову

г) Н.А. Добролюбову

В этом случае мы привели два задания из банка вопросов. Вопрос 1 не вызывает особых нареканий, да и вопрос 2 кажется вполне корректным… Но только до тех пор, пока он идет следом за первым вопросом. В случае, если вопрос будет задан отдельно (а в компьютерном тестировании так и будет), то полностью теряется смысл вопроса. Не понятно о каком романе идет речь. Поэтому очень важно следить, чтобы каждое тестовое задание в банке вопросов было независимо от других заданий.