Тема 4. Правила разработки тестового задания и теста

1. Разработка качественного тестового задания

Разработка качественного тестового задания, теста – сложный, длительный и трудоемкий итерационный процесс. В непрофессиональных (в области тестирования) кругах бытует мнение, что такие задания (особенно, с выбором правильного ответа из числа предложенных) обеспечивают проверку только простых знаний и умений, а тестирование – только проверку понимания формализованных знаний. Все зависит от качества и содержания тестов, структуры тестовых заданий и вариантов ответов, методики и технологии тестирования. Все зависит, окончательно, от тестолога-методиста и технолога.

Как и любой измерительный инструмент, тест имеет свои точность и погрешность, диапазон применимости, статистические параметры и распределение, выборочное пространство.

Обучение по принципу "натаскивания на тесты" приводит лишь к знаниям справочного характера, что не является полноценным знанием. Кроме того, возможна фальсификация результатов, как и при любом другом виде контроля знаний.

Существует определенное недоверие и нежелание к использованию тестового контроля, особенно, высокотехнологичного, некий психологический барьер – как у обучаемых, так и у обучающих.

Несмотря на указанные недостатки, тесты являются основным объективным способом педагогических измерений, исключающим влияние субъективного фактора, дифференциации уровней подготовленности обучающихся и практической реализации идей личностно-ориентированного образования.

2. Тестовая система и ее атрибуты

Какой набор тестовых заданий может называться системой, с точки зрения системного анализа?

Под системой будем понимать некоторую совокупность составляющих её элементов, имеющих общую цель рассмотрения, общие ресурсы, общую структуру и хотя бы одно свойство, позволяющее отличать эту систему от других.

Система тестирования в отличие от системы проверочных контрольных работ имеет такие элементы (тесты), ресурсы (банк тестов, категория тестируемых, инструментарий и технология тестирования), структуру (логические и дидактические связи), отличительное свойство (например, ограничение времени, объективность).

Любая система тестирования как система должна подчиняться основным системным требованиям, принципам: дедуктивной последовательности; интегрированного рассмотрения; согласования ресурсов и целей; бесконфликтности.

Любая система тестирования как система должна иметь основные системные признаки:

• целостность, связность;

• наличие подсистем и связей;

• возможность обособления;

• связи с окружающей средой;

• подчиненность всей системы цели;

• эмерджентность (несводимость свойств системы к свойствам элементов, подсистем).

Основная системная цель тестирования – использование потенциальной возможности распространения (анализа и обобщения) данных повыборке на другие выборки или даже на генеральную совокупность, наблюдаемых в тестовых испытаниях ситуаций для данной совокупности тестированных, на другие совокупности.

Рассмотрим основные системные правила разработки качественных тестов. В отличие от других, невыполнение хоть одного из этих правил делает невозможным построение теста, т.е. системы тестовых заданий.

1. Тест должен быть валидным.

2. Тест должен иметь необходимый и достаточный уровень сложности.

3. Тест должен быть объективным.

4. Тест должен быть надежным.

5. Тест должен быть устойчивым.

6. Тест должен быть шкалируемым.

7. Тест должен быть репрезентативным.

8. Тест должен быть значимым.

9. Тест должен быть дискриминантным.

10. Тест должен быть достоверным.

11. Тест должен быть научным.

12. Тест должен быть непротиворечивым.

13. Тест основан на некоторой гипотезе тестирования.

14. Тестирование должно быть непрерывным.

15. Тесты должны быть эволюционными.

16. Тестирование направлено не только на выявление уровня знания, но и на выявление уровня умений.

Содержание категории "Умения" может быть для целей педагогического тестирования классифицировано как способность:

• узнавать знания;

• действовать по правилам, алгоритму;

• применять основные системные методы (анализ, синтез и др.);

• принимать рациональные (оптимальные) решения.

Недостаток научного обеспечения тестирования имеет следствием подмену тестов удовлетворяющих вышеприведенным правилам "тестоподобными" материалами, в лучшем случае контрольной работой с тестообразными задачами, ненаучными формами и методами тестирования.

Таким образом, тест должен соответствовать необходимым и измеряемым знаниям, умениям и навыкам, стандартам и программам обучения, должен обеспечивать одинаковые права и близкие показатели для каждой группы тестируемых (независимо от той или иной группы тестируемых), отображать результаты учебных достижений в задаваемой системе оценок, быть актуальным.

Тестовые баллы, результаты, если они получены честно и объективно – своеобразная и достаточно математически (статистически) обоснованная (например, доверительными интервалами и среднеквадратичным отклонением) количественная и качественная оценка степени усвоения учебного материала, ГОСО.

3. Общие требования при разработке тестовых заданий

Требования к тестам:

1 Соответствие требованиям Государственных образовательных стандартов образования;

2 Соответствие количества тестовых заданий объему и разделам конкретных учебных дисциплин;

3 Минимальное количество тестовых заданий в базе тестовых заданий рекомендуется не менее 200 в зависимости от количества часовой нагрузки

4 В базе тестовых заданий должны присутствовать задания всех форм

5 Тестовые задания в базе тестовых заданий располагаются в соответствии со структурой материала, сгруппированы по разделам и перед группой указан раздел структуры

Описание и содержание тестовых заданий:

Тестовые задания располагаются в соответствии со структурой материала, сгруппированы по разделам и перед группой указан раздел структуры.

В тестовом материале должны присутствовать задания всех форм (открытой, закрытой, с одним или нескольким выбором, на соответствие, на установление порядка).

Общие рекомендации к составлению тестовых заданий:

1 Тестовое задание должно быть сформулировано и представлено в какой-то одной форме. Форма тестового задания должна быть узнаваема и не требовать дополнительных инструкций.

2 Необходимо соблюдать единый стиль оформления заданий, входящих в один тест

3 Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного ответа.

4 Основные термины тестового задания должны быть ясно и четко определены.

5 Содержание тестового задания не должно отражать понимание и мнение отдельного автора.

6 Тестовые задания должны быть рассчитаны на оценку уровня учебных достижений обучающихся в любых учебных заведениях, в конкретной области знаний.

7 Тестовые задания должны формулироваться в виде свернутых кратких суждений. Количество слов в задании не должно превышать 10-12, если при этом не искажается структура тестовой ситуации. Синтаксическое построение должно быть простым, без двойных отрицаний и повторов.

8 В основную часть задания необходимо включать все слова, с помощью которых формулируется задание, а в ответ должны быть вынесены ключевые слова по данной проблеме.

9 Тестовое задание должно быть сформулировано в повествовательной форме. Вопросительные слова (как, какой, почему и т.п.) и слова в повелительном наклонении («укажите», «определите», «выберите») не используются.

10 Рекомендуется ключевое слово или специфический признак выносить в начало задания. Нельзя начинать тестовое задание с предлога, союза или частицы.

11 Желательно наличие в тестовом задании рисунков, формул, схем и других поясняющих объектов

12 Текст тестового задания не должен содержать каких-либо подсказок и сленга

13 Место для ответа должно быть единообразным для всех заданий в тесте (многоточие, линия, квадратик и т.п.)

14 Варианты ответов необходимо располагать в один столбик под сформулированным заданием.

4. Задание открытой формы

Требует сформулированного самим тестируемым заключения на требования, предъявленные тестовым заданием. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве одного ключевого элемента может быть число, слово или словосочетание.

Особо повышенные требования предъявляются к таким заданиям, подготавливаемых для проведения компьютерного тестирования, в частности:

• должна быть четкая формулировка задания, требующая однозначного ответа;

• каждое задание должно быть нацелено только на одно дополнение, место для которого выделено особым способом;

• свободное пространство для дополнения ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

• дополнения лучше размещать в конце задания или в начале;

• в качестве ответа принимается слово или словосочетание, состоящее не более, чем из двух слов;

• в конце открытого типа задания обязательно указываются единицы измерения, если это числовые величины;

• предусматривать варианты написания имен собственных в различных сочетаниях и с различным количеством пробелов. Например, И.И. Потапов, И. Потапов, И.И.Потапов, И.Потапов, Потапов И.И., Потапов И., ПотаповИ.И., ПотаповИ.

• предусматривать варианты написания имен нарицательных в различных падежах, с прописной или заглавной букв, повторение слов из задания;

• предусмотреть орфографические ошибки в словах малознакомых и труднопроизносимых.

Рекомендации к составлению заданий в тестовой форме (открытая форма):

- каждое задание должно быть нацелено только на одно дополнение, место для которого выделено особым способом;

- свободное пространство для дополнения ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

- размер свободного пространства для внесения ключевого слова-дополнения должен быть одинаковым во всех открытых заданиях одного теста;

- дополнения лучше размещать в конце задания или как можно ближе к концу;

- в конце открытого типа задания обязательно указываются единицы измерения, если это числовые величины.

На месте ключевого элемента, необходимо поставить прочерк или многоточие. Вводимые значения должны отображаться на экране на месте прочерка и/или в специальном поле, хорошо видимом тестируемым.

В том случае, когда количество ключевых элементов более одного, а вводимые тестируемым значения отображаются не на месте его реального расположения, а во вспомогательном, специальном поле, необходимо исключить возможность неоднозначной трактовки действий тестируемого.

Ключевой элемент может быть «нулевым» (пустым).

Требования к системе оценивания правильности вводимых значений (результату заключения тестируемого на требования тестового задания) такие же, как и для бумажного тестирования. В том случае, когда невозможно автоматически, программным путем однозначно оценить качество сделанных тестируемым заключений, тестовое задание необходимо формулировать в другой форме.

Примеры заданий в тестовой форме открытого типа:

1) ... — группа островов, расположенных близко друг к другу и имеющих обычно одно и то же происхождение (материковое, вулканическое, коралловое) и сходное геологическое строение.

Правильные варианты ответа: архипелаг; Архипелаг;

2) Двухсложный стихотворный размер, в котором ударение приходится на первый слог, называется …

Правильные варианты ответа: хореем; Хореем; хорей; Хорей

5. Задание закрытой формы

Состоит из неполного тестового утверждения с одним ключевым элементом и множества допустимых заключений, одно или несколько из которых являются правильными. Тестируемый определяет правильные заключения из данного множества.

Рекомендации к составлению заданий в тестовой форме (закрытая форма с множеством выбора ответов):

• ТЗ должны быть рассчитаны на оценку уровня учебных достижений обучающихся в любых учебных заведениях, в конкретной области знаний;

• ТЗ должны формулироваться в виде свернутых кратких суждений. Количество слов в задании не должно превышать 10-12, если при этом не искажается структура тестовой ситуации. Синтаксическое построение должно быть простым, без двойных отрицаний и повторов;

• в основную часть задания необходимо включать все слова, с помощью которых формулируется задание, а в ответ должны быть вынесены только дистракторы по данной проблеме;

• в тексте задания должна быть устранена всякая двусмысленность и неясность формулировок;

• основная часть задания формулируется одним предложением из семи-восьми слов;

• все ответы к одному заданию должны быть приблизительно одной длины;

• из текста задания необходимо исключить вербальные ассоциации, способствующие выбору правильного ответа;

• частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке;

• из ответов исключаются все повторяющиеся слова путем ввода их в основной текст заданий;

• в ответах не используются слова «все», «ни одного», «никогда», «всегда» и т.п., так как они способствуют угадыванию правильного ответа;

• из числа неправильных, исключаются ответы, вытекающие один из другого;

• в ответах не рекомендуется использовать выражения «все перечисленные», «ни один из перечисленных» и т.п., так как это способствует угадыванию правильного ответа;

• из числа заданий исключаются те, которые содержат оценочные суждения и мнения учащегося или студента по какому-либо вопросу;

• все варианты ответов к заданию должны быть равновероятно привлекательны для тестируемого, не знающего правильного ответа;

• не должно быть частично правильных вариантов ответа, которые, при определенных дополнительных условиях, превращаются в правильный ответ;

• ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

• если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего сосредотачивается на этих двух вариантах ответа;

• все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

Примеры заданий в закрытой форме:

Не принадлежат перу А.С. Пушкина:

⚫ Ромео и Джульетта

⚫ Герой нашего времени

⚫ Война и мир

⚪ Капитанская дочка

⚪ Евгений Онегин

6. Задания на упорядочение

Задание должно состоять из однородных элементов некоторой группы и четкой формулировки критерия упорядочения этих элементов.

Формулировка задания всегда включает слова «Последовательность» или «Порядок» (желательно располагать данные слова первыми).

Пример задания на упорядочение:

1) Расположите материки по порядку, начиная с самого маленького по площади и заканчивая самым большим:

1: Австралия

2: Антарктида

3: Южная Америка

4: Северная Америка

5: Африка

6: Евразия

2) Установите хронологическую последовательность событий:

1: Первая мировая война

2: Февральская революция

3: Образование СССР

4: Смерть В.И. Ульянова (Ленина)

При каждом предъявлении тестового задания порядок расположения элементов группы должен изменяться. Элементы группы не маркируются, могут располагаться как вертикально, так и горизонтально.

7. Задания на установление соответствия

Рекомендации к составлению заданий в тестовой форме на восстановление соответствия:

• задание формулируется таким образом, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

• элементы задающего столбца располагаются слева, а элементы для выбора справа;

• каждый столбец должен иметь определенное название, обобщающее все элементы данного множества;

• желательно, чтобы число элементов выбора (правый столбец) было примерно в два раза больше числа задающих элементов (левый столбец);

• необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

• элементы множеств должны быть выбраны по одному основанию и включать только гомогенный материал;

• в дополнительной инструкции к заданию необходимо сообщить тестируемому о том, можно ли использовать каждый элемент правого столбца более одного раза;

• все дистракторы необходимо располагать одномоментно на экране, не допуская переноса отдельных элементов

• максимально допустимое количество элементов во второй группе не должно превышать 10;

• количество элементов в первой группе должно быть не менее двух.

Пример заданий на установление соответствия:

Страна

Столица

Германия

Берлин

Россия

Москва

Испания

Мадрид

Китай

Пекин

Казахстан

Астана