Использование информационных технологий в процедуре оценивания

Гораздо лучше, если бы нелинейная тестирующая система могла определять тот уровень сложности вопросов, на котором у экзаменуемого начинают возникать проблемы. Этот уровень мог бы как определить оценку (для экзаменатора), так и выявить сложные места (для экзаменуемого). Целесообразность подобного контроля, адаптирующегося к возможностям обучаемого, следует также из необходимости оптимизировать традиционное тестирование. Для каждого педагога очевиден тот факт, что для обучаемых с хорошей подготовкой легкие задания просто неинтересны, и, наоборот, трудные задания снижают мотивацию к обучению у имеющих относительно слабую подготовку. [26]

Новым шагом в этом направлении стал CAT (англ. computer adaptive test — компьютерный адаптивный тест). Это тест, в который заложена приспособляемость к возможностям экзаменуемого. Принцип тестирования с использованием СА Т состоит в следующем: при выполнении одного и того же адаптивного теста экзаменуемые с высоким и низким уровнями подготовки получат совершенно разные наборы вопросов: первому будут предложены сложные вопросы, а второму — легкие. Если в итоге доли правильных ответов у обоих даже совпадут, то первый наберет большее количество баллов, так как он отвечал на более сложные вопросы.

Фирма Microsoft, разрабатывающая и широко использующая такую форму тестов, предлагает для иллюстрации их особенностей сопоставление с соревнованиями по прыжкам в высоту. Прыгун, независимо от его способностей, быстро достигает такого уровня планки, на котором он имеет примерно равные шансы как взять высоту, так и сбить планку. «Баллом» для прыгуна является последняя взятая высота. Для получения высокого балла прыгун не должен брать каждую возможную более низкую высоту, также он не должен пытаться брать более высокий уровень планки.

Пример из области образования будет более наглядным. В ходе устного экзамена учитель обычно сначала задает вопрос средней сложности, и если ученик отвечает правильно, то ему предлагается более сложное задание. В случае же первого неправильного ответа в качестве следующего задается более легкий вопрос. Этот процесс продолжается, и в течение короткого периода времени у учителя постепенно складывается правильное представление о качестве знаний ученика. При этом ему не надо задавать каждому испытуемому слишком легких или слишком сложных вопросов, а достаточно отталкиваться от того уровня сложности вопросов, на которые ученик дал правильные ответы. [33]

Точно так же должен быть организован нелинейный тест типа CAT, обеспечивающий проведение контроля качества обучения на уровне квалифицированного устного экзаменатора. В таком тесте первоначально задается вопрос средней сложности, и полученный ответ немедленно влияет на постепенно формируемую будущую общую оценку. Если ответ правильный, то предполагаемая оценка возможностей экзаменуемого повышается на определенную величину. Затем выбирается и задается более сложный вопрос. Если же ответ на него дан неправильно, то предполагаемая оценка возможностей экзаменуемого снижается, а в качестве следующего вопроса снова предлагается более легкий. По мере того как задаются все новые и новые вопросы, все более точной становится оценка уровня знаний экзаменуемого. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня (или когда будет задано максимальное количество вопросов). Так как точно неизвестно, когда адаптивный тест закончится, то обычно он состоит из переменного количества вопросов, причем минимальное и максимальное значения для количества вопросов устанавливаются заранее.

При прохождении адаптивного теста, возможно, что к моменту завершения испытания менее подготовленный человек может ответить на такое же количество вопросов, что и более подготовленный. Сравнение вопросов, на которые даны правильные ответы, покажет, что более подготовленный ответил правильно и на более сложные вопросы. Следовательно, он получит более высокие баллы. Количество набранных баллов не основано на количестве правильных ответов, а зависит от уровня сложности вопросов, на которые даны правильные ответы.

Главное преимущество адаптивного теста перед традиционным — его эффективность. Адаптивный тест может определить баллы экзаменуемого с помощью меньшего количества вопросов иногда уменьшая длину теста на 60 %, это — главная причина, по которой следует отдавать предпочтение адаптивным тестам. [15]

Критериально - ориентированные тесты. Для объективной оценки достигнутого качества обучения, в том числе и при работе с обучающими программами, особый интерес представляют критериально - ориентированные тесты. Проект отраслевого терминологического стандарта Центра тестирования1 определяет критериально - ориентированный тест как частный случай теста, предназначенного для абсолютного, т.е. персонального, тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала. При этом результаты тестирования сравниваются с некоторым заранее заданным критерием уровня подготовленности. Таким образом, речь идет не столько о самих тестах, сколько об интерпретации тестовых результатов.