В последние десятилетия практика тестирования получила чрезвычайно широкое распространение как в России, так и за рубежом. Людей тестируют при приеме на работу, при очередной аттестации на рабочем месте, при вступительных и выпускных экзаменах (вспомним хотя бы ЕГЭ), при оценке знаний, умений и компетенций в исследовательских группах и т.д. При этом во всех случаях целью тестирования является разбиение множества испытуемых на непересекающиеся классы по уровню некоторого латентного признака (знания, умения, компетенции, личностные характеристики). Сами тесты, или в более общей формулировке контрольно-измерительные материалы (КИМ) содержат некоторую совокупность заданий, в общем случае различного уровня сложности, фактически представляющих собой вопросы закрытого, открытого типа.или смешанные.
Ответы на открытые вопросы могут быть сколь угодно глубокими и развернутыми, выполнены в произвольной форме, а оценка правильности и оригинальности ответов находится полностью в компетенции организаторов (экзаменаторов). Поэтому оценка может быть субъективна, а сами тесты с трудом поддаются автоматизации.
Другое дело – вопросы (задания) закрытого типа. Они снабжаются готовыми ответами, часть из которых заведомо неверные, и испытуемый просто должен выбрать те из них, которые он считает правильными. Такой тип теста позволяет успешно автоматизировать процедуру проверки правильности ответов и в этом смысле гарантирует быстроту и объективность самой процедуры.
Однако остается нерешенным главный для организаторов вопрос – какую оценку поставить конкретному испытуемому по результатам теста, или более общо - к какому классу его отнести? Ответ на этот вопрос должна давать та же компьютерная программа, которая проводит анализ результатов тестирования. Она и выставляет оценки, иначе говоря – разбивает множество испытуемых на непересекающиеся классы, отличающиеся друг от друга уровнем измеряемого латентного параметра.
Но, во-первых, применяемые сегодня программы используют в качестве исходной информации для решения вопроса о конкретном участнике тестирования результаты других многочисленных участников, так что результат получается относительным. Без массового тестирования существующие программы не работают или дают очень сомнительные результаты. А если работодатель, к примеру, хочет по заранее подготовленному тесту проверить компетенции конкретного принимаемого на работу человека? Вряд ли он прибегнет к существующим программам тестирования, поскольку они «заставят» его провести массовое тестирование, которое ему в данной ситуации абсолютно не нужно, накладно или вообще невозможно.
Во-вторых, закладываемые в программу указания, к какому классу отнести испытуемого по результатам выполненного теста, не покоятся на каких-то научно-обоснованных принципах, а ориентированы лишь на опыт (коллективный или индивидуальный) экзаменаторов, специалистов, преподавателей, который «подсказывает» им в какой ситуации какую ставить оценку. Но каким бы богатым ни был педагогический опыт, он не может распространяться на бесконечное разнообразие тестов, применяемых на практике. Иначе говоря, сегодня не существует универсальной системы разбиения испытуемых на классы по результатам тестирования. Недаром очень часто можно слышать от абитуриентов или их родителей, что получить высокую оценку по результатам ЕГЭ можно «совершенно случайно», путем простого угадывания правильных ответов. И на эти реплики у организаторов не находится других, более точных, ответов, кроме как «это маловероятно».
Между тем, если при составлении программы, дифференцирующей испытуемых, сосредоточиться не на тех из них, кто «что-то знает», а на тех, кто этого не знает, и разработать методику последовательного отсева «незнающих», то ввиду того, что все незнающие (в отличие от знающих) абсолютно одинаковы, такая методика будет обладать свойством универсальности, объективности и простоты. В этом – главная идея предлагаемого проекта. Она же позволяет точно контролировать «долю брака» в любом классе, то есть долю тех испытуемых, которые «проскочили» в более высокий класс «по чистой случайности», а не благодаря своим знаниям. Более того, программа ориентирована только на параметры закрытого теста и допустимую долю брака, поэтому границы между классами можно определить заранее, до проведения самого тестирования и, следовательно, сами испытуемые будут знать эти границы.
Описанный в проекте подход к способу классификации тестируемых является единственным систематическим подходом в теории и практике тестирования, который применим к любым разновидностям закрытых тестов. В этом состоит его теоретическая ценность.
Он, в частности, навсегда закрывает вопрос, который постоянно мучит организаторов: «Можно ли по результатам тестирования получить высокие баллы, не обладая для этого достаточными знаниями и квалификацией? И если можно, то в какой мере?». И в этом – его практическая ценность.
Учитывая, что в качестве исходной информации для работы программы требуется лишь одно число – процент правильно решенных заданий произвольным участником испытания при однократном акте тестировании – результаты, которые выдает компьютерная программа (отнесение испытуемого в тот или иной класс), с информационной точки зрения являются максимально возможными, которые вообще можно получить по результатам тестирования.
Программа ОТК [1, 2, 3] предназначена для определения границ между соседними классами (числа правильно решенных заданий испытуемым) и на основании этого - отнесения каждого тестируемого к соответствующему классу, а также расчета средней «доли брака» в каждом классе, то есть доли множества испытуемых, попавших случайным образом в более высокий класс по сравнению с тем, который соответствует их истинному уровню знаний (умений).
Область применения: вопросы - закрытого типа, тестовые задания - различного уровня сложности.
От пользователя требуется ввести количество классов, на которые надо разбить множество испытуемых, число групп сложности заданий, количество предлагаемых ответов в каждой группе сложности и допустимую (предельную) «долю брака» в каждом классе.
Методика, являющаяся основой программы ОТК опирается на категорию «незнающих», решающих недоступные для понимания задания «методом тыка», поэтому не зависит ни от способа компоновки заданий по степени сложности, ни от предметной области теста, в следствии чего позволяет организаторам получать универсальные границы между классами. ОТК позволяет организаторам тестирований принимать решения более обоснованно, обеспечивая их информацией, о степени «засоренности» каждого класса испытуемыми, «проскочившими по ошибке» из низшего класса в данный.
Допущения [2], при которых возможно создание объективной системы распределения оцениваемых сотрудников (и студентов) по классам:
- Рассматриваются лишь абсолютные тесты [4], то есть такие, в которых оценка каждого испытуемого не зависит от результатов других участников тестирования.
- Тест имеет закрытую форму, то есть состоит из конечного множества заданий с конечным набором возможных ответов на каждое из них, из которых один и только один ответ верный, остальные - заведомо неверные.
- Количество предлагаемых ответов k в каждом задании одинаково (ниже рассматривается также более общий случай – без этого допущения).
- Вероятность угадать правильный ответ в любом задании не зависит от того, какой ответ (правильный или неправильный) испытуемый дал в любых других заданиях.
- За каждое правильно решенное задание испытуемый получает 1 балл, за каждое неправильно решенное – 0 баллов (дихотомический принцип).
- Испытуемый обязан отметить какой-то один ответ в каждом задании (пропуски заданий недопустимы).
- Рочев, К.В. Методика классификации сотрудников в системе стимулирования трудового коллектива // Научно-технический вестник Поволжья. – № 5. – 2012. – С. 278–282.
- Данилов, Г.В., Рочев, К.В., Апанасик, А.В. Система поддержки принятия решений «Определитель тестовых классов. В мире научных открытий. – 2010. – №1 – С. 12-17.
- Данилов, Г.В., Рочев, К.В., Апанасик, А.В Свидетельство о государственной регистрации программы для ЭВМ «Обобщённый определитель тестовых классов (ООТК)» от 9 июня 2010 г. № 2010613790.
- Нейман, Ю.М., Хлебников, В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М., 2000. - с.38.
