Другими словами, при компьютери-
зированном тестировании отпадает необходимость ввода результа-
тов тестирования в память компьютера для программной обработки.
Таким образом, с точки зрения разработчика тестов это в значи-
тельной мере упрощает трудоемкий процесс отбора и оценивания
заданий, так как все необходимые расчеты для анализа заданий и
факторного анализа могут выполнять программы, используя те дан-
ные, которые уже находятся в памяти микрокомпьютера, или, если
данных слишком много, они могут быть легко переданы для обработ-
ки в большую ЭВМ.
Путем разработки специализированных электронных клавиш-
ных пультов для фиксации ответов, подключенных к микрокомпью-
терам, можно предложить испытуемым отвечать на предъявленные
им задания, нажимая клавиши пульта, что также позволяет пол-
учать автоматический сбор и анализ данных без представления теста
на компьютере. Это позволяет (на многотерминальном компьютере)
тестировать одновременно до восьми испытуемых. При наличии де-
вятиклавишных пультов может быть использовано большое разнооб-
разие форм заданий.
Поскольку компьютерное представление заданий тестов позволя-
ет производить автоматический анализ данных, то для разработки
тестов было бы желательно наличие большого количества термина-
лов или компьютеров. Если их нет, то более быстрым и, следователь-
но, более эффективным будет обычный способ предъявления зада-
ний, а затем ввод данных для обработки в компьютер.
Компьютерная специфика тестовых заданий
Преимущество компьютеризированного тестирования, которое
еще предстоит осознать, состоит в возможности использования таких
заданий, которые не могут быть представлены никаким другим обра-
зом. Но все же тест не может быть лучше, чем составляющие его
задания. Так, компьютеризированная версия стандартного теста на-
поминает, вероятно, прекрасно оформленное издание книги, но
сафьяновый переплет не улучшит ее содержания.
Однако специфические компьютерные тесты позволяют исполь-
зовать задания, которые не могут быть представлены без компьюте-
ра. При разработке специфических компьютерных тестов следует
очень внимательно следить за тем, чтобы не создавать задания лишь
потому, что компьютер позволяет их реализовать. Другими словами,
для использования таких заданий должны быть веские основания.
258
Ниже приведены несколько примеров заданий для специфичес-
ких компьютерных тестов вместе с их обоснованием.
(1) Представление заданий EPQ и латентное время ответа. Осно-
вание: для вызывающих беспокойство заданий латентное время дол-
жно быть большим. В качестве подтверждения валидности теста мож-
но ожидать, что у испытуемых с высокими показателями по Л-шкале
будет увеличиваться латентный период ответа на задания, входящие
в эту шкалу.
(2) Время реакции на вопросы, требующие ответа "нравится-не
нравится", "люблю-не люблю" в описательных выражениях. Осно-
вание: подобно приведенному выше и связано с юнговским понятием
комплекса.
(3) Время реакции на суждение о подобии длины отрезка (линии).
Основание: скорость обработки информации является мерой gf (Jen-
sen, 1980).
(4) Время реакции на задачи выбора. Основание: работа Йенсена
о связи этого параметра с интеллектом (Jensen, 1982).
(5) Вращаемые фигуры: идентификация. Основание: очевидные
измерения способности к пространственной ориентации.
(6) Скрытые изображения, размещенные в матрице из точек.
Основание: компьютерный метод представления скрытых изображе-
ний, как и в стандартном тесте скрытых изображений.
(7) Задача подсчета точек с негативной обратной связью (в случае
правильного ответа испытуемый информируется о том, что он осуще-
ствил подсчет неверно, и наоборот). Основание: настойчивые испы-
туемые будут продолжать выполнять задание дольше при условии,
что им разрешено прекратить работу по собственному желанию.
Это простые примеры того, как компьютерные средства, особенно
такие, как расчет времени, необходимого для ответа, могут быть
использованы для разработки по-настоящему новых тестов и зада-
ний. Пример 7 представляет собой объективный компьютерный тест
настойчивости.
Эти примеры показывают, что ныне на клавиатуре персонального
компьютера могут быть реализованы задания такого широкого спек-
тра, о которых предшествующие поколения специалистов по психо-
метрии не могли и мечтать. Все, что необходимо, как и в случае с
формулированием стандартных заданий, - это воображение, твор-
ческий подход и мастерство выполнения технических процедур, опи-
санных в этой книге.
Хотя способность порождать вызывающие удивление задания -
особенность компьютерных тестов, это не является основным преи-
о 259
муществом компьютеризированного тестирования. Подлинная мощь
компьютеризированного тестирования состоит в осуществлении ин-
дивидуально-ориентированного тестирования.
Индивидуально - ориентированное тестирование
Как следует из названия, индивидуально-ориентированное тести-
рование (tailored testing) может быть определено как создание тес-
тов, в значительной мере приспособленных к каждому индивидууму,
проходящему тестирование. Опытные исследователи интеллекта не
обязательно предъявляют все задания шкал всем испытуемым. Обыч-
но они могут оценить необходимый уровень трудности и, следова-
тельно, предъявить небольшое количество заданий, прежде чем ис-
пытуемый достигнет порога, выше которого задания выполнить не
сможет. Можно предположить, что все предыдущие задания на шка-
ле трудности были бы выполнены испытуемым правильно. Мастерст-
во и проницательность исследователя позволяют ему создавать инди-
видуально-ориентированный тест интеллекта.
В случае индивидуально-ориентированного тестирования на мик-
рокомпьютере в программу предъявления заданий закладывается
аналогичная процедура. Сущность индивидуально-ориентированно-
го тестирования может быть описана в виде следующей последова-
тельности шагов:
(1) Коэффициент трудности задания (значение Р из процедуры
анализа заданий) сохраняется вместе с каждым заданием.
(2) Эти значения могут различаться для различных групп: напри-
мер, значение Р для полисменов и студентов; различные значения Р
для мужчин и женщин.
(3) Эти показатели трудности могут быть подвергнуты шкалиро-
ванию по Рашу, в этом случае они являются независимыми от попу-
ляции.
(4) Испытуемый вводит свое имя, возраст, пол и профессию (лю-
бое из этих сведений или все).
(5) В простейшем случае индивидуально-ориентированного тес-
тирования испытуемому предъявляется задание с уровнем трудности
50%.
(6) Если он выполнит его правильно, то ему предъявляется более
трудное задание; если неправильно - то более легкое задание.
(7) Работая таким образом, при помощи очень краткого теста
можно быстро определить уровень трудности для испытуемого.
(8) Более сложная программа может принять во внимание воз-
раст, пол и род занятий еще до предъявления первого задания, то есть
использовать информацию из шага (2).
260
(9) В противном случае, может быть представлен краткий набор
шкалированных по Рашу заданий, что позволило бы выполнять не-
зависимые от заданий и популяции измерения.
Преимущества
(1) При помощи относительно небольшого теста можно точно
измерять способности испытуемого.
(2) Это означает, что могут использоваться подмножества зада-
ний из их общего набора. Это идеальный вариант при повторном
тестировании (как и в исследовании по разработке теста).
(3) Краткость удобна в прикладной психологии (когда фактор
времени выходит на первое место). Это также полезно для удержания
у испытуемых интереса и внимания, которые могут ослабнуть, если
тесты будут слишком длинными.
Недостатки
(1) Основная проблема индивидуально-ориентированного тести-
рования состоит в том значении, которое придается уровню трудно-
сти (?). В сфере изучения способностей и достижений в обучении это
имеет смысл. Например, в основе математических задач лежит ре-
альная шкала трудности. В других областях исследований, таких как
черты личности и мотивы, это никоим образом не имеет места, и если
даже на основании значений Р и могут быть сконструированы инди-
видуально-ориентированные тесты личности, возможно, что их ва-
лидность будет вследствие этого меньше по сравнению с обычным
психометрическим тестом с большим количеством заданий. Насущно
необходимо исследование этого вопроса.
(2) Последняя проблема связана с необходимостью очень точного
определения значений Р и, следовательно, формирования больших
выборок для нормативной работы, если хотим, чтобы индивидуаль-
но-ориентированное тестирование было валидным. Очевидно, что
если статистические оценки для задания невысоки, то индивидуаль-
но-ориентированное тестирование будет неточным. По этой причине
часто, когда показатели для заданий являются независимыми от по-
пуляции, более предпочтительно использование шкалирования по
Рашу.
Шкалирование по Рашу
В главе 1 было описано шкалирование по Рашу и другие методы
конструирования тестов с использованием кривых зависимости "за-
дание-ответ". Были также описаны их преимущества по сравнению
с обычными методами разработки тестов и обсуждены некоторые из
261
проблем и ограничений для них. Здесь достаточно повторить, что, в
силу некоторых причин, особенно когда важно проведение повторно-
го тестирования и есть хорошо определенная генеральная совокуп-
ность заданий, шкалирование по Рашу может быть полезно. Теперь
будут изложены шаги вычислений для шкалирования заданий теста
по Рашу. Будет описано, что необходимо при использовании только
простейшего вида модели Раша - просто чтобы дать возможность
читателям понять суть процедуры. Более тщательно разработанные
методы остаются на долю специалистов, которые могут пожелать
использовать их для некоторых конкретных целей.
Описание модели Раша
Модель Раша уже была описана, и мы не будем повторять ее здесь.
Было показано, что вероятность ответа в модели Раша зависит от
двух параметров: /, степени выраженности данной черты у испытуе-
мого, и k, значения задания как средства выявления этой черты.
Считается обычным выполнять анализ модели Раша при помощи
компьютера.
Шаги вычислений при шкалировании по Рашу
(1) Предъявите задания испытуемым.
(2) Пример: хотя приверженцы шкалирования по Рашу утверж-
дают, что такой анализ заданий является независимым от выборки
испытуемых, Lord (1980) показал, что это преувеличение. Первое
оценивание (калибровка) заданий должно выполняться на репрезен-
тативной выборке, в противном случае оценки будут неточными.
Более того, чтобы удовлетворить статистические требования для по-
лучения наиболее статистически значимых оценок, необходимо по
крайней мере 1000 испытуемых. Но когда первоначальная оценка
заданий уже выполнена, шкалирование по Рашу уже является неза-
висимым от выборки, а все зависит от объема и репрезентативности
начальной выборки. Следовательно, она должна состоять как мини-
мум из 1000 испытуемых.
(3) Разбейте выборку на две группы: получивших высокие и низ-
кие показатели, причем все показатели испытуемых первой группы
должны быть выше любого из показателей испытуемых второй груп-
пы.
(4) Определите показатели по каждому заданию для каждого чле-
на этих групп следующим образом: 1 - правильное выполнение, 0 -
неправильное.
(5) Вычислите параметры модели Раша.
262
(6) Так как появляется ряд различных результатов, то они будут
изучаться отдельно.
(7) Компьютерная программа вычислений по модели Раша дает
значения коэффициентов трудности заданий вместе с их стандарт-
ными погрешностями, для каждого задания отдельно по двум груп-
пам. Считается, что задания удовлетворяют модели Раша, если их
показатели трудности в обеих группах одинаковы (в рамках стандар-
тной погрешности). Следует помнить, что эти группы совершенно
раздельны (в соответствии с их отбором, см. шаг 3) по отношению к
степени выраженности данной латентной черты. Обычные, нормаль-
ные показатели уровня трудности заданий должны будут показать,
что эти две группы никак не пересекаются.
(8) Отберите те задания, для которых в двух группах получены
одинаковые уровни трудности заданий.
(9) Если количество заданий недостаточное, сформулируйте дру-
гие задания в свете эффективных по модели Раша заданий. Следует
также изучить неудачные задания с целью их возможной коррекции,
чтобы увидеть и понять, почему задания не прошли отбор, и в даль-
нейшем избегать таких ловушек при формулировании заданий.
(10) Независимое от заданий измерение индивидуальных ка-
честв. Первые девять шагов связаны с анализом заданий по модели
Раша, дающим нам задания, имеющие одинаковые показатели уров-
ня трудности на двух совершенно отдельных выборках. Однако, те-
перь уже может быть выполнена вторая проверка (и гораздо более
важная, так как она составляет основную суть модели Раша). Дейст-
вительно ли различные подмножества заданий модели Раша дают
одинаковые показатели для индивидуумов или нет?
(11) Чтобы проверить, является ли измерение независимым от
заданий: (а) разделите задания модели Раша на две группы, одна из
которых должна содержать самые простые, а другая -самые трудные
задания. Очевидно, что средние показатели для испытуемых по двум
таким тестам будут различными.
(12) При помощи компьютерной программы найдите для каждого
испытуемого показатель по степени выраженности черты по каждому
тесту и связанную с ним стандартную погрешность измерения. Если
задания удовлетворяют модели Раша, каждый испытуемый в преде-
лах стандартной погрешности получит одинаковые показатели по
каждой группе заданий. Если испытуемые не получили одинаковые
показатели, следует эти задания удалить или переформулировать.
(13) Задания должны быть кросс-валидизированы. Задания, ото-
бранные ранее при помощи анализа по Рашу, должны быть предъяв-
лены новой выборке испытуемых для проверки их соответствия. Ра-
бота над тестом может считаться завершенной только тогда, когда
задания эффективно работают и на новых выборках.
(14) Если показатели испытуемых выходят за пределы эквивален-
тности по двум тестам, то это может происходить из-за угадывания
ответов, что является основной трудностью в применении модели
Раша (Nunnally, 1978). Мера, которую в этом случае можно принять
- улучшение качества дистракторов, что поможет избежать угады-
вания. Birnbaum (1968) разработал трехпараметрическую модель,
учитывающую возможность угадывания ответов, хотя Wood (1976)
утверждает, что это нарушает размерность модели.
(15) И, наконец, можно выполнить преобразование результатов
измерений уровня выраженности черты по шкалам Раша с интерва-
лом от +4 до -4 к шкале, показатели которой наиболее похожи на
получаемые при помощи обычных тестов. Это особенно важно, так
как большинство приложений этой модели относится к сфере образо-
вания, а учителя категорически против применения отрицательных
значений показателей для оценки способностей. Оценки трудности
заданий, как и оценки степени выраженности некоторой черты, яв-
ляются вероятностными, поскольку модель Раша является вероятно-
стной моделью.
Шкала, обычно используемая на шаге (15)- это шкала W или
Wits (Chopin, 1976). Из уравнений Раша можно видеть, что если
оценка способностей индивидуума превосходит уровень трудности
задания на одну единицу, то вероятность правильного ответа возра-
стает на 2.178. Как указывают Wilmott и Fowles (1974), шкала Wits
имеет произвольную точку отсчета 50, полученную путем преобра-
зования D = 50+4,55 d , где D - новое значение трудности задания,
d - значение уровня трудности, вычисленное по уравнениям Раша
при заданном среднем уровне трудности заданий, равном 0.
Эта шкала была выбрана потому, что в ней успешность испытуе-
мого и трудность задания связаны относительно понятным способом.
Для каждого различия на пять баллов между показателем индивиду-
альной выраженности черты и коэффициентом трудности задания
вероятность успешного выполнения задания возрастает или умень-
шается в три раза. Это чрезвычайно полезно при отборе подходящих
заданий в банки заданий для групп учащихся и составляет метод
индивидуального ориентирования тестов в соответствии с индивиду-
альными потребностями и получения при этом сравнимых средств
измерения способностей испытуемых.
264
Оценка процедур шкалирования по Рашу
Мы более не будем углубляться в конструирование шкал Раша,
потому что существует ряд проблем с методом их использования, за
исключением определенных случаев, имеющих ограниченное значе-
ние.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
зированном тестировании отпадает необходимость ввода результа-
тов тестирования в память компьютера для программной обработки.
Таким образом, с точки зрения разработчика тестов это в значи-
тельной мере упрощает трудоемкий процесс отбора и оценивания
заданий, так как все необходимые расчеты для анализа заданий и
факторного анализа могут выполнять программы, используя те дан-
ные, которые уже находятся в памяти микрокомпьютера, или, если
данных слишком много, они могут быть легко переданы для обработ-
ки в большую ЭВМ.
Путем разработки специализированных электронных клавиш-
ных пультов для фиксации ответов, подключенных к микрокомпью-
терам, можно предложить испытуемым отвечать на предъявленные
им задания, нажимая клавиши пульта, что также позволяет пол-
учать автоматический сбор и анализ данных без представления теста
на компьютере. Это позволяет (на многотерминальном компьютере)
тестировать одновременно до восьми испытуемых. При наличии де-
вятиклавишных пультов может быть использовано большое разнооб-
разие форм заданий.
Поскольку компьютерное представление заданий тестов позволя-
ет производить автоматический анализ данных, то для разработки
тестов было бы желательно наличие большого количества термина-
лов или компьютеров. Если их нет, то более быстрым и, следователь-
но, более эффективным будет обычный способ предъявления зада-
ний, а затем ввод данных для обработки в компьютер.
Компьютерная специфика тестовых заданий
Преимущество компьютеризированного тестирования, которое
еще предстоит осознать, состоит в возможности использования таких
заданий, которые не могут быть представлены никаким другим обра-
зом. Но все же тест не может быть лучше, чем составляющие его
задания. Так, компьютеризированная версия стандартного теста на-
поминает, вероятно, прекрасно оформленное издание книги, но
сафьяновый переплет не улучшит ее содержания.
Однако специфические компьютерные тесты позволяют исполь-
зовать задания, которые не могут быть представлены без компьюте-
ра. При разработке специфических компьютерных тестов следует
очень внимательно следить за тем, чтобы не создавать задания лишь
потому, что компьютер позволяет их реализовать. Другими словами,
для использования таких заданий должны быть веские основания.
258
Ниже приведены несколько примеров заданий для специфичес-
ких компьютерных тестов вместе с их обоснованием.
(1) Представление заданий EPQ и латентное время ответа. Осно-
вание: для вызывающих беспокойство заданий латентное время дол-
жно быть большим. В качестве подтверждения валидности теста мож-
но ожидать, что у испытуемых с высокими показателями по Л-шкале
будет увеличиваться латентный период ответа на задания, входящие
в эту шкалу.
(2) Время реакции на вопросы, требующие ответа "нравится-не
нравится", "люблю-не люблю" в описательных выражениях. Осно-
вание: подобно приведенному выше и связано с юнговским понятием
комплекса.
(3) Время реакции на суждение о подобии длины отрезка (линии).
Основание: скорость обработки информации является мерой gf (Jen-
sen, 1980).
(4) Время реакции на задачи выбора. Основание: работа Йенсена
о связи этого параметра с интеллектом (Jensen, 1982).
(5) Вращаемые фигуры: идентификация. Основание: очевидные
измерения способности к пространственной ориентации.
(6) Скрытые изображения, размещенные в матрице из точек.
Основание: компьютерный метод представления скрытых изображе-
ний, как и в стандартном тесте скрытых изображений.
(7) Задача подсчета точек с негативной обратной связью (в случае
правильного ответа испытуемый информируется о том, что он осуще-
ствил подсчет неверно, и наоборот). Основание: настойчивые испы-
туемые будут продолжать выполнять задание дольше при условии,
что им разрешено прекратить работу по собственному желанию.
Это простые примеры того, как компьютерные средства, особенно
такие, как расчет времени, необходимого для ответа, могут быть
использованы для разработки по-настоящему новых тестов и зада-
ний. Пример 7 представляет собой объективный компьютерный тест
настойчивости.
Эти примеры показывают, что ныне на клавиатуре персонального
компьютера могут быть реализованы задания такого широкого спек-
тра, о которых предшествующие поколения специалистов по психо-
метрии не могли и мечтать. Все, что необходимо, как и в случае с
формулированием стандартных заданий, - это воображение, твор-
ческий подход и мастерство выполнения технических процедур, опи-
санных в этой книге.
Хотя способность порождать вызывающие удивление задания -
особенность компьютерных тестов, это не является основным преи-
о 259
муществом компьютеризированного тестирования. Подлинная мощь
компьютеризированного тестирования состоит в осуществлении ин-
дивидуально-ориентированного тестирования.
Индивидуально - ориентированное тестирование
Как следует из названия, индивидуально-ориентированное тести-
рование (tailored testing) может быть определено как создание тес-
тов, в значительной мере приспособленных к каждому индивидууму,
проходящему тестирование. Опытные исследователи интеллекта не
обязательно предъявляют все задания шкал всем испытуемым. Обыч-
но они могут оценить необходимый уровень трудности и, следова-
тельно, предъявить небольшое количество заданий, прежде чем ис-
пытуемый достигнет порога, выше которого задания выполнить не
сможет. Можно предположить, что все предыдущие задания на шка-
ле трудности были бы выполнены испытуемым правильно. Мастерст-
во и проницательность исследователя позволяют ему создавать инди-
видуально-ориентированный тест интеллекта.
В случае индивидуально-ориентированного тестирования на мик-
рокомпьютере в программу предъявления заданий закладывается
аналогичная процедура. Сущность индивидуально-ориентированно-
го тестирования может быть описана в виде следующей последова-
тельности шагов:
(1) Коэффициент трудности задания (значение Р из процедуры
анализа заданий) сохраняется вместе с каждым заданием.
(2) Эти значения могут различаться для различных групп: напри-
мер, значение Р для полисменов и студентов; различные значения Р
для мужчин и женщин.
(3) Эти показатели трудности могут быть подвергнуты шкалиро-
ванию по Рашу, в этом случае они являются независимыми от попу-
ляции.
(4) Испытуемый вводит свое имя, возраст, пол и профессию (лю-
бое из этих сведений или все).
(5) В простейшем случае индивидуально-ориентированного тес-
тирования испытуемому предъявляется задание с уровнем трудности
50%.
(6) Если он выполнит его правильно, то ему предъявляется более
трудное задание; если неправильно - то более легкое задание.
(7) Работая таким образом, при помощи очень краткого теста
можно быстро определить уровень трудности для испытуемого.
(8) Более сложная программа может принять во внимание воз-
раст, пол и род занятий еще до предъявления первого задания, то есть
использовать информацию из шага (2).
260
(9) В противном случае, может быть представлен краткий набор
шкалированных по Рашу заданий, что позволило бы выполнять не-
зависимые от заданий и популяции измерения.
Преимущества
(1) При помощи относительно небольшого теста можно точно
измерять способности испытуемого.
(2) Это означает, что могут использоваться подмножества зада-
ний из их общего набора. Это идеальный вариант при повторном
тестировании (как и в исследовании по разработке теста).
(3) Краткость удобна в прикладной психологии (когда фактор
времени выходит на первое место). Это также полезно для удержания
у испытуемых интереса и внимания, которые могут ослабнуть, если
тесты будут слишком длинными.
Недостатки
(1) Основная проблема индивидуально-ориентированного тести-
рования состоит в том значении, которое придается уровню трудно-
сти (?). В сфере изучения способностей и достижений в обучении это
имеет смысл. Например, в основе математических задач лежит ре-
альная шкала трудности. В других областях исследований, таких как
черты личности и мотивы, это никоим образом не имеет места, и если
даже на основании значений Р и могут быть сконструированы инди-
видуально-ориентированные тесты личности, возможно, что их ва-
лидность будет вследствие этого меньше по сравнению с обычным
психометрическим тестом с большим количеством заданий. Насущно
необходимо исследование этого вопроса.
(2) Последняя проблема связана с необходимостью очень точного
определения значений Р и, следовательно, формирования больших
выборок для нормативной работы, если хотим, чтобы индивидуаль-
но-ориентированное тестирование было валидным. Очевидно, что
если статистические оценки для задания невысоки, то индивидуаль-
но-ориентированное тестирование будет неточным. По этой причине
часто, когда показатели для заданий являются независимыми от по-
пуляции, более предпочтительно использование шкалирования по
Рашу.
Шкалирование по Рашу
В главе 1 было описано шкалирование по Рашу и другие методы
конструирования тестов с использованием кривых зависимости "за-
дание-ответ". Были также описаны их преимущества по сравнению
с обычными методами разработки тестов и обсуждены некоторые из
261
проблем и ограничений для них. Здесь достаточно повторить, что, в
силу некоторых причин, особенно когда важно проведение повторно-
го тестирования и есть хорошо определенная генеральная совокуп-
ность заданий, шкалирование по Рашу может быть полезно. Теперь
будут изложены шаги вычислений для шкалирования заданий теста
по Рашу. Будет описано, что необходимо при использовании только
простейшего вида модели Раша - просто чтобы дать возможность
читателям понять суть процедуры. Более тщательно разработанные
методы остаются на долю специалистов, которые могут пожелать
использовать их для некоторых конкретных целей.
Описание модели Раша
Модель Раша уже была описана, и мы не будем повторять ее здесь.
Было показано, что вероятность ответа в модели Раша зависит от
двух параметров: /, степени выраженности данной черты у испытуе-
мого, и k, значения задания как средства выявления этой черты.
Считается обычным выполнять анализ модели Раша при помощи
компьютера.
Шаги вычислений при шкалировании по Рашу
(1) Предъявите задания испытуемым.
(2) Пример: хотя приверженцы шкалирования по Рашу утверж-
дают, что такой анализ заданий является независимым от выборки
испытуемых, Lord (1980) показал, что это преувеличение. Первое
оценивание (калибровка) заданий должно выполняться на репрезен-
тативной выборке, в противном случае оценки будут неточными.
Более того, чтобы удовлетворить статистические требования для по-
лучения наиболее статистически значимых оценок, необходимо по
крайней мере 1000 испытуемых. Но когда первоначальная оценка
заданий уже выполнена, шкалирование по Рашу уже является неза-
висимым от выборки, а все зависит от объема и репрезентативности
начальной выборки. Следовательно, она должна состоять как мини-
мум из 1000 испытуемых.
(3) Разбейте выборку на две группы: получивших высокие и низ-
кие показатели, причем все показатели испытуемых первой группы
должны быть выше любого из показателей испытуемых второй груп-
пы.
(4) Определите показатели по каждому заданию для каждого чле-
на этих групп следующим образом: 1 - правильное выполнение, 0 -
неправильное.
(5) Вычислите параметры модели Раша.
262
(6) Так как появляется ряд различных результатов, то они будут
изучаться отдельно.
(7) Компьютерная программа вычислений по модели Раша дает
значения коэффициентов трудности заданий вместе с их стандарт-
ными погрешностями, для каждого задания отдельно по двум груп-
пам. Считается, что задания удовлетворяют модели Раша, если их
показатели трудности в обеих группах одинаковы (в рамках стандар-
тной погрешности). Следует помнить, что эти группы совершенно
раздельны (в соответствии с их отбором, см. шаг 3) по отношению к
степени выраженности данной латентной черты. Обычные, нормаль-
ные показатели уровня трудности заданий должны будут показать,
что эти две группы никак не пересекаются.
(8) Отберите те задания, для которых в двух группах получены
одинаковые уровни трудности заданий.
(9) Если количество заданий недостаточное, сформулируйте дру-
гие задания в свете эффективных по модели Раша заданий. Следует
также изучить неудачные задания с целью их возможной коррекции,
чтобы увидеть и понять, почему задания не прошли отбор, и в даль-
нейшем избегать таких ловушек при формулировании заданий.
(10) Независимое от заданий измерение индивидуальных ка-
честв. Первые девять шагов связаны с анализом заданий по модели
Раша, дающим нам задания, имеющие одинаковые показатели уров-
ня трудности на двух совершенно отдельных выборках. Однако, те-
перь уже может быть выполнена вторая проверка (и гораздо более
важная, так как она составляет основную суть модели Раша). Дейст-
вительно ли различные подмножества заданий модели Раша дают
одинаковые показатели для индивидуумов или нет?
(11) Чтобы проверить, является ли измерение независимым от
заданий: (а) разделите задания модели Раша на две группы, одна из
которых должна содержать самые простые, а другая -самые трудные
задания. Очевидно, что средние показатели для испытуемых по двум
таким тестам будут различными.
(12) При помощи компьютерной программы найдите для каждого
испытуемого показатель по степени выраженности черты по каждому
тесту и связанную с ним стандартную погрешность измерения. Если
задания удовлетворяют модели Раша, каждый испытуемый в преде-
лах стандартной погрешности получит одинаковые показатели по
каждой группе заданий. Если испытуемые не получили одинаковые
показатели, следует эти задания удалить или переформулировать.
(13) Задания должны быть кросс-валидизированы. Задания, ото-
бранные ранее при помощи анализа по Рашу, должны быть предъяв-
лены новой выборке испытуемых для проверки их соответствия. Ра-
бота над тестом может считаться завершенной только тогда, когда
задания эффективно работают и на новых выборках.
(14) Если показатели испытуемых выходят за пределы эквивален-
тности по двум тестам, то это может происходить из-за угадывания
ответов, что является основной трудностью в применении модели
Раша (Nunnally, 1978). Мера, которую в этом случае можно принять
- улучшение качества дистракторов, что поможет избежать угады-
вания. Birnbaum (1968) разработал трехпараметрическую модель,
учитывающую возможность угадывания ответов, хотя Wood (1976)
утверждает, что это нарушает размерность модели.
(15) И, наконец, можно выполнить преобразование результатов
измерений уровня выраженности черты по шкалам Раша с интерва-
лом от +4 до -4 к шкале, показатели которой наиболее похожи на
получаемые при помощи обычных тестов. Это особенно важно, так
как большинство приложений этой модели относится к сфере образо-
вания, а учителя категорически против применения отрицательных
значений показателей для оценки способностей. Оценки трудности
заданий, как и оценки степени выраженности некоторой черты, яв-
ляются вероятностными, поскольку модель Раша является вероятно-
стной моделью.
Шкала, обычно используемая на шаге (15)- это шкала W или
Wits (Chopin, 1976). Из уравнений Раша можно видеть, что если
оценка способностей индивидуума превосходит уровень трудности
задания на одну единицу, то вероятность правильного ответа возра-
стает на 2.178. Как указывают Wilmott и Fowles (1974), шкала Wits
имеет произвольную точку отсчета 50, полученную путем преобра-
зования D = 50+4,55 d , где D - новое значение трудности задания,
d - значение уровня трудности, вычисленное по уравнениям Раша
при заданном среднем уровне трудности заданий, равном 0.
Эта шкала была выбрана потому, что в ней успешность испытуе-
мого и трудность задания связаны относительно понятным способом.
Для каждого различия на пять баллов между показателем индивиду-
альной выраженности черты и коэффициентом трудности задания
вероятность успешного выполнения задания возрастает или умень-
шается в три раза. Это чрезвычайно полезно при отборе подходящих
заданий в банки заданий для групп учащихся и составляет метод
индивидуального ориентирования тестов в соответствии с индивиду-
альными потребностями и получения при этом сравнимых средств
измерения способностей испытуемых.
264
Оценка процедур шкалирования по Рашу
Мы более не будем углубляться в конструирование шкал Раша,
потому что существует ряд проблем с методом их использования, за
исключением определенных случаев, имеющих ограниченное значе-
ние.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39