W. Cooley, R. Glaser, 1969; R. Glaser, 1968) и программа PLAN (по-
строение обучения в соответствии с потребностями), полученная в амери-
канских исследовательских институтах (J.C.FIanagan, 1971; J.C.FIana-
gan, W.M.Shanner, H.J.Brudner, R.W. Marker, 1975). Система PLAN
помимо обучения предметам, проходимым в V-XII классах, включает
в себя программы самопознания, индивидуального развития и проф-
ориентации.
92 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ
Природа и назначение. Метод тестирования, вызвавший волну ак-
тивности. особенно в педагогике, обычно именуется критериально-ориен-
тированным тестированием. Этот термин, впервые предложенный
Р. Гласером (R. Glaser, 1963), все еще употребляется не вполне однознач-
но, и различные авторы определяют его по-разному. Более того, неко-
торые альтернативные термины, указывающие на отнесение результатов
теста к его содержанию, области определения, цели, иногда употребля-
ются как синонимы термина <критериально-ориентированный> с не-
сколько различными оттенками значения. Однако термин <критериаль-
но-ориентированный>, по-видимому, занял господствующее положение,
хотя он и не самый удачный.
Как правило, в критериально-ориентированном тестировании в_каче-_
стве интерпретационной системы отсчета.. используется конкретная
область содержания, а не та или иная популяция людей. В этом отноше-
нии оно отличается от обычного ориентированного на нормы тестирова-
ния, в котором индивидуальный показатель сопоставляется с показателя-
ми других индивидов, выполнявших тот же самый тест. В критериально-
ориентированном тестировании, например, выполнение теста испы-
туемым описывается в терминах освоенных арифметических операций,
объема словаря, уровня трудности доступного пониманию текста (от ко-
миксов до литературной классики), вероятности достижения определен-
ного уровня выполнения будущей деятельности на работе или в учебном
заведении.
Кригсрицльно-орнснтироьаиное тестирование пока что применяется
главным образом лишь в последних педагогических новшествах-в си-
стемах прямого и косвенного машинного обучения и в других индиви-
дуализированных саморегулирующихся системах. Во всех таких системах
тестирование полностью интегрировано с обучением и проводится до, во
время и после выполнения каждого учебного задания для проверки нали-
чия необходимых умений, выявления иозможных затруднений и выбора
.последующих педагогических действий. Упомянутая ранее программа
PLAN и система индивидуального обучения Питтсбургского университе-
та построены именно таким образом.
Еще одним аспектом применения критериально-ориентированных
тестов является их использование службами по образованию, типа На-
ционального совета по достижениям в образовании (F.B. Womer, 1970),
а также при подготовке материалов учебной отчетности (N.E. Gronlund,
1974). Иллюстрацией критериально-ориентированного тестирования мо-
гут служить квалификационные испытания водителей и пилотов для вы-
дачи им прав на вождение автомобиля или самолета. Наконец, отметим,
что знание принципов критериально-ориентированного тестирования по-
зволяет усовершенствовать обычные тесты, составляемые самими учите-
лями для использования в классе. Н. Гронлунд (N.E. Gronlund, 1973) раз-
работал полезное руководство по составлению и проведению таких
тестов с простым и хорошо построенным введением в критериально-
ориентированное тестирование. Краткое, но блистательное обсуждение
основных недостатков такого тестирования приводится в работе
P..Я. И бела sR.L.Ebel, 1972в).
Содержание. Отличительной чертой критериально-опиентиппнян-
1ГОГО TfilTHnrinJirrin {,,.... !---
93 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
нием ни выступало) является интерпретация выполнения теста с точки
зрения его содержательного смысла. Упор делается на то, что индивид
может делать и что он знает, а не на то, какой выглядит на фоне дру-
гих. Главное требование, которое необходимо соблюдать при составле-
нии теста такого типа, состоит в четком определении области знаний
и умений, к которой он относится. Чтобы показатели такого теста имели
коммуникативное значение, необходимо выбрать содержательную
область, признаваемую всеми как важную. Выбранная область подразде-
ляется на небольшие единицы, описываемые в терминах деятельности.
В контексте школьного обучения таким единицам соответствуют зада-
ния типа <умножить трехзначное число на двузначное> или <указать сло-
во, в котором ошибочно написана буква е в суффиксе -ян>. В програм-
мах индивидуального обучения число таких заданий достигает несколь-
ких сот по одному только предмету. Сформулировав цели каждого этапа
обучения, нужно составить задания, обеспечивающие выборочную про-
верку достижения каждой из таких целей. По общему признанию, проце-
дура эта достаточно трудна и поглощает много времени. Но без тща-
тельной конкретизации и проверки содержания заданий результаты
тестирования легко могут превратиться в плохо различимую и неинтер-
претируемую мешанину.
Критериально-ориентированное тестирование, если его проводить
по всем правилам, лучше всего приспособлено для определения на эле-
ментарном уровне развития основных навыков (например, в чтении
и арифметике). В этих областях знаний цели обучения могут быть упоря-
дочены в иерархическую последовательность так, чтобы усвоение более
элементарных навыков служило предпосылкой для формирования навы-
ков более высокого уровня. Однако применительно к более высоким
уровням знаний в сравнительно мало структурированных областях труд-
но и, по-видимому, нежелательно формулировать цели с предельной кон-
кретностью. В этих случаях как само содержание, так и последователь-
ность его усвоения, вероятно, должны быть более гибкими.
Вместе с тем своим акцентом на содержательном смысле интерпре-
тации тестовых показателей критериально-ориентированное тестирова-
ние может оказать благотворное влияние на тестирование в целом. От
такого подхода выигрывает, например, интерпретация показателей те-
стов интеллекта. Если выполнение ребенком заданий таких тестов
описывать в терминах специфических интеллектуальных навыков и зна-
ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-
ниями и неправильными представлениями. В общем виде критериально-
ориентированный подход равносилен интерпретации тестовых результа-
тов соответственно доказанной валидности конкретного теста, а не
посредством неких туманных сущностей, лежащих в его основе. Разуме-
ется, такая интерпретация может сочетаться с отнесением результатов
к нормам.
Тестирование овладения навыком. Второй важной особен-
ностью почти любого критериально-ориентированного теста является ме-
тодика тестирования овладения навыком. Существенно, что оценка вы-
полнения заданий в этом случае производится по принципу <все или
В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-
pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы
-r--- - -
Вследстви епени трудно.
,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг. нашего столетия, но позднее было забыто.
В том или ином виде нормы всегда дают о себе знать независимо от
того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор
содержания или навыков, подлежащих измерению, определяется знанием
экспериментатора, чего можно добиться от испытуемого на определен-
ном уровне его развития или обучения. Такой выбор предполагает нали-
чие сведений о том, как в подобных ситуациях действовали другие испы-
туемые. Более того, наложение дихотомии <овладел-не овладел> на
континуум умений не снимает индивидуальных различий. Например, ес-
ли уровень понимания текста задается формулировкой <умение понять
содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно
места для значительных индивидуальных различий в степени понимания.
Прогностические таблицы. Результаты теста можно также
интерпретировать в соответствии с критерием ожидаемого выполнения
предстоящей программы обучения или работы. В этом случае термин
<критерий> употребляется сообразно тому, как это вообще принято
в психометрии, т. е. так, как, скажем, в выражении <валидность теста
определяется относительно некоторого критерия> (см. гл. 2). Строго го-
воря, термин <критериально-ориентированное тестирование> должен
был бы относиться к этому типу интерпретации выполнения теста, тогда
как другие подходы, обсуждавшиеся в этом разделе, правильнее было бы
назвать отнесением к содержанию. Собственно, именно эта терминоло-
гия и используется в тестовых стандартах Американской психологиче-
ской ассоциации (Standards.., 1974).
В прогностической таблице приводится вероятность различных кри-
териальных результатов испытуемых в зависимости от полученного ими
результата теста. Например, если учащийся в тесте SAT показал резуль-
тат 530, то каковы шансы на то, что первый курс колледжа он закончит
со средней оценкой А, В, С, D или f? Информацию такого рода можно
получить, сверив двумерное распределение показателей предиктора
В американских колледжах и старших классах средних школ принята следующая
система оценки успеваемости. По каждому предмету учащийся получает итоговую оценку
по пятибалльной системе А, В, С, D и F. Эти балльные оценки переводятся в цифровую
форму: А приравнивается к 4 (наивысший балл), В-к 3, С-к 2, D-к 1 и. наконец, FK 0.
Каждая из полученных оценок в цифровом выражении умножается на зачетное число ча-
сов по соответствующему предмету. Все такие произведения складываются, и результат
делится на сумму зачетных часов по всем предметам. Полученная таким образом средняя
90 11"ИНЦИ11Ы ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
(SAT) с критерием будущего статуса (средняя оценка успеваемости пер-
вокурсника). Заменив число случаев в каждой ячейке такого двумерного
распределения на проценты, мы получим прогностическую таблицу.
Примером может служить табл. 6, в которой представлены данные, по-
лученные мальчиками-старшеклассниками (всего 171 человек), записав-
шимися на курс истории США. В качестве предиктора здесь использо-
ван показатель теста словесного мышления из батареи DAT, применен-
ного в начале курса, а в качестве критерия будущего статуса-оценки, по-
лученные по окончании курса. Корреляция между показателем теста
и данным критерием составила 0,66.
В первой колонке табл. 6 приведены тестовые результаты, распреде-
ление на классы интервалов, во второй-число учеников, результаты ко-
торых попали в тот или иной интервал. Остальные цифры таблицы
указывают процент учеников из каждого интервала значений предикто-
ра, получивших ту или иную оценку по окончании курса. Так, из 46 уче-
ников, получивших в тесте на словесное мышление 40 и более очков, 15Їо
получили оценки в 100-балльной системе в интервале 70-79, 22Їо-в ин-
тервале 80-89 и 63Їо-90 и выше. С другой стороны, из 46 учеников, по-
казавших в тесте результат ниже 20, 30Ї получили оценки ниже 70,
52Їо-между 70 и 79 и 17Їо-между 80 и 89. В пределах рассматриваемых
данных эти проценты лучше всего выражают вероятность получения ин-
дивидом того или иного критериального балла. Например, если новый
ученик получит тестовый показатель 34 (т.е. попадет в интервал 30-39),
то его шансы получить балл 90 и выше составляет 17 из 100, шансы по-
лучить балл в интервале 80-90 будут равны 39 из 100 и т.д.
На практике критерий будущего статуса может быть заменен
бинарным критерием-предсказанием успеха или неудачи в работе,
в прохождении учебного курса и т.д. Вероятности успеха или неудачи по
каждому интервалу значений показателя прогностического теста могут
быть представлены в виде так называемой карты прогноза. Рис. 7 есть
пример такой карты, составленной для батареи отбора пилотов, разра-
ботанной для военно-воздушных сил США, на которой для каждого ста-
найна показан процент курсантов, не закончивших начального курса лет-
ной подготовки. Так, в процессе подготовки отсеялось 77Їд, получивших
станайн 1 и только 4% получивших станайн 9. В пределах этих крайних
значений от более низких к более высоким станайнам процент отсева по-
стоянно уменьшается. С
помощью этой карты про-
гноза можно, например,
предсказать, что примерно
40"о курсантов, получив-
ших станайн 4, потерпят
неудачу и приблизительно
60% из них удовлетвори-
тельно завершат началь-
ный курс. Аналогичные
прогнозы по каждому ста-
найну можно строить и от-
носительно вероятности
успеха или неудачи от-
дельных курсантов. Так,
Таблица 6
Прогностическая таблица соотношении результатов те-
ста словесного мышления и оценок, полученных по кур-
су истории США, 171 мальчиком >i XI класса
С разрешения Психологической корпорации штата
Нью-Йорк
Результат тестаЧисло случаевllpoueui получивших критериальную оценку
ниже 7070-7980-8990 и выше
40 и выше 30-39 20-29 ниже 2046 36 6 43 12 46 3015 39 63 5222 39 21 1763 i7 5
97
НАДЕЖНОСТЬ
-г-.
.Станаин Число Процент отчисленных с курсов летной подготовки
человек
9 21,4741f,
8 19,44410%
17 32,129
1 1.6 39,398
i 15 34,975
4 23,69940%
13 11,209i i
2 2,13957%
1 9047%
3 10 20 30 40 50 60 70 80 90 100
Рис. 7. Карта прогноза соотношения выполнения батареи по отбору пилотов и от-
числения с к/рсов летной подготовки (J. С. Flanagan, 1947, р. 58)
S сант имеет 60 шансов против 40, т.е. 3 шанса против 2, успешно за-
. кончить начальный курс подготовки. Нетрудно видеть, что помимо кри-
1 териально-ориентированной интерпретации тестовых показателей про-
1 гностические таблицы и карты дают общее представление о валидности
теста в предсказании по данному критерию.
1 ГЛАВА 5. НАДЕЖНОСТЬ
Под надежностью понимается согласованность результатов теста, полу-
чаемых при повторном его применении к тем же испытуемым в раз-i личные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования. На
S понятии <надежность> основывается вычисление ошибки измерения, кс
. торая служит для указания вероятных пределов колебаний измеряемой
величины, возникающих под действием посторонних случайных факто-
ров.
Понятие <надежность теста> может относиться к различным аспек-
1 там согласованности результатов. В самом широком смысле надежность
1. геста показывает, в какой степени индивидуальные различия в тестовых
6 результатах оказываются <истинными>, а в какой могут быть приписаны
1 случайным ошибкам. Говоря более специальным языком, измерение на-
98
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
показателей, являющуюся дисперсией ошибки. Вопрос, однако, в том, что
считать дисперсией ошибки. Одни и те же факторы, которые примени-
тельно к одним задачам являются посторонними, при решении других
проблем уже считаются источниками <истинных> различий. Например,
если нас интересуют колебания настроения, то происходящие день ото
дня изменения в результатах теста эмоционального состояния могли от-
носится к цели тестирования и, следовательно, к истинной дисперсии ре-
зультатов. Но если тест предназначен для измерения более стабильных
характеристик личности, то те же ежедневные колебания можно отнести
к дисперсии ошибки.
Существенно, что любые изменения условий, в которых проводится
тест, если они не имеют отношения к его цели, увеличивают дисперсию
ошибки. Поэтому, придерживаясь единых условий тестирования (контро-
лируя общую обстановку, временные ограничения, инструктирование ис-
пытуемого, контакт с ним и другие аналогичные факторы), эксперимен-
татор уменьшает дисперсию ошибки и повышает надежность теста. Но
и в оптимальных условиях ни один тест не является абсолютно надеж-
ным инструментом.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58
строение обучения в соответствии с потребностями), полученная в амери-
канских исследовательских институтах (J.C.FIanagan, 1971; J.C.FIana-
gan, W.M.Shanner, H.J.Brudner, R.W. Marker, 1975). Система PLAN
помимо обучения предметам, проходимым в V-XII классах, включает
в себя программы самопознания, индивидуального развития и проф-
ориентации.
92 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ
Природа и назначение. Метод тестирования, вызвавший волну ак-
тивности. особенно в педагогике, обычно именуется критериально-ориен-
тированным тестированием. Этот термин, впервые предложенный
Р. Гласером (R. Glaser, 1963), все еще употребляется не вполне однознач-
но, и различные авторы определяют его по-разному. Более того, неко-
торые альтернативные термины, указывающие на отнесение результатов
теста к его содержанию, области определения, цели, иногда употребля-
ются как синонимы термина <критериально-ориентированный> с не-
сколько различными оттенками значения. Однако термин <критериаль-
но-ориентированный>, по-видимому, занял господствующее положение,
хотя он и не самый удачный.
Как правило, в критериально-ориентированном тестировании в_каче-_
стве интерпретационной системы отсчета.. используется конкретная
область содержания, а не та или иная популяция людей. В этом отноше-
нии оно отличается от обычного ориентированного на нормы тестирова-
ния, в котором индивидуальный показатель сопоставляется с показателя-
ми других индивидов, выполнявших тот же самый тест. В критериально-
ориентированном тестировании, например, выполнение теста испы-
туемым описывается в терминах освоенных арифметических операций,
объема словаря, уровня трудности доступного пониманию текста (от ко-
миксов до литературной классики), вероятности достижения определен-
ного уровня выполнения будущей деятельности на работе или в учебном
заведении.
Кригсрицльно-орнснтироьаиное тестирование пока что применяется
главным образом лишь в последних педагогических новшествах-в си-
стемах прямого и косвенного машинного обучения и в других индиви-
дуализированных саморегулирующихся системах. Во всех таких системах
тестирование полностью интегрировано с обучением и проводится до, во
время и после выполнения каждого учебного задания для проверки нали-
чия необходимых умений, выявления иозможных затруднений и выбора
.последующих педагогических действий. Упомянутая ранее программа
PLAN и система индивидуального обучения Питтсбургского университе-
та построены именно таким образом.
Еще одним аспектом применения критериально-ориентированных
тестов является их использование службами по образованию, типа На-
ционального совета по достижениям в образовании (F.B. Womer, 1970),
а также при подготовке материалов учебной отчетности (N.E. Gronlund,
1974). Иллюстрацией критериально-ориентированного тестирования мо-
гут служить квалификационные испытания водителей и пилотов для вы-
дачи им прав на вождение автомобиля или самолета. Наконец, отметим,
что знание принципов критериально-ориентированного тестирования по-
зволяет усовершенствовать обычные тесты, составляемые самими учите-
лями для использования в классе. Н. Гронлунд (N.E. Gronlund, 1973) раз-
работал полезное руководство по составлению и проведению таких
тестов с простым и хорошо построенным введением в критериально-
ориентированное тестирование. Краткое, но блистательное обсуждение
основных недостатков такого тестирования приводится в работе
P..Я. И бела sR.L.Ebel, 1972в).
Содержание. Отличительной чертой критериально-опиентиппнян-
1ГОГО TfilTHnrinJirrin {,,.... !---
93 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
нием ни выступало) является интерпретация выполнения теста с точки
зрения его содержательного смысла. Упор делается на то, что индивид
может делать и что он знает, а не на то, какой выглядит на фоне дру-
гих. Главное требование, которое необходимо соблюдать при составле-
нии теста такого типа, состоит в четком определении области знаний
и умений, к которой он относится. Чтобы показатели такого теста имели
коммуникативное значение, необходимо выбрать содержательную
область, признаваемую всеми как важную. Выбранная область подразде-
ляется на небольшие единицы, описываемые в терминах деятельности.
В контексте школьного обучения таким единицам соответствуют зада-
ния типа <умножить трехзначное число на двузначное> или <указать сло-
во, в котором ошибочно написана буква е в суффиксе -ян>. В програм-
мах индивидуального обучения число таких заданий достигает несколь-
ких сот по одному только предмету. Сформулировав цели каждого этапа
обучения, нужно составить задания, обеспечивающие выборочную про-
верку достижения каждой из таких целей. По общему признанию, проце-
дура эта достаточно трудна и поглощает много времени. Но без тща-
тельной конкретизации и проверки содержания заданий результаты
тестирования легко могут превратиться в плохо различимую и неинтер-
претируемую мешанину.
Критериально-ориентированное тестирование, если его проводить
по всем правилам, лучше всего приспособлено для определения на эле-
ментарном уровне развития основных навыков (например, в чтении
и арифметике). В этих областях знаний цели обучения могут быть упоря-
дочены в иерархическую последовательность так, чтобы усвоение более
элементарных навыков служило предпосылкой для формирования навы-
ков более высокого уровня. Однако применительно к более высоким
уровням знаний в сравнительно мало структурированных областях труд-
но и, по-видимому, нежелательно формулировать цели с предельной кон-
кретностью. В этих случаях как само содержание, так и последователь-
ность его усвоения, вероятно, должны быть более гибкими.
Вместе с тем своим акцентом на содержательном смысле интерпре-
тации тестовых показателей критериально-ориентированное тестирова-
ние может оказать благотворное влияние на тестирование в целом. От
такого подхода выигрывает, например, интерпретация показателей те-
стов интеллекта. Если выполнение ребенком заданий таких тестов
описывать в терминах специфических интеллектуальных навыков и зна-
ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-
ниями и неправильными представлениями. В общем виде критериально-
ориентированный подход равносилен интерпретации тестовых результа-
тов соответственно доказанной валидности конкретного теста, а не
посредством неких туманных сущностей, лежащих в его основе. Разуме-
ется, такая интерпретация может сочетаться с отнесением результатов
к нормам.
Тестирование овладения навыком. Второй важной особен-
ностью почти любого критериально-ориентированного теста является ме-
тодика тестирования овладения навыком. Существенно, что оценка вы-
полнения заданий в этом случае производится по принципу <все или
В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-
pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы
-r--- - -
Вследстви епени трудно.
,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг. нашего столетия, но позднее было забыто.
В том или ином виде нормы всегда дают о себе знать независимо от
того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор
содержания или навыков, подлежащих измерению, определяется знанием
экспериментатора, чего можно добиться от испытуемого на определен-
ном уровне его развития или обучения. Такой выбор предполагает нали-
чие сведений о том, как в подобных ситуациях действовали другие испы-
туемые. Более того, наложение дихотомии <овладел-не овладел> на
континуум умений не снимает индивидуальных различий. Например, ес-
ли уровень понимания текста задается формулировкой <умение понять
содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно
места для значительных индивидуальных различий в степени понимания.
Прогностические таблицы. Результаты теста можно также
интерпретировать в соответствии с критерием ожидаемого выполнения
предстоящей программы обучения или работы. В этом случае термин
<критерий> употребляется сообразно тому, как это вообще принято
в психометрии, т. е. так, как, скажем, в выражении <валидность теста
определяется относительно некоторого критерия> (см. гл. 2). Строго го-
воря, термин <критериально-ориентированное тестирование> должен
был бы относиться к этому типу интерпретации выполнения теста, тогда
как другие подходы, обсуждавшиеся в этом разделе, правильнее было бы
назвать отнесением к содержанию. Собственно, именно эта терминоло-
гия и используется в тестовых стандартах Американской психологиче-
ской ассоциации (Standards.., 1974).
В прогностической таблице приводится вероятность различных кри-
териальных результатов испытуемых в зависимости от полученного ими
результата теста. Например, если учащийся в тесте SAT показал резуль-
тат 530, то каковы шансы на то, что первый курс колледжа он закончит
со средней оценкой А, В, С, D или f? Информацию такого рода можно
получить, сверив двумерное распределение показателей предиктора
В американских колледжах и старших классах средних школ принята следующая
система оценки успеваемости. По каждому предмету учащийся получает итоговую оценку
по пятибалльной системе А, В, С, D и F. Эти балльные оценки переводятся в цифровую
форму: А приравнивается к 4 (наивысший балл), В-к 3, С-к 2, D-к 1 и. наконец, FK 0.
Каждая из полученных оценок в цифровом выражении умножается на зачетное число ча-
сов по соответствующему предмету. Все такие произведения складываются, и результат
делится на сумму зачетных часов по всем предметам. Полученная таким образом средняя
90 11"ИНЦИ11Ы ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
(SAT) с критерием будущего статуса (средняя оценка успеваемости пер-
вокурсника). Заменив число случаев в каждой ячейке такого двумерного
распределения на проценты, мы получим прогностическую таблицу.
Примером может служить табл. 6, в которой представлены данные, по-
лученные мальчиками-старшеклассниками (всего 171 человек), записав-
шимися на курс истории США. В качестве предиктора здесь использо-
ван показатель теста словесного мышления из батареи DAT, применен-
ного в начале курса, а в качестве критерия будущего статуса-оценки, по-
лученные по окончании курса. Корреляция между показателем теста
и данным критерием составила 0,66.
В первой колонке табл. 6 приведены тестовые результаты, распреде-
ление на классы интервалов, во второй-число учеников, результаты ко-
торых попали в тот или иной интервал. Остальные цифры таблицы
указывают процент учеников из каждого интервала значений предикто-
ра, получивших ту или иную оценку по окончании курса. Так, из 46 уче-
ников, получивших в тесте на словесное мышление 40 и более очков, 15Їо
получили оценки в 100-балльной системе в интервале 70-79, 22Їо-в ин-
тервале 80-89 и 63Їо-90 и выше. С другой стороны, из 46 учеников, по-
казавших в тесте результат ниже 20, 30Ї получили оценки ниже 70,
52Їо-между 70 и 79 и 17Їо-между 80 и 89. В пределах рассматриваемых
данных эти проценты лучше всего выражают вероятность получения ин-
дивидом того или иного критериального балла. Например, если новый
ученик получит тестовый показатель 34 (т.е. попадет в интервал 30-39),
то его шансы получить балл 90 и выше составляет 17 из 100, шансы по-
лучить балл в интервале 80-90 будут равны 39 из 100 и т.д.
На практике критерий будущего статуса может быть заменен
бинарным критерием-предсказанием успеха или неудачи в работе,
в прохождении учебного курса и т.д. Вероятности успеха или неудачи по
каждому интервалу значений показателя прогностического теста могут
быть представлены в виде так называемой карты прогноза. Рис. 7 есть
пример такой карты, составленной для батареи отбора пилотов, разра-
ботанной для военно-воздушных сил США, на которой для каждого ста-
найна показан процент курсантов, не закончивших начального курса лет-
ной подготовки. Так, в процессе подготовки отсеялось 77Їд, получивших
станайн 1 и только 4% получивших станайн 9. В пределах этих крайних
значений от более низких к более высоким станайнам процент отсева по-
стоянно уменьшается. С
помощью этой карты про-
гноза можно, например,
предсказать, что примерно
40"о курсантов, получив-
ших станайн 4, потерпят
неудачу и приблизительно
60% из них удовлетвори-
тельно завершат началь-
ный курс. Аналогичные
прогнозы по каждому ста-
найну можно строить и от-
носительно вероятности
успеха или неудачи от-
дельных курсантов. Так,
Таблица 6
Прогностическая таблица соотношении результатов те-
ста словесного мышления и оценок, полученных по кур-
су истории США, 171 мальчиком >i XI класса
С разрешения Психологической корпорации штата
Нью-Йорк
Результат тестаЧисло случаевllpoueui получивших критериальную оценку
ниже 7070-7980-8990 и выше
40 и выше 30-39 20-29 ниже 2046 36 6 43 12 46 3015 39 63 5222 39 21 1763 i7 5
97
НАДЕЖНОСТЬ
-г-.
.Станаин Число Процент отчисленных с курсов летной подготовки
человек
9 21,4741f,
8 19,44410%
17 32,129
1 1.6 39,398
i 15 34,975
4 23,69940%
13 11,209i i
2 2,13957%
1 9047%
3 10 20 30 40 50 60 70 80 90 100
Рис. 7. Карта прогноза соотношения выполнения батареи по отбору пилотов и от-
числения с к/рсов летной подготовки (J. С. Flanagan, 1947, р. 58)
S сант имеет 60 шансов против 40, т.е. 3 шанса против 2, успешно за-
. кончить начальный курс подготовки. Нетрудно видеть, что помимо кри-
1 териально-ориентированной интерпретации тестовых показателей про-
1 гностические таблицы и карты дают общее представление о валидности
теста в предсказании по данному критерию.
1 ГЛАВА 5. НАДЕЖНОСТЬ
Под надежностью понимается согласованность результатов теста, полу-
чаемых при повторном его применении к тем же испытуемым в раз-i личные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования. На
S понятии <надежность> основывается вычисление ошибки измерения, кс
. торая служит для указания вероятных пределов колебаний измеряемой
величины, возникающих под действием посторонних случайных факто-
ров.
Понятие <надежность теста> может относиться к различным аспек-
1 там согласованности результатов. В самом широком смысле надежность
1. геста показывает, в какой степени индивидуальные различия в тестовых
6 результатах оказываются <истинными>, а в какой могут быть приписаны
1 случайным ошибкам. Говоря более специальным языком, измерение на-
98
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
показателей, являющуюся дисперсией ошибки. Вопрос, однако, в том, что
считать дисперсией ошибки. Одни и те же факторы, которые примени-
тельно к одним задачам являются посторонними, при решении других
проблем уже считаются источниками <истинных> различий. Например,
если нас интересуют колебания настроения, то происходящие день ото
дня изменения в результатах теста эмоционального состояния могли от-
носится к цели тестирования и, следовательно, к истинной дисперсии ре-
зультатов. Но если тест предназначен для измерения более стабильных
характеристик личности, то те же ежедневные колебания можно отнести
к дисперсии ошибки.
Существенно, что любые изменения условий, в которых проводится
тест, если они не имеют отношения к его цели, увеличивают дисперсию
ошибки. Поэтому, придерживаясь единых условий тестирования (контро-
лируя общую обстановку, временные ограничения, инструктирование ис-
пытуемого, контакт с ним и другие аналогичные факторы), эксперимен-
татор уменьшает дисперсию ошибки и повышает надежность теста. Но
и в оптимальных условиях ни один тест не является абсолютно надеж-
ным инструментом.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58