Однако, существуют еще два метода интерпретации показателей
тестов, которые некоторыеавторы (напр.. Brown, 1976) рассматрива-
ют в качестве иной формы стандартизации, и они вкпят-п> "----
быть описаны
описаны.
т, и они вкратце должны
Содержательный критерий
При обсуждении содержательной валидности указывалось, что
если тест состоит из заданий, требующих от испытуемых выполнить
действия по раскрытию скобок в определенных алгебраических вы-
ражениях, то для этих отдельных операций такой тест сам по себе
является валидным средством измерений. Очевидно, что содержа-
те-дьная валидность как теоретический конструкт будет полезна
только тогда, когда могут быть определены специальные навыки и
особенности поведения. Это можно сделать довольно легко на эле-
ментарном уровне, при тестировании арифметических навыков
(правил выполнения четырех арифметических операций, правил вы-
числений с 0 и т.п.), знаний в области музыки (знает ли испытуемый
правила нотной записи, может ли гармонизировать простой тон, и
др.), а также знаний базовых элементов для большинства научных
дисциплин, в которых накоплен определенный багаж фактических
данных. Однако, определить содержание теста таким образом для
более высокого уровня знаний становится чрезвычайно трудно. Поэ-
тому понятие "содержательная валидность" наиболее уместно для
тестов достижений в обучении.
Содержательный критерий применим к показателям теста, кото-
рый был разработан как содержательно валидный. Это замечание
поясним на примере. Тест музыкальных навыков может быть связан
с проверкой овладения нотной записью. Тогда задания будут состоять
из четвертей и половинных нот и т.п. на различных нотных линиях и
в разных ключах, а испытуемые должны будут указать, что это за
ноты. В таком тесте показатель 100% будет представлять полное
овладение нотной грамотой. В тестах такого типа необходимо иметь
веское основание для того, чтобы по некоторому пороговому значе-
нию можно было бы принимать решение о переводе учащегося на
следующий этап курса обучения. Для этого требуется подтвержде-
ние, что ученики с показателями выше некоторого порогового явля-
ются успевающими, а те, у кого показатели ниже - нет. Обычно,
однако, такие пороговые значения задаются произвольно, на основа-
нии опыта преподавателей данной дисциплины. Для тестов такого
типа эффективным будет всего лишь двубалльный показатель: удов-
228
летворительно и неудовлетворительно. Мимоходом следует заме-
1 тить, что приведенный пример является гипотетическим. При нали-
1 чии времени прочитать музыкальную запись довольно просто. Зада-
1 ча состоит в том, чтобы ответы давались немедленно и были правиль-
1 ными.
1 Проблемы с содержательным критерием
1 Скрытая слабость показателей по содержательному критерию со-
стоит в трудности формирования выборок заданий по тем дисципли-
i нам, для обследования навыков и знаний в которых предназначен
i тест. Каково значение 90%-ного показателя? Правильно ли гово-
< рить, что индивидуум с таким показателем знает 90% из данной
t дисциплины? Почтинаверноеэтонетак; идажееслибыэтобылотак,
? два испытуемых с одинаковым значением показателя могди непра-
вильно выполнить различные задания, поэтому эти показатели не
являются совершенно эквивалентными. Наличие этой трудности оз-
начает, что использование таких тестов должно ограничиваться
только областью дисциплин с точно описываемым материалом и теми
уровнями, на которых знания являются настолько фиксированными
и определенными, что становится возможным реально формировать
соответствующие выборки заданий, как, например, в случае с про-
стейшими арифметическими операциями. Обратите внимание, что
для тех дисциплин, в которых любое множество заданий теста будет
лишь крохотной выборкой изо всей выборочной совокупности зада-
ний, использование тестов с содержательным критерием неуместно.
ВЫВОДЫ
Содержательный критерий полезен для тех тестов, в которых
требуется проверка овладением некоторыми навыками или специ-
альными знаниями> Это означает, что он имеет значение только для
тестирования достижений. На самом низком уровне в начальной
школе, где важны базовые навыки, он может рассматриваться в ка-
честве методики для конструирования тестов. Тесты чтения Schonell
(1951) являются образцовыми примерами тестов с содержательным
критерием, так как они точно указывают на источник трудностей:
например, испытуемый путает латинские буквы "р" и "Ь", или "d"
и "Ь", и тому подобное. Однако следует заметить, что оценка выпол-
нения заданий в форме "правильно" и "неправильно" также указала
бы на этот факт. Можно утверждать, что содержательный критерий
не всегда является полезным методом для оценки показателей тестов:
в любом случае, сфера его использования ограничивается только
тестами достижений.
Прогнозирование критерия
Вторым методом интерпретации показателей, отличным от ис-
пользования норм, является построение серий таблиц ожиданий, в
которых указывается вероятность того, что испытуемые, получив-
шие некоторый показатель по тесту, достигнут критериального пока-
зателя. Здесь существует несколько заслуживающих рассмотрения
моментов. Во-первых, этот метод применим только тогда, когда воз-
можно явное определение некоторого критериального показателя.
Это чаще всего имеет место при тестировании результатов обучения,
когда могут быть получены экзаменационные оценки и степени. Ана-
логичные показатели возможны в промышленности, где для профот-
бора используются экзамены и разного рода рейтинговые процедуры.
В инженерной психологии могут использоваться предоставляемые
контролирующими лицами (экспертами) рейтинги успехов в работе,
хотя надежность и валидность таких критериев может подвергаться
сомнению.
И во-вторых, значения этих вероятностей должны определяться
экспериментально. Чтобы сделать это, должны быть проведены круп-
номасштабные исследования на соответствующих популяциях. Это,
конечно, приводит к тем же самым проблемам формирования выбо-
рок, которые обсуждались при рассмотрении выборок для определе-
ния норм. В этом смысле значения вероятностей из таблиц ожиданий
- это также нормативные данные. Вместо стандартных показателей
для отдельных групп или группового среднего и стандартного откло-
нения, представлены вероятности достижения некоторого критери-
ального показателя.
В-третьих, таблицы ожиданий иллюстрируют с особой ясностью
дилемму практической психологии: различие между статистическим
и индивидуальным прогнозом. Если конкретному показателю по тес-
ту соответствует вероятность 0,38 успешной сдачи конкретного экза-
мена, то это означает, что 38% испытуемых с таким показателем (в
нормативной группе) успешно пройдут этот экзамен. Имеется в ви-
ду, что 38 % испытуемых с таким показателем смогут сдать экзамен
- но какие 38 % ? Имея дело с отдельными индивидуумами в практи-
ческих приложениях психологии, трудно интерпретировать такие
статистические предсказания. Однако, отсев испытуемого с таким
показателем будет вообще-то означать, что производящий отбор бу-
дет чаще прав, чем неправ. В этом смысле такие цифры полезны, но
только в этом смысле. Недейственность статистических прогнозов в
индивидуальных случаях имеет место для большинства норматив-
ных исследований в психометрии. Это непосредственно очевидно и в
случае с таблицами ожиданий, которые, казалось бы, предоставляют
230
такие явные прогнозы. Разработчики тестов должны иметь это в
виду, прежде чем браться за составление таких таблиц.
ШАГИ ВЫЧИСЛЕНИЯ ТАБЛИЦЫ ОЖИДАНИЙ
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
(2) Разделите показатели по критерию на значимые группы, на-
пример, на удовлетворительные и неудовлетворительные.
(3) Разделите показатели по тесту на категории так, чтобы в
каждой категории было большое количество показателей. Наилуч-
шим способом будет деление на категории с равным количеством
показателей, за исключением крайних интервалов.
(4) Затем строится таблица, в которой показывается частота (т.е.
количество) показателей в каждой категории:
Таблица 8.3
КатегорияКритерийОбщее
УдовлетворительныеНеудовлетворительныеколичество
1хУх+у
2zаz+a
3bсb+c
(5) Для каждой категории вычислите долю случаев, удовлетвори-
тельных и неудовлетворительных относительно данного критерия;
например, для категории 2 вычислите отношение z к а + z или а к
a+z.
(6) Затем может быть построена таблица ожиданий, в которой
вместо частоты в качестве элементов указываются вычисленные от-
ношения, которые представляют вероятность того, что испытуемые с
некоторым показателем по тесту будут иметь удовлетворительные
или не удовлетворительные показатели по критерию.
Замечание . Очевидно, что при использовании этого метода значимость таблицы
ожиданий зависит от качества и объема конкретной выборки. При неадекватном
формировании выборки результаты метода будут незначимыми из-за больших
выборочных погрешностей.
АЛЬТЕРНАТИВНЫЙ МЕТОД КОНСТРУИРОВАНИЯ ТАБЛИ-
ЦЫ ОЖИДАНИЙ
Шаги (1) - (3) выполняются так, как указано выше.
(4) Для каждой категории показателей теста представьте значе-
ния среднего и стандартного отклонения по показателю для данного
критерия. Однако, если только корреляция между тестом и критери-
ем не является высокой, по всей вероятности будет настолько много
231
пересечений между средними значениями для категорий, что их
практическое значение будет не очень высоким.
УРАВНЕНИЕ РЕГРЕССИИ КАК МЕТОД ВЫЧИСЛЕНИЯ ТАБ-
ЛИЦ ОЖИДАНИЙ
В рамках данного метода уравнение регрессии используется для
прогноза критериального показателя по показателям теста. Вычис-
ления для этого подхода более сложные, но тем не менее они легко
могут быть выполнены при помощи электронного калькулятора.
Программа для компьютера будет, конечно же, более быстродейст-
вующей и простой.
Вот шаги вычислений для метода с уравнением регрессии:
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
(2) Вычислите корреляцию между этими двумя множествами по-
казателей.
(3) Прямая регрессии между этими двумя множествами показате-
лей вычисляется по уравнению Ypred = а+ by Х х, где Ypred - про-
гнозируемый критериальный показатель (усредненный для тех ис-
пытуемых, которые имеют данный показатель по тесту, на основании
которого делается прогнозирование); а - разделяющая константа,
позволяющая определять различия средних, это точка пересечения
прямой линейной регрессии с осью у , by - коэффициент регрессии,
угловой коэффициент, определяющий наклон линии регрессии по
отношению к осям х п у,х- показатель по тесту, для которого
строится прогноз.
(4) Уравнение регрессии может быть вычислено только тогда,
когда известны значения а и by. а = у-by У. х , где у- среднее для
критериального показателя, х - среднее для показателя по тесту,
by = гху Х Оу /(JX , где Гху - коэффициент корреляции х и у, Оу-
стандартное отклонение для у ,и0х- стандартное отклонение для
х.
(5) Так, используя это уравнение, мы можем составить таблицу
прогнозируемых критериальных показателей для каждой категории
показателей теста.
Как уже говорилось, Ypred - это прогнозируемый усредненный
показатель для испытуемых с данным показателем по тесту. Однако,
этот показатель с очевидностью подвержен влиянию погрешности,
если только не существует высокой корреляции между данным кри-
терием и тестом. Таким образом, необходимо вычислять стандарт-
ную погрешность для оцениваемых показателей. Эта погрешность
232
вычисляется по формуле: Sest = (Ту Vl - r iy, где ffy - это стандарт-
ное отклонение эмпирических показателей по тесту, а гху - это
значение корреляции между тестом и критерием. Как и в случае со
стандартными отклонениями и другими стандартными погрешностя-
ми, 68% показателей по критерию попадают в интервал, ограничи-
ваемый средним плюс-минус одним значением стандартной погреш-
ности оцениваемых показателей, а 95% попадут в интервал между
удвоенными значениями стандартных погрешностей.
ШАГИ ВЫЧИСЛЕНИЯ СТАНДАРТНОЙ ПОГРЕШНОСТИ
ДЛЯ ОЦЕНКИ ПРОГНОЗИРУЕМЫХ ПОКАЗАТЕЛЕЙ
(1) Вычислите квадрат корреляции между показателями по кри-
терию и по тесту: гху .
(2) Вычтите из значения, полученного на шаге (1), 1 и возьмите
квадратный корень: VI -гу .
(3) Умножьте значение, полученное на шаге (2), на стандартное
отклонение показателя теста: Оу VI - riy . Это дает нам стандартную
погрешность оцениваемых показателей.
В таблицах ожиданий, основанных на уравнениях регрессии, про-
гнозируемые показатели должны сопровождаться значениями стан-
дартных погрешностей для них. Это позволит избежать опрометчи-
вых выводов. Например, предположим, что стандартная погрешность
для прогнозирования экзаменационных отметок равна 1. Так, если
показатель теста дал прогноз для некоторой отметки, равный 3, это
будет означать, что 95% испытуемых с такими показателями пол-
учат показатели по критерию между 1 и 5. Для пятибалльной шкалы
это означает, что может быть получена практически любая отметка!
Таблицы ожиданий, основанные на показателях, прогнозируе-
мых по уравнению регрессии, могут быть представлены графически.
Если это сделано, то очень просто поставить вокруг прямой регрессии
границы, заданные стандартной погрешностью оценки.
Если выборка сформирована соответствующим образом, значение
стандартной погрешности оценки низкое, и, наконец, показатели по
критерию являются надежными и валидными, тогда основанные на
регрессии таблицы ожиданий являются полезным методом интерпре-
тации показателей теста. Существенно, однако, то, что поскольку
прогнозы зависят от результатов тестирования некоторой выборки,
такие таблицы ожиданий являются иной формой представления
норм, а не еще одним подходом к стандартизации.
233
Глава 9. Другие методы конструирования тестов
В этой главе будут описаны еще два метода конструирования
тестов. Оба они широко используются, но для каждого есть присущие
ему специфические проблемы.
Тесты, разработанные на основе критериальных
ключевых признаков
Это метод конструирования тестов, при помощи которого были
созданы некоторые из наиболее широко используемых психологиче-
ских тестов. Наибольшее распространение получили Minnesota Mul-
tiphasic Personality Inventory, MMPI (Hathaway и McKinley, 1951) и
"Бланк интересов Стронга" (Strong Interest Blank) (Campbell, 1971),
первый в клинической психологии, а второй - в области профориен-
тации.
В тестах, разработанных на основе критериальных ключевых при-
знаков, задания для шкал отбираются только тогда, когда они могут
отделить релевантные критериальные группы от контрольных. Хотя
задания, из исходного множества которых был составлен опросник
MMPI, и формулировались в свете представлений о симптомах не-
врозов, таким образом, что авторы утверждений пытались описать
поведение испытуемых с психическими отклонениями, в некотором
смысле все же был принят эмпирический подход. В случае исходного
множества заданий для теста Э.Стронга использовались, например,
те, которые не имели никакого очевидного отношения к конкретным
критериальным группам. Задания включались в ткя ""-" - - -
когда они прм""""" - ~~ ~
те, которые не имел>
- _<-ДАД1ДЯ№1
, _ """.... иаапя включались в шкалы только тогда,
когда они действительно разделяли группы, даже если они и не имели
никакого обоснования, ни теоретического, ни интуитивного.
Основания этого метода построения тестов просты и очень эффек-
тивны с точки зрения практической реализации. Для тех случаев,
когда необходимо дискриминировать группы, например, для диаг-
ностики, профотбора или профориентации, тесты на основе крите-
риальных ключевых признаков являются эффективным средством,
при условии, что они разработаны достаточно тщательно, то есть
подобрано достаточное количество эффективных заданий. Для тес-
тов такого типа основное значение придается их дискриминативнос-
ти: важен тот факт, что тест является дискриминативным, а не при-
чина, по которой это происходит.
При обосновании этого метода конструирования тестов существу-
ет ряд трудностей и высказывается ряд критических замечаний, что,
с точки зрения автора, является противопоказанием к его использо-
ванию во многих областях тестирования.
234
1 Отбор критериальных групп
и Во многих областях исследований при формировании критериаль-
1 ных групп существуют значительные трудности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39