Если все 100 поступавших принимаются на работу, то
60Їо справятся с ней. При принятии меньшего числа без учета результа-
тов теста, т. е. наугад, относительное количество удач было бы, вероятно,
близким к 60Їо. Предположим, однако, тестовые показатели используют-
ся для отбора из 100 претендентов 45 наиболее перспективных сотрудни-
ков (индекс отбора-0,45). В таком случае следует выбрать 45 человек,
чьи показатели попали справа от вертикальной толстой линии. Среди
них будет 7 случаев неудач в работе, или ошибочного приема, и 38 слу-
чаев успеха. Процент успеха теперь равен уже не 60, а 84 (т.е. 38/45 ==
= 0,84). Это увеличение обусловлено применением теста в качестве ин-
струмента отбора. Кстати, можно игнорировать ошибки показателей
прогностического критерия, не влияющие на принимаемое решение. Из-
бирательную эффективность теста снижают только те из них, которые
находятся ниже горизонтальной толстой черты и, следовательно, поме-
щают индивида в ошибочную категорию.
Для полной оценки эффективности теста как инструмента отбора
рассмотрим также ошибки другого типа, представленные на рис. 17.
Рис. 17. Рост количества успехов вследствие использования отборочного тесто
и S QJ 0 10 S. ш а о И 1 to s л 1 1правильное принятие.S t С-х (и С U 1 л <о ? S 1" о. >1Ї <и о. х ш
;(38)
(шибочное неп зиняти/
(22)
///
т////
///м-//1111/
itfMiiii///ч
////тii/ill/
Прзвильное/////Mf-iw iiiiii/
непри (3нитие 3)тiiчillОшибочное пр (7)инятие
/iii
s X т 5 1/
той. Таким о, которые ост нормативные по-
ного успеха вао тесте Даала соответсеи,
бораприменяется при клиническоеa Тестировании
ошибоозо Р практике "Ри, если
ложительным в меди "азываются ит называется
Этот Рогии Результаты JC если п означает,
--
видов "?"Їоз относительно вьи учитывать
нота), а ределенных исключить н о не-
иснытуемых. Вно вьо характер Р серьезные
должен быть дос одимо, J может н граждан-
ожных афицированныи Ря на отбор Jo боль-
достаточно здесь Ует важнее нансла неудач.
щерб или У условиях быв большего ием
"Р-
установленвТо о можно
критериальнораспределение Р, методу ег, 1966;
Kuo-Cheng Hs ep потери, свя
156 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
работой вновь принятых сотрудников с 60 до 84 может служить основа-
нием для оценки преимуществ от использования теста.
Теория статистических решений была разработана А. Уолдом
(A. Wald, 1950) применительно к решениям, принимаемым при контроле
качества промышленных изделий. Модификация этого подхода примени-
тельно к составлению и интерпретации психологических тестов была
осуществлена Л. Кронбахом и Г. Глесером (L. J. Cronbach, G. С. Glesser,
1965). Теория решений в принципе представляет собой попытку придать
процессу принятия решения математическую форму, с тем чтобы исполь-
зовать имеющуюся информацию для выработки в конкретных обстоя-
тельствах наиболее эффективных решений. Математические процедуры,
применяемые в теории решений, весьма сложны, и лишь немногие из них
имеют форму, приемлемую для непосредственного использования
в практических задачах тестирования. Некоторые из основных понятий
теории решений, однако, помогают лучше объяснить ряд касающихся те-
стов вопросов. Часть идей, составивших основу теории решений, была
введена в тестирование еще до того, как был разработан формальный
аппарат этой теории.
Предсказание результатов. Своего рода предвестником теории
решений в психологическом тестировании явились таблицы Тейлора-
Расселла (Н.С. Taylor, J.T. Russell, 1939), позволившие определить вы-
игрыш в точности отбора от использования теста. Для работы с табли-
цами нужно знать коэффициент валидности теста, индекс отбора
и базовый уровень, т.е. oi носи тельные количесгно coip\ шиков, спра-
вляющихся со своими обязанностями и набранных случайно (без исполь-
зования теста). Изменение любого из этих параметров может повлиять
на прогностическую эффективность теста.
В качестве примера приведем одну из таблиц Тейлора-Расселла, от-
вечающую базовому уровню 0,60 (табл. 14). В верхней ее части приве-
дены различные значения индекса отбора, в крайнем левом столбце-
коэффициенты валидности, а в с троках-относительное число успехов
среди принятых на работу по результатам теста. Разность между такой
величиной и 0,60 указывает на выигрыш от применения теста.
Очевидно, если индекс отбора равен 1,0, т.е. когда приему подлежат
все претенденты, ни один тест, как бы валиден он ни был, не улучшит ка-
чества отбора. Из табл. 14 видно, что при индексе отбора, равном 0,95,
даже тест с коэффициентом валидности, равным 1,0, повышает долю ус-
пехов только на 0,03 (с 0,60 до 0,63). Напротив, если из поступающих
нужно отобрать только 5Ї/", то тест обеспечивает рост правильно приня-
тых с 0,60 до 0,82. Этот рост представляет инкрементную валидность те-
ста (L. Sechrest, 1963), или рост прогностической валидности теста,
и указывает на роль теста в улучшении отбора лиц, которые в дальней-
шем будут удовлетворять минимальным требованиям критериального
выполнения. Применяя таблицы Тейлора-Расселла, необходимо, конеч-
но, знать валидность теста для группы именно того типа, по которой
определялся базовый уровень. Иными словами, польза от применения
теста оценивается не вероятностью успеха отобранных с его помощью
претендентов (если, конечно, до этого поступавшие на работу не при-
нимались наугад, что маловероятно), а тем, насколько улучшает проце-
дуру отбора, основывающуюся на сведениях о предыдущей деятельно-
157
ВАЛИДНОСТЬ ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Инкрементная валидность теста зависит не только от индекса отбо-
ра, но и от базового уровня, в чем можно убедиться, сравнивая разные
таблицы Тейлора-Расселла. Рассмотрим случай, когда валидность теста
равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная
валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-
ствующим таблицам Тейлора-Расселла показывает, что процент успе-
хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и
в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при
базовом уровне 0,50 составит 25" тогда как при более крайних его зна-
чениях приращение меньше: соответственно II и 9Ї/,.
Поведение инкрементной валидноста при базовых уровнях, близких
к нулю или единице, представляет особый интерес для клинической пси-
хологии, где базовый уровень равен доле случаев патологии в тестируе-
мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,
A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-
пуляции имеется органическое поражение мозга, то базовый уровень для
данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-
го теста повысит точность диагностики, выигрыш будет максимальным,
если базовый уровень близок к 0,50. При низком базовом уровне, озна-
чающем крайне редкий патологический случай, инкрементная валидность
Таблица 14
Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-
дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)
ВалидностьИндекс отбора
1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95
0,000,690,600,600,600.600,600,600,600,600,600,60
0,050,640,630,630,620,620,620,610,610,610,600,60
0,100,680,670,650.640.640,630,620,610,610,610,60
0,150,710,700.680.670,660,650,640,630,620,610,61
0,200,750,730,710,690.670,660,650,640,630,620,61
0,250,780,760,730,710,690,680,660,650,630,620.61
0,300.820,790,760,730.710.690,680,660,640,620,61
0,350,850,820,780,750.730,710,690,670,650,630,62
0,400,880,850,810,780.750,730,700,680,660,630,62
0,450,900,870,830,800,770,740,720,690,660,640,62
0,500,930,900.860,820,790,760,730,700,670,640,62
0,550,950,920,880.840,810,780,750,710,680,640,62
0,600.960,940,900,870,830,800,760,730,690,650,63
0,650,980,960,920,890,850,820,780,740,700,650,63
0,700,990,970,940,910,870,840,800,750,710,660,63
0,750,990,990,960,930,900,860,810.770,710,660,63
0,801,000,990.980,950.920,880,830,780,720,660,63
0,851,001,000.990,970,950.910.860.800.730.660.63
0,901,001,001,000,990,970,940,880,820,740,670,63
0,951,001,001,001,000,990,970,920,840,750,670,63
1,001,001,001,001.001.001.001,000,860,750,670,63
158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
теста может оказаться настолько ничтожной, что его применение нельзя
будет считать оправданным, учитывая издержки, связанные с его приме-
нением и обработкой.
Когда редкое заболевание настолько серьезно, что необходим
срочный диагноз, на первом этапе цепи последовательных решений мож-
но применить тест с умеренной валидностью. Например, всех пациентов
можно проверить посредством легко осуществимого теста с невысокой
валидностью. Если нормативный результат установлен достаточно высо-
ким (высокие показатели вообще предпочтительней), то число неверных
отрицательных решений будет мало, а число ложных положительных
диагнозов, т.е. норма, диагностированная как патология, будет велико.
Последние затем могут быть выявлены при более интенсивном индиви-
дуальном обследовании получивших положительный диагноз. Такой
подход целесообразен, когда, например, имеющееся оборудование не по-
зволяет проводить интенсивного индивидуального обследования всех
случаев.
Отношение валидности к среднему уровню выработки. Во
многих практических ситуациях требуется оценить эффективность отбора
теста не по проценту лиц, справляющихся с работой, а по общей выра-
ботке тех, кто был принят. Каков реальный профессиональный уровень
работников, отобранных с помощью теста, по сравнению с теми, кто
был принят на работу без использования теста? После появления ра-
боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-
лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;
R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,
что ожидаемый прирост выработки прямо пропорционален валидности
теста. Так, эффект от применения теста с валидностью 0,50 составляет
50Їо того, который имел бы место при стопроцентной валидности.
Соотношение между валидностью теста и ожидаемым повышением
критериальных достижений видно из табл. 15\ в которой приведены
критериальные показатели, выраженные в виде стандартного показателя
сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-
ствующего выполнению деятельности работниками, принятыми без ис-
пользования данного теста, приводится в колонке нулевой валидности,
ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста
вообще. Покажем, как пользоваться этой таблицей. Предположим, при-
ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-
изводится с помощью теста, валидность которого равна 0,5. По табл. 15
находим, что средний уровень выработки в отобранной груйпе превы-
шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш
от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое
большим, чем при валидности 0,5. Подобная линейная зависимость
имеет место в пределах любой строки табл. 15. Например, при индексе
отбора 0,60 валидность 0,25 повышает средний критериальный показа-
тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.
Опять-таки удвоение валидности ведет к удвоению конечного результа-
та.
Судить о валидности теста с точки зрения среднего значения про-
Более подробную таблицу см. в работе Дж. Найлопа и Л ТТТяпча т r <;hin> in?c\
ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Q 000101~ОЮГ~-ОООГ1Г~-ОНГ1Г~-0
о oг~~д " " О" О" О О" О" О" О" О" О" О" О" О
О -

Щ о 00гГЧчOOOOt~-\0lrfftlч
О" 0" о" о" О" О" О" О" О" О" О" о" о"
о" о" о" о" о" о" о" о" о" о" о" о" о"
ffl ___
гt0oooo0""">oc~<ПООГОгН~~-0
О " О" О" О" О" О" О" О" О" О" О" О" О" О" О"
\с> "-1 l гч т сч 1-[> о 1-00 г 0 о г ос с 0
о" о" о О" О" О" О" О О" О" О" О" О"
1Г1 г ч О а\ 00 (--г--0 <э " о" о" о" о" о" о" о" о" о" о" о" о" о" о"
о огооооаооооооа-
1-г о. о оо оо г~-\о о < "о" О" о" о" О" О" О" О" о" о" о" о" о" о" о
И r<тггlагlt~-гlггг~-гчггloorlг-

"о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
r)гoofooгooгlcootг~
О О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О
l~- in [--С> 1-00 гО 00 "-I-О ч Г--г"1 0 v") \0
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
И о 00 Г-О с 00 гП 00 t О (М 00 1 00 О "
О и
S о о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
1 -
0t~~-OrlrlгnflГГтчOO
О" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о" о" о" о"

" Q OCГ~-01 О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
00
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
3 I "i
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
f)гfггггfч~oooo
S о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
s о
гч 1/-) т-ч оо г") 1-1 а\ оо t г т-< о оо г~~ vi "j г
о" о" о" о" о" о о" о" о" о" о" о" о" о" о" О" О" О" о"
О" о" о" о" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о"
S "00""-1 о 0 00 1~-0 0 Tf 1 c-j "-1
g" гчооооооооооо
- о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
-
000~OOr>llгOгltNCмч
000000000000000000
о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
5 йЯЯЯ SS ЯЯЯЯ
Q о о о о о о 000 .0 000000000
" о" о" о" о" о" о" о" о" о"- о" о" о" о" о" о" о" о" о" о"
VOIOIOIOVO>OVOVOO>
------ --- . . п г т~-оо оо 0 а\
160
ПРИНЦИПЫ ПСИХОЛОГИЧРСКОГО Т1-ГТИРОВАНИЯ
гнозируемой выработки или процента работников, нрсныснвших крите-
риальную норму, очевидно, намного полезнее, чем судить о ней на осно-
ве рассмотренной выше ошибки оценки. Причина в том, что ошибки
прогноза, не влияющие на решение, несущественны для ситуации отбора.
Например, если и Смит, и Джонс-хорошие работники и оба были
приняты на основании теста, то нет белы в том. что с тестом Смит спра-
вился лучше Джонса, тогда как по работе Джонс превосходит Смита.
Роль ценностей в теории решений. Именно теория решений
позволяет оценить тесты по их эффективности в конкретной ситуации.
Такая оценка учитывает не только валидность теста как средства про-
гнозирования определенного показателя, но и ряд других параметров,
включая базовый уровень и индекс отбора. Еще одним важным парамет-
ром является относительная полезность ожидаемых последствий, оценка
их благоприятности и неблагоприятности для конечного результата. От-
сутствие адекватных систем ценностей таких результатов в единой шкале
полезностей составляет главное препятствие для применения теории ре-
шений. В промышленности полезность принимаемых решений часто
можно оценивать в долларах и центах. Однако даже десь трудно дать
денежную оценку доброй воле, социальным отношениям, моральному
духу персонала. Решения в области образования должны приниматься
с учетом целей учебного заведения, общественных ценностей и других
трудно уловимых факторов, а при выборе профессии-с учетом предпоч-
тений и системы ценностей индивида. Неоднократно отмечалось, что
теория решений не поставила проблему ценностей, а сделала ее более яв-
ной. Системы ценностей всегда играли свою роль в принятии решений,
но прежде они четко не фиксировались и не использовались с такой
методичностью.
Цель выбора стратегии в максимизации ожидаемой ее полезности,
вычисленной исходя из полезности и вероятности каждого из возможных
последствий принятого решения. Схема простой стратегии, представлен-
ная на рис. 18, поможет объяснить суть дела. На этой схеме изображена
стратегия решений по данным (рис. 17) применения теста к группе посту-
павших на работу и решениям их принятия или непринятия, сделанным
на основе нормативного показателя теста. Всего имеется четыре воз-
Рис. 18. Простая стратегия принятия решения
Стратегия
Применение теста
с нормативным
результатом
Решение
Принять
Не принять
Результат Вероятность
Правильное принятие 0,38
Ошибочное принятие
Правильное непринятие 0,33
Ошибочное непринятие ] 0,22
161
ВАЛИДНОСТЬ. ИЗМЕРБНИЕ И ИНТЕРПРЕТАЦИЯ
Тест А с двумя
нормативными
результатами
Принять
Нужны
дополнительные
данные
Не принять
Тест В
Принять
Не принять
Рис. 19. Последовательная стратегия принятия решения
можных исхода: правильное и ошибочное принятие, а также правильное
и ошибочное непринятие. Вероятность каждого исхода задается числом
лиц, соответствующих каждой из четырех частей рис. 17. Если всего
имеется 100 человек, то искомые вероятности оцениваются путем деле-
ния каждого из указанных чисел на 100 (см. рис. 18). Кроме того, нам
нужно знать полезности каждого исхода, выраженные в единой шкале.
Общую ожидаемую полезность стратегии находим, перемножая для
каждого из исходов их полезности и вероятности, складывая полученные
произведения и вычитая из суммы издержки тестирования. Последняя
величина отражает тот факт, что тест с низкой валидностью скорее най-
дет применение, если он краток, недорог, легко может проводиться
малоквалифицированным персоналом и пригоден для группового тести-
рования. Применение индивидуального теста, требующего квалифициро-
ванного экспериментатора или дорогостоящего оборудования, оправда-
но, только если его валидность достаточно высока.
Последовательные стратегии и адаптивный подход. В не-
которых ситуациях эффективность теста можно повысить, применяя бо-
лее сложные стратегии, учитывающие большее число параметров. Пре-
жде всего тест может служить для принятия промежуточного, а не
окончательного решения. В случае простой стратегии (см. рис. 17 и 18)
все решения носят окончательный характер. Напротив, на рис. 19 пока-
зана двухэтапная последовательная стратегия.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58