Например, на тест по измерению способностей типа
математических или технических может неявно влиять способность по-
нимать словесную, инструкцию или скорость выполнения простых
и обычных задач.
Конкретные методики. Валидность по содержанию закладывает-
ся в тест уже при отборе соответствующих заданий. Для тестов уровня
знаний подготовке их заданий предшествует полная систематизирован-
ная проверка соответствующих учебников и учебных программ, а также
консультации со специалистами по данному предмету. На основе со-
бранной таким путем информации составляется спецификация теста для
тех, кто будет составлять задания. В спецификации указываются тести-
руемые области содержания (темы), задачи (процессы) обучения, а также
относительное значение каждой темы и прбцесса. На этой основе по
каждой теме устанавливается число заданий различных типов. Удобной
формой представления такой спецификации является таблица, горизон-
тальные графы которой соответствуют темам, а вертикальные-процес-
сам (табл. 30, гл. 14). Разумеется, не во все ячейки этой таблицы должны
быть вписаны задания, поскольку некоторые процессы могут оказаться
несовместимыми с определенными темами. Кстати сказать, подобные
таблицы-спецификации полезны и для подготовки контрольных работ по
любому предмету.
Обсуждение валидности с разных точек зрения читатель найдет в работах
128 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
При перечислении задач обучения, подлежащих включению в тест
достижений в обучении, можно руководствоваться достаточно под-
робным справочником <Таксономия целей обучения> (В. S. Bloom et al.,
1956; D.R.Krathwohl et al" 1964), составленным группой специалистов
в области педагогического тестирования. Этот справочник снабжен также
различного типа примерами составления заданий по каждой из задач
обучения. Два его тома посвящены соответственно когнитивной и аф-
фективной областям поведения. Первая включает знания (в смысле за-
помненных фактов, терминов, методов, принципов и т.д.), понимание,
применение знаний и их оценку, анализ и синтез. Ко второй, охваты-
вающей установки, интересы, ценности и оценочное восприятие, можно
отнести прием информации, реагирование, оценивание, организацию и
описание.
Данные о валидности по содержанию в руководстве к тесту дости-
жений должны включать сведения об области знаний, навыках или
учебных задачах, освоение которых измеряется тестом, а также неко-
торые указания о числе заданий по каждой из задач обучения. Кроме то-
го, должны быть описаны процедуры отбора задач обучения и принцип
классификации заданий. Если в составлении теста принимали участие
специалисты по данному предмету, то необходимо указать их число
и профессиональную квалификацию. Если они выступали в роли экспер-
тов при классификации заданий, необходимо привести дававшиеся ими
указания и степень согласия между ними. Поскольку программы и со-
держание курсов со временем меняются, особенно желательно указать
дату обращения к экспертам. Следует также сообщить число и характер
изученных программ и учебников и привести годы их издания.
Эти сведения могут быть дополнены рядом эмпирических процедур.
Так, можно проверить, насколько от класса к классу повышается сум-
марный показатель и индивидуальное выполнение теста достижений.
В общем, сохраняются те задания, которые выполняются наибольшим
(вЇо) числом учеников. На рис. 14 приведен фрагмент таблицы из руко-
водства к последовательным тестам успехов в обучении, серия It (STEP).
Для каждого задания этой батареи достижений указан процент детей из
нормативной выборки, справившихся с ним в каждом из классов, для ко-
торых предназначен данный уровень теста, а также тип учебного навыка
и материала. 30 заданий из рис. 14 составляют лишь часть теста чтения
для 3-го уровня (VII-IX классы).
Помимо сказанного анализируются типичные ошибки испытуемых
и применяемые ими методы работы. В последнем случае тестирование
ведется в индивидуальном порядке, причем ученика просят при решении
каждой задачи <думать вслух>. Существенность скоростного фактора
контролируется по количеству испытуемых, не успевающих закончить
тест, или с помощью одного из более тонких методов, обсуждавшихся
в гл. 5. Для выявления возможного влияния способности читать ин-
струкции на выполнение теста показатели теста можно скоррелировать
с результатами теста на понимание прочитанного. В свою очередь, если
тест предназначен для оценки понимания текста, вопросы, относящиеся
к содержанию еще не прочитанного отрывка, покажут, насколько испы-
туемый в состоянии на них ответить, исходя из имеющихся у него пред-
варительных сведений или пользуясь разными косвенными данными.
Область применения. Валидность по содержанию, особенно если
Она ТТОПКпсТтгтрня rraulii-inJTJ тт>гт<1гтт1<., ,,г.п...,..-- ",,...> ""-.."".-_
129
вллидшкть. bHHBtfBE Ni- мго)- ir)u3toociо т- ! OJOHhABH оноивипоэ
OJOHhABHOH -HagJoalaa
1 L 1OJOHhABH-OH -dBiMHBIMAJX XX
OJOHHae -i331 о 1 1OJOHhAaH ончивиоэX XХ
OJOHhAeKOH -нэа1Эв1эвX XХX XX
OJOHhAeH-OH -delHHewAJ
5OJOHHag -1ЭЭЖо1ГАхXX X
e x ? S 1 <в 1OJOHhAeH онч1геиТ103X
OJOHhAeHOH -нэа10Э1эаXХ ХXX X
OJOHhABH-ОН -delHHeiMAJXXXi
OJOHHag -1ээжоИАхХX
5? иээвих xiсо <М 0 00 Їо<оLf) РОО t1- см - iin(мГ <о co CMO -1-
ээе"х 111Лп 1- т со [ inв? осп io с из(N 0o 0 г<п fn tr)
зови> 11Л[-> Т-СТ1 [ иэгМ 0-in 1Л гпen Ti-in <мГво 0 w tor inсп 0 со in 10 in-т-[ cr юoo i- in см мчГIN inT ro 10 inЇ0 en (N 4- -<-Mшспт IN CM CM
UHHBtfBC N сч fn in 10t оост>0- <мгс t in101 COет> От-~ мсмм PO r CM РИС. 14. Данные no вопидности содержания, на примере числа заданий классифика-
ционной таблицы из программы STEP (серия II тестов чтения уровня 3 для VII-IX клас-
сов).
130 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
адекватным средством оценки тестов достижений. Она позволяет устано-
вить, охватывает ли тест репрезентативную выборку конкретных навы-
ков и знаний и свободно ли выполнение теста от влияния посторонних
факторов.
Валидность по содержанию особенно подходит к критериально-
ориентированным тестам, описанным в гл. 4. Поскольку выполнение те-
ста оценивается в этом случае с точки зрения усвоенного материала
и навыков, в первую очередь необходимо, чтобы эти тесты были ва-
лидны по содержанию. Данный тип валидности применим и к неко-
торым тестам, предназначенным для отбора и распределения профессио-
нальных кадров, о чем речь пойдет в гл. 15. Валидность по содержанию
можно использовать также, когда тест представляет собой выборку дей-
ствительных рабочих операций или иным путем связан с профессио-
нальными навыками и знаниями. В таких случаях необходимо выяснить,
имеет ли место близкое сходство между профессиональной деятель-
ностью и содержанием теста.
Вместе с тем в личностных тестах и теЪтах способностей валидность
по содержанию обычно не применяется. Правда, анализ релевантности
и эффективности содержания обязателен на начальных стадиях составле-
ния любого теста, но валидность тестов способностей и личностных те-
стов должна проверяться эмпирическими методами, о которых будет
сказано ниже. Эти тесты не имеют того внутреннего сходства с иссле-
дуемыми областями поведения, какое присуще тестам достижений, сле-
довательно, анализ их содержания может разве что выявить гипотезы,
приведшие составителя к выбору определенного материала для измере-
ния тех или иных особенностей личности. Чтобы установить валидность
подобных тестов, необходимо эмпирически подтвердить эти гипотезы.
В отличие от тестов достижений тесты способностей и личностные
тесты не связаны с конкретным курсом обучения или с общностью пред-
шествующего жизненного опыта, на которых строится содержание теста
достижений. Способы выполнения заданий тестов способностей и лич-
ностных, равно как и протекающие при этом психические процессы,
у разных испытуемых могут существенно отличаться друг от друга.
Один и тот же тест у разных людей может измерять различные функции,
а это значит, что проверкой содержания теста никак нельзя определить (
измеряемые им психические функции. Так, выпускники колледжа могут
решить некоторую задачу вербальными или математическими средства-
ми, тогда как механик придет к тому же решению путем пространствен-
ной визуализации. Тест на решение задач для школьников у студентов
выявит лишь индивидуальные различия в скорости вычислений. Кон-
кретным примером нежелательных последствий ориентации на анализ
содержания тестов способностей может послужить исследование, прове-
денное с помощью теста на подстановку цифра-символ (Т.Е. Burik,
1950). Было установлено, что среди старшеклассников этот тест, считав-
шийся типичным тестом усвоения кода, измеряет преимущественно мо-
торную скорость.
Очевидная валидность. Валидность по содержанию не следует
смешивать с очевидной валидностью. Последняя, собственно, и не
является валидностью как таковой. Она относится не к тому, что тест на
самом деле измеряет, а к тому, что он при первом рассмотрении якобы
измеряет. Очевидная валидность-это то, насколько тест кажется ценным
испытуемому, официальным липам ппичт>-"- - ---
131 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
пользовании, или другим неспециалистам. По сути своей очевидная ва-
лидность отражает отношение последних к тесту. Хотя обычное употре-
бление термина <валидность> в данной связи может вводить
в заблуждение, сама по себе очевидная валидность-желательное свой-
ство теста. Например, когда тесты, первоначально предназначенные для
детей и рассчитанные на условия школы, были впервые применены
к взрослым, те часто относились к таким тестам враждебно и критично
именно из-за отсутствия очевидной валидности. В самом деле, если со-
держание теста представляется странным, неуместным, глупым или дет-
ским, результатом будет ухудшение обстановки тестирования, несмотря
на действительную валидность теста.
Очевидная валидность особенно желательна при тестировании
взрослых. Ее часто удается повысить простой переформулировкой зада-
ний так, чтобы они казались естественными тестируемому контингенту.
Например, если тест, состоящий из простых арифметических задач, пред-
назначен для рабочих механического цеха, то в условиях должны фигу-
рировать машины или станки, а не апельсины, которые можно купить на
36 центов, или иные предметы и персонажи из школьного задачника.
Точно так же арифметический текст для военно-морского персонала луч-
ше формулировать в морских терминах. Разумеется, очевидную валид-
ность ни в коем случае нельзя трактовать как эквивалент объективно
установленной валидности. Нельзя рассчитывать на то, что улучшение
очевидной валидности теста сразу поднимет его объективную валид-
ность. Вместе с тем неправильно думать, что переделка теста, повышаю-
щая его очевидную валидность, никак не сказывается на его объективной
валидности. Поэтому валидность теста в его окончательной формевсег-
да необходимо проверить заново.
ВАЛИДНОСТЬ ПО КРИТЕРИЮ
Валидность по критерию показывает, насколько по результатам теста
можно судить об интересующем нас аспекте поведения индивида в на-
стоящем или будущем. Чтобы определить ее, выполнение теста соотно-
сят с критерием, т.е. непосредственной и независимой мерой того, что
должен предсказать тест. Так, для теста технических способностей крите-
рием может быть последующая работа на производстве; для теста го-
товности к обучению это могут быть оценки, получаемые в колледже;
для теста на невротизм-отзывы коллег испытуемого или другие до-
ступные сведения о его поведении при разных жизненных обстоятель-
ствах.
Текущая и прогностическая валидности. Критериальную ме-
ру, по которой устанавливается валидность тестовых показателей, мож-
но получить почти одновременно с ними или же через установленный
промежуток времени. В зависимости от временной связи между крите-
рием и тестом <Нормы Американской психологической ассоциации>
(Standards.., 1974) различают текущую и прогностическую валидности.
Термин <предсказание> может использоваться как в широком смысле,
означая прогноз на основе данных тестирования поведения испытуемого
в реальной (критериальной) ситуации, так и в более узком смысле,
указывая лишь на временной интервал. В последнем смысле он и ис-
пользуется в выражении <прогностическая валидность>. Информация, со-
132 пгинципы [кихоютчпкого ll(тиloвлния
используемых при отборе и распределении персонала. Прием на работу.
отбор учащихся в колледжи или профессиональные училища, военнослу-
жащих на курсы специальной НОДГОТОРКИ-ВОТ примеры ситуаций, когда
нужно знать валидность используемых гесгов. Сюда же можно отнести
использование тестов при выявлении лиц, склонных в стрессовых ситуа-
циях к эмоциональным расстройства.м" и назначение курса лечения, наи-
более подходящего тому или иному больному с расстройством психики.
В ряде случаев текуща.я вялидность заменяет валидность прогности-
ческую. Часто практически невыгодно слишком затягивать валидацию,
без которой невозможно установить прогностическую валидность или
сформировать предвари гельн\ к) выборку, соответствующую целям те-
стирования. Поэтому в качесч ве гомпромиссного решения тесты прово-
дятся на труппах.. для которых уже .имеются критерИйЛьиые данные. На-
пример, результаты тестирования студентов сравниваются с их успевае-
мостью, результаты тестирования служащих-с их успехами на про-
изводстве.
Вместе с тем в ог-рсделениых ситуациях текущая валидность гораздо
точнее отвечает существу решаемых задач. Различие между двумя вида-
ми валидности. рассматриваемыми в данном разделе, основано не на
времени, а на целях тестирования. Текущая валидность используется
в тестах, оценивающих настоящее положение дел, а не предсказывающих
будущие результаты, ь.сли мы "нрашиваем, невротик ли Смит, то это оз-
начает, что нас интересует текущая валидность. Если же мы хотим знадь,
склонен ли Смит к неврозам, то это значит, что нас интересует прогно-
стическая валидность.
Поскольку критепий екущей валидности всегда применяется в мо-
мент проведения теста, о"-г<лительно спросить, ка.кова же в подобных
случаях роль теста 1 ..явное соображение то, что тест является более
простым, быстрым и дешевым заменителем процедуры получения крите-
риальных данных. Например, если сбор критериальных данных требует
постоянного наблюдения больного в стационаре в течение двух недель,
то тест, позволяющий отдели гь норму от патологии и сомнительных
случаев, заметно уменьшает число людей, запятых диагностическим
наблюдением.
Контаминация критерия. При определении валидности теста не-
обходимо, чтобы результаты геста не сказывались на определении дей-
ствительного (критериального) статуса, индивида. Например, если препо-
давателю колледжа или мастеру на заводе известно, что данный студент
или рабочий плохо сппачялся -с соответствующим тестом способностей,
то это может плохо ск:-?аться на оценке их деятельности. И наоборот,
если некто получил по этому тесту слишком высокие результаты, то
подобное влияние, очеш-цно, могло бы привести к искусственному завы-
шению корреляции между результатами теста н критериальным поведе-
нием.
Это явление на~ъгаа.ется контаминацией критерия. Чтобы его пре-
дотвратить, совершеьн.- необходимо, чтобы лицам, производящим кри-
териальную оценку, ничего не было известно о тестовых результатах ис-
пытуемого. По эой причине тесгогые результаты обследуемого
держатся в строгом секрете. Норой трудно убедить преподавателей, ад-
министрацию учреж 1,ения военное начальство и других лиц в важности
этой меры. -Желая немедленно использовать полученную информацию
133 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
трогать до тех пор, пока не будут получены критериальные данные, по
которым можно определить его валидность.
Общие критерии. Для валидации теста можно использовать
самые разнообразные критерии. Любой метод оценки поведения в лю-
бой ситуации мог бы стать источником критериальной меры для той
или иной цели тестирования. Однако критерии, на основе которых опре-
деляются значения валидности, приводимые в руководствах к тестам,
можно разбить на несколько основных категорий. Для валидации тестов
интеллекта чаще всего используется тот или иной показатель успеваемо-
сти. Вот почему такие тесты иногда называют тестами способности
к обучению. Их критериальной мерой служат школьные оценки, данные
тестов достижений, сведения о переводе в следующий класс и об оконча-
нии школы, особые отличия и поощрения, мнение учителей об интеллек-
туальном уровне ученика.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58