Для дальнейшего анализа важно еще раз уточнить основные понятия.
• Надежность — такой признак психологического теста, который позволяет судить о том, насколько внушают доверие полученные при его применении данные, насколько обоснованно ожидание исследователя, что при сохранении известного минимума неизменных условий, испытуемые в выборке останутся и при повторных испытаниях примерно на тех же порядковых (ранговых) местах. Уровень коэффициента надежности и его статистическая значимость укажут на вероятность осуществления этого ожидания.
• Валидность — признак теста, по которому можно судить, насколько данные, полученные при применении теста, совпадают с показателями какой-то деятельности испытуемых: учебной, спортивной, производственной. Валидность – это действенность теста, характеризующая возможность ставить практически важный диагноз и в некоторых случаях намечать прогноз. Можно полагать, что исследователь, применяющий тесты, обычно рассчитывает в дальнейшем на практическое использование полученных результатов, то есть имеет в виду валидность. Вопрос о валидности потребует специального рассмотрения.
Продолжая обсуждение выделенной проблемы, напомним, что надежность и валидность взаимосвязаны. Надежность есть необходимое, но не достаточное условие валидности, из чего следует, что надежные показатели теста не могут быть валидными. Но надежные показатели сами по себе не представляют валидности.
Простое рассуждение подтверждает справедливость приведенного высказывания. В самом деле, если тест отличается низкой надежностью, то это значит, что его показатели весьма сильно варьируют от одного испытания до другого. Испытуемый, который в одном испытании выступал как представитель наиболее успешно работавшей части, в другом может попасть в наиболее неуспешно работающую часть выборки. Сопоставлять данные одного из этих испытаний с показателями какой-то деятельности испытуемых очевидно бессмысленно. С другой стороны, высокая надежность тоже еще не дает права считать, что результаты теста могут быть по существу сопоставимыми с показателями деятельности. Успешность или неуспешность по тесту может представлять собою нечто самодовлеющее или не-соотносимое с какими-либо другими уместными для данного исследования внешними – по отношению к тесту – показателями. Поэтому испытания с применением заданий психологического характера, надежность и валидность которых по отношению к данной популяции или выборке не установлены, не могут иметь никакого диагностического практического значения, хотя их при начальном этапе подготовки теста приводят лишь как первый шаг исследовательского поиска.
Во второй части этой книги мы уже касались данной темы в связи с проблемой надежности психофизиологических показателей (см. раздел 2, подраздел 2.2). Напомним, как устанавливается надежность психологического теста, и продолжим обсуждение этого вопроса.
В тестологической литературе описываются несколько способов, рекомендуемых для этой цели.
1. Повторное проведение испытаний тем же тестом через какой-то срок, длительность которого определяется характером теста и задачами исследования.
2. Проведение испытаний двумя вариантами, двумя различными «формами» теста, обычно построенными по одному принципу.
3. Разделение, «расщепление» теста на две половинки, обычно на половинки, состоящие из четных и нечетных заданий.
4. Проведение двух эквивалентных форм теста. Этот способ представляет собою уточнение 2-го способа [5] .
В установлении надежности сопоставляют, таким образом, два получаемых показателя и чаще всего прибегают к вычислению коэффициента корреляции по Пирсону – Бравэ или по Спирмену. Надежность тем выше, чем больше полученный коэффициент приближается к единице, и наоборот. Оставаясь в пределах формального анализа, можно отметить, что коэффициент корреляции будет тем выше, чем меньше дисперсия, то есть разброс данных, получаемых конкретным испытуемым по тесту. Если по одному из сопоставляемых показателей испытуемый окажется в верхней части таблицы, составленной по убыванию успешности, а по другому показателю в нижней ее части, то очевидно дисперсия данных по тесту – по крайней мере в данной выборке – велика и не позволяет делать вывод о том, какова, собственно, его характеристика по результатам этого психологического исследования. Напротив, чем дисперсия меньше, тем больше оснований для определенных психологических выводов. В этом смысле корреляция может дать достаточную информацию для суждения о надежности.
Представим себе, исследователь поставлен перед таким фактом: надежность разрабатываемого им теста оказалась слишком низкой. Что же делать, как добиваться ее повышения?
Очевидно, что даже внимательное ознакомление со способами установления надежности приводит к заключению, что дисперсия, снижающая уровень коэффициента корреляции, зависит не от одной, а от нескольких различных причин.
В самом деле, проверяя надежность способом расщепления, исследователь получает информацию о внутренней однородности теста, о его гомогенности. Если тест – по составу включенных в него заданий – разнороден, то это обнаружится в том, что при случайном его разделении на половинки испытуемые будут выполнять разнородные по своей психологической трудности задачи, и вряд ли можно ожидать, что их успешность в каждой из этих половинок будет одинаковой. При однородности заданий можно полагать, что большой разницы в успешности по половинкам не будет. Следовательно, дисперсия в этом способе показывает, насколько однороден тест.
Совсем другую информацию получает исследователь при повторении того же теста через какой-то срок. Дисперсия в таком случае может зависеть от того, что тот процесс, который испытывался тестом, изменился. Почему это произошло, на этот вопрос статистика не ответит. Но факт большего или меньшего изменения процесса по тому параметру, на который направлен тест, она обнаружит и зафиксирует. Вопрос же о гомогенности теста в данном способе не актуализируется.
И второй, и четвертый способы выдают совсем особую информацию – это информация о том, насколько близки – по существу – две различные «формы» теста, два его варианта. Исследователь может считать, что если эти две формы при испытаниях дали одинаковые или близкие результаты на избранной им выборке, то из этого следует, что при разработке теста найден достаточно отчетливый психологический признак для испытания. В этом случае вновь ставится вопрос о гомогенности, но уже не для одного теста, а для теста и варианта, для двух более или менее эквивалентных «форм».
Выходит, что понятие «надежность» имеет совершенно различный смысл в зависимости от того, какой из способов исследователь возьмет. Поэтому нельзя признать удовлетворительным решение, при котором утверждается, что все четыре способа представляют собою оценки повторений показателей по тесту и в одних случаях тот, а в других – иной из способов обеспечивает получение лучшей меры (надежности). Но дело не в лучшей или худшей мере надежности, дело в том, что это меры разной по существу надежности. Скорее можно согласиться с авторами «Стандартных требований…», которые полагают, что коэффициент надежности в современном понимании – это родовой показатель, охватывающий несколько ее дифференцированных видов, и каждый вид имеет свой особый смысл (Standards for Educational and Psychological Test, 1974). Однако о том, что обусловливает эти различные виды надежности, от чего зависит малая или большая дисперсия, влияющая на коэффициенты этих различных видов надежности, – обо всем этом в «Стандартных требованиях…» ничего не говорится.
По-видимому, было бы совершенно нелогичным, давая характеристику надежности, сообщить какой-то коэффициент без раскрытия того, каким способом он определен и почему автор считает, что надежность в данном случае должна быть представлена именно таким коэффициентом. Очевидно, необходимо достаточно обоснованно истолковать эти различные по своей сущности коэффициенты.
Что же устанавливается при сопоставлении результатов по двум половинкам теста (способ расщепления)? Более всего оснований считать, что так устанавливается надежность самого теста как диагностического инструмента. Несомненно, что следует считать надежным только тот тест, который состоит из однородных и притом равно трудных задач. Оценка успешности работы испытуемых выводится из общего числа правильно выполненных ими заданий. Если тест отвечает своему назначению как диагностический инструмент, то можно полагать, что в любой из произвольно выбранных его половинок испытуемый должен правильно выполнить примерно одинаковое число задач. Правильность этого предположения исследователь проверяет, вычисляя коэффициент корреляции между результатами, показанными испытуемыми по двум половинкам теста.