Допустим, что такой релевантный критерий найден. Однако он еще не решает всех вопросов. В частности, остается вопрос мотивации – ведь хорошо или плохо работает не совокупность психических качеств, а человек, личность, заинтересованная в успехе своей деятельности. Решить такую задачу трудно, но нельзя от нее на этом основании отказываться. Так, можно при проверке валидности использовать специально отобранную группу высокомотивированных работников. Психолог, проверяющий валидность на неотобранной группе, заведомо затрудняет вывод логических заключений, к которым придет после своих сопоставлений. А задача его в том, чтобы их упростить.
Большие сомнения вызывает проверка «по одновременности» валидности тестов, предназначенных для отбора. Этот способ проверки состоит в том, что тестированию подвергается группа лиц уже работающих, уже имеющих опыт и достижения в изучаемой психологом деятельности. Неясностей в таком способе проверки более чем достаточно. Прежде всего, неизвестно, какими были эти ныне успешно выполняющие свою работу лица, когда они лишь начинали свою деятельность. Если речь идет об их психических качествах, таких как внимание, память, специальная интеллектуально-мыслительная деятельность, то ни один серьезный психолог не согласится с тем, что перечисленные и подобные им психические качества остались за время их деятельности неизменными. Бесспорно, что в деятельности происходил процесс развития, причем развития специфического, приноровленного к деятельности. Признав это, психолог оказывается перед новой задачей: а какой, собственно, уровень нужного качества необходим и достаточен, чтобы вступить в деятельность? Валидность, полученная на группе опытных людей высокого профессионального уровня, никак не дает оснований для решения вопроса о валидности для группы с полным отсутствием профессионального опыта. Группа профессионалов не репрезентативна для того, чтобы полученные на ней данные перенести на группу начинающих.
Высказанное выше сомнение не единственное. Допустим, что развитие высококвалифицированной группы признано. Однако столь же обязательно признать это развитие не только и даже не столько развитием «вообще», сколько нужно признать его развитием специальным. Актер умеет запоминать текст роли. Но это не значит, что он столь же успешно запомнит, положим, неперсонифицированный и эмоционально нейтральный текст научного сообщения. Память актера, как и любого другого профессионала, развивается в том направлении, которое дано его деятельностью. Поэтому испытание квалифицированных специалистов такими тестами, которые адресованы к функции неспециализированной, например, испытание у актеров памяти «вообще», может дать неожиданные результаты – может получиться так, что память актера, ежедневно запоминающего и воспроизводящего целые страницы текста, окажется хуже, чем память какого-либо другого специалиста. Валидность, проверяемая на выборке, составленной из профессионалов, окажется очень низкой или даже нулевой, хотя тест «вообще» исследует профессионально важную функцию. Допустим и другой путь – приближения психологического теста по его содержанию (по характеру заданий) к специфике профессиональных заданий; не лучше ли тогда перейти к рационально подготовленному тесту учета профессиональной успешности? Но применение такого рода теста означает, что психолог выявляет не что иное, как степень профессиональной подготовленности. Впрочем, иногда это и требуется.
Бывает, что психолог в погоне за приемлемым показателем валидности пробует и перебирает различные критерии и различные статистические приемы, окончательно упуская из виду логико-психологический анализ проверочной процедуры и забывая о доказательности полученных выводов. Этим, вероятно, отчасти вызывается застой в важнейшей области практической проверки значения психологических испытаний.
Между тем последовательное применение релевантных критериев на группах специалистов с высокой мотивацией и с различным стажем профессиональной деятельности могли бы привести к объективным оценкам валидности тестов, исследующих совокупность психических и психофизиологических признаков. На это требуются время и силы, но это один из способов разорвать порочный круг традиционного подхода к валидности.
В связи с изложенным необходимо сделать одно важное замечание. Все, что было сказано выше, относится к валидности по собственно психологическим диагностическим методикам. В области методик дифференциальной психофизиологии дело обстоит иначе, что обусловлено тем, что признаки, устанавливаемые методиками дифференциальной психофизиологии, отличаются стабильностью, устойчивостью. В дифференциально-психофизиологической литературе вопрос о валидности применительно к методикам этого рода нашел свое освещение (Гуревич К. М., 1970). Отметим, что корреляция, раскрывающая линейные связи, не может при проверке дифференциальных психофизиологических методик служить адекватным приемом проверки валидности. Может быть, неполная адекватность корреляции сказывается и при установлении валидности собственно психологических методик, но этот вопрос заслуживает особого рассмотрения. Дело тут опять-таки не в покорном использовании кем-то предписанной процедуры, а в творческом, разумном и обоснованном подходе к выбору статистических приемов. Сам по себе ни один статистический прием не может быть назван ни хорошим, ни плохим, как ни один логический прием также не может быть назван ни хорошим, ни плохим. Все дело в их правильном использовании, в том, насколько они правомерны в данных конкретных исследованиях, насколько отвечают поставленной задаче.
Выбор приемов, которые использовались психологами при установлении надежности и валидности, носит отпечаток определенного психологического мировоззрения, весьма далекого от современного.
Психологическая позиция, выдвинувшая эти приемы, – это позиция метафизического понимания психических процессов, функций и качеств: все эти психические реальности как бы признаются неизменными. Встанем на время на эту позицию. Тогда нам станет ясно, что для проверки надежности нет лучшего приема, чем корреляции повторного тестирования через какой-то промежуток времени. С этой же позиции можно утверждать, что лица, которые сформировались как профессионалы, остались по своим психическим качествам такими же, какими они были, когда они лишь приступали к своей профессиональной деятельности. Возможно, что этот метафизический подход и затормозил творческое использование статистических приемов как аппарата доказательств современной психологической диагностики.
Одно из наиболее ярких выражений определенных теоретических воззрений в психологической диагностике связано с проблемой так называемой нормы.
В любом диагностическом исследовании психолог нуждается в том, чтобы как-то классифицировать испытуемых, входящих в экспериментальную выборку. Для этой цели используются различные статистические приемы, техническая сторона которых не может нас в этом сообщении занимать. Смысл этих приемов в том, чтобы в делении на группы не было субъективного произвола. Чтобы избежать этого, можно, например, использовать в качестве критерия особую статистическую величину – так называемое квадратическое отклонение, величину, которую в западной литературе именуют «стандартным отклонением». В принципе, использование этой величины ничего противозаконного в себе не содержит, квадратическое отклонение при нормальном распределении столь же удобно, как и перцентиляжные величины, предполагающие при других видах распределения деления ряда по его процентным соотношениям.
Если говорить о чисто статистической стороне дела, то она в самых общих чертах состоит в том, что среднее квадратическое отклонение есть величина, относящаяся к определенному виду распределения, именно к нормальному распределению, с кривой, напоминающей колокол. Нам в данном случае важно заметить одно весьма существенное для дальнейших рассуждений обстоятельство: нормальное распределение характерно для большинства биологических явлений. Возьмем, например, в качестве предмета изучения рост каких-нибудь особей – мышей, жуков, колосьев определенного вида, – если изучаемая выборка будет достаточно велика и представительна, то в каждом случае мы с большой вероятностью можем полагать, что получим нормальное распределение: очень большие и малые экземпляры будут представлены в небольших количествах, а экземпляры среднего – для данного вида – роста будут наблюдаться в относительно большом количестве. Чтобы графически отразить полученное распределение, нужно по оси абсцисс отложить единицы измерения, а по оси ординат – число случаев, приходящихся на каждую единицу. Это будет нормальное распределение, если график имеет форму колокола.