Остановимся, хотя бы без детализации, на условиях, которые могут повлечь увеличение дисперсии, угрожающее надежности. При измерении зрительных порогов имеет важное значение сохранение на всем протяжении опыта и серии опытов яркости источника света. Но яркость зависит от колебаний напряжения, которые в условиях большого города почти неизбежны. Это обстоятельство может сказаться на разбросе получаемых данных. Скорость движения руки экспериментатора, передвигающего клин, также не может недооцениваться. В методике измерения латентного периода двигательной реакции в качестве причин, увеличивающих дисперсию, могут выступать как регистрирующие устройства, то есть система реле, передающих импульсы включения и выключения от испытуемого к хронометру, так и ключ (или кнопка), на которую реагирует испытуемый: расстояние между контактами может при неотрегулированности пружины то увеличиваться, то уменьшаться, и соответственно будет изменяться путь, проходимый нажимной частью ключа, а следовательно, уменьшаться или увеличиваться латентный период реакции. Эти примеры относятся к конкретной аппаратуре, но нет гарантий, что в аппаратуре совершенно иного типа не может возникнуть подобных же мелких неисправностей. Согласимся называть критерий, характеризующий надежность измерительного инструмента, критерием надежности.
Рассматривая зависимость дисперсии от самой измеряемой функции, постараемся прежде всего поставить перед собой вопрос: в каких условиях заметнее всего проявится степень ее стабильности. По-видимому, лишь в некоторых методиках нестабильность функции может быть выявлена в течение одного опыта. Можно согласиться, что в течение опыта, если он не имел целью специально утомить испытуемого (такие опыты в рамках проблемы надежности нет необходимости рассматривать), его функциональное состояние не изменится. Может сказаться упражнение функции; чтобы избежать этого, прежде чем приступать к собственно измеряющему опыту, обычно доводят испытуемых до условного плато – условного, поскольку в условиях опыта оговаривают, какое количество близких данных принимают за плато. Остается присущая функции флюктуация. Она, несомненно, скажется на дисперсии. При не слишком малом числе измерений в опыте и при не слишком больших амплитудах флюктуации ее действие, возможно, и не повлечет невыгодного соотношения между интер– и интраиндивидуальными дисперсиями. В общем, вероятность совпадения момента измерения с точкой экстремума меньше, чем вероятность совпадения момента измерения с точками, расположенными в других зонах флюктуации.
Из сказанного следует, что по одному опыту судить о нестабильности функции не всегда возможно. Наиболее ясно эта нестабильность или ее степень, очевидно, обнаруживаются при сопоставлении двух опытов, разделенных некоторым интервалом. При измерении этих интервалов, вероятно, удастся заключить, как происходит (если происходит) изменение функции. Критерий, характеризующий стабильность функции, также имеет самое непосредственное отношение к надежности. Его можно назвать критерием стабильности.
Наконец, в предыдущем изложении было обращено внимание на то, как влияет на рассеяние показателей смена экспериментаторов. Подходя к смене экспериментаторов с той же позиции надежности, мы можем сказать, что наиболее важно здесь то, насколько различное действие произведут экспериментаторы на испытуемых. Если допустить, что под воздействием нового экспериментатора все испытуемые и притом в одинаковой мере станут работать немного лучше или хуже, то хотя сам по себе этот факт и заслуживал бы внимания, но он не изменил бы надежности. О надежности нужно говорить только потому, что действие экспериментатора на испытуемых может быть различным: допустим, одни стали бы работать лучше, а другие – хуже, а третьи – так же, как и при первом экспериментаторе. Другими словами, испытуемые при новом экспериментаторе изменили бы свои порядковые места в выборочном распределении. В таком случае следовало бы говорить о том, что исследуемый психофизиологический признак заметно отражает изменение условий. Другой же признак, возможно, этим не отличается. По аналогии с восприятием свойство, которое здесь отмечено, можно назвать константностью и считать, что критерий константности выражает подверженность изучаемого признака влиянию личности экспериментатора. Критерий константности может быть получен путем корреляции двух рядов данных, полученных в двух экспериментах, проведенных двумя экспериментаторами. Некоторые дополнительные данные о сдвиге в случае надобности можно получить, сравнивая ряды с использованием какого-либо критерия значимости различий, например критерия Стьюдента или другого.
Итак, мы пришли к трем критериям, характеризующим с разных сторон надежность психофизиологических показателей.
Первый из них более всего оценивает роль измерительного инструмента. Он соответствует коэффициенту корреляции между двумя половинами опыта. Его и можно именовать собственно критерием надежности.
Второй говорит о стабильности самого измеряемого признака. Он соответствует в наибольшей степени коэффициенту корреляции между двумя повторениями измерений того же признака. Его можно назвать коэффициентом стабильности, имея в виду именно сам процесс.
Наконец, третий относится только к тому часто встречающемуся в жизни лабораторий случаю, когда нужно передать методику другим исследователям. Чтобы выяснить, как отражается на результатах исследования личность экспериментатора, нужно получить коэффициент константности, который выражается коэффициентом корреляции между двумя опытами, проведенными в одинаковых условиях, но разными экспериментаторами.
Из сказанного естественно вытекает и порядок проверки методик по перечисленным критериям. Целесообразно сначала проверить аппаратуру, вообще инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности изучаемой функции, а уже после этого при необходимости заняться критерием константности.
Трудно определенно ответить на такой, казалось бы, естественный вопрос: какого порядка должны быть коэффициенты надежности? В тестологической практике, как она сложилась в США, где изготовление и продажа тестов составляют особую сферу предпринимательства, рекомендуемые к приобретению заинтересованными предприятиями наборы тестов характеризуются и по их надежности. Эта надежность обычно вычисляется теми способами, о которых говорилось выше. Она редко представлена коэффициентами ниже 0,80 (см., например, Thorndike R. L., Hagen Е., 1955, где в конце книги даны аннотации о распространенных наборах тестов). При оценке надежности многое зависит от того, для какой цели предназначается методика. Думается, что при всех условиях тот коэффициент, который мы назвали собственно коэффициентом надежности и который характеризует сам инструмент измерения, в частности аппаратуру, должен быть достаточно высок – примерно порядка 0,75-0,95. Почему, в сущности, в правильно поставленном эксперименте корреляция между его половинами не может быть высокой? Психофизиологический эксперимент – не то, что тестирование для получения IQ, где вопрос о гомогенности всегда представляет значительную трудность. В психофизиологических методиках гомогенность, как правило, дана самим существом опыта; следовательно, снижение коэффициента может произойти только как следствие нарушения экспериментальных условий.
Следует сказать о том, что в психофизиологии есть несколько видов методик, в которых опыт дает всего один качественно однородный показатель. Так, в одной из работ лаборатории психофизиологии применены показатели, каждый из которых пронумерован и характеризуется всего одним измерением. Речь идет о фотохимическом условном рефлексе.
• «Скорость выработки условного рефлекса (количество подкреплений) – показатель 8.
• Скорость выработки дифференцировки (количество предъявлений) – показатель 9.
• Результат ошибки (величина условного рефлекса после ошибки в процентах к фону, то есть к средней для данного испытуемого в данном опыте величине абсолютной световой чувствительности, – показатель 14.
• Прочность условного рефлекса (величина условного рефлекса после месячного перерыва в процентах к его величине до перерыва) – показатель 10.
• Прочность дифференцировки (уровень световой чувствительности на дифференцировочный раздражитель после месячного перерыва в процентах к фону) – показатель 11.
• Быстрота переделки условного рефлекса в дифференцировку (количество предъявлений раздражителя) – показатель 12.
• Быстрота переделки дифференцировки в условный рефлекс (количество подкреплений) – показатель 13» (Борисова М. Н., Гуревич К. М., Ермолаева-Томина Л. Б. и др., 1963, с. 183).