1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференциации (разности) двух средних показателей (среднее значение по одной и по другой группе) применяются t-критерий Стьюдента или F-критерий Фишера. При этом необходимо убедиться в том, что распределение близко к нормальному (распределению Гаусса). В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t или F критерии.
2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а какому-либо иному закону распределения, или в тех случаях, когда нет уверенности в распределении данных по нормальному закону, применяется менее чувствительный Χметод χ2 хи-квадрат метод).
3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметрические критерии: критерий знаков, критерий Уилкоксона-Мана-Уитни, Колмогорова-Смирнова и другие. Но по сравнению с F, t критериями, методом χ2 эти критерии очень малочувствительны, для установления достоверности различий по ним необходимы большие объемы выборок.
Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике. Там же, также достаточно просто сформулированы правила, формулы вычисления среднего, моды и медианы распределения, дисперсии, о нем говорилось выше. Более того, сейчас широко распространены компьютерные программы – «статистика» и др., которые выполняют эти вычисления автоматически – в них надо лишь подбавить имеющиеся экспериментальные данные. Обычно в педагогических исследованиях принимается достаточным 95% уровень достоверности различий.
О векторных («комплексных») оценках. Нередко встречаются случаи, когда какое-либо изучаемое явление, процесс характеризуется несколькими независимыми величинами – параметрами, показателями. В таких случаях часто возникает вопрос о возможности однозначной оценки этого явления, процесса или изучаемых их свойств одной величиной – «комплексной» оценкой или, в математическом смысле, некоторым вектором, составными компонентами которого будут входить все отдельные параметры. Так, во многих спортивных состязаниях победитель выявляется по сумме очков, баллов, набранных на отдельных этапах состязания или в отдельных играх. Или же другой пример из образовательной практики – когда категория учебного заведения для установления заработной платы его руководителей по Единой тарифной сетке устанавливается по сумме баллов, которые выставляются отдельно: по числу учащихся, числу учителей, наличию спортивных сооружений, мастерских и т.д.
На практике такие векторные оценки встречаются довольно часто и, очевидно, без них не обойтись, хотя способы их определения нередко и вызывают множество недоуменных вопросов. Но в любом случае такие векторные оценки, применяемые в повседневной жизни, являются либо результатом определенных общественных соглашений, которые признаются всеми участниками, либо установлены каким-либо нормативным актом определенного директивного органа – министерства, ведомства и т.д. и в силу этого также признаются всеми заинтересованными лицами.
Другое дело – применение таких «комплексных», векторных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической строгости применяемой оценки. В частности, не вызывает сомнений возможность использования такой векторной оценки, как суммарные затраты времени на выполнение учащимися отдельных заданий, или суммарное количество ошибок, допущенных учащимися при выполнении отдельных, относительно однородных заданий. Здесь суммируются однородные величины, заданные шкалами отношений. Но как только начинают суммироваться баллы, выставляемые разным учащимся или одному и тому же учащемуся за выполнение, допустим, разных заданий – исследование сразу выходит за рамки научной строгости. Как уже говорилось, операция суммы для шкалы рангов не определяется. Если 5 + 2 = 4 + 3, то «5» и «2» балла – это не одно и то же, что «4» и «3» балла!
Между тем суммирование баллов довольно часто встречается в диссертациях по педагогике. Так, в одной работе диссертант для оценки деятельности учителей использовал большое количество показателей, оцениваемых по пятибалльной шкале:
– структура знаний учителя (общенаучные, специальные);
– педагогические умения (проективные, конструктивные, организаторские, коммуникативные, гностические);
– нравственно-психологическая направленность педагога (внимательность к людям, справедливость, гуманизм, увлеченность делом, ответственность, самоорганизованность);
– общая одаренность (качества ума, качества речи, качества воли, характера, эмоциональные и другие качества личности);
– и так далее.
Общая же оценка учителю в этой работе давалась по сумме набранных баллов. Но в данном случае диссертант должен был бы задаться большой серией вопросов. Во-первых, любой учитель – личность, он осуществляет сложнейшую деятельность – насколько правомерно оценивать его однозначно каким-то числом баллов и утверждать, что учитель Иванов, допустим, хуже учителя Петрова на 5 баллов?! Во-вторых, насколько выделенные качества равнозначны, что к примеру специальные знания «стоят» сколько же, сколько гуманизм?! И так далее, эту череду недоуменных вопросов можно было бы продолжать долго. И если бы диссертант над ними задумался, вряд ли бы он так легко вводил подобные «оценки».
В педагогических диссертациях, к сожалению, встречаются и другие, самые разнообразные неудачные попытки введения векторных оценок, вплоть до полных курьезов. Так, для оценки эффективности деловой игры была использована следующая «формула»:
Р = 50 – К – (В – 40),
где: Р – «комплексная» оценка в баллах,
50 – максимально возможное количество баллов,
К – количество замечаний, сделанных ведущим,
В – время в минутах.
Как видим, здесь уж, что называется, «смешались в кучу кони, люди…». Под знак суммы разности) поставлены совершенно разнородные величины: баллы, количество замечаний, время, безразмерные числа.
В некоторое оправдание подобным неверным построениям оценок следует отметить, что проблема векторных оценок для разнородных величин в теории разработана слабо [13]. Но в любом случае, уважаемый читатель, будьте предельно внимательны и осторожны в построении векторных оценок. Кстати, нередко можно обойтись и без них. Вы, допустим, получили количественные результаты по отдельным показателям (параметрам), ограничьтесь их качественной интерпретацией, не «загоняя их под общий знаменатель». И пусть по каким-то показателям результаты экспериментальных классов, групп будут лучше контрольных, а по каким-то хуже – от этого Ваша работа только обогатится, станет достовернее. А если Вы все же используете какую-либо векторную оценку – то Вы оперируете только с однородными величинами и только в шкалах отношений, интервалов, или, углубляясь «в дебри» математики, строго следуете соответствующим правилам построения многомерных векторных оценок.
Написание диссертации
Так, образы изменчивых фантазий,
Бегущие как в небе облака,
Окаменев, живут потом века
В отточенной и завершенной фразе.
В. Брюсов. «Сонет к форме»
Написание диссертационной работы – непростой труд. Не у всех стиль, язык письма, умение изложить свои мысли на бумаге появляются сразу. Необходимо учиться в процессе написания диссертации, иногда переписывая заново целые разделы. Многих до начала написания диссертации пугает ее объем: «как я напишу 100-150 страниц? О чем же там так много можно говорить?» На самом деле, если Вы проработали свою проблему глубоко, материала у Вас будет достаточно. В большинстве случаев после написания работы приходится даже еще и сокращать ее объем, что, кстати, делать еще труднее, чем писать: ведь «резать» приходится свое личное, выстраданное, пережитое.
Преодолеть все сложности написания диссертации Вам предстоит самому. Автор может дать лишь несколько практических советов. Для начала целесообразно запастись Справочником автора книги (именно Справочником, а не Словарем автора книги – последний менее удачен) проработать в нем несколько разделов, в которых содержатся практические рекомендации по упрощению стиля изложения, описаны способы избежания языковых шаблонов и канцеляризмов и т.д., а также общие правила оформления рукописей, общепринятые корректурные знаки для Вашей будущей машинистки, оператора ПЭВМ и т.п. Также Вам могут пригодиться и справочники редактора и корректора, выпускаемые периодически для работников издательств, Словарь синонимов русского языка, о котором мы уже упоминали.