Вопросы организации изучения и обобщения педагогического опыта, опытной работы и педагогического эксперимента достаточно подробно описаны в вышеупомянутых книгах В.И. Загвязинского,
А.А. Кыверялга и М.Н. Скаткина и других авторов, поэтому на них здесь мы останавливаться не будем. Кстати, объем и характер опытно-экспериментальной работы в педагогических кандидатских диссертациях обычно не вызывает существенных возражений. Сомнения и возражения чаще всего относятся к интерпретации ее результатов, применявшимся критериям оценки и методикам статистической обработки данных.
Интерпретируя результаты опытно-экспериментальной работы в кандидатской диссертации, необходимо иметь в виду одно существенное обстоятельство, связанное со спецификой педагогики. Личность человека, начиная с ребенка, формируется десятилетиями. В ее формировании участвуют десятки, сотни людей: родители, родственники, товарищи, все школьные учителя и т.д. Поэтому говорить о существенном влиянии тех или иных серьезных педагогических инноваций, например, какой-либо дидактической системы на воспитание и развитие учащихся, строго говоря, можно было бы, если бы они проверялись с I по XI класс в школе во всех предметах. И тогда, казалось бы, оценивать их эффективность.
Но и это не все. Выпускник школы в 17 лет – еще не окончательно сложившаяся личность. Следовало бы еще получить отдаленные результаты организованных педагогических воздействий – лет так через десять. Но с тех пор, когда был бы начат такой эксперимент и когда он был бы окончен, изменятся многие социально-исторические условия жизни общества, изменится социальный заказ школе, и полученные результаты уже вряд ли кому-то будут нужны. Мы специально «сконструировали» такой крайний, предельный вариант, чтобы подчеркнуть определенную условность результатов всех педагогических экспериментов в силу особой специфики педагогической науки как, в некотором смысле, науки о будущем.
Кроме того, условность результатов опытно-экспериментальной работы в педагогических исследованиях вызывается еще и тем, что как бы ни выравнивались начальные условия в контрольных и экспериментальных группах учащихся, как бы ни подбирался «одинаковый» состав педагогов, учащихся, допустим, в эксперименте, педагогический процесс все равно будет иметь личностную обусловленность. Учитель или сам исследователь, преподающий в контрольном и экспериментальном классе, как бы ни стремился быть объективным, все равно будет иметь внутренние, часто неосознаваемые симпатии или антипатии как к тому или иному методу обучения, так и к тому или иному ученическому классу. Ведь каждый школьный класс имеет свое неповторимое индивидуальное «лицо» – все, кто работал в школе, в каком-либо другом учебном заведении, это хорошо знают. Поэтому для получения действительно достоверных результатов исследования, строго говоря, необходимо привлечение огромных контингентов учащихся и педагогов.
У аспиранта, соискателя есть всего 3-4 года для того, чтобы провести и закончить диссертационное исследование и, как правило, весьма ограниченные возможности привлечения широкой педагогической общественности к опытно-экспериментальной работе по теме своей диссертации. Естественно, все это понимают. Но диссертанту надо быть предельно осторожным в интерпретации полученных результатов. Когда автор диссертации, проведя эксперимент по одному разделу курса физики, допустим, в X классе, утверждает, что за счет этого повысилась эффективность формирования у учащихся научного мировоззрения, или, в другом случае, после изучения всего трех тем специального предмета у учащихся ПТУ было сформировано умение самостоятельно определять стратегические цели своей трудовой деятельности – такие утверждения вызывают, по меньшей мере, недоумение. И уж совсем нелепым выглядит утверждение, которое встретил автор в одной диссертации о том, что после проведения эксперимента уровень общей культуры студентов повысился на 17% (?!).
Самый сложный и острый вопрос для любого педагогического опытно-экспериментального исследования: по каким критериям производится оценка педагогических явлений, процессов? Критерии эффективности важнейшая проблема вообще в любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем. Часто приводится такой классический пример неправильного выбора критерия и вызванных этим последствий: в двадцатые годы нашего столетия пожарным, чтобы они вроде бы «меньше спали», была установлена заработная плата, пропорциональная числу потушенных за месяц пожаров. В итоге дело кончилось тем, что пожарные сами стали устраивать поджоги!
Поэтому, приступая к опытно-экспериментальной части своего исследования, диссертант должен самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент обучаемых, сколько классов, групп или школ необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.
Критерии должны удовлетворять, в частности, следующим признакам:
1.Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.
2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, их личностных качеств, а часто даже и не знаем, какие способности, качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающимися проблемами воспитания молодежи.
3. Критерии должны быть нейтральными по отношению к исследуемым явлением. Так, если в ходе эксперимента в одних классах, допустим, изучается какая-то новая тема, а в других – нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.
Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для педагогики это требование особенно актуально, поскольку любая педагогическая, любая учебная деятельность – чрезвычайно сложный многоплановый процесс, который, как правило, нельзя оценить каким-то одним показателем. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, в связи с введением аттестации учителей некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи – это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из многих критериев, поскольку, помимо профессионально-математической подготовки, подготовки по физике учитель в том числе должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания [9].
Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций, предлагаемых в кандидатских диссертациях. Характерно, что грамотно и относительно строго построенные критерии в разных работах весьма разнообразны, диссертанты нередко проявляют большую изобретательность в этом деле. В то же время примерно в половине диссертационных работ встречаются практически одни и те же недостатки в выборе критериев оценки.
В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких-то качеств личности учащихся, студентов, слушателей можно лишь в процессе каких-либо определенных действий, совершаемых этими учащимися, студентами, слушателями, когда они могут активно проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий», как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше – эстрадная или классическая?» (изучалось воспитание эстетического вкуса у студентов) вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» – ответы школьников на вопрос «Понравились ли занятия по основам информатики и вычислительной техники?». Ведь, во-первых, школьники опять же могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться – так же, как горькое, но необходимое лекарство для больного.