Читать интересную книгу Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

И в Нью-Йорке, и в Лос-Анджелесе реакция на эти публикации была бурной и противоречивой. Арни Дункан, министр образования США, в целом поддержал такого рода оценки на основе «добавленной стоимости», заявив, что они хороши хотя бы тем, что позволяют получить какую-то информацию в областях, где раньше ее вообще не было. После публикации данных по Лос-Анджелесу Арни Дункан сказал газете The New York Times: «Молчание – это вообще не вариант». Администрация Обамы предоставила штатам финансовые средства для разработки показателей добавленной стоимости, на основе которых можно было бы оплачивать труд преподавателей и продвигать их по службе. Сторонники данных способов оценивания подчеркивают, что это огромный шаг вперед по сравнению с системами, в которых труд всех преподавателей оплачивается в соответствии с единой шкалой окладов, не учитывающей такие «мелочи», как профессионализм.

С другой стороны, многие эксперты предупреждают, что подобные системы оценивания характеризуются большими допустимыми пределами погрешности и могут давать ошибочные результаты. Профсоюз преподавателей Нью-Йорка потратил более 100 000 долларов на рекламную кампанию в газетах, проводившуюся под лозунгом «Так оценивать работу преподавателей нельзя»{107}. Оппоненты утверждают, что «оценивание добавленной стоимости» создает ложное впечатление высокой точности, причем такие оценки могут вольно трактоваться родителями и государственными чиновниками, не понимающими ограничений подобного оценивания.

Похоже, это тот самый случай, когда правы – в определенной степени – и те и другие. Даг Стайгер, экономист Дартмутского колледжа, широко использующий в работе данные «добавленной стоимости» преподавателей, предостерегает, что в этих данных, в силу самой их природы, многовато «шума». Результаты по конкретному учителю зачастую основываются на результатах одного экзамена. При этом действие множества разнообразных факторов – от особенно «трудной» группы учащихся до сломавшегося в день сдачи экзамена кондиционера в классе – может вести к флуктуациям. Корреляция в эффективности отдельно взятого преподавателя, которая использует эти индикаторы, от года к году составляет лишь 0,35. (Интересно, что корреляция в эффективности игроков Высшей бейсбольной лиги от года к году также составляет примерно 0,35; для хиттеров она измеряется средним уровнем достижений, а для питчеров – средним числом зачетных перебежек.){108}

По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News & World Report, – даже когда соответствующие данные не поддерживают такую точность.

Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные?{109}

Ответ: профессора с меньшим опытом преподавательской работы и меньшим числом научных степеней от новомодных университетов. Студенты таких профессоров, как правило, очень позитивно отзываются о них и демонстрируют более высокие результаты сдачи стандартизированных тестов по вводным курсам. Понятно, что эти молодые и мотивированные преподаватели относятся к своей работе с большим энтузиазмом, чем старые, «замшелые» профессора с докторскими степенями от престижных университетов (например Гарвардского). Не исключено, что эти «старые зубры» все еще пользуются теми же пожелтевшими от времени конспектами лекций, что и в далеком 1978 году; возможно, они полагают, что PowerPoint – это нечто вроде энергетического напитка (правда, они могут и не знать, что это такое). Очевидно, эти данные говорят нам о том, что этих «динозавров» давно пора уволить или по крайней мере предоставить им шанс красиво уйти со сцены.

Впрочем, не будем торопиться. И спешить с увольнениями. Опыт Академии ВВС США позволил сделать еще один важный вывод – об успеваемости студентов на более протяженном горизонте. Скотт Каррелл и Джеймс Уэст выяснили, что в области математики и точных наук студенты, у которых были более опытные (и более титулованные) преподаватели вводных курсов, демонстрируют лучшую успеваемость в последующих обязательных курсах, чем студенты, обучавшиеся у менее опытных преподавателей вводных курсов. Одно из логических объяснений заключается в том, что менее опытные преподаватели в большей степени склонны «натаскивать на экзамен» по соответствующему вводному курсу. Это приносит впечатляющие результаты на экзаменах и моральное удовлетворение студентам, что выливается в высокие оценки, которые они выставляют своим преподавателям.

Между тем, старые замшелые профессора (которых мы уже были готовы уволить) уделяют меньше внимания экзаменам, сосредоточиваясь на важных положениях своего курса, что положительно влияет на успеваемость студентов в процессе прохождения ими последующих обязательных курсов, а также в их практической деятельности по завершении учебы в Академии ВВС США.

Разумеется, мы должны оценивать деятельность школьных учителей и профессоров. Нам нужно лишь убедиться, что мы делаем это правильно. Задача на перспективу (коренящаяся в статистике) состоит в разработке такой системы, которая вознаграждала бы реальную добавленную стоимость преподавателя, создаваемую им для учеников.

С помощью каких инструментов лучше всего бороться с глобальной бедностью?

Мы очень мало знаем о том, как сделать бедные страны богаче. Да, мы понимаем, что отличает богатые страны от бедных, например уровень образования и качество кадров, управляющих бедными странами. Правда и то, что за последние несколько десятилетий такие страны, как Индия и Китай, совершили радикальные преобразования в области экономики. Но даже при наличии этих знаний мы не можем с уверенностью сказать, какие шаги следует предпринять, чтобы повысить уровень благосостояния таких стран, как Мали и Буркина-Фасо. С чего же начать?

Французский экономист Эстер Дафло трансформирует знания о глобальной бедности путем использования старого инструмента для решения новых задач. Речь идет о статистическом управляемом эксперименте. Дафло – преподаватель Массачусеттского технологического института – в буквальном смысле проводит эксперименты с разными формами воздействия, пытаясь улучшить жизнь бедняков в развивающихся странах. Например, одна из давних проблем школ в Индии – прогулы учителей; особенно это касается небольших провинциальных школ с единственным учителем. Дафло и ее соавтор Рема Ханна провели тестирование на основе использования технологий на произвольной выборке из 60 школ с единственным учителем в индийском штате Раджастхан{110}. Учителям в этих 60 экспериментальных школах был предложен определенный бонус за работу без прогулов. Вот креативная часть этого проекта: учителям были вручены фотокамеры с защитой от несанкционированного вмешательства и временными отметками. Это позволяло учителям каждый день доказывать свое присутствие на уроках, делая групповую фотографию с учениками{111}.