Нам нужно сравнить Дэкисуги в школе с маленькими классами и его клона в стандартной школе. Разница, которая появится между ними с течением времени, и будет причинно-следственным эффектом.
Сравнение того, что было бы с Дэкисуги в школе с маленькими классами и в стандартной школе, называется в статистике контрфактическим моделированием.
К сожалению, даже в XXI веке еще не изобрели робота-клона. И все же есть способ, который позволяет применить контрфактический подход – это сравнительный эксперимент со случайной выборкой. В нашем случае мы можем при помощи жеребьевки произвольно выбрать маленькие классы (экспериментальная группа) и стандартные классы (контрольная группа), исключив влияние родителей при выборе школы. Обе группы в среднем окажутся в аналогичных начальных условиях (при достаточном количестве участников).
Перед экспериментом требуется проверить начальные условия – сравнить такие параметры, как успеваемость, дополнительные занятия и кружки, доход и образование родителей, наличие дедушек и бабушек, живущих с детьми. Если статистически не возникнет расхождения между двумя средними значениями, значит, мы сравниваем яблоки с яблоками.
Таким образом, мы исключили смещение отбора. После нескольких лет учебы разница между этими группами будет определяться только количеством учеников в классе. Это и есть причинно-следственный эффект (схема 41).
Другие типы экспериментов
Почти в каждой главе этой книги я рассказывала о сравнительных экспериментах со случайной выборкой. Можно вспомнить и так называемые естественные эксперименты из главы 2 при описании исследований профессора Кэролайн Хоксби и профессора Грэга Дункана. Естественные эксперименты не планируются учеными специально. Условия для них возникают при изменении системы или когда складывается ситуация, максимально схожая со сравнительным экспериментом. Из-за того, что эти условия возникают спонтанно, их называют естественными.
Исследование профессора Хидэо Акабаси, о котором шла речь во главе 2, и исследование профессора Брайена Джейкоба из 5-й главы считаются естественными, но в них используется так называемый метод регрессии с точками разрыва. Это ясно на примере схемы 42, в которой описан метод исследования профессора Джейкоба.
По горизонтальной оси указаны оценки учащихся в школах, выделенных в категорию испытательных до внедрения новой системы (=1996 год), по вертикальной оси – оценки после внедрения системы (=1999 год). Если бы не появились испытательные школы и тренинги для преподавателей, можно было бы предполагать наличие положительной корреляции: школы, в которых были хорошие результаты в 1996 году, показали их и в 1999 году, поэтому на левом графике оценки 1996 и 1999 годов образуют непрерывную линию. Однако если бы из-за изменения системы в 1996 году преподаватели в испытательных школах добились улучшения успеваемости, то возле пограничной линии между испытательными и обычными школами возникли бы разрывы, как показано на правом графике.
Разница (разрыв) между экспериментальной и контрольной группами – причинно-следственный эффект внедрения тренингов для преподавателей.
Результат исследования оказался таким, как на левом графике, – без разрывов. Это означает, что тренинги не оказали влияния на улучшение качества преподавания.
Таким образом, эксперименты необязательно должны быть сравнительными, со случайной выборкой.
Эксперимент для образовательной политики
Давайте посмотрим, как используются сравнительные (или аналогичные им) эксперименты при внедрении новых приемов в области обучения.
Вначале определяется цель; самая распространенная – улучшение успеваемости. Затем с помощью сравнительных экспериментов тестируются различные методы ее достижения для определения их эффективности.
Разумеется, чтобы улучшить успеваемость, недостаточно одного метода. Поэтому мы рассмотрим три фактора, обладающих причинно-следственным эффектом: малочисленные классы, разделение класса на группы по успеваемости, занятия после школы.
Как уже говорилось, причинно-следственный эффект выражается разницей в успеваемости между экспериментальной и контрольной группами в ходе эксперимента. Эта разница и затраты на внедрение метода показывают соотношение между стоимостью и результатом.
Это очень важно понимать, ведь малочисленные классы, к примеру, требуют серьезных финансовых затрат. Нужно нанимать дополнительных преподавателей, увеличивать количество классных комнат. Даже если мы докажем, что малочисленные классы обладают высокой эффективностью, но эта мера окажется слишком дорогостоящей, на практике она внедрена не будет. Скорее выберут меру, которая окажется самой дешевой и приведет к самому большому эффекту по улучшению успеваемости. Это называется высокое соотношение стоимости и эффекта. Сравнив его в трех выбранных методах, мы узнаем, какой из них даст результат с наименьшими затратами.
Только тогда можно целенаправленно делать инвестиции в наиболее эффективную меру. Получив научные доказательства, органы местной власти и комитеты по образованию смогут объяснить необходимость перемен школам, родителям и налогоплательщикам.
Такие полномасштабные сравнительные эксперименты, как STAR-проект в Теннесси, проводятся в мире довольно редко, зато бывает много мелкомасштабных экспериментов. Начать с малого, добиться большего – это стиль принятия решений в США. Сначала эксперименты проводятся в ограниченном объеме. После доказательства эффективности они внедряются на уровне штата, а потом и всей страны.
Если в небольшом эксперименте доказана низкая эффективность, то от идеи отказываются сразу. Так удается избежать лишних трат налоговых средств.
Использование сравнительных экспериментов в США стало повсеместным не только потому, что они занимают высокое положение в иерархии доказательств. Одна из причин – с их помощью легко объяснить оценку. Когда мы говорим об эффективности образовательной политики, используя сложные методы оценки, для большинства людей это непонятно. Даже среди депутатов и чиновников мало кто понимает сложные эконометрические методы. Именно сложность мешает внедрению результатов исследований экономистов в образование.
Сравнительные эксперименты со случайной выборкой очень просты. Для объяснения результатов достаточно увидеть разницу между средними значениями двух групп (схема 43).
Проблемы сравнительных экспериментов
К сожалению, нельзя сказать, что сравнительные эксперименты всегда позволяют выбрать идеальные меры для образовательной политики. О технических проблемах таких экспериментов пишет в газете «Нихон Кэйдзай симбун» (от 5 декабря 2011 года) профессор Токийского университета, специалист по экономике развития Ясуюки Савада.
Первая проблема – ученики и школы, выбранные для проведения экспериментов, могут непредсказуемо реагировать на внедряемые меры. Например, в Кении выясняли, влияет ли школьное питание на посещение занятий и успеваемость. В экспериментальной группе детей кормили бесплатно, в контрольной этого не было. В результате некоторые родители стали переводить детей в школу, где была экспериментальная группа, чтобы получать питание. В такой ситуации невозможно избежать смещения отбора.
Сравнительные исследования – самое мощное оружие экономистов.
Кроме того, существует проблема внешней валидности – результаты сравнительных тестов, полученные в одной стране, не всегда применимы к другой. Еще одна сложность – возникновение общего равновесия, когда эксперимент в малых масштабах подтверждает эффективность, а при большем количестве участников эффект становится менее выраженным.
Например, эксперимент в одном регионе показал, что норма прибыли обучения в университете очень высока. Правительство начинает прилагать усилия, чтобы увеличить количество абитуриентов. Но оказывается, норма прибыли была высокой из-за того, что вузы выпускали мало специалистов и на них был большой спрос. Как только количество выпускников вузов на рынке труда вырастает, их заработная плата понижается и норма прибыли падает.
И наконец, даже когда мы выявляем причинно-следственный эффект от какой-то меры, остается непонятным механизм: почему это происходит? Механизм на экономическом языке называется внутренней структурой. Считается, что, когда неясна внутренняя структура, возникает проблема внешней валидности, или эффект общего равновесия. Тогда экономисты ищут новые пути, которые позволят выявить внутреннюю структуру.
Если в небольшом эксперименте доказана низкая эффективность, то от идеи отказываются сразу. Так удается избежать лишних трат налоговых средств.
Корреспондент газеты Financial Times Тим Харфорд пишет об этической стороне сравнительных исследований: «В мире порой происходит то, что пугает даже специалистов. Когда некое вмешательство может оказать огромное влияние на людей, самое неэтичное – отказаться от сравнительных экспериментов» (Financial Times, 25 апреля 2014 года).
Сравнительные исследования – самое мощное оружие экономистов для выявления эффективности тех или иных мер в образовательной политике. Если полученные данные реализовать на практике, это несомненно сослужит огромную службу детям, их родителям и всем гражданам, на налоги которых существует система образования.
В заключение
Несколько лет назад на мою лекцию пришла мама с маленьким ребенком. Она сказала:
«Хорошо, что я послушала вас, пока у меня малыш. Не представляю, сколько ошибок я бы наделала, если бы этого не узнала».
Как я уже говорила, у меня нет своих детей. Я и не подозревала, что знания по экономике образования на практике пригодятся родителям.
В тот момент я как ученый стояла на распутье. Для исследований в области экономики образования нужны данные, много данных. Я обращалась за сотрудничеством в местные органы власти, в комитеты по образованию, но обычно получала отказ, а то и острую критику.