льной при сравнении результатов отдельного ученика с результатами тысяч учеников других школ, заполнивших аналогичный тест в то же самое время.
Более того, алгоритм должен был выявлять классы, ученики которых показывали куда лучшие результаты, чем ожидалось по итогам предыдущих тестов, а по итогам следующих тестов вновь показывали плохие результаты.
Резкий скачок результата годового теста можно поставить в заслугу хорошему учителю; однако, когда прирост сменяется падением, это означает значительную вероятность того, что скачок возник не по естественным причинам.
Давайте теперь посмотрим на ответы двух групп учеников шестого класса, проходивших один и тот же математический тест. Каждая строка содержит варианты ответов на вопросы, данных одним учеником. Буква a, b, c или d указывает точный ответ; цифра обозначает неправильный ответ – 1 соответствует варианту a, 2 – варианту b и т. д. Ноль означает, что на вопрос не был дан ответ и соответствующее поле осталось пустым. Учитель одного из этих классов почти гарантированно занимается обманом, а наставник другого – скорее всего, нет. Попытайтесь найти отличия в результатах тестов – сразу же хотим вас предупредить о том, что это довольно сложно сделать невооруженным глазом.
Если вы догадались, в каком классе был допущен обман, то поздравляем вас. Давайте посмотрим на последовательности ответов учеников из класса A, перераспределенные с помощью компьютера в другом порядке. Компьютеру была поставлена задача применить сформулированный ранее алгоритм и выявить подозрительные последовательности ответов.
Посмотрите на ответы, выделенные жирным шрифтом. Неужели пятнадцати ученикам из двадцати двух удалось каким-то образом дать самостоятельно шесть последовательных правильных ответов (последовательность d-a-d-b-c-b)?
Есть как минимум четыре причины, по которым это может показаться маловероятным. Первая: вопросы в конце теста были сложнее, чем вопросы в начале. Вторая: эти ученики были в основном отстающими – мало кто из них смог дать шесть правильных ответов подряд в какой-либо другой части теста. Следовательно, кажется еще менее вероятным, что они смогли дать шесть правильных ответов подряд, отвечая на самые сложные вопросы. Третья: вплоть до данного момента между вариантами ответов учеников на вопросы теста отсутствовала какая-либо корреляция. Четвертая: три ученика (под номерами 1, 9 и 12) не дали ответов на вопросы, предшествовавшие подозрительной последовательности, а затем не ответили на ряд последних вопросов теста. Это дает основания предполагать, что длинная и непрерывная последовательность вопросов без ответов была прервана не самим учеником, а его учителем.
В этой последовательности ответов есть еще одна странность: в девяти из пятнадцати тестов шести правильным ответам предшествует еще одна идентичная последовательность, 3-a-1-2, включающая три из четырех неправильных ответов. А во всех пятнадцати тестах после шести правильных ответов следует один и тот же неправильный ответ – 4. К чему бы обманывавшему учителю нужно было стирать ответ ученика и заменять его неправильным ответом?
Возможно, дело здесь заключается в стратегическом расчете. В случае если учителя ловят за неблаговидным занятием и заставляют объясняться в кабинете директора, неправильные ответы в тестах могут служить доказательством отсутствия обмана. Возможно (хотя это и не красит учителя), что он или она не знает правильного ответа (при проведении стандартизированных тестов учителям обычно не дают ключа с правильными ответами). Если это действительно так, то у нас возникает хорошее объяснение того, почему ученикам нужно приписывать правильные ответы: просто у них плохой учитель.
Еще одним индикатором мошенничества со стороны учителя может являться общий результат его класса. Для того чтобы соответствовать национальному стандарту, шестиклассникам, отвечавшим на вопросы теста в ходе восьмого месяца учебного года, необходимо было получить средний балл не менее 6,8 (пятиклассникам, также проходящим тестирование на восьмом месяце обучения, нужно набрать 5,8, семиклассникам – 7,8 и т. д.). Средний балл учеников класса А составил 5,8, то есть оказался на целый балл ниже требовавшегося значения. Очевидно, что в этом классе учатся относительно слабые школьники. Однако год назад, делая тесты для перехода в пятый класс, эти же ученики показали еще более низкие результаты – средний балл составил всего 4,1. Соответственно, их результаты между пятым и шестым классами улучшились не на один полный балл, как можно было бы ожидать, а на целых 1,7 балла – как если бы они перескочили через целый год. Однако это чудесное улучшение было недолговечным. Когда эти шестиклассники перешли в седьмой класс, то при заполнении следующего теста их средний результат составил 5,5 – он оказался на два балла ниже стандарта и значительно хуже, чем результат экзамена за прошлый год. Давайте внимательно посмотрим на неустойчивые оценки трех конкретных учеников из класса А:
Результаты за три года у учеников класса B также являются относительно низкими, но, по крайней мере, показывают степень их усердия: 4,2, затем 5,1 и 6,0. Либо целый класс А внезапно стал крайне умным в один год, а затем столь же внезапно поглупел, либо их учитель умело потрудился карандашом над их работами.
Стоит отметить два момента в отношении детей из класса A, имеющих некоторое отношение к обману как таковому. Первое – они находились в довольно плохой учебной форме, и от результатов теста зависело, перейдут ли они в следующий класс. Второе – все эти ученики, начав учиться в седьмом классе, испытали огромный шок. Они знали лишь то, что благодаря результатам тестирования смогли благополучно продолжить свое обучение (действительно, ни один ребенок не остался без внимания). Сами они не пытались искусственным образом завысить свои оценки; возможно, они ожидали, что их результаты после седьмого класса окажутся столь же хорошими. Однако они потерпели сокрушительное поражение. Пожалуй, это стало самым неприятным последствием ежегодного тестирования. Учительница-обманщица могла убеждать себя в том, что помогает своим ученикам, однако, по сути, она была куда больше озабочена тем, чтобы помочь самой себе.
Анализ всего массива чикагских данных показал, что обман со стороны учителей ежегодно возникает примерно в 200 классах, что составляет около пяти процентов от общего количества. Эти результаты приблизительны, так как применявшийся алгоритм был направлен на выявление лишь самих форм подтасовок, при которых учителя систематически корректировали ответы учеников. С помощью этого алгоритма было сложно выявить более изощренные формы обмана. В недавнем исследовании школьных преподавателей в Северной Каролине около 35 процентов респондентов заявили о том, что стали свидетелями обмана со стороны своих коллег. Он выражался либо в предоставлении ученикам дополнительного времени, либо в сообщении им правильных ответов, либо в корректировке ответов учеников руками учителей.
Каковы же характеристики обманывающего учителя? Данные из Чикаго показывают, что к обману склонны в равной степени и мужчины и женщины. Учитель-обманщик обычно моложе среднего возраста и обладает сравнительно низкой квалификацией. Обычно желание обмануть возникает у учителя после изменения его системы стимулирования. Поскольку чикагские данные охватывали период с 1993 по 2000 год, у исследователей появилась возможность оценить последствия ежегодного тестирования, внедренного в 1996 году. Было очевидно, что в 1996 году произошел настоящий скачок количества обманов. И эти обманы распределялись не случайным образом. Чаще всего обманом занимались учителя, руководившие классами с самыми низкими оценками. Стоит также отметить, что Калифорния была вынуждена отказаться от прежде обещанного бонуса в 25 тысяч долларов – отчасти из‑за опасений, что слишком большие деньги будут попадать к учителям-мошенникам.
Однако не все результаты анализа были связаны с выявлением обманщиков. Алгоритм также позволял выявлять лучших учителей во всей школьной системе. Влияние хорошего учителя было заметно ничуть не меньше, чем влияние обманщика. Правильные ответы на вопросы в классе возникают не случайным образом – ученики показывают улучшение результатов по более простым вопросам, что является критерием хорошего обучения. Результаты, достигнутые учениками хорошего учителя, сохраняются и в последующие периоды.
Большинство научных исследований этого вопроса, как правило, пылятся непрочитанными на полках библиотек. Однако в начале 2002 года Арни Дункан, новый CEO системы государственных школ Чикаго, связался с авторами исследования, о которым мы рассказали выше. Он не собирался опротестовать выводы исследования. Напротив, он хотел сначала убедиться в том, что учителя, признанные благодаря применению алгоритма обманщиками, действительно являлись таковыми, а затем исправить эту ситуацию.
Дункан был нетипичным кандидатом на столь значимую должность. На момент назначения ему исполнилось тридцать шесть лет, прежде он занимался научной деятельностью в Гарварде, а затем профессионально играл в баскетбол в Австралии. До того момента, как он занял пост CEO, Дункан провел в системе государственных школ всего три года, и при этом никогда не занимал столь важной должности, чтобы позволить себе секретаршу. Однако он вырос в Чикаго, его отец преподавал психологию в Чикагском университете, а мать на протяжении сорока лет бесплатно занималась различными внешкольными программами в бедном районе города. Когда Дункан еще был мальчиком, он часто играл во дворе именно с теми ребятами из бедных семей, о которых заботилась его мать. Поэтому когда он возглавил систему государственных школ, то поставил во главу угла интересы школьников и их семей, а не учителей или их профсоюза.
Дункан решил, что лучший способ избавиться от учителей-обманщиков – повторное проведение стандартизованного экзамена. В его распоряжении находились ограниченные ресурсы – он мог проводить повторное тестирование лишь в 120 классах, поэтому попросил авторов алгоритма по выявлению обманщиков помочь ему выбрать классы для проведения тестирования.