«эффект улитки» – человек замыкается в себе, «уходит в раковину», все способы хоть как-то разговорить собеседника не заканчиваются успешно, интервью просто не может дальше продолжаться.
Исследования показали, что длинные вопросы с открытым ответом, сформулированные с использованием знакомых респонденту формулировок, являются эффективными, если необходимо задать вопросы на деликатные темы, которые требуют количественного ответа. Здесь единственным ограничением являются творческие способности исследователя. Алан Бартон очень хорошо проиллюстрировал это, предложив пародию на то, как некоторые исследователи задают вопрос: «Вы убили свою жену?»
Дж. Хорник, Т. Цвейг, и Д. Шадман обнаружили высокий процент отказов отвечать на вопросы о сексуальном поведении, личном доходе, потреблении наркотиков, криминальном поведении и т. д. Предполагается, что использование некоторых приемов позволяет повысить процент ответов на вопросы на деликатные темы. При этом сочетание этих приемов оказывается более эффективным, нежели использование любого из них в отдельности.
31. Подход случайного выбора вопросов
Имеются свидетельства того, что в некоторых случаях точные ответы на вопросы на деликатные темы можно получить, используя метод случайного выбора вопроса. Респондента просят ответить на один или два случайным образом выбранных вопроса без уточнения, какой вопрос был выбран. Респондент выбирает вопрос, подбрасывая монету или проверяя, является ли последняя цифра номера его водительских прав или полиса социального страхования четной или нечетной. Поскольку интервьюер записывает ответ «да» или «нет», не зная, на какой вопрос респондент отвечает, участник исследования считает возможным отвечать честно.
Предположим, что выборке из 1 тыс. респондентов предложили карточку с двумя вопросами:
1) вы курили марихуану в течение прошлого года?
2) оканчивается ли номер ваших водительских прав на цифру «7»?
Для того чтобы определить, на какой из этих вопросов отвечать, респондентам предложили подбросить монету. При этом 300 человек (30 %) ответили «да». Каким образом при помощи этой информации можно определить, сколько людей ответили утвердительно на вопрос № 1? Во-первых, известно, что вероятность выбора каждого из вопросов одинакова, так как использовали метод подбрасывания монеты. Таким образом, вероятность, что выбран вопрос № 1, равна вероятности, что выбран вопрос № 2. Другими словами, 500 респондентов отвечали на вопрос № 1 и 500 – на вопрос № 2. Мы также можем предполагать, что 10 % из тех, кто отвечал на вопрос № 2, сказали «да», поскольку именно у такого числа респондентов номер водительских прав, вероятно, оканчивается на семерку. Следует, что лишь 50 человек из тех, кто отвечал на вопрос № 2, должны были сказать «да», поскольку 0,10 ×500 = 50.
Также известно, что в действительности 300 респондентов дали утвердительный ответ. Для того чтобы так произошло, 250 участников должны были сказать «да», отвечая на вопрос. Таким образом, можно утверждать, что 250/500 = 50 % выборки курили марихуану в прошлом году.
32. Проблемы, связанные с предварительным тестированием и исправлением
Цель предварительного тестирования – убедиться в том, что анкета соответствует ожиданиям исследователя с точки зрения информации, которая будет получена. Первые варианты анкеты часто оказываются слишком длинными, в них могут отсутствовать необходимые переменные, попадаться неоднозначные, плохо сформулированные, наводящие и «двойные» вопросы. Задача предварительного тестирования – выявление и исправление этих недостатков.
Исследователь должен уметь воспринимать критику и стремиться исправить свои ошибки. В качестве первого шага рекомендуется рассмотреть анкету с точки зрения респондента – попытаться ответить на вопросы.
Поскольку тестирование является пробным прогоном анкеты, респонденты должны быть в разумной степени репрезентативны по отношению к выборочной совокупности. Тем не менее они не должны быть «типичными», поскольку очень многое можно узнать от «радикальных» представителей выборки. Окажется ли анкета пригодной для работы с теми, кто имеет низкий уровень образования, сильное негативное отношение, кто плохо владеет предметом? Для короткой и простой анкеты потребуется небольшая выборка – 15 человек вполне достаточно; для длинной и сложной анкеты с разветвлениями и большим числом вариантов выбора может потребоваться 25 респондентов. Даже если полевое исследование будет проводиться методом почтового опроса, тестирование следует проводить в форме личного или телефонного интервью. Выполнить эту работу могут лишь самые лучшие, способные и опытные интервьюеры.
Тестирование в конфигурации персонального интервью может выполняться либо технологией завершающей беседы, либо технологией протокола. Если используется метод заключительного собеседования, сначала респонденту предлагают заполнить анкету – точно так же, как он сделал бы это при проведении полномасштабного исследования. Однако сам интервьюер при этом должен фиксировать наблюдаемые реакции респондента – такие как замешательство, нежелание, затруднение. После завершения интервьюер должен провести с респондентом собеседование, спросив последнего, о чем тот думал, когда отвечал на каждый вопрос; не возникло ли каких-либо проблем с пониманием; не получилось ли так, что некоторые аспекты предмета исследования остались незатронутыми.
Если употребляется технология протокола, респондента по мере заполнения анкеты просят излагать мысли вслух. Интервьюер делает запись этих мыслей и в конце процедуры просит респондента более досконально рассказать о возникших проблемах. Второй подход лучше работает в том случае, если тестирование проводится по телефону. Респонденты дают более частые и подробные комментарии по телефону, поскольку у них отсутствуют невербальные средства коммуникации.
33. Тестирование отдельных вопросов
Существует несколько специфических причин, которые определяют необходимость тестирования отдельных вопросов. Наиболее распространенные параметры проверки отдельных вопросов:
1) разброс мнений (дисперсия). Проверка элементов анкеты на приемлемый уровень разброса мнений (дисперсия) среди целевой совокупности – одна из наиболее частых целей тестирования. Исследователя интересуют элементы, которые демонстрируют более высокий разброс ответов и соответственно окажутся полезными с точки зрения выделения подгрупп людей. Слишком асимметричное распределение, полученное по результатам тестирования, может рассматриваться как предупреждение о том, что вопрос, возможно, не отражает соответствующий конструкт;
2) значение. Это наиболее важная цель тестирования. Значение, которое закладывает в вопрос исследователь, может и не соответствовать интерпретации этого вопроса респондентом по двум важным причинам. Первая состоит в том, что респондент не обязательно услышит и увидит каждое слово вопроса. Это может привести к искажению его значения. Вторая причина, определяющая возможность возникновения проблем с интерпретацией, заключается в том, что респонденты могут модифицировать сложный вопрос таким образом, чтобы на него было проще ответить. Следовательно, люди могут сосредоточить внимание на той части вопроса, которая им более понятна, и ответить только на нее. Они также могут взять те части вопроса, которые им понятны, «собрать» из них другой вопрос, на который и ответят. Исследования показали, что респонденты часто трансформируют сложные вопросы в понятную для себя форму для того, чтобы мобилизировать требуемые усилия;
3) сложность задачи. Респонденту бывает трудно ответить даже на понятный и четко сформулированный вопрос, если требуется сопоставление информации непривычным для респондента образом, (большинству респондентов, вероятно, трудно будет указать, сколько килограммов стирального порошка они израсходовали в прошлом году, поскольку они, скорее всего, не учитывают стиральный порошок в килограммах за год);
4) интерес и внимание респондента. Этот аспект тестирования исследователи часто упускают. Между тем необходимо фиксировать, какие вопросы участники нашли особенно интересными или особенно скучными. Интерес и внимание зависят от таких факторов:
а) усталость респондента;
б) непонимание частью респондентов вопросов какого-то блока;
в) степень интереса, проявляемого разными группами респондентов к различным вопросам;
г) тип и формы вопроса;
д) вопросы личного, интимного характера, требующие оценки, высказывания своего мнения и т. д.
34. Тестирование анкеты
При тестировании анкеты следует обратить внимание на следующие аспекты :
1) последовательность. Тестирование часто сводится к интуитивной оценке. Вопросы должны быть в логичной последовательности, не нарушая когерентный ход опроса. Переходы от одной темы к другой также должны быть проверены т. е. надо убедиться, что они понятны и логичны;
2) пропуск вопросов. Многие анкеты содержат инструкцию по заполнению (пропустить следующий вопрос, если на предыдущий респондент ответил определенным образом). Независимо от того, кто будет выполнять эти инструкции – сам респондент в ходе почтового опроса или интервьюер в ходе личного интервью, – необходимо убедиться в том, что они являются четкими и понятными. В данном случае анкета несколько напоминает дорожную карту со знаками. Исследователи, которые принимали участие в разработке анкеты, могут просто не заметить некоторых ошибок или неоднозначности в этих инструкциях;
3) длина. Респонденты готовы тратить время на заполнение анкеты, если ее предмет им интересен, тем не менее следует установить максимально разумную длительность работы с анкетой. Если этого не сделать, можно столкнуться с досрочным завершением интервью из-за усталости респондентов или с отказами участвовать в исследовании на том основании, что на него придется потратить слишком много времени;