Фактор страха при исследованиях на политическую тематику
в Беларуси
в Беларуси
Может ли страх отвечать на политические вопросы искажать результаты независимых социологических исследований? Исследование Chatham House.
Директор "Белорусской инициативы" Chatham House и основатель Центра новых идей
Рыгор Астапеня
Photo by Pavel Kritchko
В последнее время все чаще обсуждается тема того, насколько социологические опросы отражают действительность. Недоверие власти и ее институтам делает в глазах беларусов результаты государственных опросов ненадежными. Независимые же опросы, имея более надежную репутацию, порой считаются невозможными для проведения в сложившихся условиях.
Более того, некоторые люди считают, что даже в хорошо организованных независимых исследованиях результаты могут искажаться страхом отвечать на вопросы политического характера.
В данной статье будет предпринята попытка оценить, насколько сильно влияет страх на ответы на те или иные вопросы. Мы использовали в исследовании несколько разных техник стимулирования искренности респондентов и снижения тревожности.
Опасения относительно влияния страха при прохождении опросов на политическую тематику небезосновательны:
Около 9% респондентов прерывают опрос на вопросе в самом начале анкеты «Какая позиция Вам ближе?» (Поддержка протеста, Нейтральная позиция, Поддержка действующей власти).
Часть отзывов респондентов также говорит об обеспокоенности.
Отзывы респондентов после прохождения опроса:
Мы поместили в анкету вопрос о том, как, по мнению респондентов, на вопросы отвечали другие:
«Как Вы считаете, насколько искренне другие люди отвечали на вопросы этого исследования?» (0% - отвечали всегда нечестно, 100% - отвечали всегда честно).
По мнению беларусов, другие участники опроса были честны в 69% случаев.
Можно предположить, что при ответе на вопрос респонденты исходили из их личного уровня честности.
Таким образом, можно предположить, что доля неискренних ответов слишком велика, чтобы ей пренебрегать.
Более того, некоторые люди считают, что даже в хорошо организованных независимых исследованиях результаты могут искажаться страхом отвечать на вопросы политического характера.
В данной статье будет предпринята попытка оценить, насколько сильно влияет страх на ответы на те или иные вопросы. Мы использовали в исследовании несколько разных техник стимулирования искренности респондентов и снижения тревожности.
Опасения относительно влияния страха при прохождении опросов на политическую тематику небезосновательны:
Около 9% респондентов прерывают опрос на вопросе в самом начале анкеты «Какая позиция Вам ближе?» (Поддержка протеста, Нейтральная позиция, Поддержка действующей власти).
Часть отзывов респондентов также говорит об обеспокоенности.
Отзывы респондентов после прохождения опроса:
- Раздражающий
- Вопросы о политике настораживают, чтобы потом не пожалеть
- Для беларуса очень больная тема...
- Хороший опрос, рассчитанный на откровенные ответы, но на многие из вопросов опасно отвечать откровенно
- Очень много щекотливых вопросов, этот опрос я особенно запомню
Мы поместили в анкету вопрос о том, как, по мнению респондентов, на вопросы отвечали другие:
«Как Вы считаете, насколько искренне другие люди отвечали на вопросы этого исследования?» (0% - отвечали всегда нечестно, 100% - отвечали всегда честно).
По мнению беларусов, другие участники опроса были честны в 69% случаев.
Можно предположить, что при ответе на вопрос респонденты исходили из их личного уровня честности.
Таким образом, можно предположить, что доля неискренних ответов слишком велика, чтобы ей пренебрегать.
Доля голосовавших за С. Тихановскую на выборах оценивалась с помощью Unmatched Count Technique (далее – UCT).
Респондентам нужно было выбрать количество утверждений, с которыми они согласны:
Пример вопроса:
Перед Вами несколько утверждений. Укажите только КОЛИЧЕСТВО утверждений, с которыми Вы согласны, т.е. цифру от 0 до 5 (6), при этом не указывая, с какими именно. Если Вы согласны со всеми утверждениями, впишите цифру 5 (6), если не согласны ни с одним – впишите цифру 0, если согласны только с одним (любым) – впишите цифру 1 и так далее.
Набор вариантов для первой половины выборки:
В набор вариантов второй половины выборки входят все вышеперечисленные вопросы и добавляется вариант: Я голосовал(а) за С. Тихановскую на выборах 2020 года.
Респондентам нужно было выбрать количество утверждений, с которыми они согласны:
- Половине выборки (разделение случайно) предлагались только нейтральные утверждения;
- Вторая половина выборки, кроме нейтральных утверждений, также получала сенситивное утверждение «Я голосовал(а) за С. Тихановскую на выборах 2020 года».
- Учитывая однородность выборки, сравнивались средние значения ответов на вопрос, состоящий только из нейтральных утверждений, с тем, который включает сенситивный вариант.
- Разница средних значений соответствует распространённости сенситивного утверждения в генеральной совокупности (городские беларусы с доступом к интернету).
Пример вопроса:
Перед Вами несколько утверждений. Укажите только КОЛИЧЕСТВО утверждений, с которыми Вы согласны, т.е. цифру от 0 до 5 (6), при этом не указывая, с какими именно. Если Вы согласны со всеми утверждениями, впишите цифру 5 (6), если не согласны ни с одним – впишите цифру 0, если согласны только с одним (любым) – впишите цифру 1 и так далее.
Набор вариантов для первой половины выборки:
- У меня есть личный автомобиль
- Вчера я вернулся(ась) из командировки в Австралии
- Моя заработная плата больше 1000 BYN
- Номер моего мобильного телефона заканчивается на 1
- Вчера я чистил(а) зубы
В набор вариантов второй половины выборки входят все вышеперечисленные вопросы и добавляется вариант: Я голосовал(а) за С. Тихановскую на выборах 2020 года.
Сведения о методологии: UCT
UCT – Результаты анализа данных
В среднем за С. Тихановскую проголосовало 62% городских беларусов с доступом к интернету.
С 95% вероятностью доля сторонников Тихановской лежит в промежутке от 53% до 70%.
В сентябре сумма процентов не давших ответа и голосовавших за С. Тихановскую (66%) находятся в пределах доверительного интервала (от 53 до 70%)
С 95% вероятностью доля сторонников Тихановской лежит в промежутке от 53% до 70%.
В сентябре сумма процентов не давших ответа и голосовавших за С. Тихановскую (66%) находятся в пределах доверительного интервала (от 53 до 70%)
- В связи с дальнейшими политическими репрессиями, людям становилось страшнее прямо отвечать на вопрос «За кого вы голосовали?» – увеличилась доля ответов «против всех».
- При этом сумма затруднившихся и «Против всех» примерно одинакова во всех периодах.
- Причины скрывать голос были и в сентябре 2020 (15% людей не дали ответ на вопрос), следовательно, фактор страха присутствовал уже тогда.
- Это означает, что фактор страха (ФС) в сентябре 2020 составлял ~2,7%, ~8,7% в июле 2021.
- ФС = Разница между значениями UCT и процентом ответивших на прямой вопрос, за вычетом стандартной ошибки UCT*1,96 (за пределами двух ст. отклонений).
Доля участвовавших в протестах оценивалась с помощью randomized response technique* (crosswise model).Респондентам нужно было мысленно ответить на два вопроса, один из которых нейтральный, а другой – сенситивный:
В зависимости от того, совпадали ли ответы на эти вопросы, необходимо было выбрать вариант ответа Разные/Одинаковые;
Пример вопроса:
Перед Вами на экране 2 вопроса. Ответьте на эти вопросы у себя в голове, а затем сравните, отличаются или одинаковы Ваши ответы. Если на оба вопроса Вы дали одинаковые ответы (например, на оба «да» или везде «нет»), выберите вариант Одинаковые. Если на какой-то из вопросов Ваш ответ «да», а на какой-то «нет», выберите вариант «Разные».
Исходя из того, что для Нейтралов и Ядра протеста известна вероятность родиться зимой (0,25), а для представителей Бастиона Лукашенко вероятность участия в протестах равно нулю, мы высчитали долю принявших участие в протестах по сегментам.
В зависимости от того, совпадали ли ответы на эти вопросы, необходимо было выбрать вариант ответа Разные/Одинаковые;
Пример вопроса:
Перед Вами на экране 2 вопроса. Ответьте на эти вопросы у себя в голове, а затем сравните, отличаются или одинаковы Ваши ответы. Если на оба вопроса Вы дали одинаковые ответы (например, на оба «да» или везде «нет»), выберите вариант Одинаковые. Если на какой-то из вопросов Ваш ответ «да», а на какой-то «нет», выберите вариант «Разные».
- Вы родились зимой?
- Вы принимали участие в акциях протеста летом-осенью 2020 года?
Исходя из того, что для Нейтралов и Ядра протеста известна вероятность родиться зимой (0,25), а для представителей Бастиона Лукашенко вероятность участия в протестах равно нулю, мы высчитали долю принявших участие в протестах по сегментам.
Сведения о методологии – RRT (CM)
RRT – Результаты анализа данных
- В сентябре 2020 для определения доли участвовавших в протесте использовался прямой вопрос, в ноябре 2021 – randomized response technique (crosswise model).
- В январе 2021 для определения доли участвовавших использовались агрегированные ответы на вопрос об участии в той или иной форме протестов в августе-октябре 2020 года (исследователи понимали под протестом максимально широкий набор действий, от участия в дворовых чаепитиях и рисования муралов до участия в маршах протеста).
- Динамика ответов на прямые вопросы подтверждает возрастающую сенситивность темы и совпадает с динамикой ответов на вопросы о голосе на выборах.
Сведения о методологии
- Вопросы на тему политической ориентации, позиции по отношению к власти и президенте по мнению респондентов вызывают беспокойство у подавляющего количества других участников. Учитывая, что вопрос является проективным, можно утверждать, что сами же проходящие опрос испытывают беспокойство в 70-80% случаев, что может искажать их ответы.
- Самый «обеспокоенный» сегмент при этом – Нейтралы. Вероятно, именно они чаще отвечают на вопросы с более нейтральной позиции, чем это на самом деле, из-за чувства небезопасности и страха.
Фактор страха в исследованиях на общественно-политическую тематику присутствует, но его влияние на результаты исследования скорее не существенно.
- Динамика ответов на прямые вопросы подтверждает существование определённых опасений участников опроса
- Максимально возможное искажение по отдельным вопросам, которое удалось зафиксировать команде Chatham House 8-9%.
- Значительная часть различий, наблюдаемых между ответами на прямые вопросы и ответами по специальным методикам, может объяснятся такими факторами как случайная ошибка выборки или отъезд из страны участников онлайн-панели после событий 2020.
- Наиболее подверженная страху группа - нейтралы.
- Представители этого сегмента чаще предполагают, что на вопросы анкеты другие могли отвечать неискренне, а также говорят о большей нервозности при ответах на сенситивные вопросы же время, такие люди скорее будут сдвигать распределение ответов в сторону «нейтральных» вариантов, таких как «против всех», или «затрудняюсь ответить. В шкальных вопросах они будут выбирать нечёткие утверждения.
Выводы
