Уровень поддержки специальной военной операции удерживается на высоком уровне с самого ее начала. В марте 81% опрошенных отвечал “Определенно да” и “Скорее да” на вопрос о поддержке действий вооруженных российских сил в Украине. По последним данным Левада-центра, к сентябрю опустился на 9 процентных пунктов и составляет 72%.

Левада-центр провел серию списочных экспериментов, чтобы оценить, является ли истинным наблюдаемый уровень поддержки СВО. Несмотря на некоторые доказательства довольно стабильного завышения уровня поддержки в прямом вопросе во всех волнах опроса, дополнительные тесты и плацебо-эксперименты свидетельствуют о том, что методика списочных экспериментов на данный момент не является идеальной и не может быть широко применима.

О том, с чем связаны опасения по поводу результатов опросов, насколько прямой вопрос может завышать уровень поддержки, и почему это не обязательно свидетельствует о систематических смещениях — далее в этой статье.

Что не так с опросами общественного мнения во время СВО?

Дискуссия о том, является ли наблюдаемая доля достаточно истинной, чтобы принять факт поддержки СВО большинством россиян, не прекращается на сегодняшний день. Так, например, проблему для интерпретации этих данных вызывает так называемый эффект самоотбора, связанный с систематическими отказами определенных групп населения участвовать в опросах (см. методологический эксперимент Левада-центра).

Более существенные опасения вызывает фальсификация предпочтений — ситуация, при которой вместо честного ответа на прямо поставленный вопрос респонденты сообщают то, чего от них ждет услышать воображаемое большинство. Среди причин фальсификации предпочтений называют стремление респондента к психологическому комфорту, конформное поведение и страх перед социальным осуждением или государственными санкциями. В военное время негативный эмоциональный фон и отсутствие свободного обмена мнениями может усиливать чувство тревоги и психологического давления в обществе. Следовательно, вопросы из анкеты в такой ситуации измеряют не истинное отношение респондента к предмету исследования, а социально-приемлемый взгляд.

Для того, чтобы измерять мнения респондентов по сенситивным вопросам исследователи общественного мнения используют такие методики, которые не требуют от респондента явно высказать свое мнение на прямо поставленный вопрос. Например, для этих целей в социальных науках широко применяется списочный эксперимент. Так, социологи Филипп Чапковский и Макс Шауб в начале СВО показали, что истинная поддержка может быть не такой высокой, как она представлена опросами. Полученные нами результаты также свидетельствуют о возможном смещении в прямом вопросе; однако результаты дополнительных тестов и плацебо-экспериментов не позволяют однозначно говорить о размере этого смещения.

Как работает списочный эксперимент?

Основная идея списочного эксперимента заключается в том, что вместо прямо поставленного вопроса респонденты косвенно сообщают свое мнение по сенситивным вопросам. В нашем эксперименте респонденты получили список из 3 действий российских властей:

СЕЙЧАС Я ПЕРЕЧИСЛЮ НЕСКОЛЬКО РЕШЕНИЙ ВЛАСТЕЙ РОССИЙСКОЙ ФЕДЕРАЦИИ, ПРИНЯТЫХ ЗА ПОСЛЕДНИЕ НЕСКОЛЬКО ЛЕТ.

• ПЕНСИОННАЯ РЕФОРМА
• ВВЕДЕНИЕ ЛОКДАУНА В СВЯЗИ С РАСПРОСТРАНЕНИЕМ КОРОНАВИРУСА
• ПРИНЯТИЕ ПОПРАВОК В КОНСТИТУЦИЮ РФ

Такая версия этого вопроса задавалась лишь половине случайно отобранных респондентов — так называемой контрольной группе. Вторая половина опрошенных — группа тритмента — получила аналогичный список, в который помимо 3 решений выше было включено четвертое решение — так называемая сенситивная опция:

СЕЙЧАС Я ПЕРЕЧИСЛЮ НЕСКОЛЬКО РЕШЕНИЙ ВЛАСТЕЙ РОССИЙСКОЙ ФЕДЕРАЦИИ, ПРИНЯТЫХ ЗА ПОСЛЕДНИЕ НЕСКОЛЬКО ЛЕТ.

• ПЕНСИОННАЯ РЕФОРМА
• ВВЕДЕНИЕ ЛОКДАУНА В СВЯЗИ С РАСПРОСТРАНЕНИЕМ КОРОНАВИРУСА
• ПРИНЯТИЕ ПОПРАВОК В КОНСТИТУЦИЮ РФ
• ПРОВЕДЕНИЕ СПЕЦИАЛЬНОЙ ВОЕННОЙ ОПЕРАЦИИ В УКРАИНЕ

Вместо того, чтобы попросить назвать какие конкретно решения российских властей респонденты поддерживают, интервьюеры просили их назвать число — сколько из перечисленных решений они поддерживают. В результате, по ответам одного конкретного респондента невозможно сказать точно, поддерживает ли он(а) проведение специальной военной операции.

Такая методика гарантирует анонимность ответа при соблюдении ряда методологических условий. Однако она позволяет оценить долю респондентов, поддерживающих проведение СВО — для этого среднее число, названное респондентами в контрольной группе вычитается из среднего в группе тритмента.

Результаты

На Графике 1 представлены результаты сравнения уровня поддержки СВО согласно результатам прямого вопроса и списочного эксперимента. В первой волне исследования — конец февраля — март 2022 года — разница между поддержкой в прямом вопросе и списочном эксперименте отсутствует. Во всех последующих волнах исследования — в марте, апреле, июне и августе — наблюдается статистически значимая разница, размер которой достигает 30% в последних волнах исследования.

График 1. Сравнение уровня поддержки в прямом вопросе и списочном эксперименте: (a)  сравнение по волнам исследования, (б) оценка разницы между прямым вопросом и списочным экспериментом

Стоит отметить, что между первой и последующими волнами исследования есть некоторые различия. Во-первых, различия заключаются в способе проведения опроса;  для первой волны использовался телефонный опрос по выборке из 1500 человек, в то время как во всех последующих волнах был использован метод личного интервью по выборке из 1600 человек.

Во-вторых, между первой и второй волной исследования был принят Федеральный закон от 4 марта 2022 года № 32-ФЗ, известный в СМИ как «Закон о фейках» или «Закон о военной цензуре», и предусматривающий уголовную ответственность за распространение ложной информации и дискредитации действий российской армии. Не исключено, что именно после принятия закона факт несогласия с властями РФ по необходимости проведения СВО в Украине стал сенситивной темой для обсуждения.

Тем не менее, списочные эксперименты подвергаются все большей критике; методика критикуется как с точки зрения надежности и валидности. Результаты списочных экспериментов  в нескольких волнах исследования подтверждают эти опасения. Так, например, нетипичным выглядит отклонение оценки смещения в апрельской волне опроса;  в то время как точечная оценка поддержки в прямом вопросе падает при сравнении мартовской и апрельской волн, списочный эксперимент напротив предсказывает повышение уровня поддержки. При этом, результаты волн опроса в июне и августе сопоставимы между собой.

График 2. Результат плацебо-эксперимента

Опасение вызывают и результаты плацебо-экспериментов (см. График 2). Так, мы использовали дизайн плацебо-эксперимента, опубликованный в статье Тимоти Фрая и соавторов.

СЕЙЧАС Я НАЗОВУ НЕСКОЛЬКО УТВЕРЖДЕНИЙ. НЕ ГОВОРЯ, КАКИЕ УТВЕРЖДЕНИЯ ОПИСЫВАЮТ ВАС ЛИЧНО – СКАЖИТЕ ТОЛЬКО, СКОЛЬКО ИЗ ПЕРЕЧИСЛЕННЫХ НИЖЕ УТВЕРЖДЕНИЙ ВАС ОПИСЫВАЮТ. ДАЙТЕ ОТВЕТ ОДНИМ ЧИСЛОМ — ОТ 0 ДО [3]4.

• Я МУЖЧИНА
• Я ЖЕНЩИНА
• Я ЖЕНАТ/ЗАМУЖЕМ
• [Я СТАРШЕ 55 ЛЕТ]

Идея такого эксперимента заключается в том, что доля респондентов старше 55 лет, предсказанная списочным экспериментом, должна быть сопоставимой с настоящей долей, рассчитанной по вопросу о возрасте. График 2 демонстрирует, что в первой волне опроса оценка, рассчитанная с использованием списочного эксперимента, оказалась существенно ниже.

Рекомендации для будущих исследований

Несмотря на то, что списочный эксперимент на первый взгляд кажется довольно простой и надежной методикой измерения общественного мнения по сенситивным вопросам, методологические проблемы не позволяют однозначно интерпретировать результаты. Выводы выше демонстрируют, что истинная доля респондентов, поддерживающих СВО, могла быть стабильно ниже во всех волнах опроса после принятия закона “о фейках”. Однако, низкая надежность и валидность методики не позволяют однозначно утверждать, насколько истинная доля действительно ниже.

Кирилл Чмель, Колумбийский университет

Никита Савин, НИУ ВШЭ

Израэл Маркес