После того как Дональд Трамп опроверг большинство прогнозов и выиграл президентские выборы в США, в мире снова заговорили о смерти опросной социологии. Снова, потому что за последние годы было несколько громких случаев, когда репутация опросных кампаний ставилась под сомнение. Так было в Великобритании после неожиданных итогов референдума о выходе страны из ЕС и за год до того, на выборах в парламент. Претензии к социологам возникали на парламентских выборах 2014 года в Турции и во время выборов мэра Москвы в 2013 году.
Однако при внимательном рассмотрении во всех этих случаях однозначно говорить о провале социологов вряд ли возможно. Эти кампании объединяет то, что все они были очень страстными, общественное мнение сильно менялось из-за агитации, а результаты голосования вызвали неприятие у активной части общества. Все это добавляло внимания к опросам и прогнозам. Во время тихих избирательных кампаний и страстей меньше, и предсказуемость выше: более-менее точно были спрогнозированы российские парламентские выборы этого года, результаты референдума о независимости Шотландии, предыдущие президентские выборы в США. Но далее разговор пойдет именно о просчетах.
Подвижность мнения
Общественное мнение изменчиво. Существенные изменения в политических предпочтениях могут происходить под влиянием яркой избирательной кампании или мобилизации протестного электората. Иногда общественное мнение меняется очень быстро. И результаты опросов за месяц или даже неделю до выборов могут сильно отличаться от результатов голосования. Так происходило и во время избирательной кампании в Москве в 2013 году, и в ходе только что прошедших праймериз правоцентристов во Франции.
В прошлое воскресенье Франсуа Фийон получил уверенное большинство голосов в ходе голосования. Но его преимущество перед конкурентами проявилось совсем недавно – в опросах, проведенных за неделю до выборов. Еще две-три недели назад никто не подозревал, что Фийон может одержать победу.
Сходным образом в Москве в 2013 году Алексей Навальный начинал кампанию, имея поддержку лишь 1% населения. Спустя три месяца интенсивной агитации он получил 27% голосов избирателей. Ошибка российских социологов на тех выборах заключалась прежде всего в том, что на всем протяжении кампании было проведено лишь несколько волн опросов, которые не могли зафиксировать быстрый рост популярности кандидата. Наиболее чувствительными тогда оказались ежедневные телефонные опросы, зафиксировавшие падение рейтинга кандидата от власти и рост поддержки Навального в последние недели перед голосованием.
Более того, общественное мнение может существенно меняться несколько раз в ходе агитационной кампании. Например, в Великобритании в 2012 году большинство жителей выступали за выход страны из ЕС, через три года соотношение изменилось на противоположное (43% против 36%). Но в течение последнего года перед референдумом сторонники брекзита вновь смогли перетянуть людей на свою сторону. Референдум закончился в их пользу с результатом 51,9% против 48,1%.
Прогноз или опрос
Опросы общественного мнения вообще не предсказывают результат выборов, для этого существуют прогнозы. А опросы показывают (с той или иной степенью точности) срез общественного мнения на момент проведения опроса. Однако, сделав несколько замеров, можно понять вектор изменения общественных представлений, понять, какие группы собираются идти на выборы и почему, каковы их предвыборные симпатии и так далее. Отличие прогноза от опроса состоит в том, что прогнозы представляют собой модели того, как может (но не обязательно будет) выглядеть поведение избирателей в день голосования.
Так, прогнозная модель результатов американских президентских выборов FiveThirtyEight представляет собой сложный агрегатор разнообразных опросов, к которым применяется множество экспертных поправок. Прогнозы могут и не основываться на данных опросов: например, при построении прогнозов PredictWise используются данные о рыночных ставках. В России прогнозы обычно основываются на данных предвыборных опросов, но и здесь экспертами вводятся различные поправочные коэффициенты, чтобы угадать поведение избирателей.
Дополнительная сложность в предсказании результатов выборов на основе опросов общественного мнения может быть связана с особенностями избирательной системы. Это касается и американской коллегии выборщиков, когда кандидат, получивший большинство голосов избирателей, может в итоге проиграть выборы, и британских округов, когда получившая простое большинство голосов партия получает непропорционально много мест в парламенте. Это заметно усложняет работу американских и британских прогнозистов. В России в этом плане делать прогноз проще.
Именно эксперт решает, какие факторы принимать во внимание при построении прогноза и какие поправочные коэффициенты вводить. И это одна из самых уязвимых сторон любого предвыборного прогноза. Если избирательная кампания проходит спокойно и скучно (как проходили сентябрьские выборы в России), похожа на предыдущие, если между кандидатами большой разрыв (как было на прошлых выборах президента США), значит, общественные настроения вряд ли будут сильно меняться и прогнозные модели сработают хорошо.
Напротив, если предвыборная гонка проходит напряженно, если массовые предпочтения в ходе кампании несколько раз меняются на противоположные (как это было на референдуме о выходе Британии из ЕС) или кандидатов отделяет лишь пара процентов, то правильно определить тренды будет очень сложно. В таких условиях высока вероятность, что предвыборные прогнозы окажутся неточными.
В Америке прогнозы неплохо сработали на выборах 2012 года, но не смогли предсказать результаты 2016 года. В России многие прогнозы 2011 и 2013 годов оказались неточными, так как предвыборные кампании были очень не похожи на предыдущие и оппозиционным кандидатам удалось мобилизовать протестный электорат. Но парламентские выборы 2016 года прошли довольно вяло, и большинство прогнозов оказались точны. Левада-центр, кстати, не дает предвыборных прогнозов, ограничиваясь публикацией результатов предвыборных исследований.
Ошибки опросов
Опросы общественного мнения показывают лишь приблизительные результаты. Во-первых, у каждого опроса есть своя погрешность измерения: чем меньше выборка, тем больше такая погрешность. Но чем больше выборка, тем выше стоимость проведения опроса. Погрешности в большинстве упоминавшихся опросов колебались в диапазоне 2–4%. Поэтому если во время выборов два кандидата показывают близкие результаты, которые отличаются всего на пару процентов, нельзя с уверенностью сказать, кто из них победит. Более того, если электоральные предпочтения делятся пополам (как это было на американских выборах), то, согласно законам статистики, ошибка оказывается максимальной.
Конечно, для политиков важен каждый голос. Порой даже 1% голосов может обеспечить победу. Если бы Клинтон набрала чуть больше голосов, она бы наверняка победила. В 2013 году вопрос, будет ли второй тур на выборах мэра Москвы, решился 1,37%, или 32 тысячами, голосов. Но для социолога (а не прогнозиста), напротив, результаты опроса, которые отличаются от результатов голосования на 2–3%, будут считаться успешно выполненной работой. Просто нужно отдавать себе отчет в том, что опросный инструмент имеет пределы точности.
Кроме статистической погрешности, которая есть в любом опросе, исследовательский инструмент может содержать и систематические ошибки. Так говорят, когда выборка исследования построена неправильно, смещена в сторону каких-то групп населения. Такой опрос не может представлять все население страны в целом. Говорить о том, была ли систематическая ошибка в американских опросах, пока рано, нужно внимательнее анализировать массивы данных. Но уже сейчас многие исследователи говорят о переопрошенности американцев и росте неответов на телефонные опросы в США.
С американскими выборами ирония состоит в том, что, несмотря на проигрыш по голосам выборщиков, Клинтон набрала на 1 680 572 голоса больше, чем Трамп. А это значит, что общенациональные опросы, большинство из которых проводилось по телефону, более-менее верно отражали ситуацию. Напротив, менее точными оказались те, кто с самого начала показывал лидерство Трампа (например, USC/Los Angeles Times достигал этого за счет специального взвешивания). Также недостаточно точными были опросы на уровне отдельных штатов. Таким образом, на американских выборах провалились прогнозы и региональные опросы, а общенациональные полстеры сработали более-менее сносно.
Примером влияния систематических ошибок на качество предвыборных исследований может стать случай британских социологов. Во время парламентских выборов 2015 года перекошенная выборка помешала дать верный прогноз. Однако другой опросный метод – экзит-поллы, проведенные в день выборов, – оказался довольно точен. Уже летом 2016 года, во время референдума о выходе страны из ЕС, ошибочные результаты показали только телефонные опросы (их проводили, например, Populus и ComRec). А фирмы, которые проводили онлайн-опросы (Opinium, TNS, Survation и отчасти YouGov), справились с задачей хорошо.
Приведенные примеры показывают, что никогда не стоит говорить о провале соцопросов вообще, по крайней мере до тех пор, пока не проанализированы все ошибки. Результаты опросов общественного мнения всегда носят вероятностный характер и при имеющихся характеристиках просто не могут гарантировать абсолютную точность результатов. Кроме того, некоторые опросные технологии оказываются надежнее других. Опросным центрам нужно вести постоянную методическую работу по совершенствованию выборок, а неспециалистам стоит иметь в виду, что опросные технологии имеют свои ограничения. Но альтернативы опросам общественного мнения пока не придумали.
Оригинал