Американские исследователи Майкл Роббинс (Michael Robbins) и Нобл Куриакос (Noble Kuriakose) представили новый статистический тест, позволяющий выявлять долю сфабрикованных данных в социологических опросах. Применив инструмент для оценки более тысячи проведенных исследований, ученые пришли к выводу, что подтасовки содержатся почти в 20% из них, сообщается в материале на сайте журнала Science.
В основе нового инструмента — оценка вероятности того, что дадут очень схожие ответы на вопросы по результатам опроса. Роббинс и Куриакос обосновали «норматив» —насколько схожи должны быть ответы, чтобы это было подозрительным.
Проведенное моделирование показало, что критическая точка здесь — это 85%. Например, если в анкете 100 вопросов и на нее ответило 100 человек, то в норме лишь 5 или менее человек ответят одинаково на 85 вопросов.
При этом правило 85% не подходит для всех видов обследований. Например, в опросах по удовлетворенности клиентов каждый вопрос измеряет характеристики одного и того же продукта или компании, то есть вопросы не являются независимыми друг от друга, а значит, правило не может работать. Оно также не работает для исследований последствий для здоровья, в них у всех здоровых людей будут одинаковые ответы. Но для крупномасштабных опросов общественного мнения, охватывающих широкие темы и содержащих много вопросов, это, по мнению ученых, очень эффективный метод выявления сфабрикованных данных.
Ученые применили тест к данным 1008 исследований, подходящих под эти критерии, в каждом из них было опрошено более тысячи человек по минимум 75 вопросам по разные темы. В среднем, сфабрикованные данные обнаружились в 17% опросов, при этом цифра сильно отличалась в зависимости от страны проведения: в развитых странах она составляла, в среднем, всего 5%, тогда как в развивающихся — около 26%, то есть четверть всех проведенных опросов оказались недостоверными. По мнению ученых, главная проблема в том, что поквартирный опрос во многих развивающихся странах может быть по-настоящему опасным для интервьюера, потому они так часто заполняют анкеты сами.
Впервые о своих результатах ученые объявили в 2015 году, вызвав бурную реакции коллег. Особенно активно высказывала свою позицию крупнейшее агентство по социологическим исследованиям США Pew Research Center, компания выступила с публичным заявлением о несогласии с результатами и требованием отказать Роббинсу и Куриакосу в публикации их статьи. Тем не менее, в декабре 2015 года статья была принята к публикации и скоро выйдет в журнале Statistical Journal of the IAOS.
