Опишите Вашу задачу
Напишите нам и мы свяжемся с Вами в самое ближайшее время
Нажимая кнопку "отправить" Вы соглашаетесь на обработку персональных данных
О пользе
исследований
или
«Я ПРИМЕРНО
ТАК И ДУМАЛ»
Сергей Насонов
Что содержится в статье
Попытка количественно оценить различия между интуитивным мнением заказчика исследования и фактическими результатами исследования.
Кому статья может быть интересна

- исследователям;
- заказчикам исследований.
1
Что послужило поводом написать статью
«Мы примерно так и думали», – сказал заказчик, когда ознакомился с результатами моего исследования. Честно сказать, такая формулировка расстроила.

Заказчики – специалисты в своей области. Они и до исследования знали, как обстоят дела, а его итоги просто подтвердили их мнения. Получается, они приняли бы те же самые управленческие решения что с исследованием, что без него.
Роль исследования в таком случае – успокоить / придать уверенности. Это, конечно, тоже важно, но после 2-3 таких исследований наверняка возникнет вопрос: нужно ли вообще тратить на исследование деньги, если интуитивное видение совпадает с результатами?

Тогда я провел мини-эксперимент. В том исследовании я предоставлял промежуточные результаты по мере сбора данных, и заказчик еще не знал всех результатов.
Я попросил трех представителей заказчика выбрать, какой процент респондентов назвал «отсутствие парковок» как наиболее острую проблему в городе.

Вопрос анкеты:
Выскажите своё мнение: какие наиболее острые проблемы в городе требуют решения? (открытый вопрос, возможно несколько вариантов ответа)

Варианты, предложенные представителям заказчика:
a) 38%
b) 23%
c) 14%
d) 4%
Была большая выборка – 2000 чел., заказчику было удобно видеть промежуточные результаты опроса.
Ни один из них не выбрал правильный вариант. Получается, не по всем вопросам интуиция заказчика работала хорошо.
Еще нужно учесть когнитивное искажение «Знание задним числом» – мы склонны воспринимать события, которые уже произошли, или факты, которые уже установлены, как очевидные и предсказуемые. Это как раз касается вышеописанного случая.

Для того чтобы количественно оценить силу интуиции, была проделана данная работа.
2
Как получены выводы
Если вкратце, схема получения результатов следующая: заказчикам исследования задавались вопросы о полученных количественных результатах. В итоге мы имеем результаты исследования и проценты, названные заказчиками, таблица ниже.
Вопросы задавались двум организаторам фестиваля, для удобства далее будем называть их заказчиками. Всего им было задано 208 вопросов о процентах, полученных в исследовании.
Изучение этих данных позволит сделать выводы о том, насколько близки интуитивное мнение и результаты исследования.

За основу этой работы я взял исследование посетителей фестиваля «Витамин науки» в 2021 г. Выбрал именно его по двум причинам:
1. Результаты исследования открыты (здесь будет ссылка на отчет);
2. Во время проведения фестиваля один из организаторов почти точно угадал количество посетителей фестиваля. Организатор назвал 6000, фактически пришло 6614 чел., что говорит о хорошем интуитивном знании фестиваля.
3
Разность предполагаемых
и полученных в ходе исследования процентов (абсолютные ошибки)
Соотношение полученных в исследовании и названных заказчиками процентов показано на рисунке 1.
Рисунок 1
Для корректной интерпретации графика поясним, каким образом он построен:

Каждая точка на графике – это одно сопоставление фактически полученного и предполагаемого процента. Координата точки X – это фактическое значение процента, координата Y – это предполагаемое значение. Например, самая верхняя точка на графике имеет координаты (63%; 80%). Это значит, что заказчик №1 предположил 80%, на самом деле было 63%.

• Точки на графике обозначены двумя фигурами – кругами и крестиками, это позволяет отделить мнения двух заказчиков.

• Если бы заказчики точно назвали все проценты, точки на графике лежали бы только на диагонали.
Только на ней значения по осям X и Y совпадают.
Из этого графика можно сделать только общие выводы:
• Точных совпадений мало.
• У заказчиков есть тяга называть значения, кратные 5%.
• На графике не заполнены правый нижний и левый верхний углы. Это значит, что радикальных расхождений между мнениями организаторов и процентами, полученными в исследовании, нет.
Более точные выводы можно сделать из рисунка 2. К нему тоже дадим пояснения.
В предыдущем примере мы рассматривали точку с координатами (63%; 80%), разница между фактическим и предполагаемым значениями 17%.
Такие разности (ошибки) рассчитаны для каждой точки. Причем какие-то ошибки будут иметь знак плюс, какие-то минус, в зависимости от того, в какую сторону ошиблись заказчики. Ошибки +17% и -17% будем считать одинаковыми, т. к. они имеют одинаковую точность – в первом случае заказчик назвал процент больше, чем в исследовании, во втором меньше на одно и то же значение 17%.

На рисунке 2 показано, какое количество ошибок лежит в интервалах (0%–5%], (5%– 10%] и т. д.
Второе обозначение таких ошибок – абсолютные ошибки. Ниже будет введено понятие относительной ошибки.
Напомним, круглая скобка значения не включается в интервал, квадратная включается.
Рисунок 2
Выводы:
• количество совпадений фактических и предполагаемых значений 3,8%;
• количество ошибок меньше 5% составляет 37%;
• 78% ошибок меньше 15%;
• соответственно, в 22% случаев ошибки заказчиков составили более 15%.
При анализе рисунка 1 у меня сложилось ощущение, что заказчики сильно ошибаются. На рисунке 2 видим, что значительная часть ошибок (37%) меньше 5%. Заказчики были правы или почти правы в 41% случаев.
4
Ошибки выше уровня погрешности
До этого момента мы ни разу не упоминали о погрешностях. Так как в исследовании изучалась выборка, полученные количественные результаты имеют погрешности. Формально говоря, если ошибка заказчика меньше размера погрешности, мы не можем утверждать, что заказчик ошибся.
На графике ниже красным отмечены ошибки больше размера погрешности.
Например, в ходе опроса выяснили, что количество учащихся 5 классов среди посетителей-детей составляет 18%, при этом погрешность 8%. Получаем интервал 18% ±8% (10%; 26%); это значит, что действительное количество учащихся 5 классов лежит в этом интервале. Причем вероятность того, что лежит в границах этого интервала, составляет 95%, так как при расчете ошибки ±8% мы использовали 95% доверительный интервал. Формат документа не подразумевает подробного описания расчета доверительного интервала, подробнее об этом можно почитать в открытых источниках.
Возможно, это не заказчик ошибся, а в исследовании ошибка, такие ситуации тоже возможны.
Рисунок 3
К графику выше следует дать одно пояснение – разброс точек вдоль оси ОХ сделан только для наглядности, чтобы точки не сливались в отрезок, этот разброс не несет смысловой нагрузки.

Получаем, что почти в половине случаев (в 43% и в 56%) заказчики ошибаются. Кстати, средние ошибки заказчиков равны 9% и 11%.
5
Относительные ошибки
Следует сказать, что одна и та же ошибка, например в 10%, может иметь разное значение в случаях, если фактический процент равен 5% или 50%. В первом случае ошибка составляет 200% от фактического значения, во втором только 20%.
Для того чтобы учесть этот нюанс, построим график относительных ошибок заказчиков.

Поясним различия абсолютных и относительных значений ошибок на примере, таблица ниже.
Рисунок 4
Рисунок 5
В 11% случаев заказчики ошиблись более чем в 2 раза. Это много или мало? Какой размер
и/или какое количество ошибок является допустимым/нормальным? Однозначного ответа на этот вопрос нет.
Моим субъективным критерием полезности исследования является то, что заказчик, ознакомившись с отчетом, меняет свое мнение и управленческие решения. И чем сильнее расходятся результаты исследования и интуитивное мнение заказчика, тем полезнее исследование.
В данной работе детально описаны количественные расхождения процентов, полученных в исследовании, и предполагаемых процентов. Однако слабой частью данной работы является то, что не были описаны возможные управленческие решения до исследования. Это связано с тем, что анкетирование посетителей фестиваля сделано первый раз, исследование является разведывательным. Цель такого исследования – изучить все, что можно, в надежде найти какие-либо полезные закономерности.
Предположим несколько управленческих решений, на которые может повлиять исследование:

• На кого ориентировать мероприятия для взрослых? По мнению заказчика, самая многочисленная группа до 30 лет – 50%, по результатам исследования самая многочисленная группа 35-39 лет – 31%.
На фестивале взрослых посетителей больше, чем детей (55% и 45%).
Поэтому мероприятия для взрослых нужно ориентировать на возраст 35-39 лет.
• Насколько сильно нужно обновлять площадки фестиваля от года к году? По мнению заказчиков, впервые пришли на фестиваль 25% / 30% детей, были на двух фестивалях 30% / 40%, по результатам исследования впервые были на фестивале 55% детей, были на двух фестивалях 9%.
Через символ «/» пишем мнения двух заказчиков.
Поэтому площадки фестиваля не требуют сильного обновления от года к году.
• Можно ли рассчитывать на интернет как на основной (единственный) канал продвижения фестиваля? По мнению заказчиков, количество детей, узнавших о фестивале из интернета, составляет 30%, количество взрослых – 35% / 60%, по результатам исследования количество детей – 16%, взрослых – 29%.
Поэтому интернет нельзя рассматривать как основной/единственный канал продвижения. Количество детей, узнавших о фестивале от учителей, в два раза больше.
6
Согласованность ошибок заказчиков
Последний аспект, который рассмотрен в данной статье – насколько согласованы мнения двух заказчиков. Они ошибались в одну сторону, или их мнения были часто противоположны?

Это тоже характеризует полезность исследования. Если мнения заказчиков в большинстве случаев противоположны, им будет сложнее договориться по выбору управленческих решений, и наоборот.
Рисунок 6
Степень согласованности ошибок можно выразить одним числом – коэффициентом корреляции.

Поясним смысл этого коэффициента.

Значение коэффициента корреляции лежит в интервале [-1; +1]. Чем ближе значение к +1, тем согласованнее ошибки (точки лежат в квадрантах 1 и 3).

Если значение коэффициента близко к -1, ошибки рассогласованы (точки лежат в квадрантах 2 и 4), один заказчик ошибается в плюс, второй в минус, и наоборот.

Если значение коэффициента близко к 0, точки распределены по квадрантам равномерно, и нельзя сделать вывод о согласованности или несогласованности ошибок.
В нашем случае коэффициент корреляции равен 0,27, что говорит о наличии слабой согласованности ошибок заказчиков.
7
Вместо итоговых выводов
Так как я лицо заинтересованное и имею некую профессиональную деформацию, вывод о том, насколько эта статья иллюстрирует или не иллюстрирует пользу исследований, делать не буду.

Вместо этого несколько слов о том, как можно углубить изучение этого вопроса. Подобную работу следует выполнить на базе нескольких исследований для бизнеса с четко определенными гипотезами и вариантами управленческих решений. Это позволит оценить, какое количество управленческих решений было изменено под влиянием исследования
18 лет в маркетинговых исследованиях убеждают, что любые управленческие решения эффективнее, если они базируются на исследованиях.