О пользе исследований

«Мы примерно так и думали», – сказал заказчик, когда ознакомился с результатами моего исследования. Честно сказать, такая формулировка расстроила.

Заказчики – специалисты в своей области. Они и до исследования знали, как обстоят дела, а его итоги просто подтвердили их мнения. Получается, они приняли бы те же самые управленческие решения что с исследованием, что без него.
Роль исследования в таком случае – успокоить / придать уверенности. Это, конечно, тоже важно, но после 2-3 таких исследований наверняка возникнет вопрос: нужно ли вообще тратить на исследование деньги, если интуитивное видение совпадает с результатами?

Тогда я провел мини-эксперимент. В том исследовании я предоставлял промежуточные результаты по мере сбора данных, и заказчик еще не знал всех результатов.
Я попросил трех представителей заказчика выбрать, какой процент респондентов назвал «отсутствие парковок» как наиболее острую проблему в городе.

Вопрос анкеты:
Выскажите своё мнение: какие наиболее острые проблемы в городе требуют решения? (открытый вопрос, возможно несколько вариантов ответа)

Варианты, предложенные представителям заказчика:
a) 38%
b) 23%
c) 14%
d) 4%

Еще нужно учесть когнитивное искажение «Знание задним числом» – мы склонны воспринимать события, которые уже произошли, или факты, которые уже установлены, как очевидные и предсказуемые. Это как раз касается вышеописанного случая.

Для того чтобы количественно оценить силу интуиции, была проделана данная работа.

Если вкратце, схема получения результатов следующая: заказчикам исследования задавались вопросы о полученных количественных результатах. В итоге мы имеем результаты исследования и проценты, названные заказчиками, таблица ниже.

Изучение этих данных позволит сделать выводы о том, насколько близки интуитивное мнение и результаты исследования.

За основу этой работы я взял исследование посетителей фестиваля «Витамин науки» в 2021 г. Выбрал именно его по двум причинам:
1. Результаты исследования открыты;
2. Во время проведения фестиваля один из организаторов почти точно угадал количество посетителей фестиваля. Организатор назвал 6000, фактически пришло 6614 чел., что говорит о хорошем интуитивном знании фестиваля.

Соотношение полученных в исследовании и названных заказчиками процентов показано на рисунке 1.

Для корректной интерпретации графика поясним, каким образом он построен:

• Каждая точка на графике – это одно сопоставление фактически полученного и предполагаемого процента. Координата точки X – это фактическое значение процента, координата Y – это предполагаемое значение. Например, самая верхняя точка на графике имеет координаты (63%; 80%). Это значит, что заказчик №1 предположил 80%, на самом деле было 63%.

• Точки на графике обозначены двумя фигурами – кругами и крестиками, это позволяет отделить мнения двух заказчиков.

• Если бы заказчики точно назвали все проценты, точки на графике лежали бы только на диагонали.

Более точные выводы можно сделать из рисунка 2. К нему тоже дадим пояснения.

В предыдущем примере мы рассматривали точку с координатами (63%; 80%), разница между фактическим и предполагаемым значениями 17%.
Такие разности (ошибки) рассчитаны для каждой точки. Причем какие-то ошибки будут иметь знак плюс, какие-то минус, в зависимости от того, в какую сторону ошиблись заказчики. Ошибки +17% и -17% будем считать одинаковыми, т. к. они имеют одинаковую точность – в первом случае заказчик назвал процент больше, чем в исследовании, во втором меньше на одно и то же значение 17%.

На рисунке 2 показано, какое количество ошибок лежит в интервалах (0%–5%], (5%– 10%] и т. д.

До этого момента мы ни разу не упоминали о погрешностях. Так как в исследовании изучалась выборка, полученные количественные результаты имеют погрешности. Формально говоря, если ошибка заказчика меньше размера погрешности, мы не можем утверждать, что заказчик ошибся.
На графике ниже красным отмечены ошибки больше размера погрешности.

К графику выше следует дать одно пояснение – разброс точек вдоль оси ОХ сделан только для наглядности, чтобы точки не сливались в отрезок, этот разброс не несет смысловой нагрузки.

Получаем, что почти в половине случаев (в 43% и в 56%) заказчики ошибаются. Кстати, средние ошибки заказчиков равны 9% и 11%.

Следует сказать, что одна и та же ошибка, например в 10%, может иметь разное значение в случаях, если фактический процент равен 5% или 50%. В первом случае ошибка составляет 200% от фактического значения, во втором только 20%.
Для того чтобы учесть этот нюанс, построим график относительных ошибок заказчиков.

Поясним различия абсолютных и относительных значений ошибок на примере, таблица ниже.

В 11% случаев заказчики ошиблись более чем в 2 раза. Это много или мало? Какой размер
и/или какое количество ошибок является допустимым/нормальным? Однозначного ответа на этот вопрос нет.

В данной работе детально описаны количественные расхождения процентов, полученных в исследовании, и предполагаемых процентов. Однако слабой частью данной работы является то, что не были описаны возможные управленческие решения до исследования. Это связано с тем, что анкетирование посетителей фестиваля сделано первый раз, исследование является разведывательным. Цель такого исследования – изучить все, что можно, в надежде найти какие-либо полезные закономерности.

Предположим несколько управленческих решений, на которые может повлиять исследование:

• На кого ориентировать мероприятия для взрослых? По мнению заказчика, самая многочисленная группа до 30 лет – 50%, по результатам исследования самая многочисленная группа 35-39 лет – 31%.

• Насколько сильно нужно обновлять площадки фестиваля от года к году? По мнению заказчиков, впервые пришли на фестиваль 25% / 30% детей, были на двух фестивалях 30% / 40%, по результатам исследования впервые были на фестивале 55% детей, были на двух фестивалях 9%.

• Можно ли рассчитывать на интернет как на основной (единственный) канал продвижения фестиваля? По мнению заказчиков, количество детей, узнавших о фестивале из интернета, составляет 30%, количество взрослых – 35% / 60%, по результатам исследования количество детей – 16%, взрослых – 29%.

Последний аспект, который рассмотрен в данной статье – насколько согласованы мнения двух заказчиков. Они ошибались в одну сторону, или их мнения были часто противоположны?

Это тоже характеризует полезность исследования. Если мнения заказчиков в большинстве случаев противоположны, им будет сложнее договориться по выбору управленческих решений, и наоборот.

Степень согласованности ошибок можно выразить одним числом – коэффициентом корреляции.

Поясним смысл этого коэффициента.

Значение коэффициента корреляции лежит в интервале [-1; +1]. Чем ближе значение к +1, тем согласованнее ошибки (точки лежат в квадрантах 1 и 3).

Если значение коэффициента близко к -1, ошибки рассогласованы (точки лежат в квадрантах 2 и 4), один заказчик ошибается в плюс, второй в минус, и наоборот.

Если значение коэффициента близко к 0, точки распределены по квадрантам равномерно, и нельзя сделать вывод о согласованности или несогласованности ошибок.

Так как я лицо заинтересованное и имею некую профессиональную деформацию, вывод о том, насколько эта статья иллюстрирует или не иллюстрирует пользу исследований, делать не буду.

Вместо этого несколько слов о том, как можно углубить изучение этого вопроса. Подобную работу следует выполнить на базе нескольких исследований для бизнеса с четко определенными гипотезами и вариантами управленческих решений. Это позволит оценить, какое количество управленческих решений было изменено под влиянием исследования