План маркетингового исследования: разработка измерительного инструментария Толкование термина «измерение» различными авторами Понятие измерения по: 1. Дж. Дэвису: измерение как способ использования исследователями наблюдаемого события для вывода о понятиях, которые, возможно, не подлежат непосредственному наблюдению. измерение как способ использования исследователями наблюдаемого события для вывода о понятиях, которые, возможно, не подлежат непосредственному наблюдению. 2. Г.А. Черчиллю: измерение – это правила для численной оценки в отношении объектов, которые обладают количественными характеристиками. измерение – это правила для численной оценки в отношении объектов, которые обладают количественными характеристиками. 3. Н.К. Малхотре: измерением - это присвоение чисел и других символов характеристикам объектов по заранее определенным правилам. измерением - это присвоение чисел и других символов характеристикам объектов по заранее определенным правилам.

План маркетингового исследования: разработка измерительного инструментария Толкование термина «измерение» различными авторами 4. Д. Аакеру: измерение – это применение некоторого ранее оговоренного набора правил, по которым определенным характеристикам интересующих объектов ставятся в соответствие числа или символы. измерение – это применение некоторого ранее оговоренного набора правил, по которым определенным характеристикам интересующих объектов ставятся в соответствие числа или символы. 5. Е.П. Голубкову: измерение - это определение количественной меры или плотности некоей характеристики (свойства), представляющей интерес для исследователя. Иначе говоря, это упорядочение множества свойств реальных объектов (предметная область) относительно множества знаков (область модели-шкалы) посредством правила упорядочения, позволяющего отобразить элементы и отношения между ними в предметной области через элементы и отношения между ними в области модели- шкалы измерение - это определение количественной меры или плотности некоей характеристики (свойства), представляющей интерес для исследователя. Иначе говоря, это упорядочение множества свойств реальных объектов (предметная область) относительно множества знаков (область модели-шкалы) посредством правила упорядочения, позволяющего отобразить элементы и отношения между ними в предметной области через элементы и отношения между ними в области модели- шкалы

План маркетингового исследования: разработка измерительного инструментария Этапы процесса измерения Идентифицировать существующие понятия Разработать концептуальное определение Разработать операциональное определение Стадия 1 Идентифицировать и определить интересующие понятия

План маркетингового исследования: разработка измерительного инструментария Этапы процесса измерения Определить соответствующий формат вопросов Определить соответствующий уровень измерения Разработать инструмент измерения Определить надежность и валидность Стадия 2 Указать наблюдаемые события (индикаторы) Стадия 3 Провести оценку и пересмотр индикаторов

План маркетингового исследования: разработка измерительного инструментария Ключевые понятия процесса измерения Понятие - специально созданное наименование для свойства предметов, людей, состояний или событий (пол, возраст, приверженность марке, намерения купить, осведомленность о рекламе и т. д.). Понятие - специально созданное наименование для свойства предметов, людей, состояний или событий (пол, возраст, приверженность марке, намерения купить, осведомленность о рекламе и т. д.). Концептуальное определение – это определение, в котором конкретное построение определяется в терминах других определений из набора, иногда в форме уравнений, которые выражают отношения между ними. Концептуальное определение – это определение, в котором конкретное построение определяется в терминах других определений из набора, иногда в форме уравнений, которые выражают отношения между ними. Операциональное (операционное) определение – это определение конструкции, которое описывает операции, которые следует сделать для того, чтобы эмпирически измерить данную характеристику. Операциональное (операционное) определение – это определение конструкции, которое описывает операции, которые следует сделать для того, чтобы эмпирически измерить данную характеристику. Задачи перехода от концептуального определения к операциональному: –определение интересующей области исследования; –установление интересующего исследователя понятия; –выделение основных составляющих операционального определения (необходимо четко определить способы наблюдения за понятием и конкретизировать понятие; на этом этапе может образоваться несколько операциональных определений); –оценка и выбор наиболее подходящего операционального определения.

План маркетингового исследования: разработка измерительного инструментария Ключевые понятия процесса измерения Уровень измерения иначе называют измерительной шкалой. Уровень измерения иначе называют измерительной шкалой. Измерительный инструмент должен быть надежным, достоверным и применимым. Измерительный инструмент должен быть надежным, достоверным и применимым. Надежность – это степень стабильности измерения, где под стабильностью понимается отсутствие случайных ошибок и согласованность результатов при многократном применении измерительного инструмента. Иначе говоря, надежность – это степень, в которой различия в результатах подсчета отражают правильную разницу между индивидами по характеристикам, которые мы собираемся измерить, вне связи с постоянной или случайной ошибкой. Надежность – это степень стабильности измерения, где под стабильностью понимается отсутствие случайных ошибок и согласованность результатов при многократном применении измерительного инструмента. Иначе говоря, надежность – это степень, в которой различия в результатах подсчета отражают правильную разницу между индивидами по характеристикам, которые мы собираемся измерить, вне связи с постоянной или случайной ошибкой. Правильность измерения – это общая приемлемость данного способа измерения. Она связана с возможностью учета различных систематических ошибок. Правильность измерения – это общая приемлемость данного способа измерения. Она связана с возможностью учета различных систематических ошибок. Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Устойчивость иначе называют стабильностью. Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Устойчивость иначе называют стабильностью.

План маркетингового исследования: разработка измерительного инструментария Ключевые понятия процесса измерения Стабильность – это свидетельство надежности показателя, определяющееся при помощи измерения одного и того же объекта в два разных момента времени с последующим сравнением результатов. Стабильность – это свидетельство надежности показателя, определяющееся при помощи измерения одного и того же объекта в два разных момента времени с последующим сравнением результатов. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее. Валидность (достоверность) характеризуется высокой степенью соответствия между операциональным определением понятия и конкретными наблюдаемыми индикаторами, используемыми для фиксации измеряемого понятия, то есть валидность – это способность инструмента измерять то, что он должен измерять. Валидность (достоверность) характеризуется высокой степенью соответствия между операциональным определением понятия и конкретными наблюдаемыми индикаторами, используемыми для фиксации измеряемого понятия, то есть валидность – это способность инструмента измерять то, что он должен измерять.

План маркетингового исследования: разработка измерительного инструментария Типы измерительных шкал Номинальная (описательная) шкала используется только для классификации объектов и их идентификации по определенным категориям. Категории при номинальном измерении являются взаимоисключающими и взаимоисчерпывающими. Номинальная шкала – это условная схема маркировки. Для проведения анализа каждой категории присваиваются числа (например, 1 – мужчина; 2 – женщина). Номинальное измерение предполагает внутреннюю эквивалентность категорий, то есть все объекты, отнесенные к одной и той же категории и пронумерованные одним и тем же числом, являются идентичными. Числа в номинальной шкале не показывают количественную определенность характеристики объекта, они могут использоваться только для подсчета количества объектов. Типичным инструментарием измерения в данном случае могут быть многовариантные, дихотомические вопросы или множественный выбор. При использовании номинальной шкалы можно вычислить процентное отношение, моду, критерий хи-квадрат, биномиальный критерий.

План маркетингового исследования: разработка измерительного инструментария Типы измерительных шкал Порядковая (ранговая) шкала При ее использовании числа, присвоенные объектам отражают относительную степень важности характеристик. Объекты упорядочиваются по величине вдоль некоторой явно заданной оси измерения, обычно от большего к меньшему. Присвоенные объектам числа отличаются от номинальных чисел, так как имеют математическое значение, указывающее на положение объекта относительно других объектов на оси измерения. Порядковые измерения не могут служить основанием для определения относительного расстояния между ранжируемыми объектами, то есть производить математические операции с порядковыми цифрами (сложение, вычитание и т.д.) нельзя. Объект, находящейся на первом месте по ранговой шкале, имеет более выраженную характеристику по сравнению с тем, который находится на последующих местах, но насколько велико различие между характеристиками определить невозможно. В порядковой шкале эквивалентные характеристики объектов имеют одинаковый ранг. Можно проводить любое положительное преобразование шкал, так как кроме порядка расположения другие свойства чисел не имеют значения. С помощью порядковой шкалы можно классифицировать и упорядочивать объекты. Примером порядковой шкалы является установление предпочтений потребителей. Измерительным инструментарием является ранжирование. Кроме операций подсчета, при использовании такой шкалы можно применять статистические методы, базирующиеся на процентилях. На ее основе вычисляют процентили, медиану, ранговую корреляцию, проводят дисперсионный анализ.

План маркетингового исследования: разработка измерительного инструментария Типы измерительных шкал Интервальная шкала (шкала расстояния) числовая шкала, количественно равные промежутки, которой отображают равные промежутки между значениями измеряемых характеристик, то есть числа, используемые для ранжирования объектов, отражают одинаковые количественные приращения измеряемого признака. Иначе ее называют шкалой расстояния. Она позволяет сравнивать величины различий как между членами одного ряда, так и между разными рядами. Интервальная шкала обладает всеми характеристиками порядковой шкалы, но имеет и дополнительное свойство: с ее помощью можно вычислять расстояние между объектами. Время, температура измеряются по интервальной шкале. С цифрами, полученными по интервальной шкале можно производить математические операции. Интервальные шкалы позволяют классифицировать объекты, упорядочивать их, определять различия. Однако они не позволяют делать относительную оценку, так как нулевая точка и единицы измерения выбирается произвольно. Любе позитивное линейное преобразование сохранит свойства шкалы. Типичным примером использования таких шкал является измерение установок, мнений, восприятия. В качестве инструментария измерения выступают оценочные шкалы, семантический дифференциал, шкала Стейпла, шкала Лайкерта. На основе интервальной шкалы можно определять диапазоны, средние значения, стандартное отклонение, коэффициент корреляции, t-критерий, проводить регрессионный, факторный, дисперсионный анализ).

План маркетингового исследования: разработка измерительного инструментария Типы измерительных шкал Относительная шкала (ратио-шкала, шкала с нулевой точкой) С ее помощью можно классифицировать, упорядочивать объекты, определять различия и соотношения, так же имеет смысл расчет коэффициентов различных значений шкалы. Точка отсчета в таких шкалах выбрана не произвольно. Числа на шкале указывают на количество измеряемого свойства. Ноль – это отсутствие измеряемой величины. Относительная шкала позволяет проводить сопоставление абсолютных значений. Она допускает только пропорциональные преобразования. Типичным примером использования такой шкалы является измерение установок, мнения и восприятия. Инструментарием измерения является шкала постоянной суммы. С использованием такой шкалы можно рассчитывать среднюю геометрическую, среднюю гармоническую, коэффициент вариации. Эта шкала не лишена недостатков, а в частности, необходима высокая компетенция респондента для вынесения количественных суждений и хорошо разработанные инструкции.

План маркетингового исследования: разработка измерительного инструментария Понятие и методы шкалирования Шкалирование - измеряемые характеристики объектов размещаются вдоль последовательного ряда. Шкалирование - измеряемые характеристики объектов размещаются вдоль последовательного ряда. Методы шкалирования 1. По Н.К. Малхотре: сравнительные методы шкалирования предполагают прямое сравнение рассматриваемых объектов. Эти шкалы имеют свойства порядковых или ранговых величин. Сравнительное шкалирование так же называют неметрическим. Оно позволяет распознать незначительные различия между объектами. Сравнительные шкалы легко воспринимаются респондентами и интервьюерами. При их использовании исследователь применяет меньше теоретических допущений. Основное ограничение сравнительных шкал – порядковая природа получаемых данных и ограничение анализа рамками определенного количества рассматриваемых объектов. К методам сравнительного шкалирования относятся шкалы попарного сравнения, ранжирование (упорядоченное шкалирование), шкалы с постоянной суммой, шкалирование методом Q-сортировки. сравнительные методы шкалирования предполагают прямое сравнение рассматриваемых объектов. Эти шкалы имеют свойства порядковых или ранговых величин. Сравнительное шкалирование так же называют неметрическим. Оно позволяет распознать незначительные различия между объектами. Сравнительные шкалы легко воспринимаются респондентами и интервьюерами. При их использовании исследователь применяет меньше теоретических допущений. Основное ограничение сравнительных шкал – порядковая природа получаемых данных и ограничение анализа рамками определенного количества рассматриваемых объектов. К методам сравнительного шкалирования относятся шкалы попарного сравнения, ранжирование (упорядоченное шкалирование), шкалы с постоянной суммой, шкалирование методом Q-сортировки. несравнительные методы шкалирования состоят в самостоятельной оценке каждого объекта. Данные, получаемые при использовании таких шкал, считаются интервально или рейтингово отшкалированными. Методы несравнительного шкалирования включают рейтинговые шкалы, шкалу Лайкерта, семантический дифференциал, шкалу Стэпела. несравнительные методы шкалирования состоят в самостоятельной оценке каждого объекта. Данные, получаемые при использовании таких шкал, считаются интервально или рейтингово отшкалированными. Методы несравнительного шкалирования включают рейтинговые шкалы, шкалу Лайкерта, семантический дифференциал, шкалу Стэпела.

План маркетингового исследования: разработка измерительного инструментария Понятие и методы шкалирования 2. По Д. Аакеру: одномерная шкала предполагает измерение только одной переменной. К одномерным шкалам относятся шкалы с упорядоченным набором категорий, сравнительные шкалы, Q-сортировку, шкалирование методом парных сравнений, шкалы ранжирования, шкалы с постоянной суммой, шкалы рисунки. одномерная шкала предполагает измерение только одной переменной. К одномерным шкалам относятся шкалы с упорядоченным набором категорий, сравнительные шкалы, Q-сортировку, шкалирование методом парных сравнений, шкалы ранжирования, шкалы с постоянной суммой, шкалы рисунки. многомерные шкалы используются для измерения сложных объектов, представление о которых невозможно составить на основе только одного вопроса. На основе таких шкал можно формировать карты восприятия. К многомерным шкалам относят семантический дифференциал, шкалы ассоциаций, шкалу Лайкерта, шкалу Стэпела, шкалу Терстоуна. многомерные шкалы используются для измерения сложных объектов, представление о которых невозможно составить на основе только одного вопроса. На основе таких шкал можно формировать карты восприятия. К многомерным шкалам относят семантический дифференциал, шкалы ассоциаций, шкалу Лайкерта, шкалу Стэпела, шкалу Терстоуна.

План маркетингового исследования: разработка измерительного инструментария Процесс разработки многомерной шкалы Этапы процесса разработки многомерной шкалы по Н.К. Малхотре 1. Разработка теории 2. Общий исходный набор элементов: теория, вторичные данные, качественное исследование 3. Выбор ограниченного количества измеряемых характеристик, исходя из результатов качественного исследования 4. Сбор данных на основе большой предварительной выборки 5. Выполнение статистического анализа 6. Разработка окончательного варианта шкалы 7. Сбор данных по различным выборкам 8. Оценка надежности, достоверности и применимости шкалы 9. Подготовка окончательного варианта шкалы

План маркетингового исследования: разработка измерительного инструментария Процесс разработки многомерной шкалы Этапы процесса разработки многомерной шкалы по Д. Аакеру 1. Четко определить, что именно необходимо измерить 2. Составить список из как можно большего количества определений 3. Провести экспертную оценку первоначального набора утверждений 4. Определить тип шкалы, которая будет использоваться для проведения измерений 5. Включить в шкалу утверждения, которые будут использованы для определения достоверности результатов 6. Провести апробацию утверждений на первой выборке 7. Оценить и исправить элементы шкалы 8. Оптимизировать длину шкалы

План маркетингового исследования: разработка измерительного инструментария Процесс разработки многомерной шкалы Этапы процесса разработки многомерной шкалы по Г.А. Черчиллю 1. Определение содержания категории 2. Проведение отбора вопросов 3. Сбор данных 4. Шлифовка показателя измерения 5. Оценка достоверности

План маркетингового исследования: разработка измерительного инструментария Недостатки измерительных шкал, приводящие к ошибкам измерения 1. Отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности шкалы. Такая ошибка может возникать из-за желания учесть социально одобряемые ответы или по причине того, что градации шкалы не имеют отношения к распределению исследуемого свойства у объекта наблюдения. 2. Иногда используется только часть шкалы (положительный, отрицательный полюс или средняя область). Вместе с тем существует общее правило: каждый пункт шкалы должен набирать не менее 5% ответов, в противном случае отдельные градации шкалы признаются неработающими. 3. В некоторых случаях респонденты неравномерно используют отдельные пункты шкалы. При этом отдельные значения признака выпадают из поля зрения респондентов, а соседние градации, характеризующие более низкую или более высокую степень выраженности признака, имеют существенное наполнение. 4. Иногда шкала имеет слишком большую дробность (излишняя дифференциация шалы). В этой ситуации респонденты не могут оперировать всеми градациями шкалы и выбирают лишь несколько базовых пунктов.

План маркетингового исследования: разработка измерительного инструментария Локализация ошибок измерения Для выявления ошибок равномерного распределения по шкале можно использовать правило: для большой доверительной вероятности наполнение каждого значения не должно существенно отличаться от среднего из соседних наполнений. Для выполнения этого правила применяют критерий хи-квадрат. Неверно зафиксированные результаты исследования, некорректно проведенные расчеты, неквалифицированное использование измерительного инструментария может стать источником грубых ошибок. Проявляются такие ошибки в виде значений показателей резко отличающихся от совокупности всех остальных значений. Для отсеивания таких значений устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы малой и соответствовала уровню значимости α. Это правило основано на том, что появление в выборке больших значений возможно из-за вариации ответов, но маловероятно. Если окажется, что какие-то крайние значения совокупности принадлежат ей с очень малой вероятностью, то такие значения признаются грубыми ошибками и исключаются из рассмотрения

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения Методы оценки надежности 1. Повторное тестирование (метод тест-ретест) предполагает, что опрос респондентов проводится дважды при помощи идентичных шкал и при схожих условиях. Интервал между тестированиями составляет 2-4 недели. Степень схожести результатов тестирования оценивают с помощью коэффициента корреляции, чем он выше, тем надежнее результаты. Такие тесты позволяют оценить стабильность. Недостатки метода: увеличение промежутка времени между тестированиями снижает надежность; увеличение промежутка времени между тестированиями снижает надежность; первоначальное измерение может изменить характеристики (после первого тестирования респонденты иногда задумываются над своими суждениями и дают другие ответы на втором этапе тестирования); первоначальное измерение может изменить характеристики (после первого тестирования респонденты иногда задумываются над своими суждениями и дают другие ответы на втором этапе тестирования); запоминание высказываний, сделанных на первом этапе и их повторение на втором и последующих этапах; запоминание высказываний, сделанных на первом этапе и их повторение на втором и последующих этапах; за время между тестированиями может измениться отношение к объекту в лучшую сторону и тогда оценки на втором этапе тестирования будут изменены; за время между тестированиями может измениться отношение к объекту в лучшую сторону и тогда оценки на втором этапе тестирования будут изменены; коэффициент корреляции, рассчитываемый для сравнения результатов тестирования, может быть завышен из-за автокорреляции отдельных пунктов шкалы; коэффициент корреляции, рассчитываемый для сравнения результатов тестирования, может быть завышен из-за автокорреляции отдельных пунктов шкалы; бывают ситуации, когда невозможно провести второе тестирование (при ограничениях бюджета, изменении отношения к тестируемому объекту). бывают ситуации, когда невозможно провести второе тестирование (при ограничениях бюджета, изменении отношения к тестируемому объекту).

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения 2. Проверка надежности с помощью альтернативных форм (он же метод эквивалентного измерения) позволяет сопоставить две эквивалентные по форме шкалы. При этом одни и те же респонденты опрашиваются дважды с перерывом в 2-4 недели. Для проверки надежности определяется корреляция между результатами, полученными по двум шкалам. Недостатки метода: для использования этого способа необходимо иметь две шкалы, но на их разработку уходит много времени и ресурсов; для использования этого способа необходимо иметь две шкалы, но на их разработку уходит много времени и ресурсов; существуют сложности и с составлением двух эквивалентных шкал; существуют сложности и с составлением двух эквивалентных шкал; Эквивалентность как свидетельство надежности показателя может применяться как в случае отдельного инструмента, так и применительно к ситуации измерения. Когда она используется в отношении инструмента, эквивалентным показателем надежности является внутренняя последовательность набора характеристик, формирующих шкалу. Если она применяется относительно ситуации измерения, то эквивалентный показатель надежности показывает, получают ли разные наблюдатели или инструменты, используемые для замера одних и тех же индивидов или объектов в один и тот же момент времени, согласующиеся результаты. Эквивалентность как свидетельство надежности показателя может применяться как в случае отдельного инструмента, так и применительно к ситуации измерения. Когда она используется в отношении инструмента, эквивалентным показателем надежности является внутренняя последовательность набора характеристик, формирующих шкалу. Если она применяется относительно ситуации измерения, то эквивалентный показатель надежности показывает, получают ли разные наблюдатели или инструменты, используемые для замера одних и тех же индивидов или объектов в один и тот же момент времени, согласующиеся результаты.

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения 3. Для проверки надежности итоговой шкалы, в которой результаты по отдельным пунктам суммируются для получения общего балла, применяется проверка надежности через тестирование внутренней согласованности. В таких шкалах отдельные пункты шкалы измеряют какой-либо аспект конструкции, рассматриваемой с помощью всей шкалы, поэтому результаты по пунктам должны согласовываться между собой. Проверка надежности путем деления данных на половины предполагает деление пунктов шкалы на две половины, и затем расчет коэффициента корреляции между этими половинами. Чем выше его значение, тем выше внутренняя согласованность. Пункты шкалы разбиваются в зависимости от четности (нечетности) или случайно. Результаты тестирования будут зависеть от способа разбивки. Для оценки внутренней согласованности можно использовать коэффициент альфа. Он является средним из всех возможных половинных коэффициентов при различных делениях шкалы. Область изменения значения коэффициента от 0 до 1. Если он равен 0,6 и меньше, то внутренняя согласованность неудовлетворительна. Однако при увеличении количества пунктов шкалы показатель альфа увеличивается Коэффициент альфа определяют по формуле: где: k – количество пунктов в шкале; k – количество пунктов в шкале; - вариация результатов для пункта i по всем субъектам исследования; - вариация совокупных результатов по всем субъектам, где совокупный результат для каждого респондента представляет собой сумму оценок по отдельным пунктам - вариация совокупных результатов по всем субъектам, где совокупный результат для каждого респондента представляет собой сумму оценок по отдельным пунктам

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения Коэффициент α является не единственным измерителем надежности через согласованность. Чередующийся эквивалентный показатель используется, когда различные наблюдатели или разные инструменты замеряют одни и те же объекты в один и тот же момент времени. После проведения измерений оценивают: предоставляют ли используемые методы последовательные результаты, насколько они эквивалентны. Кроме перечисленных методов для проверки надежности шкалы можно рассчитать ряд показателей надежности. Коэффициент α является не единственным измерителем надежности через согласованность. Чередующийся эквивалентный показатель используется, когда различные наблюдатели или разные инструменты замеряют одни и те же объекты в один и тот же момент времени. После проведения измерений оценивают: предоставляют ли используемые методы последовательные результаты, насколько они эквивалентны. Кроме перечисленных методов для проверки надежности шкалы можно рассчитать ряд показателей надежности. 4. Показатель абсолютной устойчивости шкалы показывает долю совпадающих ответов в последовательных пробах (например, двух половинах выборки). Его рассчитывают по формуле: W - показатель абсолютной устойчивости шкалы; - количество респондентов, выбравших в первом - количество респондентов, выбравших в первом опросе ответ и заменивших его при повторном опросе на ; k – значения изучаемого признака. Чем выше этот показатель, тем устойчивее шкала и надежнее результаты.

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения Для описания устойчивости количественных признаков показателя абсолютной устойчивости недостаточно, так как при большом количестве градаций доля совпадающих ответов будет мала. В данном случае следует использовать величину ошибки, учитывающую степень несовпадения. Линейной мерой несовпадения оценок является средняя арифметическая ошибка различия градаций шкалы. Она показывает средний сдвиг в ответах в расчете на одну пару последовательных наблюдений. Ее определяют по формуле: - ответы по анализируемому вопросу респондента l в первом и втором опросе; - ответы по анализируемому вопросу респондента l в первом и втором опросе; п - количество респондентов. Этот показатель означает, какую долю градации шкалы все респонденты, принявшие участие в опросе не замечают, то есть истинные границы различия градаций. Средняя квадратическая ошибка для последовательных данных в расчете на одно наблюдение рассчитывается по формуле:

План маркетингового исследования: разработка измерительного инструментария Оценка инструмента измерения 5. Часто возникает необходимость в сравнении различных шкал, выборе наиболее подходящей шкалы. Для этих целей можно использовать дополнительные показатели. Относительная ошибка между крайними значениями шкалы рассчитывается по формуле: k – количество делений шкалы; k – количество делений шкалы; - разница между крайними значениями шкалы; - разница между крайними значениями шкалы; - средняя арифметическая ошибка измерения. - средняя арифметическая ошибка измерения. Этот показатель применяют редко из-за того, что иногда шкала используется не на всей протяженности. Поэтому более показательной является относительная ошибка, рассчитанная по фактически используемой части шкалы: Этот показатель применяют редко из-за того, что иногда шкала используется не на всей протяженности. Поэтому более показательной является относительная ошибка, рассчитанная по фактически используемой части шкалы: - количество градаций в используемой части шкалы. - количество градаций в используемой части шкалы. Чем выше значение, тем лучше респонденты различают градации по шкале и тем надежнее инструмент измерения. Чем выше значение, тем лучше респонденты различают градации по шкале и тем надежнее инструмент измерения.

План маркетингового исследования: разработка измерительного инструментария Этапы оценки надежности проводят предварительный контроль обоснованности методов измерения первичных данных на стадии отработки методики (проверяется соответствие информации своему назначению и пределы последующей интерпретации данных); проводят предварительный контроль обоснованности методов измерения первичных данных на стадии отработки методики (проверяется соответствие информации своему назначению и пределы последующей интерпретации данных); пилотаж методики и тщательная проверка устойчивости исходных данных, особенно выбранных показателей и шкал; пилотаж методики и тщательная проверка устойчивости исходных данных, особенно выбранных показателей и шкал; проверка уровня обоснованности измерения в период пилотажа методики; проверка уровня обоснованности измерения в период пилотажа методики; доработка методики на основе результатов пилотажа; доработка методики на основе результатов пилотажа; проверка окончательного варианта методики на устойчивость. проверка окончательного варианта методики на устойчивость.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности (валидности) – понятие валидности Достоверность (валидность) можно определить как степень, в которой различия между оценками, полученными по шкале, отражают истинные различия между измеряемыми характеристиками объектов, а не обусловлены случайными или систематическими ошибками. Достоверность можно оценить через рассмотрение: достоверности содержания; достоверности содержания; достоверности критерия; достоверности критерия; достоверности конструкции. достоверности конструкции.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – типы валидности Конструктная (понятийная; конструктивная, конструкционная) валидность. Она основывается на теории исследуемого явления и отмечает, в какой мере определенный показатель имеет связь с другими переменными в соответствии с теоретически выдвинутой гипотезой касательно измеряемых понятий. Конструкционная достоверность – это оценка того, насколько хорошо инструмент охватывает теоретическое построение, концепцию или черту, которую предполагается измерять. Для доказательства конструктной валидности, измеряемый показатель должен отвечать ряду требований: иметь положительное значение коэффициента корреляции с другими показателями того же понятия; иметь положительное значение коэффициента корреляции с другими показателями того же понятия; демонстрировать слабую корреляцию или ее отсутствие с понятиями, теоретически не связанными с данным понятием; демонстрировать слабую корреляцию или ее отсутствие с понятиями, теоретически не связанными с данным понятием; коррелировать теоретически согласованным образом с показателями понятий, связанных по смыслу с данным понятием. коррелировать теоретически согласованным образом с показателями понятий, связанных по смыслу с данным понятием.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – типы валидности Конструктная (понятийная; конструктивная, конструкционная) валидность. Для оценки конструктивной достоверности необходима теоретическая разработка сути конструкций и их соотношения с другими конструкциями. Достоверность конструкции включает конвергенгионную, дискриминантную (дифференцированную) и номологическую достоверность. Конвергенционная достоверность – это степень, в которой шкала положительно коррелирует с другими измерителями той же конструкции. Дискриминантная достоверность показывает, насколько значения шкалы не коррелируют с другими конструкциями, от которых они положительно отличаются. Номологическая достоверность определяется степенью корреляции значений конструкций, вытекающих из теории.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – типы валидности Содержательная (лицевая) валидность Содержательная валидность имеет место, если субъективные суждения профессионалов совпадают в том, что именно с помощью данного показателя операциональное определение воплощается в наблюдаемый индикатор. То есть, если измерительный инструмент адекватно охватывает наиболее важные аспекты измеряемого понятия, то он обладает содержательной достоверностью. Для достижения содержательной достоверности необходимо тщательно соблюдать процедуры разработки инструмента измерения. Содержательной валидностью обладают недвусмысленные вопросы. При ее оценке проверяют, насколько измерительный инструментарий адекватно покрывает всю область изменения. Например, недопустимо пропускать важные характеристики объекта в инструментарии.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – типы валидности Критериальная (практическая) валидность Отражает соответствие используемой шкалы переменным, которые выбраны как значимые. Она показывает, что результаты измерения отношения коррелируют с другими переменными, выбранными в качестве «критериев». Если коэффициент корреляции близок к 1, то говорят, что показатель имеет практическую достоверность. Измерительный инструмент обладает практической достоверностью, если связан с другими характеристиками индивида. Иногда такую валидность называют надежностью выбранных критериев. Критериальная валидность имеет одну из двух форм: Текущая валидность оценивается путем сравнения результатов, полученных с помощью нового инструмента, с результатами, полученными с помощью существующего инструмента. Причем и те и другие результаты собраны в одно и то же время. Текущая валидность оценивается путем сравнения результатов, полученных с помощью нового инструмента, с результатами, полученными с помощью существующего инструмента. Причем и те и другие результаты собраны в одно и то же время. При измерении прогностической валидности оценивается, насколько измеренное значение одной переменной точно предскажет значение другой переменной. При измерении прогностической валидности оценивается, насколько измеренное значение одной переменной точно предскажет значение другой переменной.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – дополнительные показатели Хорошо отлаженный процесс измерения должен отличаться применимостью или чувствительностью, то есть способностью выявить существенные различия в отношениях. Чувствительность можно обеспечить через увеличение количества категорий шкалы, но с ростом их числа будет сокращаться надежность. Поэтому следует выбрать оптимальное соотношение между всеми показателями, характеризующими качество измерительного процесса. Способы, позволяющие добиться необходимой чувствительности На основе данных последовательных измерений определяют пороги различимости градаций шкалы. В том случае, если обнаружено смещение градаций, применяют один из двух способов. 1. В итоговом варианте уменьшают дробность шкалы; 2. Для предъявления респонденту сохраняют прежнюю градацию шкалы, а при обработке результатов укрупняют ее пункты. Этот способ является предпочтительнее, так как большое количество градаций по шкале побуждает респондентов более активно продумывать вариант ответа.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – дополнительные показатели Некоторые авторы предлагают использовать для оценки процесса измерения такие показатели как обобщаемость и релевантность. Обобщаемость – это легкость, с которой шкалу можно использовать и интерпретировать ее результаты в различных условиях и ситуациях. Релевантность измерения определяет насколько его можно использовать для измерения определенного явления. Релевантность есть произведение достоверности и надежности. Если достоверность и надежность выражены в виде коэффициентов корреляции, то релевантность имеет область изменения от 0 до 1; при низкой достоверности и надежности, релевантность так же будет низка; измерение обладает релевантностью только в том случае, если оно надежно и достоверно.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – дополнительные показатели Е.П. Голубков рекомендует оценивать обоснованность измерения. Исследователь должен измерить именно то, что необходимо измерять в соответствии с целями исследования. Е.П. Голубков рекомендует оценивать обоснованность измерения. Исследователь должен измерить именно то, что необходимо измерять в соответствии с целями исследования. Для оценки обоснованности используют следующие подходы. 1. Конструирование типологии в соответствии с целями исследования на базе нескольких признаков считается формальным методом. Используя этот метод можно разработать контрольные вопросы, которые в совокупности с основными вопросами дадут большее приближение к содержанию изучаемого явления и раскроют различные его стороны. Формальных критериев позволяющих оценить обоснованность типологий не существует. Единственное требование, которое нужно соблюдать – это положительная корреляция между составляющими ее признаками. 2. Использование параллельных данных предполагает разработку двух равноправных приемов измерения признака. Этот метод позволяет установить обоснованность методов относительно друг друга. И повысить общую обоснованность путем сопоставления двух независимых результатов.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – дополнительные показатели Способы конструирования параллельных данных: 1. Несколько методов – один исполнитель. При этом один исполнитель использует два и более различных способа для измерения одного и того же свойства. Используя этот способ необходимо убедиться в непротиворечивости пунктов отдельной шкалы и согласованности оценок по разным шкалам. 2. Один метод – несколько исследователей. Если метод надежен, то разные исследователи получат схожие данные и наоборот. Для оценки согласованности оценок лучше всего подходит вычисление средней квадратической ошибки. 3. Несколько методов и несколько исполнителей. При этом разные исполнители, с помощью разных способов осуществляют измерение одной и той же переменной. В этой ситуации нельзя установить абсолютную обоснованность, но можно выбрать наиболее подходящий способ измерения через сопоставление результатов.

План маркетингового исследования: разработка измерительного инструментария Оценка достоверности – дополнительные показатели Недостатки параллельных методов: часто непонятно, в какой мере оба метода измеряют одно и то же качество объекта, а формальные критерии для ответа на этот вопрос отсутствуют. часто непонятно, в какой мере оба метода измеряют одно и то же качество объекта, а формальные критерии для ответа на этот вопрос отсутствуют. иногда вызывает сомнение теоретико- содержательное соответствие параллельных процедур (например, метод судейства генерирует определенные сложности: правильное построение процедуры отбора экспертов; оценка ошибок, вызванных установками экспертов и их отношением к объекту). иногда вызывает сомнение теоретико- содержательное соответствие параллельных процедур (например, метод судейства генерирует определенные сложности: правильное построение процедуры отбора экспертов; оценка ошибок, вызванных установками экспертов и их отношением к объекту).

План маркетингового исследования: разработка измерительного инструментария Ошибка измерения Ошибка измерения проявляется в отклонении показателя от его истинного значения. Ошибка измерения проявляется в отклонении показателя от его истинного значения. Виды ошибок измерения: 1. Систематическая ошибка постоянно влияет на измерение, отображает действие стабильных факторов, влияющих на полученный результат при каждом отдельном измерении. 2. Случайная ошибка проявляется вследствие случайных изменений или различий между респондентами или условиями, в которых проводился опрос. Она влияет на результаты несистематическим образом. 3. Общая ошибка включает как систематическую, так и случайную ошибку.

План маркетингового исследования: разработка измерительного инструментария Ошибка измерения Источниками потенциальных ошибок являются: действительные различия в тех характеристиках, которые подвергаются измерению (различия в точках зрения респондентов на один и тот же объект); действительные различия в тех характеристиках, которые подвергаются измерению (различия в точках зрения респондентов на один и тот же объект); относительно стабильные характеристики индивида, влияющие на оценку при тесте, как, например, интеллект, уровень образования, культуры; относительно стабильные характеристики индивида, влияющие на оценку при тесте, как, например, интеллект, уровень образования, культуры; краткосрочные или временные факторы (например, здоровье, эмоции, усталость, настроение); краткосрочные или временные факторы (например, здоровье, эмоции, усталость, настроение); ситуационные факторы (присутствие других людей, шум, факторы, привлекающие внимание); ситуационные факторы (присутствие других людей, шум, факторы, привлекающие внимание);

План маркетингового исследования: разработка измерительного инструментария Ошибка измерения отклонения в процессе проведения исследования (разная квалификация и манера проведения опросов интервьюерами, методы сбора данных, процедура формирования выборки); отклонения в процессе проведения исследования (разная квалификация и манера проведения опросов интервьюерами, методы сбора данных, процедура формирования выборки); набор пунктов шкалы (добавление, удаление или изменения в пунктах шкалы); набор пунктов шкалы (добавление, удаление или изменения в пунктах шкалы); неясность шкалы, инструкций или самих пунктов; неясность шкалы, инструкций или самих пунктов; механические факторы (плохое качество печати, перенасыщенность пунктами в анкете, плохой дизайн анкеты; недостаток места в анкете для записи ответов); механические факторы (плохое качество печати, перенасыщенность пунктами в анкете, плохой дизайн анкеты; недостаток места в анкете для записи ответов); различия между интервьюерами. различия между интервьюерами.