Стандартизация психологических тестов: проблема формирования репрезентативной выборки Т.А.Мешкова, Л.С.Куравский, С.Б.Малых. Московский городской психолого- педагогический университет

Стандартизация психологических тестов: проблема формирования репрезентативной выборки

Выборочный метод Выборочный метод - отбор из популяции ограниченной группы людей, на которой проводится реальный эксперимент или обследование Репрезентативная выборка должна максимально точно воспроизводить состав популяции. Проводя исследование, можно ограничиться репрезентативностью только для тех характеристик, которые представляют интерес.

Выборка стандартизации Выборка для получения популяционных норм при стандартизации психологических тестов Получение популяционных норм является необходимым этапом разработки и стандартизации психологических тестов

Выборка стандартизации Выборка стандартизации должна максимально точно отражать ту категорию людей, для которой предназначен тест, иначе тест не может быть использован для целей диагностики или отбора Для использования теста в научных целях нормы не столь необходимы

Скрининговые исследования Широкомасштабные скрининговые (популяционные, эпидемиологические) исследования также требуют получения популяционных норм

Вероятностный отбор Основной принцип вероятностного отбора – обеспечение для всех членов популяции равной вероятности попадания в выборку. Вероятностный отбор позволяет: 1) избежать сознательных и неосознанных предпочтений со стороны исследователя, 2) определять степень достоверности полученных оценок.

Вероятностный отбор Реальные популяции гетерогенны (по полу, возрасту, национальной принадлежности, уровню образования и т.д.). Репрезентативная выборка должна отражать гетерогенность популяции. Смещенные выборки не отражают реальные характеристики популяции. Для исследовательских целей требования к репрезентативности выборки не столь велики, как при стандартизации и необходимости прогноза.

Основные понятия Элемент – объект анализа, о котором собирается информация (люди, семьи, школы, классы и т.п.) Популяция – заданная совокупность элементов исследования. Описание популяции должно включать определение элемента (возраст, место жительства, время исследования, характеристики семьи и т.п.). Например, понятие «детская популяция» является достаточно размытым. Необходима конкретизация.

Основные понятия Исследуемая популяция – совокупность элементов, из которых формируется выборка. Никогда не бывает так, что каждый элемент популяции имеет возможность попасть в выборку Единица отбора – элемент или множество элементов, которые составляют выборку на некотором этапе отбора (город, район, школа, дети, причем только дети одновременно являются элементами)

Основные понятия Структура (основа) выборки (выборочный фрейм) – совокупность единиц отбора, из которых фактически формируется выборка на некотором этапе данного отбора. Структурой могут быть различные списки, карты и схемы территорий. Объект наблюдения – источник или совокупность источников, из которых поступает информация (объектами наблюдения могут быть классные руководители, родители, а объектом анализа – дети)

Основные понятия Переменная – множество взаимоисключающих характеристик, таких как пол, возраст, школьные оценки и т.д. Элементы популяции описываются в терминах их индивидуальных характеристик. Переменная подразумевает изменчивость. Если характеристика является одной и той же для всех элементов, то говорят о константе популяции (например, только девочки)

Основные понятия Параметр – любая функция данной переменной в популяции Статистика – любая функция данной переменной в выборке Важная часть исследовательской работы – оценка параметров популяции на основе анализа выборок. Выборочные статистики используются для оценки параметров популяции.

Основные понятия Ошибка выборки. Методы вероятностного отбора практически не позволяют получать статистики, в точности равные параметрам популяции. Теория вероятностей позволяет оценивать значения ошибок, ожидаемых при данной организации отбора. Уровни доверия и доверительные интервалы. Используются для выражения точности выборочных оценок. Говорят, что статистика с указанным уровнем доверия попадает в заданный интервал значений параметра.

Способы формирования репрезентативных выборок Хорошо отобранная выборка предоставляет информацию, подходящую для описания популяции из элементов которой она составлена Существует несколько методов для составления выборки, гарантирующих ее репрезентативность При определении размера выборки необходимо учитывать ошибку выборки, что делается далеко не всегда (ограниченные ресурсы)

Способы формирования репрезентативных выборок В исследованиях, ведущихся с применением многомерного анализа, включающего большое число переменных, размер выборки имеет принципиальное значение: на каждую переменную должно приходиться достаточное количество случаев, чтобы процедура была осуществима

Способы формирования репрезентативных выборок Существуют несколько различных схем, применяемых для формирования выборок: простая случайная выборка систематическая выборка стратифицированная выборка многоступенчатая кластерная выборка многоступенчатая стратифицированная выборка выборка с вероятностью отбора, пропорциональной размеру

Случайный и систематический отбор Простая случайная выборка может формироваться на основе любого списка (структура выборки) с использованием таблицы случайных чисел Систематическая выборка может быть составлена на основе того же списка, если в выборку включается каждый k-й элемент списка

Случайный и систематический отбор

Общий размер популяции элементов. Число элементов в отдельных классах: - 100, - 86, - 74, - 40.

Случайный и систематический отбор

Стратификация Стратификация не является альтернативой для случайного и систематического отбора, а представляет лишь их модификацию Стратификация позволяет получить более высокую степень репрезентативности выборки и уменьшить ошибку вероятностного отбора Выборочная ошибка уменьшается под действием двух факторов: 1) С увеличением объема выборки 2) С увеличением гомогенности популяции Основная функция стратификации – организовать популяцию в гомогенные подмножества

Стратификация По каким переменным проводить стратификацию? Это зависит от гипотез исследования и доступности информации об этих переменных При стандартизации психологических тестов чаще всего выборки стратифицируются по полу и возрасту, географическому региону Социальный статус, уровень образования, этническая принадлежность также могут быть основанием для стратификации, но не во всех списках могут быть такие сведения

Способы стратификации 1) Сортировка элементов популяции на отдельные группы. Составление выборок на основе списков этих групп в тех пропорциях, которые характерны для популяции 2) Такая же сортировка на группы, но затем объединение групп в единый список и затем систематический отбор со случайным стартом (как в уже приведенном примере). Предварительно систематизированные списки необходимо проверить на наличие периодичности. Структурированный список может быть более полезным

Многоступенчатая кластерная выборка Чаще всего исследования требуют составления выборок из таких популяций, в которых трудно составить списки для целей отбора (города, области, регионы) В таких случаях схема отбора более сложна. Она включает в себя начальный отбор особых групп элементов – кластеров, после чего следует отбор элементов внутри каждого кластера Кластерный отбор используется в тех случаях, когда невозможно составить полный список необходимой популяции (например, все дети Москвы)

Многоступенчатая кластерная выборка

Многоступенчатый кластерный отбор включает в себя два основных этапа: составление списка и собственно отбор. Составляется список первичных единиц, он может быть стратифицирован, составляется выборка. Затем из этой выборки снова составляется список, проводится стратификация и т.д. Схема отбора: Список1-стратификация – выборка1- список2-стратификация- выборка2 и т.д.

Многоступенчатая кластерная выборка Кластерный отбор весьма рекомендован, благодаря своей эффективности, однако цена этой эффективности – утрата точности – с каждой ступенью отбора нарастает ошибка выборки Ошибку выборки можно уменьшить за счет двух факторов – увеличения выборки и повышения гомогенности элементов внутри кластеров Общей линией для составления кластерной выборки является максимальное увеличение количества кластеров с уменьшением числа элементов внутри кластера

Многоступенчатая стратифицированная выборка Кластерная выборка, в которой применяется процедура стратификации. Например, при отборе общенациональной выборки школ можно стратифицировать их список по географическому региону, размеру, сельскому или городскому местоположению, специализации и т.д. Если кластеры скомпонованы в гомогенные страты, ошибка выборки будет уменьшена

Выборка с вероятностью отбора, пропорциональной размеру Кластеры могут значительно отличаться по размерам В большинстве крупномасштабных исследований используется именно этот тип выборки, при этом каждый элемент популяции также имеет одинаковую вероятность быть выбранным. Например, школа, состоящая из 50 классов получает двойной шанс по сравнению со школой из 25 классов Эта схема отбора наиболее эффективна при ограниченных ресурсах

Выборка с вероятностью отбора, пропорциональной размеру Согласно эмпирической рекомендации более целесообразно увеличивать количество кластеров, уменьшая число содержащихся в них элементов. Минимальное рекомендуемое число элементов в кластере равно 5. Чтобы набрать репрезентативную выборку из 500 классных руководителей, лучше опросить по 5 человек в 100 школах, чем по 20 человек в 25 школах.

Расчет вероятности Необходимо опросить 500 классных руководителей. В городе 1000 школ, в которых обучается в общей сложности классов. Воспользуемся схемой отбора с вероятностью, пропорциональной размеру: отберем 100 школ с вероятностью, пропорциональной размеру. В каждой школе отберем 5 классных руководителей.

Расчет вероятности Вероятность отбора кластера равна его пропорциональной доле среди всех элементов популяции, помноженной на количество отобранных кластеров: Если в школе 1 50 классов, ее вероятность быть выбранной равна 50 классов (в школе)/ классов (в городе) х 100 школ (к-во кластеров) = 0,1 Если в школе 2 10 классов, ее вероятность быть выбранной равна 10 классов (в школе)/ классов (в городе) х 100 школ (к-во кластеров) = 0,02 В выбранном кластере вероятность отбора элемента равна количеству элементов, выбираемых в каждом кластере, деленному на то количество элементов, которое имеется в данном кластере: Для школы 1 она равна 5/50=0,1 Для школы 2 она равна 5/10=0,5 Перемножая вероятности, определяем вероятность отбора элемента: Для школы 1 0,1х0,1=0,01 Для школы 2 0,02х0,5=0,01

Этапы работы Выбор доступных списков (например, школы или детские поликлиники) Стратификация по районам города Отбор кластеров (например, 20 поликлиник) Составление списков детей Систематический отбор детей со случайным стартом (по 5 детей каждого пола и возраста) Тестирование детей и обработка результатов

Возможные схемы составления списков Пример 1 Необходимо составить выборку из 1000 учащихся. Пусть в городе имеется 400 школ, в которых обучается детей Воспользуемся схемой систематического отбора со случайным стартом и вероятностью, пропорциональной размеру. Отберем для исследования 40 школ по 25 человек в каждой. Составим таблицу (аналог списка)

Возможные схемы составления списков Пример 1

Кумулятивные суммы – аналог общего списка учащихся Определим шаг (интервал) выборки: (размер популяции)/40 (число школ)= 1250 По таблице случайных чисел определим число для случайного старта, лежащее в пределах от 1 до Предположим, это 653. Это число попадает на контингент учащихся школы 2. Эта школа включается в выборку. Следующий номер ( =1903) приходится на контингент школы 4, которая также включается в выборку и т.д., пока не наберем 40 школ. В этой схеме вероятность попадания школы в выборку пропорциональна ее размеру. Далее в каждой школе проведем отбор 25 учащихся в соответствии с задачами работы по схеме систематического отбора.

Возможные схемы составления списков Пример 2 Необходимо составить выборку для стандартизации методики, рассчитанной на контингент детей 6-15 лет. Объем ресурсов позволяет сделать это на выборке из 2000 человек в условиях крупного города. Стандартизация для каждого возраста проводится независимо. Выборка должна включать два пола – мальчиков и девочек.

Возможные схемы составления списков Пример 2 Следовательно, мы должны провести 20 независимых исследований (10 возрастов и 2 пола). Таким образом, выборка для каждого сочетания пола и возраста составит 100 человек. Необходимо решить, какой схемой формирования выборки воспользоваться (через поликлиники или через школы). Необходимо получить соответствующую статистическую информацию. В соответствии с эмпирическими рекомендациями в каждом кластере будем отбирать по 5 человек для каждого сочетания пола и возраста (10х2х5=100). Чтобы получить общий объем выборки в 2000 детей, необходимо отобрать 20 кластеров (2000/100=20), т.е. 20 поликлиник или 20 школ. Желательно провести стратификацию по районам города (для поликлиник и школ), а для школ еще и по типам учебных заведений.

Возможные схемы составления списков Пример 2 Кластер – множество детей, посещающих определенное учебное заведение В кластере выбирается по 5 человек для каждого сочетания пола и возраста Количество кластеров равно 20 Учебные заведения учитываются в обезличенном виде Применяется стратификация

Примеры конкретных исследований DIAL-R - скрининговый тест для дошкольников (США) На территории США было основано 8 стандартизационных площадок в соответствии с регионом и числом населения. На каждой площадке планировалось протестировать 320 детей 2-6 лет, стратифицированных по возрасту и полу (8 возр.х2 пола). Всего 2560 детей. Чтобы были представлены меньшинства, планировалось протестировать примерно равные количества детей- кавказоидов и представителей меньшинств и затем применить взвешенные оценки. Статистические пропорции основывались на данных переписи. Процесс тестирования занял 19 месяцев. Всего охвачено 2447 детей.

Проблема размера выборки Пол Клайн считает, что для получения популяционных норм необходима выборка порядка испытуемых, выборка должна быть стратифицирована, и в каждой подгруппе должно быть как минимум 300 человек. Например, при стратификации по 5 географическим регионам, 10 возрастам и полу общий объем выборки составит 5х10х2х300=30000 человек, что потребует немыслимых материальных ресурсов. Большинство реальных проектов используют различные способы стратификации, что позволяет сократить объемы выборки, не теряя точности. Например, в проекте DIAL-R, размер подгруппы составлял всего 10 человек (4 региона, 2 размера сообщества, 2 расы, 8 возрастов, 2 пола; 4х2х2х8х2=256; 2560/256=10)

Проблема размера выборки Существует ошибочное мнение, что с увеличением объема выборки повышается надежность результатов Если в ходе отбора происходит систематическое смещение, увеличение объема выборки его не компенсирует Любая выборка, составленная по принципам вероятностного отбора будет лучше той, где такие принципы не применялись Строго говоря, для смещенных выборок неприменимы способы оценки достоверности результатов

Возможные схемы составления списков ИТОГ Когда невозможно составить список всех представителей популяции, необходимо использовать разбиение на кластеры и составлять списки только тех элементов, которые входят в выбранный кластер. Чтобы уменьшить ошибку выборки, следует на каждом уровне выборки по возможности проводить стратификацию. Желательно уменьшать количество уровней выборки. Лучше ограничиться двухуровневой выборкой. Следует увеличивать количество кластеров, уменьшая количество элементов (рекомендуется 5). Объем выборки должен определяться имеющимися ресурсами, соответствовать определенным статистическим параметрам и опираться на соображения здравого смысла. Популяционные исследования, стандартизация методик и исследования, связанные с прогнозом, требуют тщательного планирования выборки, включая получение необходимых статистических и демографических данных.

Популяционное исследование с применением двух схем отбора (поликлиники и школы) Цель исследования – получение статистических параметров для популяции детей младших классов, имеющих трудности в обучении. Исследование проведено на базе одного муниципального округа Москвы. В округе 1 поликлиника и 7 школ. Предполагалось составить 2 выборки по 500 человек (одну – на базе списков школ, другую- списков поликлиники).

Популяционное исследование с применением двух схем отбора (поликлиники и школы) Списки поликлиник были составлены по участкам и на каждом участке по годам рождения. После этого был составлен единый список (участок за участком, в пределах участка – год за годом). Был определен шаг («каждый шестой») со случайным стартом. В результате было отобрано 500 детей, но примерно 50% записей имели дефекты (не указаны необходимые данные, неразборчивость), поэтому снова был выбран шаг («каждый третий») и было проведено вторичное составление списка. Последующая работа со списком показала, что многие сведения ошибочны. В результате по спискам поликлиники удалось собрать сведения на 272 детей (вместо 500)

Популяционное исследование с применением двух схем отбора (поликлиники и школы) В школах сначала были получены сведения о количестве детей интересующих нас годов рождения. Затем пропорционально этому количеству, определялся объем выборки на каждую школу. В соответствии с этим вычислялся шаг отбора и со случайным стартом осуществлялся отбор. Каждый участник проекта получал алгоритм отбора, включающий размер шага выборки и номер случайного старта.

Популяционное исследование с применением двух схем отбора (поликлиники и школы)

Выборка на основе списков школ была сформирована практически полностью. Если ребенок попадал в 2 списка сразу, данные на него собирались только один раз. В результате данные по спискам поликлиники и школ были собраны на 712 детей трех возрастов. Результаты исследования позволили получить всевозможные статистические показатели, характеризующие успешность обучения младших школьников одного из районов Москвы и выявить наиболее типичные проблемы, мешающие обучению детей. Сравнение данных, полученных на двух независимых выборках, продемонстрировало их тождественность.

Популяционное исследование с применением двух схем отбора (поликлиники и школы)

Точность полученных оценок зависит от конкретных значений и объема выборок (Половина длины 95%-го доверительного интервала) Процент испытуемых, обладающих заданным признаком ___ _ _ _ ---- вся выборка (704) школы (465) поликлиники (239)

Заключение Проблемы организации выборок важны для любых психологических исследований Формирование выборки является принципиальным моментом при получении популяционных норм (стандартизация тестов), при прогнозе, мониторинге и любых широкомасштабных популяционных исследованиях Математические методы оценки надежности результатов неприменимы для выборок, составленных не по принципам вероятностного отбора