Измерение и мониторинг уровня образовательных услуг аккредитованных вузов РФ ( ) Маслак Анатолий Андреевич, доктор технических наук, профессор, руководитель научно-образовательного центра «Измерение и мониторинг качества образования», Региональный открытый социальный институт (РОСИ) Общественная аккредитация

План выступления 1. Актуальность измерений в образовании 2. Отличие измерений от оценивания в классическом тестировании 3. Измерение и мониторинг уровня образовательных услуг аккредитованных вузов России ( гг.) Общественная аккредитация2

Актуальность тематики измерения латентных переменных (1) «Измеряй измеримое и делай неизмеримое измеримым» (Галилео Галилей) «Наука начинается с измерения» (Д.И. Менделеев) «Если что-то существует, то оно существует в каком-то количестве» (Э. Торндайк) «История науки – это история измерений» (Дж. Кеттелл) Общественная аккредитация

Актуальность тематики измерения латентных переменных (2) «Когда вы можете измерить то, о чем говорите и выразить это числом, вы что-то знаете об этом. Но когда вы не можете это измерить, не можете выразить это числом, ваше знание является скудным и недостаточным» (лорд Кельвин) «Вы не можете управлять тем, чего не можете измерить» (Том Демарко) Общественная аккредитация

Актуальность тематики измерения латентных переменных (3) «Знание о том, что и как нужно измерять, является ключом к пониманию современной жизни» (Стивен Д. Левитт) Более категоричное высказывание «Все, что можно узнать, имеет число, без него ничего нельзя понять или осмыслить» (Филолаос из Кротона, 5 век до н.э.) «Миром правят числа» (Пифагор из Кротона, 6 век до н.э.) Общественная аккредитация

Актуальность измерений в современном образовании Измерения - это одна из составных частей новых образовательных стандартов, в которых представляются требования: к программам, условиям их реализации и результатам освоения образовательных программ. Важность и необходимость измерений не вызывает сомнений. Дискуссионным является вопрос о том кто, как и какими измерениями будет определять эффективность обучения. В современном обществе знание и измеряемые результаты обучения стали средством доступа к общественным благам и возможностям карьеры». Общественная аккредитация

Отличие измерений, от «оценивания» 1. Средняя успеваемость в школе (3 + 5) / 2 = 4 В школах США, Австралии A=5, B=4, C=3 (A + C) / 2 = B? 2. Покупка яблок, помидор и т.д. по весу, а не по штукам (тестовые задания различаются по трудности, так же как яблоки по весу) Общественная аккредитация

Латентная переменная это конструкт (теоретический), который представляет интерес для исследователя Общественная аккредитация

Расположение индивидов и тестовых заданий на линейном континууме Общественная аккредитация

Нелинейность тестового балла Общественная аккредитация

Основатель теории измерения латентных переменных Общественная аккредитация

Ученик 1 B.D. Wright Общественная аккредитация

B.D. Wright at his home Общественная аккредитация

Измерение и мониторинг уровня образовательных услуг аккредитованных вузов РФ Цель: - измерить в виде интегрального показателя уровень образовательных услуг аккредитованных вузов России; - провести мониторинг этого показателя; - оценить информативность индикаторов собираемых для этих целей Федеральным агентством по образованию Общественная аккредитация

Контентные группы индикаторов 1. Профессорско-преподавательской состав (без совместителей); 2. Профессорско-преподавательский состав по совместительству (без учета внутривузовского совместительства); 3. Студенты и аспиранты; 4. Подготовка научных и научно-педагогических кадров высшей квалификации; 5. Объем научных исследований в отчетном году; 6. Издательская деятельность за последние два года; 7. Бюджетные ассигнования и основные фонды по состоянию на 1 января года; 8. Передача денежных средств; 9. Общежития, столовые, профилактории, спортивные сооружения Общественная аккредитация

Профессорско-преподавательской состав (без совместителей) Общественная аккредитация17 I01 Лица, имеющие ученую степень доктора наук, чел. I02 Лица, имеющие ученое звание профессора (без учета индикатора i01), чел. I03 Доктора наук и лица, имеющие ученое звание профессора, в возрасте до 50-ти лет (одно и то же лицо учитывается один раз), чел. I04 Лица, имеющие ученую степень кандидата наук (без учета индикаторов i1 - i3), чел. I05 Кандидаты наук в возрасте до 30-ти лет (без учета индикаторов i1 - i3), чел. I06 Члены Российской академии наук, чел. I07 Члены других государственных академий России, чел. I08 Общее количество штатных преподавателей, чел.

Профессорско-преподавательский состав по совместительству (без учета внутривузовского совместительства) Общественная аккредитация18 I09 Лица, имеющие ученую степень доктора наук, чел. I10 Лица, имеющие ученое звание профессора (без учета индикатора 9), чел. I11 Члены Российской академии наук, чел. I12 Члены других государственных академий России, чел. I13 Общее количество преподавателей, работающих по совместительству, чел.

Студенты и аспиранты Общественная аккредитация19 I14 Студенты дневной формы обучения, чел. I15 Студенты очно- заочной формы обучения, чел. I16 Студенты заочной формы обучения, чел. I17 Аспиранты дневной формы обучения, чел. I18 Аспиранты заочной формы обучения, чел. I19Все иностранные граждане, обучавшиеся в отчетном году на контрактной основе, в том числе и относящиеся к индикаторам i14 - i18, чел.

Подготовка научных и научно-педагогических кадров высшей квалификации Общественная аккредитация20 I20 Количество утвержденных ВАК докторских диссертаций, защищенных в советах вуза за последние три года, един. I21 Количество успешно защищенных в советах вуза за последние три года кандидатских диссертаций, един. I22 Количество аспирантов вуза, успешно защитивших кандидатские диссертации в отчетном году, но не позднее одного года после окончания аспирантуры, чел. I23 Количество утвержденных ВАК докторских диссертаций, защищенных сотрудниками вуза за последние три года вне советов вуза, един. I24 Количество аспирантов и сотрудников вуза, успешно защитивших кандидатские диссертации за последние три года вне советов вуза, чел.

Объем научных исследований в отчетном году Общественная аккредитация21 I25 Объем госбюджетных работ и освоенных грантов на научные исследования, выполненных собственными силами, тыс. руб. I26 Объем хоздоговорных работ, выполненных собственными силами, тыс. руб.

Объем научных исследований в отчетном году Общественная аккредитация22 I27 Учебники с грифами Минобразования России и других министерств и ведомств, имеющих подведомственные вузы, един. I28 Учебники с грифами Учебно-методических объединений вузов и Научно-методических советов Минобразования России по дисциплинам, един. I29 Учебные пособия с грифами Минобразования России и других министерств и ведомств, имеющих подведомственные вузы, един. I30 Учебные пособия с грифами Учебно-методических объединений вузов и Научно-методических советов Минобразования России по дисциплинам, един.

Бюджетные ассигнования и основные фонды (индикаторы i32 - i35 по состоянию на 1 января года, следующего за отчётным) Общественная аккредитация23 I31 Сумма бюджетных ассигнований на отчетный год (без учета индикатора 25), тыс. руб. I32 Общая стоимость машин и оборудования, тыс. руб. I33 Общая площадь учебно-лабораторной базы, тыс. кв.м. I34 Общее количество персональных компьютеров и компьютерных рабочих станций в вузе, един. I35 Общее количество единиц хранения библиотечного фонда, тыс.

Передача денежных средств Общественная аккредитация24 I36 Внебюджетные средства, перечисленные вузу в отчетном году физическими и юридическими лицами (без учета индикаторов 26 и 37), включая стоимость переданного оборудования, тыс.руб. I37 Средства, полученные вузом в отчетном году за подготовку иностранных граждан (включая стоимость переданного оборудования), тыс.руб.

Общежития, столовые, профилактории, спортивные сооружения Общественная аккредитация25 I38 Обеспеченность иногородних студентов общежитием (вузы, не имеющие иногородних студентов, показывают 100), % I39 Обеспеченность местами в предприятиях общественного питания (в процентах к нормативу, норматив мест на 1000 студентов), % I40 Количество мест в санаториях-профилакториях, един. I41 Общая полезная площадь крытых спортивных сооружений, кв.м.

Высшие учебные заведения (1) Общественная аккредитация26 п/п ГруппаОбъем данных 1 Университеты Технические и технологические Архитектурные, художественные 33 4 Право 51 5 Сельское хозяйство Экономика Культура Медицина Педагогические вузы 355

Высшие учебные заведения (2) Общественная аккредитация27 п/п ГруппаОбъем данных 10 Физическая культура Консерватории Негосударственные аккредитованные (более 700 студентов) Негосударственные аккредитованные (менее 700 студентов) Социальные Разные Государственной службы Вузы сервиса Негосударственные аккредитованные (менее 100 студентов) 79

Минимальные оценки уровня образовательных услуг вузов в гг Общественная аккредитация28 Высшее учебное заведение Уровень образовательных услуг (логиты) Стандартная ошибка Год (логиты) Северо-Кавказский гуманитарный институт-6,6770, Институт правовой экономики-5,8780, Северо-Кавказский институт бизнеса, инженерных и информационных технологий-5,6450, Институт менеджеров пищевых и перерабатывающих производств-5,2140, Международный институт бизнеса, информационных технологий и финансов-5,2140, Международный институт бизнеса, информационных технологий и финансов-5,2140,452005

Максимальные оценки уровня образовательных услуг вузов в гг Общественная аккредитация29 Высшее учебное заведение Уровень образовательных услуг (логиты) Стандартная ошибка Год (логиты) Санкт-Петербургский государственный университет3,3200, Южный федеральный университет (Ростов-на-Дону)3,3200, Санкт-Петербургский государственный университет3,4260, Санкт-Петербургский государственный университет3,7510, Московский государственный университет3,9710, Московский государственный университет4,1940, Московский государственный университет4,4230, Московский государственный университет4,9130, Московский государственный университет4,9130,372006

Общественная аккредитация30 Индикаторная переменная Местоположение индикаторной переменной (логит) Стандартная ошибка (логит) I38-1,8910,023 I41-1,5300,026 I35-1,4320,038 I30-1,3130,027 I32-1,1110,039 I34-0,9560,04 I33-0,9320,036 I25-0,9010,028 I09-0,8840,037 I08-0,8630,04 I36-0,7820,035 I26-0,7610,031 I29-0,7420,024 I14-0,7230,039

Общественная аккредитация31 Индикаторная переменная Местоположение индикаторной переменной (логит) Стандартная ошибка (логит) I04-0,7000,039 I13-0,5820,036 I39-0,5320,037 I24-0,5150,036 I01-0,4030,044 I16-0,1540,032 I18-0,0660,031 I02-0,0460,030 I05-0,0370,034 I22-0,0060,029 I030,0030,032 I190,2540,028 I170,2600,032 I310,2870,030

Общественная аккредитация32 Индикаторная переменная Местоположение индикаторной переменной (логит) Стандартная ошибка (логит) I370,6190,028 I400,6810,027 I100,7080,032 I210,8260,035 I151,0210,031 I121,0670,030 I071,1030,031 I231,1060,052 I201,1600,034 I111,6130,036 I062,0710,045 I272,3780,040 I282,7010,040

Отличительные индикаторы Наиболее «легкие» индикаторы Наиболее «трудные» индикаторы Адекватные модели измерения индикаторы Неадекватные модели измерения индикаторы Общественная аккредитация

Характеристическая кривая для «легкой» индикаторной переменной 41 «Общая полезная площадь крытых спортивных сооружений» Общественная аккредитация34

Характеристическая кривая для «легкой» индикаторной переменной 35 «Общее количество единиц хранения библиотечного фонда» Общественная аккредитация35

Характеристическая кривая для «легкой» индикаторной переменной 30 «Учебные пособия с грифом УМО объединений вузов» Общественная аккредитация36

Характеристическая кривая для «трудной» индикаторной переменной 28 «Учебники с грифом УМО объединений вузов» Общественная аккредитация37

Характеристическая кривая для «трудной» индикаторной переменной 27 «Учебники с грифом Минобрнауки» Общественная аккредитация38

Характеристическая кривая для «трудной» индикаторной переменной 06 «Члены Российской академии наук» Общественная аккредитация39

Характеристическая кривая для неадекватной индикаторной переменной 39 «Обеспеченность местами в предприятиях общественного питания» Общественная аккредитация40

Характеристическая кривая для «трудной» индикаторной переменной 38 «Обеспеченность иногородних студентов общежитием ( вузы не имеющие иногородних студентов показывают 100% » Общественная аккредитация41

Распределение оценок вузов и индикаторов на шкале «уровень образовательных услуг» Общественная аккредитация42

Дисперсионный анализ уровня образовательных услуг российских вузов в годах Общественная аккредитация43 Источник дисперсии Сумма квадратов Степени свободы Средний квадратFэкспр Годы22,6945,6723,1960,012 Ошибка5937, ,775 Всего5960,

Динамика уровня образовательных услуг вузов России в годах Общественная аккредитация44 Год Образовательные услуги (логит) Стандартная ошибка (логит) 95% доверительный интервал нижняя граница верхняя граница ,1970,054-1,303-1, ,1930,051-1,294-1, ,1620,050-1,261-1, ,0250,051-1,124-0, ,0120,051-1,111-0,912

Дисперсионный анализ уровня образовательных услуг вузов РФ в зависимости от их статуса Общественная аккредитация45 Источник дисперсии Сумма квадратов Степени свободы Средний квадратFэкспр Статус вуза 3235, ,791987,7

Уровень образовательных услуг российских вузов в зависимости от их статуса Общественная аккредитация46 Статус вуза Образовательные услуги (логит) Стандартная ошибка (логит) 95% доверительный интервал нижняя граница верхняя граница Университет-0,2590,022-0,301-0,217 Академия-1,3770,034-1,444-1,309 Институт-2,5580,030-2,617-2,500

Дисперсионный анализ уровня образовательных услуг вузов РФ в зависимости от их отраслевой принадлежности Общественная аккредитация47 Источник дисперсии Сумма квадратов Степени свободы Средний квадратFэкспр Отрасль 2982, ,463196,40

Уровень образовательных услуг вузов РФ в зависимости от их отраслевой принадлежности Общественная аккредитация48 Год Уровень образовательных услуг вузов России (логит) Стандартная ошибка (логит) 95% доверительный интервал 1Университеты-0,1580,044-0,245-0,072 2 Технические и технологические -0,3430,033-0,407-0,278 3Вузы сервиса-0,5430,148-0,833-0,254 4Медицина-0,6660,066-0,795-0,537 5Экономика-0,7640,078-0,917-0,61 6Сельское хозяйство-0,9530,059-1,068-0,838 7Педагогические-1,0830,05-1,181-0,984 8Социальные-1,3330,217-1,758-0,908 9Государственные службы-1,3560,117-1,586-1,126

Уровень образовательных услуг вузов РФ в зависимости от их отраслевой принадлежности Общественная аккредитация49 Год Уровень образовательных услуг вузов России (логит) Стандартная ошибка (логит) 95% доверительный интервал 10Право-1,6200,132-1,879-1,360 11Физическая культура-1,7300,127-1,980-1, Негосударственные аккредит. (более 700 студентов) -2,0030,064-2,130-1,877 13Другие-2,0040,138-2,274-1,734 14Архитектурные и художественные-2,0160,165-2,339-1,694 15Культура-2,0200,093-2,202-1,838 16Консерватории-2,1750,229-2,625-1, Негосударственные аккредит. (менее 700 студентов) -2,9220,049-3,018-2, Негосударственные аккредит. (менее 100 студентов) -3,3790,106-3,587-3,170

Благодарю за внимание! Общественная аккредитация