Измерение и мониторинг качества образования Марк Зельман Москва, 10 декабря, 2008

Когнитивное развитие : чтение, письмо, счет Творческое и эмоциональное развитие и формирование отношений и ценностей, необходимых для эффективной жизни в обществе лучшее здоровье, контролируемая рождаемость, меньшая вероятность заражения ВИЧ и развития СПИД Более высокие персональные доходы Более сильный национальный рост Хорошее качества образования предполагает: Хорошее качество образование несет личные и общественные преимущества: Что мы пытаемся измерить?

Функции оценивания Оценка учебных учреждений Описание учащихся Поддержка процесса обучения –Мониторинг обучения Происходит ли научение –Диагностирование (информирование) обучения Что не выучивается –Формативное обучение Что необходимо делать

Вы хотите сказать, что тратите миллиарды долларов и не знаете умеют ли они читать? Джон Ф. Кеннеди Пример желание политиков давать простые ответы на сложные вопросы

Примиряющий прессинг Чем яснее вы выражаете то, что вам необходимо, тем вероятнее то, что вы это получите, но менее вероятно, что это будет что-то значить В своей основе это проблема валидности.

Закон Гудхарта Все показатели теряют свою пользу, когда используются как объекты политики –Приватизация Британских ЖД –Цели в здравоохранении –Bubble учащиеся в значимых условиях

Что мы можем сказать о различиях? Ничего Если вы озадачены, вы не понимаете ситуацию И в США и в Европе есть по ~50 систем Вариативность внутри систем больше различий между ними И здесь идет…

Крайне упрощенное сравнение ЕвропейскаяАмериканская РемеслоНаука ДостижениеУсилие, Отношение ОбщественнаяЧастная ОткрытаяЗакрытая Открытые заданияВыбор ответа Принятие авторитета Подсудность

Оценка в школах Европейская традиция: –Экзамен –Обобщение –Акцент на достижениях Американская традиция: –Курсовая работа –Компонентность –Акцент на усилиях Корреляция школьных достижений с IQ: –Британия: ~0.70 –США: ~0.45

Качество в образовании Промышленный успех США в ХХ веке –Основан на массовой системе образования среднего качества В Европе выделяется: –Элитное образование высокого качества –Расширяющееся без существенной потери качества

Оценивание для отчетности Потребность в отчетности –(не позволяйте лисам охранять курятник) Введение тестов для отчетности в США В основном частные издательства Маржа доходов на тесты: 0 5% Маржа доходов на учебники: ~40%

Широкомасштабное оценивание Оценивание может быть очень значимым для –Учащихся –Учителей и школ В Европе, важные оценивания учащихся используются для оценки учителей В США оценивание школ экстраполируется до оценки учащихся

Поступление в вузы Основные вопросы –Отбор –Распределение Сочетаются во многих Европейских странах Раздельные в США

Истоки оценивания интеллекта Британская эмпиристическая традиция –Знание приходит из опыта (извне) –Тесты сенсорной точности (Галтон, Кэтеллл) –Врожденные различия в точности среди индивидуумов –Акцент на измерении Континентальная рационалистическая традиция –Знание приходит от рассуждения (изнутри) –Тесты рассуждений (Бине) –У всех учащихся одна траектория и разные скорости –Акцент на классификации

Разработка SAT 1920: создается комиссия Комитета Колледжей по вступительным экзаменам: для исследования экзаменов общего умственного развития и других новых типов экзаменов предлагаемых по нескольким учебным предметам в средних школах После еще нескольких комиссий … Тест учебных способностей (SAT) проводится для поступающих через Комитет колледжей по вступительным экзаменам в 1926

Речевые акты Перлокуционные речевые акты это утверждения о том, что было и что будет (например, Майкл умеет считать до 10) Иллокуционные речевые акты носят деятельностный характер: они производят общественные факты (например, Я объявляю вас мужем и женой)

Оценивания как речевые акты К оцениваниям в США относятся как к перлокуционным речевым актам К оцениваниям в Европе относятся как к иллокуционным речевым актам По этой причине в Европе не существует ошибки измерения

Окончание высшего образования Основные вопросы –Квалификация –Лицензирование Сочетаются в большинстве Европейских стран Разделены в США

Образовательная модель ХХ века

Образовательная модель ХХI века

Содержание XXI века Осознание глобальности Гражданская вовлеченность Бизнес, Финансовая и экономическая грамотность Учебные умения XXI века Критическое мышление Решение проблем Коммуникация Сотрудничество Творчество Самонаправленное учение Информационная и медийная грамотность Отчетность и приспособляемость Социальная ответственность Знания и умения XXI века

Добро пожаловать в критериальное оценивание Раздел Биология

Питание растений: Исследование Исходные данные Три питательных вещества Примеры номеров удобрений Эксперимент Plants produce their own food by combining water, carbon dioxide, and sunlight. In order to grow and function, they also need small amounts of other chemicals, referred to as nutrients. We are going to study the effects of three different nutrients on plants. N – Nitrogen P – Phosphorous K – Potassium Each of these nutrients affects the growth of different plant parts. Most common fertilizers contain a combination of these three nutrients. 18 – 6 – 12 – 18% nitrogen – 6% phosphorous – 12% potassium 0 – 30 – 0 – No nitrogen – 30% phosphorous – No potassium 1.On the next slide, adjust the sliders at the bottom to determine the concentration of each nutrient. 2.Press the Grow button. 3.Enter your observations in your notebook. Press Record. 4.You will receive feedback on your observations. 5.Once you are happy with your observations, you should try other combinations of nutrients.

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Laboratory Save Record Retrieve Save Grow Reset End Trials Trial #NPKRootLeafFruit Grow High Medium Low None NPK Variables: Observations: Medium N Leaves and shoots grew better More leaves grew. The new leaves are the same size as the old. Record When you say better, do you mean the leaves are larger? Are there more leaves? Be specific! Good! Your observations include more useful, detailed information. Now try another combination of nutrients.

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Laboratory Save Record Retrieve Save Grow Reset End Trials Trial #NPKRootLeafFruit Grow High Medium Low None NPK Variables: Observations: Medium N Medium P Medium K Lots of good growth More leaves grew. Roots grew longer. Fruit grew. Record Can you be more specific about which parts grew? Thats better! You have observed the effects of all three nutrients. Try another combination.

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Laboratory Save Record Retrieve Save Grow Reset End Trials Trial #NPKRootLeafFruit Grow High Medium Low None NPK Variables: Observations: High N High P High K Plant died Record Could you provide more detail about the parts of the plant?

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Save Record Retrieve Trial #NPKRootLeafFruit Variables: Observations: You have now collected quite a bit of data. 1. You should now press the Save button to save your data. Use the name assigned by your teacher. 2. You may continue working with this data later by pressing the Retrieve button and selecting your file. 3. Look over the data that you have collected. If you want to collect more data, click Back. When you are ready, click Next for the summary questions. Save Please summarize your conclusions about the three nutrients. 1. What is the effect of nitrogen on plant growth? 2. What is the effect of phosphorous on plant growth? 3. What is the effect of potassium on plant growth? It makes more leaves grow bigger It makes more roots grow It affects the fruit Very good! Can you provide more detail about the effect of potassium on fruit?

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Save Record Retrieve Trial #NPKRootLeafFruit Variables: Observations: Please respond to each of the following application questions: In the spring, you want grass to grow thick, dark leaves. In the fall, you want grass to develop a good root system for the winter. What would be the difference in the fertilizer that you use? Roots need phosphorous and leaves need nitrogen. You have correctly identified the necessary nutrients. Can you give more detail about the time of year for each nutrient and the concentration of each?

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Save Record Retrieve Trial #NPKRootLeafFruit Variables: Observations: He needs more Potassium Please respond to each of the following application questions: A friend shows you the pepper plant he was trying to grow. It is very large, with dark green leaves, but only a few very tiny peppers. What advice would you give him about how he should adjust his fertilizer? You have recognized that potassium is needed. Can you recommend a specific strength of potassium (5, 15, 30) to use?

Plant Nutrition: An Inquiry Activity Data Summary Screen Notebook Screen Save Record Retrieve Trial #NPKRootLeafFruit Variables: Observations: You would use it for plants you grow that have big roots, like carrots or potatoes Please respond to each of the following application questions: There is a fertilizer called superphosphate that contains high levels of phosphate and no nitrogen or potassium (0-30-0). What type of plants would this be used for? Good! You should also use superphosphate when planting bulbs, like tulips and onions.

Оценивание некогнитивных умений Оценка эмоционального сознания Вторник, 8 января, 2008

Цель оценивания Цель: предназначено для принятия решения о зачислении в медицинский институт, на основе оценки некогнитивных черт абитуриента через интервью, таких как лидерство, организованность, сотрудничество, коммуникативность, чувствительность и креативность Потенциальное применение: способ предсказания успешности при социальных и эмоциональных вмешательстах Целевая группа: абитуриенты медицинских учебных учреждений

Преимущества оценивания Построено вокруг единой сюжетной линии Отображает знакомую и признаваемую испытуемыми обстановку Предлагает релевантные, жизненные проблемы для оценки некогнитивных умений испытуемых Автоматизированная оценка результатов Сочетается с кластерами социальных, эмоциональных и комплексных умений для научного социального и эмоционального обучения

Добро пожаловать в оценивания некогнитивных умений

Описание задач в оценивании Click OK when you are finished. Candidates will be asked a series of questions based on the interaction of the avatars in the scenario. At the beginning of the assessment, candidates will choose avatar representations to use throughout the test, both for themselves and for classmates who have been assigned certain personality traits and work habits. To increase the realism and enjoyment of the test, avatars may be customized by the candidate.

Adams Caterers charges $40 per hour to prepare the food for a party and charges a flat fee of $100 to serve the food at the party. Примеры групп «одноклассников» Paul is new to the school and a little shy. You dont know him very well, but you have the impression that he is intelligent and hard-working. Carlos is your best friend. He tends to goof off in school and not work very hard. However, you know that he has been lonely since his older brother went to college, and you think that this project might help cheer him up. Lauren is better with computers than anyone else in your class, but you know that she can be very opinionated and sometimes hard to work with, even though she often has good ideas. She always hands her work in on time and is never unprepared for tests. Hillary is a very good writer, especially when it comes to fiction and poetry. She can be a little messy and disorganized, and often forgets when papers are due even though she does an excellent job when she does hand them in. Joe is the most popular kid in your class, and you have always wanted the chance to get to know him better. Hes always making jokes, and you know that working with him would be a lot of fun. But youre not quite sure what kind of student he is, or how seriously he would take your project. Sally is very organized and efficient: she always studies for tests, and her projects are always completed neatly and handed in on time. You dont think shes very good with computers, but you like her. You know, however, that she gets impatient with others who are not as organized as she is.

Образец вопросов (Лидерство) Your teacher has assigned your class a term project investigating your choice of a controversial issue with the potential to affect the lives of many people. Your project will require close collaboration with your teammates and will involve reading, writing, and effective use of different computer programs. To your surprise, your teacher chooses you as the leader of your team. You need to choose a team that will work well together, and also will have the best chance of producing a good final project. You have never been in charge of a team of people before, and you want to select a group that you can lead effectively.

Образец ответа (Лидерство) Drag the three students to the team room who would be the LEAST RISKY choices to produce the best final project and deliver it on time.

Образец вопроса (Сотрудничество) Click on the two students most likely to have problems working together effectively.

Образец вопроса (Организация) You need a plan! The list below details some of the steps to getting your project done. Put them into a logical order by dragging them in sequence to your teams blackboard. Compile individual research into a single document Present individual research results to the whole team for comment Research some of the possible controversial topics available Polish the final project before handing it in to the teacher Meet with your group and agree on a topic for your project Divide responsibilities for your project among the members of your team Work on the individual portion of the topic that each team member has been assigned Research some of the possible controversial topics available. Meet with your group and agree on a topic for your project. Divide responsibilities for your project among the members of your team. Work on the individual portion of the topic that each team member has been assigned. Present individual research results to the whole team for comment. Polish the final project before handing it in to the teacher. Compile individual research into a single document.

Представление результата Цель: Оценить в какой степени умения в лидерстве, организованности, взаимодействии,, чувствительности и креативности наличиствуют или отсутствуют среди учащихся Потребители: Сотрудники приемных комиссий медицинских учебных учреждений

Образец результата Имя: Jamil Chaudary Jamil performed at the following levels on the Assessment of Non-Cognitive Skills: LEADERSHIP: 87th percentile. Compared to his peers, Jamil exhibits an advanced level of skill in leading groups. ORGANIZATION: 38th percentile. Compared to his peers, Jamil needs improvement in his ability to organize his work effectively and efficiently. COOPERATION: 67th percentile. Compared to his peers, Jamil displays an average level of skill in working with others in a team environment. COMMUNICATION: 40th percentile. Compared to his peers, Jamil needs to improve his ability to communicate effectively with different audiences. SENSITIVITY: 65th percentile. Compared to his peers, Jamil displays an average level of sensitivity to emotional dynamics. CREATIVITY: 92nd percentile. Compared to his peers, Jamil exhibits an advanced level of creativity in approaching problems and offering solutions.

Обобщая Извне, любая национальная система оценивания кажется действующей на практике, а не в теории Системы оценивания разумнее, чем кажутся … …и четко подстроены под ограничения и возможности, определяемые контекстом их функционирования. Мы можем учиться на них, но не можем испортировать

Конец Спасибо