Евалюація Ельжбєта Тoлвінська-Круліковська Агнєшка Фіялковська Ева Кендрацка. - презентация

1 Евалюація Ельжбєта Тoлвінська-Круліковська Агнєшка Фіялковська Ева Кендрацка

2 Вибрані дефініції Систематичний процес, який включає збір інформації та звітування про стан речей, який виконується для того, щоб полегшити процес прийняття рішень. Г. Мізерек Процес збору та інтерпретації даних з метою прийняття рішення. К. Гелловей Процес діагностувально-оціночного характеру, який включає елементи виміру, висловлення думки та прийняття рішення. Д. Д. Гілберт Систематичний і явний процес збору інформації щодо істоти, характеру і вартості певного явища. Г. Сімонс Систематичне дослідження вартості або ознак конкретної програми, дії або обєкту з точки зору прийнятих критеріїв з метою їх удосконалення, розвитку або кращого розуміння. Л. Корпорович

3 Типи наукових досліджень К. КонажевськийK. Типи наукових досліджень Теоретичні ДОСЛІДЖЕННЯ ЗАГАЛЬНІ ІНДИВІДУАЛЬНІ ПЕРЕВІРКА ЗАГАЛЬНІ ІНДИВІДУАЛЬНІ Практичні ПІЗНАННЯ ЗАГАЛЬНІ ІНДИВІДУАЛЬНІ ОЦІНКА ЗАГАЛЬНІ ІНДИВІДУАЛЬНІ

4 Розвиток евалюації Дослідження I покоління (Р. Тайлер, l. 30) – евалюація ґрунтується на вимірних даних. Дослідження IІ покоління (Л. Кронбах, l. 60) – евалюація ґрунтується та вимірних даних та описі (контекст). Дослідження IІІ покоління (Р. Стейк, l. 70) – завдання евалюації – підтримка процесу прийняття рішень в управлінні, підготовка оцінки. Дослідження IV покоління (Губа, Лінкольн, l. 80) – евалюація конструктивна – факти і процеси суспільного життя контролюються особами, які приймають у ньому участь, відсутність обєктивних суджень.

5 Розвиток функції евалюації Функції евалюаціїКому допомагає евалюація Оцінка якості програмТим, хто приймає рішення Удосконалення програм під час розробки та виконання Виконавцям Підтримка процесу прийняття рішень Експертам Вплив на політику суспільних змін Політикам НавчанняВсім задіяним особам

6 Евалюація сьогодні (IV покоління евалюації) Демократична евалюація. Характерні риси: Особи, що підлягають евалюації можуть і повинні мати вплив на її форму; Особи, що підлягають евалюації повинні приймати участь у проведенні евалюації; Всі рішення, що стосуються евалюації, повинні бути явними; Необхідно розповсюджувати результати евалюації; Евалюація повинна бути інструментом, завдяки якому навчаються всі задіяні в цей процес особи.

7 I-Probenet Create a mirror for your school з вступу Самооцінювання (автоевалюація) в школі стала ключовим елементом шкільних інновацій. Школи завжди несли відповідальність за якість, але відколи у більшості країн школи стають все більш автономними, процес забезпечення якості повинен бути частиною щоденного шкільного життя.

8 I-Probenet Create a mirror for your school з вступу Бачення (уявлення: image) школи, як організації, що навчається – вчителі та керівні кадри вчаться на своїй практиці, учні (студенти, курсанти) включені в процес автономного навчання та навчання впродовж всього життя – також ставить автоевалюацію в центрі.

9 Культура організації це система цінностей, норм, поведінки, розуміння та дій, яка була сформована і прийнята визначеною групою людей. Культура автоевалюації (самооцінювання) це включення ідеї дослідження вартості своїх дій до культури організації.

10 Евалюація у школі це систематичний збір, класифікація та оцінювання даних, що стосуються документів, дій та осіб. Евалюація проводиться за визначеними критеріями і її основною метою є прийняття рішення щодо майбутніх дій. Оцінювання в школі ред. E. Toлвінська-Kруліковська, ОРО, Варшава 2010

11 Рішення про проведення оцінювання, сферу, критерії та способи дослідження. Особа, що проводить оцінювання В середині організації Самооцінювання (автоевалюація) внутрішнє Ззовні організаціїЧуже оцінюваннязовнішнє Оцінювання в школі ред. E. Toлвінська-Kруліковська, ОРО, Варшава 2010

12 Захід, що підлягає евалюації Початкова евалюація Формативна евалюація Кінцева евадюація (сумарна) Відстрочена евалюація Види евалюації з огляду на час її проведення час

13 Елементи запланованих дій, які можуть підлягати евалюації ПОДІЇ ПРОБЛЕМА ПРОЕКТ ВИРІШЕННЯ ПРОБЛЕМИ ВИКОНАННЯ ПРОЕКТУ РЕЗУЛЬТАТИ ПОДІЇ

14 Тільки заплановані людські дії можуть підлягати евалюації. Л. Корпорович Наприклад, неможливо провести евалюацію поведінки учнів, але можемо провести евалюацію програми протидії агресивній поведінці в даній школі.

15 Етичні засади евалюації Ретельність Явність всіх дій Свідома згода всіх, хто бере участь – контракт Секретність даних Інформування всіх учасників та зацікавлених осіб

16 Етапи практичного дослідження Чому проводимо дослідження? Навіщо проводимо дослідження? Кого досліджуємо? Про що питаємо? Яким чином питаємо? Оцінюємо вартість дослідження! Як реалізуємо дослідження? Як аналізуємо дані? Для кого і як пишемо звіт?

17 Елементи проекту евалюації Мета евалюації (навіщо це все?) Сфера евалюації (що будемо досліджувати?) Ключові питання (що нам потрібно знати про обєкт дослідження?) Критерії евалюації (що буде свідчити про успіх?) Методи збору даних (якщо це можливо – методи аналізу даних) (як будемо збирати інформацію?) Визначення популяції та вибірки (звідки будемо отримувати інформацію?) Організація збору даних (хто, коли і від кого буде отримувати інформацію?) Звіт (який слід залишиться після дослідження?)

18 КЛЮЧОВІ ПИТАННЯ КРИТЕРІЇМЕТОДИВИБІРКАЗБІР ДАНИХ Це питання, на які нам необхідно відповісти в процесі евалюації. Це загальні, відкриті питання. Подробиці зясовуємо в інструментах Критерії дають можливість оцінити захід. Відповідаючи на ключові питання описуємо захід. За допомогою критеріїв можемо оцінити, чого він вартий з точки зору наших критеріїв. Вибираємо методи дослідження. Методи повинні доповнювати один одного і надати можливість отримати відповіді на ключові питання. Окреслюємо обєкти (наприклад, особи, лекції, журнали), де будемо шукати відповіді на ключові питання. Обєкти повинні бути доступними та важливими для реалізованого заходу. Розробляємо графік всього процесу дослідження і визначаємо відповідальні особи. Графік також дозволить контролю- вати етапи евалюації. Елементи проекту евалюації Мета Евалюації: Предмет евалюації

19 Предмет евалюації: заняття після уроків Мета евалюації: зібрання даних, які дозволять краще пристосувати заняття після уроків до потреб учнів школи Ключові питання КритеріїМетодиВибіркаЗбір даних 1. Як досягаються цілі занять _ Аналіз щоденників Спостереження Інтервю з вчителями - Всі щоденники - Вибрані заняття - Всі ведучі Лютий – інший вчитель Березень – шкільний психолог 2. Яка думка про заняття у учнів, батьків, вчителів? Корисність, ефективність Анкета для учнів Анкета для батьків Групове інтервю з вчителями - Всі У, що ходять на заняття + 10% інших У - Всі Б учнів, які ходять на заняття - Всі В, що ведуть заняття Останнє заняття у І півріччі - психолог Роздати учням на перших заняттях ІІ півріччя Лютий – інший вчитель 3. Результати занять Корисність, ефективність Аналіз щоденників Анкета для учнів Анкета для батьків Групове інтервю з вчителями - Всі

20 Оцінка вартості запланованого дослідження Що нового для прийняття рішення можуть принести результати запланованого дослідження? Наскільки результати дослідження будуть достовірними? Наскільки результати дослідження є необхідними для прийняття даного рішення? Які були би втрати від неправильно прийнятого рішення? Співвідношення витрат на дослідження у порівнянню з можливим прибутком, що виникає з результатів цього дослідження.

21 Методи дослідження, які використовуються під час проведення евалюації Анкетування Інтерв'ю Спостереження Аналіз документів

22 Анкетування Переваги: дослідження проводиться швидко і легко; інформація про загальність явища (питання скільки); можливість статистичного аналізу зібраних даних; анонімність. Недоліки: ґрунтується на деклараціях (думках) респондентів; виключає нетипові факти (узагальнення даних); не відповідає на питання як і чому; відсутність можливості внесення змін під час проведення дослідження; небезпека маніпулювання або неправильної інтерпретації.

23 Інтервю Переваги: погляд на дійсність з перспективи конкретних осіб; можливість зясовування, додаткових питань; можливість виправлення помилок під час дослідження; можливість індивідуалізації мови. Недоліки: процедура дослідження і аналізу даних поглинає багато часу і роботи ; відсутність анонімності; великий вплив дослідника на дослідження; відсутність можливості кількісного узагальнення результатів дослідження.

24 Спостереження Переваги: елімінування декларації o на користь фактів; можливість введення змін до процедури дослідження. Недоліки: небезпека субєктивізму; великий вплив дослідника на дослідження; процедура дослідження і аналізу даних поглинає багато часу і роботи; відсутність можливості кількісного узагальнення результатів дослідження.

25 Аналіз документів Переваги: погляд на дійсність з перспективи запланованих цілей та доказів їх досягнення. Недоліки: фрагментарність документів та відсутність знання про умови їх створення; складнощі з пошуком документів; секретність деяких документів.

26 Влучність Ретельність Тріангуляція Різні види даних Колектив евалюаторів Різні джерела Різні методи дослідження Результати евалюації

27 Виміри спостереження За участю Явний Явність цілей дослідження Короткий час спостереження Спостереження охоплює тільки фрагмент програми Без участі Прихований Потаємність цілей дослідження Довгий час спостереження, багатократність Спостереження охоплює всю програму

28 Спостереження Зрозуміти подію з перспективи учасника і описати з точки зору спостерігача. Не путати опису подій з описом реакцій на дані події. Памятати про свій вплив на ситуацію; за вами також спостерігають. Навчитись мови учасників програми та передати її у звіті. Робити докладні, конкретні нотатки, описувати. Підкреслювати графікою (курсив, лапки, інший колір) де є спостереження інших осіб, де описи, а де ваші особисті думки.

29 Чому варто спостерігати? I. Можливість зрозуміння контексту. II. Можливість самостійно побачити, як функціонує програма (реальна, а не уявна реалізація програми). III. Можливість помітити явища, на які не звертають увагу учасники програми. IV. Можливість помітити факти, про які учасники програми не бажають розповідати в анкетах або інтервю. V. Можливість використати особисті спостереження як частину зібраних даних (збільшується різносторонність аналізу ).

30 За чим спостерігати? Фізичне оточення Суспільне середовище Поведінка учасників (у формальних ситуаціях та вільному часі) Мова, яку використовують учасники Невербальна комунікація Те, що не відбулось

31 Види інтервю За планом Вільне Індивідуальне Групове

32 Фокусне дослідження Переваги: охоплення суспільного контексту, відкриття емоційного аспекту, зрозуміння результатів, гнучкість проведення дослідження. Етапи реалізації: дефініція проблеми дослідження, планування (учасники, місце, аналіз та інтерпретація результатів, звіт). Учасники: 7-12 осіб; підбір з метою дослідження; особи, що не залежать одна від одної. Модератор фокусної групи: вміння керувати дискусією, створювати сприятливу атмосферу, активно слухати (парафразування, зясовування, додаткові питання), розуміти та використовувати невербальні сигнали. Сценарій: список питань (від пару до пару десятків, на одній сторінці). Використання проекційної техніки: тест незакінчених речень, тести – малюнки, асоціація, персоніфікація, колаж.

33 Сценарій фокусного дослідження Нарис питань Обмежена кількість питань (адекватність до часу і можливостей респондентів) Основні засади впорядкування питань: - порядок, логічний з точки зору дослідження - від загальних до докладних - від легших до складніших - від нейтральних та приязних до більш клопітливих

34 Структура анкети ВСТУП назва основна інформація: хто проводить дослідження, яка мета дослідження, запрошення до співпраці, подяка за співпрацю інструкція, як відповідати на питання ОСНОВНА ЧАСТИНА питання: від загальних до конкретних логічна послідовність логічно побудований спосіб надання відповідей на питання ЗАКІНЧЕННЯ дані респондента (вік, стать, місце праці, стаж тощо) ЕСТЕТИЧНИЙ ВИГЛЯД: прозорість РОЗМІР: невеликий, наскільки це можливе

35 Як формулювати питання в анкеті Формулюйте короткі питання Формулюйте питання чітко і зрозуміло – без складних слів; не задавайте питання в негативній формі Задавайте одновимірні питання – тільки одна справа в одному питанню Використовуйте повний список можливих відповідей Не задавайте питань, які викликають заклопотаність Не задавайте питань, які натякають на відповідь

36 Види питань а анкеті Відкриті – не забагато Частково відкриті – безпечний вихід Закриті – якщо знаємо всі можливі варіанти відповідей альтернативні – так, ні або за, проти диз'юнктивні – багато відповідей, вибрати одну кон'юнктивні – багато відповідей, можна вибрати декілька Контрольні – перевіряємо щирість відповідей – використовуємо різні способи, але питаємо про те саме Фільтруючі – відсів зацікавлених осіб Проекційні – як ви думаєте, що про це думають інші? З упорядкуванням варіантів – по-черзі

37 Приклад структури звіту з проведеної евалюації Опис заходу Опис способу проведення евалюації Презентація результатів евалюації (за ключовими питаннями або критеріями); Презентація висновків (та рекомендацій) з проведеної евалюації; Додатки: Проект евалюації з інструментами Схеми Таблиці АДРЕСАТИ!

38 Організація даних у звіті з проведеної евалюації 1. Ключове питання Анкета Критерії Інтервю 2. Ключове питання Спостереження Критерії Аналіз документів 3. Ключові питання Анкета Критерії Аналіз документів

39

40 Стандарти евалюації програм корисність викональність правильність чіткість Joint Comittee od Standards for Educational Evaluation, The Program Evaluation Standards: How to Assess Evaluations of Educational Programs, 1994

41 Звіт – що необхідно продумати Для кого пишемо: Респонденти (учасники), Керівник програми, Начальник, Організації, установи (наприклад, донори), Клієнти, Інші читачі. Позиції: Естетична – приємність, добрий настрій, емоційний аспект; Наукова – поглиблення розуміння, переконання читача у якості та достовірності звіту; Моральна – зріст свідомості; Активізуюча – постачання рекомендацій щодо дій.