МАУ ДО Городской Дворец творчества детей и молодежи

«Одаренность и технологии»

Обеспечение объективности оценочной процедуры

в рамках городских мероприятий на базе образовательных организаций

Марьина Надежда Геннадьевна,

методист

г.Екатеринбург

2021 г.

На базе образовательных организаций в городе Екатеринбург реализуется комплекс городских конкурсных мероприятий, ставящих перед собой цель выявление, сопровождение и поддержку одаренных детей, реализацию их личностного потенциала, социализацию и профессиональное самоопределение. Мероприятия охватывают возрастную группу детей в возрасте от 5 до 18 лет.

Процедура оценивания или экспертиза конкурсных материалов участников – неотъемлемый процесс любого городского мероприятия, проводимого на базе образовательных организаций, который всегда ставит перед организатором задачу обеспечения его объективности.

Для начала определим, что мы понимаем под словами «экспертиза», «экспертная деятельность», «эксперт».

Предельно обще «экспертизу» можно определить как «оценивание какого-либо объекта в соответствии с некоторой мерой / нормой». В.А. Гуружапов определяет экспертизу как «оценка авторитетными специалистами… результатов чьей-либо деятельности...» 3, с. 3.

Экспертная деятельность – особый вид деятельности, относящийся к аналитическому и исследовательскому типу деятельности, требующему специальных знаний об объекте экспертизы, а также профессиональных умений (проектировать, анализировать, оценивать, контролировать, управлять и т.д.), результатом которой является представление мотивированного заключения / оценочного суждения.

Заказчиком экспертизы выступают образовательные организации – организаторы городских мероприятий.

Эксперт - это компетентное лицо, обладающее специальными знаниями, имеющий большой опыт практической работы и хорошую научную подготовку. Статус эксперта предполагает высокий уровень профессионализма, который является необходимым условием и основанием объективности экспертного заключения. «Авторитет и добросовестность его не могут подлежать сомнению и должны быть заданы изначально для того, чтобы экспертное заключение имело знак качества» 6, с. 7.

Очевидно, что эффективность экспертизы во многом зависит от выбора эксперта.

Поскольку экспертная деятельность в образовании является не столько самостоятельной профессиональной деятельностью, сколько дополнительной, исполнять роль эксперта могут представители различных профессиональных групп: методисты, учителя, педагоги-психологи, менеджеры образования, ученые и вузовские преподаватели.

С целью облегчения задач Организатора по поиску таких специалистов, МАУ ДО ГДТДиМ «Одаренность и технологии» создан и функционирует Банк экспертов городских мероприятий, в который включены педагогические и административные работники образовательных организаций города Екатеринбурга. Для оценки компетентностей экспертов «Положением о Банке эксперта» определена система различных показателей: стаж работы, образование, компетентность, владение современными образовательными технологиями, опыт экспертной деятельности. Эксперт должен обладать и личностными показателями – такими как креативность, отсутствие склонности к принятию мнения большинства, научная объективность, широта и конструктивность мышления, позитивное отношение к участникам. Специалисты Банка экспертов проходят повышение квалификации в рамках вводного семинара по экспертной деятельности.

Для получения объективных результатов экспертного оценивания конкурсных работ участников мероприятий, организаторам необходимо уделять внимание при формировании состава жюри на необходимое выполнение следующих условий:

1. В состав жюри могут войти сотрудники своей образовательной организации в количестве не более одной трети от общего состава. Остальные члены жюри – представители Банка экспертов городских мероприятий на базе образовательных организаций, профильных муниципальных общеобразовательных и иных организаций.

2. Обеспечен профессиональный равнозначный состав жюри.

3. Критерии оценивания соответствуют положению о мероприятии.

4. Применяются единые критерии оценивания на всех секциях мероприятия (в соответствии с положением о мероприятии).

5. Отсутствует конфликт интересов в отношении всех специалистов, привлеченных к проведению процедуры оценивания.

Конфликт интересов (в соответствии с ч.1 ст.10 Закона о противодействии коррупции) – «это ситуация, при которой личная заинтересованность (прямая или косвенная) лица … влияет или может повлиять на надлежащее, объективное и беспристрастное исполнение им должностных (служебных) обязанностей (осуществление полномочий)».

Для недопущения конфликта интересов необходимо в том числе соблюдать следующие требования:

- в качестве членов жюри не могут выступать педагоги / родители участников мероприятия;

- проверка должна проводиться по единым критериям, соответствующим положению о мероприятии, с предварительным коллегиальным обсуждением подходов к оцениванию.

Критерий – это «признак, на основании которого производится оценка, определение или классификация чего-либо» 5. Мерило оценки. Критерии оценивания позволяют определить уровень и качество выполнения конкурсной работы участников. Критерии оценивания прописываются в положении о мероприятии в соответствии с содержанием задания и открыты для ознакомления всеми участниками. Экспертное оценивание производится в соответствии с разработанными критериями.

В рамках городских мероприятий на базе ОО используются следующие методы экспертных оценок:

Индивидуальное оценивание – проводится экспертом самостоятельно по четко очерченному предметному содержанию (алгоритм, методика и т.п.) в соответствии с разработанными критериями оценивания. Экспертами выставляются индивидуальные оценки, независимо от мнения друг друга.

Коллективное оценивание – предполагает получение общего мнения в ходе совместного обсуждения. Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов; «возможностью разностороннего анализа» 3. Данный метод чаще применяют для получения количественных оценок качественных характеристик и свойств.

Проведение процедуры экспертизы отличается в зависимости от используемого метода, но имеет общие рекомендации:

• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

• Установить и соблюдать регламент при оценивании.

Алгоритм процедуры экспертизы конкурсных работ участников:

- Организатор мероприятия формирует группу экспертов, составляет приказ, в котором определяются сроки проведения экспертизы и состав экспертной группы, проводит инструктирование членов группы. На данном этапе производится представление участникам мероприятия членов экспертной группы путем размещения их списочного состава на странице мероприятия.

- Эксперт знакомится с нормативными документами по мероприятию (положение о мероприятии, экспертные листы).

- Эксперт получает материалы для экспертизы (конкурсные работы участников в случае проверки работ в дистанционном формате) или присутствует лично на мероприятии (в случае очного проведения).

- Эксперт заполняет индивидуальный экспертный лист по каждому проекту / выступлению и т.п., руководствуясь собственным опытом и знаниями в области экспертируемой тематики, в соответствии с критериями и шкалой оценивания.

- Организатор готовит сводное заключение по результатам экспертизы после заполнения всех индивидуальных экспертных листов, содержащее таблицу с ранжированными баллами. Все оценочные листы обязательно подписываются экспертами. Подпись подтверждает соответствие выставленных баллов участникам экспертами.

- При проведении очной экспертизы эксперт может дать участникам обратную связь (при условии очного проведения экспертизы): похвалить, выделить особенности проекта / работы, отметить потенциал и профиль зрелости проекта / работы.

Литература:

1. Вырвич Е.Н. Понятие «экспертиза». Экспертиза образовательного процесса. – [Электронный ресурс]. – Адрес https://infourok.ru/ponyatie-ekspertiza-ekspertiza-obrazovatelnogo-processa-2560127.html (дата обращения: 22.09.2021)

2. Григан А.М. Управленческая диагностика: теория и практика: Монография. Ростов н/Д: Изд-во РСЭИ, 2009. – [Электронный ресурс]. – Адрес https://port-u.ru/glava-4-ekspertnye-metody-v-upravlencheskoj-diagnostike/4-1-kharakteristika-metodov-ekspertnykh-otsenok (дата обращения: 22.09.2021)

3. Гуружапов В.А. Вопросы экспертизы образовательных технологий и сред: Методическое пособие к практикуму по экспертизе образовательных технологий и сред / Автор-составитель В. А. Гуружапов. – Москва АНО «Центр «Развивающее образование» 1999 – [Электронный ресурс]. – Адрес: http://psychlib.ru/mgppu/GVe-1999/VEG-001.HTM#$p1 (дата обращения: 22.09.2021)

4. Дроботенко Ю.Б., Дука Н.А., Дука Т.О., Чекалева Н.В Инновационные процессы в образовании: практикум для студентов магистратуры: учебно-методическое пособие / Под общ. ред. Н.В. Чекалевой. – Изд-во ОмГПУ, 2012. – [Электронный ресурс]. – Адрес: https://topuch.ru/praktikum-dlya-studentov-magistraturi-uchebno-metodicheskoe-po/index.html (дата обращения 23.09.2021)

5. Критериальное оценивание учебных достижений школьников: Объективность оценки качества знаний учащихся на современном этапе развития образования – [Электронный ресурс]. – Адрес: https://gigabaza.ru/doc/154518.html (дата обращения: 27.09.2021).

6. Мкртычян Г.А. Психологическая экспертиза в инновационном образовании. Теория и практика/ Тwirpx . – [Электронный ресурс]. – Адрес: https://docplayer.com/34816457-Mkrtychyan-g-a-psihologicheskaya-ekspertiza-v-innovacionnom-obrazovanii-teoriya-i-praktika.html (дата обращения: 22.09.2021).

7. Письмо Рособрнадзора от 16.03.2018 № 05-71 «О направлении рекомендаций по повышению оценки образовательных результатов».