Интерпретации и анализе результатов оценочных процедур. «Использование результатов основных оценочных процедур в деятельности образовательной организации: проектирование основной образовательной программы, повышение качества освоения образовательных прогр

34.Педагогический мониторинг как система.

35.Педагогические измерения в оценивании качества образования.

36.Тестовые технологии в оценивании качества образования.

Тема 7. Педагогический тест как средство и объект оценки качества

37.Педагогический тест как средство оценки качества образования.

38.Педагогический тест как объект оценки качества.

39.Проектирование системы базовых тестовых заданий.

40.Экспертиза качества тестовых материалов.

Последовательность этапов комплексной экспертизы качества ти.

41.Системы оценивания результатов тестирования.

42.Методы экспертной оценки качества тестовых материалов.

Тема 8. Организационно-технологическое обеспечение процедур оценивания

43.Понятие о процедуре оценивания. Виды процедур оценивании.

44.Определение схемы организационно-технологического обеспечения процедуры оценивания.

45.Принципы организации процедур оценивания.

46.Подходы к организации массовых процедур оценивания.

47.Документирование и проектирование процедур оценивания. Документирование системы качества

48.Пути преодоления проблем в организации процедур оценивания в оу.

2) Некорректная интерпретация результатов процедуры

Тема 9. Нормативно-организационная база оценки качества образования в образовательном учреждении

49.Документы, регламентирующие формирование систем оценки качества образования

50.Программы развития систем оценивания качества образования. Программа развития региональной системы оценки качества общего и дополнительного образования детей санкт-петербурга на 2008-2010 гг.

51.Положения о проведении внешней (независимой) оценки качества образования.

2. Основные цели, задачи и принципы внешней (независимой) оценки качества начального общего образования в общеобразовательном учреждении

52.Положения о региональной системе оценки качества образования.

53.Положения о муниципальной системе оценки качества образования

54.. Положения о внутренней системе оценки качества образования в образовательном учреждении.

3. Организационная и функциональная структура всоко.

4. Содержание всоко

1. Качество образовательных результатов:

2. Качество реализации образовательного процесса:

3. Качество условий, обеспечивающих образовательный процесс:

Тема 10. Проектирование системы оценки качества образования в оу

55.Соко как предмет проектирования. Компоненты соко.

56.Основные принципы проектирования системы оценивания качества образования в оу.

57.Формирование целей, задач, принципов организации и функционирования соко в оу.

4. Основные положения системы оценки качества образования.

5. Система анализа и оценки качества образовании:

58.Модели системы оценки качества образования.

59.Формирование систем оценки образовательных достижений учащихся.

60.Формирование систем оценки достижений педагогов.

4. Базовая идея по реализации модели системы оценки качества образования в общеобразовательном учреждении.

41.Системы оценивания результатов тестирования.

42.Методы экспертной оценки качества тестовых материалов.

Тема 8. Организационно-технологическое обеспечение процедур оценивания

43.Понятие о процедуре оценивания. Виды процедур оценивании.

Обеспечение качества процедуры оценивания - это планируемые и систематически осуществляемые виды деятельности, отвечающие основным принципам организации процедуры и не­обходимые для создания уверенности в том, что результаты процедуры будут соответствовать поставленным целям оценивания.

Качество образования – основная характеристика системы образования, которая определяет соответствие образовательных результатов обучающихся и контекстных условий получения образования ожиданиям как самих обучающихся, их родителей, так и общества в целом.

Тогда процедуры, предназначенные для оценки качества образования, должны обеспечить качественный сбор информации, необходимой для системы образования.

Таким образом, система оценивания эффективна , если наряду с такими важными компонентами, как надежный инструментарий, качественный анализ и представление результатов, вовлечение политиков, профессионального сообщества и поддержка всех заинтересованных сторон, реализована качественная процедура проведения оценивания.

Все процедуры оценки качества образования, по отношению к участникам оценивания , делятся на:

«Безответственные» – не влияющие на аттестацию и служащие для обеспечения «обратной связи» для управленцев в образовании (международные, национальные и региональные мониторинги);

«Ответственные»– влияющие на дальнейшую учебную или жизненную траекторию участника и служащая для аттестации, отбора (рейтингования) (государственные экзамены).

В первом случае «лукавая» система сбора информации приведет к получению недостоверныхданных, принятию неверных решений, а во втором случае, кроме указанных последствий, ещё и может негативно повлиять на судьбу конкретных участников. Первую группу процедур оценки качества образования можно условно считать процедурами с «низкими» ставками, вторую группу процедур – с «высокими» ставками.

К программам оценки с «высокими ставками» относятся процедуры государственных национальных экзаменов, ввиду их особой значимости для принятия и реализации жизненно важных решений по продолжению образования и затрагивания интересов миллионов граждан страны, прежде всего учеников и их родителей. К программам оценки с «низкими ставками» относятся процедуры крупномасштабного оценивания (мониторинговые и диагностические исследования), а так же внутриклассное оценивание.

Вышеперечисленное деление процедур оценки качества образования напрямую влияет на определение схемы организационно-технологического обеспечения проведения процедур оценки.

Процедуры, как государственных экзаменов, так и различных по целям и задачам мониторингов призваны предоставить некоторый продукт – информацию . Необходимы механизмы, позволяющие упорядочивать информационные потоки, собирать, структурировать, оформлять базы данных и управлять ими, обрабатывать информацию и предоставлять её в соответствии с требованиями пользователей. Кроме того, требуется выстроенная и четко регламентированная процедура сбора данных экзамена (или мониторинга). Совокупность различных процессов и операций с набором необходимых механизмов, а так же их описание в инструкциях и регламентах для пользователей и есть технология оценочных процедур.

Используемая технология должна :

существенно сокращать время сбора информации.

Используемые механизмы сбора информации, по возможности, должны быть автоматизированы, адаптированы под территориальные особенности, должны соответствовать принципу «точно в срок» (англ. Метод «Just-in-Time»);

предоставлять равные возможности участникам оценки.

Процедура должна быть унифицирована, правила участия в ней должны быть одинаковы для всех участников, не зависимо от статуса образовательного учреждения испытуемых и их местонахождения;

должна быть понятна для исполнителей (организаторов) и испытуемых.

Действия всех участников процесса должны быть четко регламентированы, описаны в соответствующих правилах; участники процесса (как организаторы, так и испытуемые) должны быть заблаговременно проинформированы об этапах процедуры, о правилах её проведения;

должна быть отказоустойчива.

Устойчивость технологии должна быть проверена по количеству участников процедуры, по осознанию «ставок» процедуры и возможности влияния на неё, по технической надежности и стабильности в условиях непреднамеренных ошибочных действий исполнителей, по учету особенностей самой процедуры в соответствии с её целями и задачами, по учету территориальных особенностей (наличие труднодоступных территорий и др. аспекты), временных особенностей (часовые пояса).

В связи с общими требованиями к технологии процедур оценки качества образования, связанными с целями и задачами этих процедур, при формировании различных информационных потоков при реализации любой массовой оценочной процедуры отмечается определенная направленность на унификацию процедур и используемых механизмов по всем оцениваемым объектам.

Следует принимать во внимание, что, в случае, если результаты одной из процедур оценки качества образования планируется в дальнейшем интерпретировать в сопоставлении с результатами какой-либо другой процедуры, то это возможно только в случае применения надежных унифицированных процедур и калиброванных (проверенных, отобранных) измерителей.

При проектирован ии технологии и определения организационной схемы проведения процедуры оценки необходимо сначала обдумать ответы на ключевые вопросы, такие как:

Каковы цели и задачи проектируемой процедуры?

Что является конечным продуктом оценки и как его планируется использовать?

Какие могут быть издержки (трудовые, финансовые, социальные и др.) и насколько они оправданы эффектом от использования результатов оценки?

Какие структуры и элементы должны быть сформированы или имеются для обеспечения этих процедур?

Какие структуры несут ответственность за формирование и поддержку соответствующих целям процедуры процессов?

Какие меры информационной безопасности необходимо принять для обеспечения эффективности проведения процедуры оценивания?

Ответы на эти вопросы дадут возможность оценить имеющиеся возможности для реализации задач, а так же аргументировать выбор того или иного механизма в технологическом обеспечении процедуры. Под технологичностью можно понимать такую организацию всех необходимых работ, которая позволит провести большую часть процессов с помощь специальных технических средств, очень быстро, экономично и объективно, обеспечив испытуемым равные условия участия в процедуре оценивания.

По достоверности:

в нашей педагогической практике обычно используются “традиционные методы оценки”: наблюдение, беседа, изучение документации и продуктов деятельности, педагогический консилиум, экспертная оценка. Перечисленные методы, лежащие в основе “традиционного экзамена”, можно отнести к субъективным , т.к. они базируются на личных оценках одного или нескольких человек. Эти методы позволяют гибко подходить к оценке достижений ученика, его развития в ходе учебно-воспитательного процесса, учитывать влияние на них различных факторов, но оценка с помощью данных методов чревата именно субъективизмом.

При этом субъективные методы не всегда эффективны с точки.зрения затрат времени и ресурсов, так как зачастую для точного определения действительных знаний учащегося и его умений по их практическому применению большинству педагогов требуется немало душевных сил и много месяцев “проб и ошибок”.

Однако современной наукой разработаны и объективные методы оценки развития личности. Их главное достоинство - в обеспечении именно объективности оценки. Игнорирование этих методов, ограничение оценивания методами субъективными не дает достаточно достоверной картины состояния развития учащихся, так как результаты, получаемые в этом случае, основываются лишь на личных оценках педагогов, следовательно, неизбежно носят печать субъективности. Изменить такое положение может помочь правильное использование объективных методов оценки. Суть этих методов сводится к тому, что всем учащимся предлагаются схожие наборы заданий (тестируемые находятся в равных условиях), при этом задания научно обоснованы и апробированы в отношении их способности точно оценивать соответствующие параметры.

В случае, когда методики оценки (например, тесты) тщательно научно отработаны - до такой степени, что можно установить точность оценивания в процентах (эта точность должна быть, в зависимости от преследуемых задач оценивания, не менее 70-90 %), говорят об “ измерении” свойств психики.

1. Субъективные методы: наблюдение, экспертная оценка, беседа, анализ документации и продуктов деятельности (личных дел, медкарт, дневников, сочинений и т.п.), анкетирование. Их объективность несколько повышается при четкой, целенаправленной систематической работе, объективной фиксации информации в протоколе обследования.

2. Объективные методы (тесты в широком смысле).

В своем профессиональном значении, используемом специалистами, занимающимися разработкой методик оценки личности и человеческой деятельности, тест - это средство объективной и количественно точной оценки конкретных параметров (личности, человеческой деятельности и т.п.), состоящее из ряда компонентов.

Компонентами теста в таком его понимании являются:

1) инструкция по выполнению теста оцениваемым лицом;

2) стимульный материал - в широком смысле (вопросы, утверждения, задания, которые оцениваемому лицу предлагается выполнить);

3) “ключи” обработки результатов оценки (алгоритм подсчета результата по каждому параметру оценки в зависимости от определенных ответов или определенного выполнения заданий оцениваемым лицом);

4) схема интерпретации результатов оценки (алгоритм анализа обработанных результатов в соответствии с их социальной нормой, “весовым” коэффициентом каждого параметра, формированием необходимых практических выводов и рекомендаций);

5) норма оценки для каждого параметра (устанавливается с помощью специальных методов анализа соответствующих экспериментальных данных);

6)“весовой” коэффициент для каждого параметра (значимость параметра в оцениваемой деятельности в целом);

7) данные стандартизации (специальные – психометрические – характеристики качества теста, установленные по итогам проверки теста, основными из таких характеристик являются валидность и надежность).

Обобщая требования к эффективным методическим средствам объективной оценки образовательной деятельности целостного образовательного учреждения, в рамках настоящего исследования удалось определить следующие основные требования к методическому обеспечению внешней оценки качества деятельности УОО .

К основным принципам разработки и использования измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, целесообразно, по данным проведенного нами анализа соответствующих источников, отнести следующие принципы:

– необходимость учета общеупотребимых сегодня в науке характеристик качества “измерителей”, основные из которых называются “валидностью” и “надежностью”. Валидность “измерителя” – это его способность оценивать именно то свойство психики, для которого он используется. Надежность – это способность “измерителя” количественно точно оценивать соответствующее свойство;

– необходимость учета того, что каждый тест (или другой контрольный измерительный материал) проверяется на определенной группе людей (“выборке”), следовательно, ориентирован на ее “аналоги”.

– необходимость комплексного подхода к оценке результата “измерения”, поскольку данный результат – следствие взаимодействия среды (школы, семьи и других общественных институтов) с характером, знаниями, способностями, мотивациями и состоянием учащегося в данный конкретный момент.

К основным правилам, которые необходимо соблюдать при разработке и использовании измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, следует отнести следующие правила:

– для получения наиболее достоверных выводов по итогам оценки необходимо разумное дополнение информации, полученной с помощью объективных методов оценки, информацией, получаемой с помощью научно обоснованных субъективных методов оценки;

– только корректное, уважительное отношение к оцениваемому лицу гарантирует от превышения допустимой погрешности измерения.

Проведенный нами анализ вотношении решения вопросовпроцедуры оценки (“как оценивать”) с учетом рассмотренных требований к методическому обеспечению внешней оценки качества деятельности УОО показал, что в практикеуже существуют апробированныесредства оценки (методики, программное обеспечение и др.)и алгоритмы их применения, которые обеспечиваютдостаточно валидную и надежную оценку указанных в предыдущем разделе показателей качества деятельности учреждений общего образования, отражающих результативность обеспечения этой деятельностью личностного развития обучающихся.

Как один из примеров в этом отношении может быть приведен опыт нашего научного коллектива (руководитель – С.В. Климин): в первую очередь в данном отношении целесообразно использовать опыт коллектива по созданию технологий аттестационной и аккредитационной оценки, обеспечивающих всестороннюю и объективную оценку содержания и результатов обучения и воспитания в ОУ - с помощью одной из таких технологий ("КАС ДОУ - Аттестация (Новая версия)") в период с 1997 г. по 2010 г. обеспечена массовая аккредитация школ, гимназий и лицеев в более чем 30 субъектах РФ.

В связи с обсуждающимися сегодня возможностями использования КИМов ЕГЭ для проведения государственной аккредитации образовательных учреждений нами проведено сравнение возможностей полного обследования уровня обученности выпускников общеобразовательных учреждений при их государственной аккредитации либо с помощью тестовых заданий ЕГЭ и его данных в 100-балльной шкале, либо с помощью специализированных тестовых заданий (специально разработанных для аккредитационной экспертизы качества подготовки выпускников) . Данное сравнение показало следующее.

Построение обследования общеобразовательных учреждений (далее – ОУ) при их аккредитации на основе тестовых заданий ЕГЭ возможно было бы только в случае четкого указания степени соответствия разных заданий КИМов ЕГЭ по каждому учебному предмету Обязательному минимуму содержания среднего (полного) общего образования, поскольку задачей государственной аккредитации ОУ является установление соответствия подготовки выпускников требованиям только госстандарта

Как показывают полученные в результате проведенного анализа выводы, содержание многих заданий ЕГЭ в различной степени выходит за пределы Обязательного минимума содержания среднего (полного) общего образования. Это обусловлено различием задач ЕГЭ и аккредитации ОУ : в отличие от указанной выше задачи государственной аккредитации ОУ, основной задачей КИМов ЕГЭ является сравнение выпускников между собой по уровню их подготовки – вследствие направленности заданий ЕГЭ не только на итоговую аттестацию выпускников III ступени, но и на отбор для поступления в вузы. В связи с этим, а также в связи с направленностью КИМов ЕГЭ именно на индивидуальную оценку критерием качества заданий ЕГЭ является в том числе выровненность заданий каждой части теста (“А”, “В”, “С”) по статистической трудности (в отличие от этого, основным критерием качества заданий оценки целых образовательных учреждений является полное соответствие и ограничивание содержания этих заданий рамкамиОбязательного минимума содержания образования соответствующей ступени ).

Поскольку перед разработчиками заданий ЕГЭ стоят задачи, принципиально отличающиеся от задач оценки при аккредитации ОУ, в отношении данных заданий проведенный анализ позволил получить следующие основные выводы, актуальные для вопроса изучения возможности использования этих заданий при проведении аккредитации:

1) указанные выше особенности КИМов ЕГЭ, проанализированные в аспекте задач государственной аккредитации ОУ, делают абсолютно необходимым сохранение такого инструмента аккредитационной экспертизы, как специальное тестирование ОУ с целью аккредитации ОУ;

2) вследствие же множественности таких особенностей, затрудняющих использование заданий ЕГЭ для полного обеспечения оценки уровня обученности при экспертизе качества подготовки выпускников с целью государственной аккредитации ОУ, целесообразна не столько переработка заданий ЕГЭ для целей аккредитации, сколько разработка заданий специально для аккредитационной экспертизы.

Данные, полученные по итогам наблюдений, опросов, опытной работы, эксперимента, еще нельзя считать научно достоверными результатами, если они не повергнуты анализу, оценке и научному истол кова н и ю (и нте рп рета ци и).

Анализ должен выявить роль объективных и субъективных факторов, влияющих на ход и результаты, дать возможность выделить ведущие факторы, условия, необходимые для использования полученных данных. Проводится оценка результатов, выявляется их значимость, степень новизны, практическая востребованность. Интерпретация позволяет объяснить механизмы действия, смысл полученных результатов, их соотношение с известными ранее положениями, концепциями, раскрыть перспективы дальнейшего использования вновь добытых знаний или отработанных технологий.

Для того чтобы осуществить заключительную часть исследования, необходимо вернуться к его начальной стадии, используя выделенные и уже апробированные критерии, показатели и индикаторы (показатели, поддающиеся измерению). По существу это заключительная стадия мониторинга - постоянного слежения за образовательным процессом, за влиянием на его качество и результаты вносимых нововведений. Это изучение динамики процесса с целью сравнения с ожидаемыми результатами. Мониторинг включает сбор и систематизацию информации, ее анализ и интерпретацию, принятие решений о корректировке процесса для его оптимизации.

Критерии (обобщенные признаки), на основании которых производится отслеживание и оценка динамики и результатов процесса в образовании в силу его сложности и многофункциональности, всегда должны быть комплексными, но дифференцированными.

Различают критерии для оценки качества проектов и программ (актуальность, научная обоснованность, новизна, практическая реализуемость, ресурсная обеспеченность), критерии успешности протекания процесса преобразований (нормативно-правовой и ресурсной обеспеченности, степени мотивационной готовности, эффективности мероприятий, психологической комфортности участников, динамики продвижения к планируемым результатам) и, наконец, критерии достижений (результатов).

Последняя группа критериев - критерии результативности - могут относиться либо к изучаемому и преобразуемому процессу (системе), либо к основному «продукту» образования - человеку, личности.

Критерий результативности процесса преобразований в личностном плане, как мы полагаем, должен обязательно включать пять «подкритериев», составляющих: критерий результатов основной деятельности - учебной, спортивной, творческо-исполнительской (в зависимости от типа и направленности образовательного учреждения или изучаемого направления), критерий личностного развития, критерий воспитанности, критерий здоровья, в ряде случаев правомерно выделить еще критерий социальной адаптации или готовности к жизни в открытом социуме. Показатели, по которым отслеживается каждый критерий, во-первых, весьма многообразны и вариативны, а, во-вторых, сами по себе частичны и относительны. Поэтому о результатах образования никак нельзя судить по отдельно взятым показателям, например по результатам ЕГЭ, которые в основном отражают качество знаний и итоговых умений, но лишь очень косвенно свидетельствуют о развитии мыслительных способностей, социальной зрелости, культурного кругозора, компетентности. Весьма «частичным», ограниченным показателем является и выявление «остаточных знаний» студентов при аттестации вузов. Несомненно важными, по понятным причинам, неисчерпывающими и неполными являются такие показатели учебной деятельности, как школьная успеваемость, награждение медалями выпускников, их поступление в вузы, даже на бюджетные места, не говоря уже о платКадр 10

ных. Только по совокупности показателей можно вести анализ и давать оценку результатов. Осмысление полученных результатов позволяет выполнить предъявляемые к исследовательской, в том числе диссертационной, работе требования установления новизны, теоретической значимости и практической полезности результатов. В отчетах о результатах осуществления практических проектов и программ требования, касающиеся теоретической значимости, не столь обязательны, требование новизны более категорично, хотя ее степень может быть разной: от открытий до усовершенствований и модернизации известного, а практическая значимость должна быть выявлена особенно убедительно.

Новизна, теоретическая и практическая значимость выступают в качестве обобщенных критериев эффективности проделанной работы.

При установлении новизны ключевое слово, позволяющее дать конкретный ответ, - «впервые». Впервые установлено, выявлено.

определено, получены оригинальные данные, дано объяснение ит.д. Новизна может содержаться в постановке проблемы, в идее и замысле, в технологиях и процедурах оптимизации педагогического процесса, в выявлении оптимальных условий его протекания. Заметим попутно, что слово «впервые» и «новизна» синонимичны, и если раскрывается новизна, то повторять слово «впервые» не имеет смысла (см. кадр 11).

Приведем термины (глаголы), позволяющие выявить новизну результатов.

Кадр 12

Обратимся к примеру выявления новизны своей работы автором. В исследовании «Воспитание творческого отношения будущего учителя к организации образовательного процесса» (2004) автор видит новизну в том, что он выявил структуру творческого отношения будущего учителя к организации образовательного процесса, и эта структура включает мотивационно-ценностный, содержательно-процессуальный и эмоционально-волевой компоненты (заметим, что их можно выявить в любом педагогическом или образовательном процессе). Сущность исследуемого отношения заключается в поиске и выборе оригинальных форм, методов, средств организации образовательного процесса, выработке индивидуального творческого стиля деятельности, максимальной самореализации будущего учителя.

Слово «впервые» кутверждениям такого рода применить невозможно, поскольку все они уже очень хорошо известны. О том, что автор сумел обнаружить, применив эти положения к своему предмету исследования, он скромно умалчивает.

В подобных случаях хочется напомнить аспирантам, соискателям, исследователям-практикам, что они недипломаты. Ш. Талейран, как известно, говорил, что язык дан дипломату для того, чтобы скрывать свои мысли. Это изречение часто вспоминают, когда речь идет о языке дипломатическом, но исследователю он дан, чтобы четко и конкретно выразить свои идеи, принципы, рекомендации и ту новизну, которой они обладают (если, конечно, она обнаружена).

К примеру, уже упоминавшаяся нами Л. И. Гриценко, выражая новизну своих позиций по отношению к наследию А. С. Макаренко, подчеркивает, что социальная ориентация его воспитательной концепции наполнена гуманно-личностным содержанием, сущность воспитания А. С. Макаренко заключается в конструктивном синтезе внешне и внутренне ориентированных подходов к развитию человека, которое осуществляется на основе субъективной активности. Бинарный характер воспитательной системы А. С. Макаренко проявляется в гармонизации коллективного и индивидуального принципов, директивных и гуманистических методов в организации педагогически целесообразной жизнедеятельности субъектов воспитания.

Такой подход спорит и с традиционной положительной трактовкой А. С. Макаренко как автора концепции воспитания «в коллективе, для коллектива и через коллектив» и с его критической оценкой как «комиссара от воспитания», как, якобы, сторонника военно-дисциплинарной педагогики.

В практическом исследовании нет строгой необходимости в раздельном обозначении новизны и теоретической значимости, да и в диссертационных работах их не всегда удается развести однозначно, но выявить и конкретно раскрыть и то, и другое нужно обязательно.

Обратимся к уже использованному нами примеру.

Подчеркивая теоретическую значимость своей работы о творческом наследии А. С. Макаренко, Л. И. Гриценко выделяет следующие положения, несомненно содержащие научную новизну:

S определены сущность и специфические особенности аксиологических ориентиров макаренковского воспитания;

S выявлена органичная бинарно-синтетическая целостность мака- ренковской воспитательной системы, включающей коллектив и личность;

S показана субъективная, активная природа механизмов воспитания в коллективе, проявляющаяся в специфических особенностях использования принципов природосообразности и культуросообраз- ности в макаренковском воспитании;

S выявлены социально-демократические основы функционирования учебно-воспитательных учреждений А. С. Макаренко, обеспечивающие их гуманистическую и личностную направленность;

S раскрыты содержание и сущность целей воспитания в системе А. С. Макаренко, вскрыты противоречия идеологического (классового) характера официальных идей воспитания и их гуманистической ориентации;

S изучены генезис и сущность макаренковских представлений о коллективе на основе современных научных знаний и подходов в отечественной и мировой науке.

По существу Л. И. Гриценко показала насколько современными и перспективными являются концептуальные положения воспитательной системы А. С. Макаренко о личности и коллективе для выяснения путей и условий гармонизации педагогического процесса.

Теоретическая значимость означает несколько иное, нежели новизна, а именно: как выявленные в исследовании новые связи, зависимости, подходы, методики изменяют (углубляют, расширяют, доказывают несостоятельность определенных положений) бытующие в науке и практике теории, концепции, подходы; какие новые необходимые понятия введены в научный оборот; какие перспективы научных и научно-практических поисков открывают результаты проведенных изысканий (см. кадр 13).

Кадр 13

И, наконец, о практической значимости и полезности. Чтобы ее выявить, нужно осмыслить и показать, что уже удалось сделать практически, где и кем, с какими результатами были применены рекомендации, вытекающие из исследования, какие разработаны и распространены внедренческие материалы (пособия, рекомендации, программы, методики, технологии и т. д.). Полезно выдвинуть предложения по совершенствованию содержания, организации, материального обеспечения образования и его работников, по усилению роли образования в социально-экономическом развитии страны и региона, повышению его статуса. Эти предложения нужно адресовать на разные уровни государственного и муниципального управления, разным властным органам, в соответствии с их компетенциями. Вопросы, на которые нужно ответить, определяя практическую значимость работы, указаны в кадре 14.

Возможные варианты интерпретации результатов оценочных процедур. Кейс Единого государственного экзамена. Учебный курс «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» сентября 2013 года, г. Ереван, Республика Армения Боченков Сергей Анатольевич, эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары ь СЕССИЯ 5

Проблема использования результатов национальных экзаменов в управлении качеством образования. Средний балл ЕГЭ – наиболее распространённый и принятый показатель, отражающий образовательные результаты. Риски использования. Если не средний балл, то что? Анализ практики использования различных показателей результатов ЕГЭ: группировка, назначение, ограничения и риски использования. Примеры интерпретации результатов оценочных процедур (на примере ЕГЭ) для разных групп пользователей (для учителя, для школы, для системы образования). Проблема сопоставимости результатов оценочных процедур. Интерпретация результатов оценочных процедур. Основные фиксации. Вопросы, которые предлагается обсудить:

Нельзя Результаты ЕГЭ нельзя использовать для измерения, мониторинга и оценки качества образовательных результатов. можно Результаты ЕГЭ можно использовать для измерения, мониторинга и оценки качества образовательных результатов. не используют В международной практике выделяют три группы оценочных процедур: экзамены, мониторинги и внутриклассное оценивание. Результаты экзаменов в управлении качеством не используют. ЕГЭ – это экзамен с «высокими ставками», он служит только для измерения индивидуальных образовательных результатов Почему результаты ЕГЭ используют для оценки образовательных результатов: Потому что нет ничего больше сравнимого по надёжности, защищённости, достоверности. Потому что ресурсы на процедуру уже потрачены. Почему бы не получить информацию отсюда, пока нет ресурсов на новую процедуру? ЕГЭ - это итоговая аттестация выпускников, основная процедура оценки результата на выходе Потому что ЕГЭ - это итоговая аттестация выпускников, основная процедура оценки результата на выходе МЕТОДИЧЕСКАЯ ПРОБЛЕМА: Как оценивать качество образования по результатам ЕГЭ, как анализировать и интерпретировать результаты ЕГЭ? Что делать с результатами ЕГЭ? Есть две точки зрения:

Об использовании результатов ЕГЭ 1.Собственно результаты ЕГЭ без привлечения других данных могут использоваться лишь для двух целей – завершения обучения в школе и отбор кандидатов для продолжения обучения в вузе. 2.При оценке деятельности учителя, школы и образовательных систем результаты ЕГЭ могут использоваться лишь в сочетании с другими данными, характеризующими различные результаты деятельности. 3.Корректная интерпретации результатов ЕГЭ позволяет использовать их для управления качеством образования.

Средний балл ЕГЭ – наиболее распространённый и принятый в системе образования РФ показатель, отражающий образовательные результаты. Если что-либо делается неправильно достаточно часто, оно становится правильным. Самарская область ~school120/ege.htm Чувашия /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p dfhttp://ege21.ru/ege/metod /egeh_2012_chuvashija_sta tisticheskij_sbornik_2_ver.p df, стр.48. Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране Динамика результатов ЕГЭ по региону за три года

Использование средней величины допускается только после оценки её типичности и надёжности. Как оценить типичность и надёжность средней? Средняя величина должна быть типичной, т. е. должна отражать основную совокупность, из которой она получена. Типичность средней величины обратно-пропорциональна степени колеблемости (рассеянности) измеряемой величины. Чем более рассеян ряд, тем менее типична средняя. Чем больше число измерений составляет совокупность, тем надёжнее средняя. Среднее квадратическое (или стандартное) отклонение: Среднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупностьСреднее квадратическое отклонение является мерилом надежности средней. Чем меньше эта величина, тем лучше средняя арифметическая отражает собой всю представляемую совокупность Коэффициент вариации: Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах.Коэффициент вариации – это отношение среднеквадратического отклонения к среднеарифметическому, рассчитывается в процентах. Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.Критериальным значением коэффициента вариации служит 33,3%, то есть если V меньше или равен 33,3% - вариация считает слабой, а если больше - сильной. В случае сильной вариации изучаемая статистическая совокупность считается неоднородной, а средняя величина - нетипичной и ее нельзя использовать как обобщающий показатель этой совокупности.

Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур? Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный. ? ЕГЭ-2013

Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике ФИПИ Предмет ПБ1 (в скобках ТБ1 – балл по 100- балльной шкале) ПБ2 (в скобках ТБ2 – балл по 100-балльной шкале) Русский язык17 из 64 (36 из 100)54 из 64 (73 из 100) Математика5 из 32 (24 из 100)15 из 32 (63 из 100) Обществознание15 из 59 (39 из 100)48 из 59 (72 из 100) История13 из 58 (32 из 100)47 из 58 (72 из 100) Физика11 из 51(36 из 100)33 из 51 (62 из 100) Химия14 из 65 (36 из 100)58 из 65 (80 из 100) Биология17 из 69 (36 из 100)60 из 69 (79 из 100) География14 из 53 (37 из 100)43 из 53 (69 из 100) Информатика8 из 40 (40 из 100)35 из 40 (84 из 100) Иностранные языки16 из 80 (20 из 100)65 из 80 (82 из 100) Литература8 из 42 (32 из 100)36 из 42 (73 из 100) «…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательно му предмету ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

© С.А. Боченков Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2013) 70 баллов Сравнение 100-балльных шкал по среднепро- центильным рангам, или что лежит в основе сравнения среднего балла ЕГЭ между предметами 63,4 58,6 67,8 53,5 48,7 72,4 59,5 63,1 1,9% 2,6% 7,0% 4,4% 6,0% 6,7% 3,6% 1,1%

Пример сравнения результатов ЕГЭ двух школ: Профиль школы Кол-во выпускников Средний балл ЕГЭ, при условии, что все выпускники все предметы сдали с одинаковым результатом, равным ТБ2 Вывод о результатах профильной подготовки Вывод об эффективности вузов, по качеству подготовки поступивших в них выпускников этих школ Школа с инженерным профилем (математика, физика + русский язык) 30 (математика 63 + физика 62 + русский 73) / 3 = 66,0 При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17% Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала Школа с медицинским профильным (биология, химия + русский язык) 30 (русский 73 + биология 79 + химия 80) / 3 = 77,3

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ? Группа показателей характеризующих распространения процедуры итоговой аттестации в форме ЕГЭ и активности участия выпускников в процедуре ЕГЭ Группа показателей, характеризующих освоение минимальных требований образовательного стандарта Группа показателей, характеризующих уровень и качество образовательных достижений Группа показателей, отражающих равенства доступа к образованию соответствующего качества Группа показателей, характеризующие уровень освоения содержания изучаемых предметов (блоков и отдельных проверяемых дидактических единиц) Условные знаки: - Показатель малоинформативен или имеет большие ограничения при использовании - Показатель содержит ошибку, приводит к ошибочным суждениям - Показатель информативен при грамотном применении

Группа показателей, характеризующих освоение минимальных требований образовательного стандарта Уровень освоения образовательного стандарта для получения документа о среднем (полном) общем образовании – доля выпускников, успешно сдавших (выше минимального порога) ЕГЭ по двум обязательным предметам, % Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимыми для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших (выше минимального порога) все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников, %. Уровень освоения образовательного стандарта по каждому предмету - доля учащихся, преодолевших минимальный порог (по каждому предмету), %. Широкая область применения, т.к. задача учителя, школы, системы образования – создание условий для освоения образовательного стандарта. Достижение одних и тех же значений показателей может потребовать в разных условиях совершенно разного количества и качества образовательных ресурсов, поэтому сравнение целесообразно преимущественно в пределах кластера. Риск снижения уровня требований по предмету до минимальных. Риск перераспределения ресурсов в пользу обязательных предметов. Риск установления зависимости уровня минимального порога от общих результатов, полученных выпускниками данного года по РФ в целом. Примеры показателей: Ограничения и риски:

Группа показателей, характеризующих уровень и качество образовательных достижений Средний балл по 100-балльной шкале (вариации – только по обязательным предметам, только по профильным предметам). Средний балл по каждому предмету Доля выпускников, получивших соответствующее количество баллов ЕГЭ по предметам: от 50 до 75 баллов (вариант - до 50, 51-75); 70 баллов и выше (вариант – 80 баллов и выше, 90 баллов и выше), %. Доля (кол-во) участников, набравших 100 баллов (на 1000 участников), %. Доля выпускников, показавших по профильному предмету результат, соответствующий отличному уровню (относится к 10% лучших результатов по РФ). Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2) Возможно применение для оценки школ, реализующих модели профильного образования на старшей ступени. Необходимы для оценки эффективности профилей заявленных и реализуемых школой. Риск необоснованных требований максимально-высоких баллов. Стимулирование участия в нарушениях процедуры ЕГЭ и информационной безопасности. Шкала достаточно сильно различается по предметам и суммарный учёт результатов нескольких предметов не только малоинформативен, но и может привести к ошибочным выводам. Риск ошибочных выводов из-за несопоставимости среднего балла между предметами и динамики по годам. Риск подмены ориентира за освоения содержания учебного материала ориентиром на достижение высоких баллов. Примеры показателей: Ограничения и риски:

Что такое «результаты ЕГЭ»? Всё зависит от точки зрения... Индивидуальный результат выпускника по предмету – балл по 100-балльной шкале и решаемость заданий Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… а именно: Чтобы все, кто подготовились к экзамену по предмету, пошли на экзамен, а неподготовлен- ные не ходили. Чтобы все кто пошли успешно сдали ЕГЭ (преодолели минимальный порог 100%) и получили результаты лучше, чем у других учителей и школ. Чтобы результаты ЕГЭ были адекватны текущим оценкам, которые выставил учитель. Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… а именно: Чтобы все, кто подготовились к экзамену по предмету, пошли на экзамен, а неподготовлен- ные не ходили. Чтобы все кто пошли успешно сдали ЕГЭ (преодолели минимальный порог 100%) и получили результаты лучше, чем у других учителей и школ. Чтобы результаты ЕГЭ были адекватны текущим оценкам, которые выставил учитель. Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные к ЕГЭ получили аттестат и полноценное свидетельство о результатах ЕГЭ. Чтобы спектр выбора выпускниками предметов соответствовал профилю школы. Чтобы результаты по профильным предметам были высокими в сравнении с аналогичными школами. Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные к ЕГЭ получили аттестат и полноценное свидетельство о результатах ЕГЭ. Чтобы спектр выбора выпускниками предметов соответствовал профилю школы. Чтобы результаты по профильным предметам были высокими в сравнении с аналогичными школами. Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные до итоговой аттестации успешно сдали экзамены и получили документы об образовании. Чтобы профиль школ сети подтверждался результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Чтобы различия в результатах ЕГЭ между школами были меньше, чем между результатами внутри школ. Чтобы не было нарушений процедуры и аномальных результатов Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные до итоговой аттестации успешно сдали экзамены и получили документы об образовании. Чтобы профиль школ сети подтверждался результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Чтобы различия в результатах ЕГЭ между школами были меньше, чем между результатами внутри школ. Чтобы не было нарушений процедуры и аномальных результатов?

Интерпретация результатов определяется с одной стороны запросами группы пользователей, с другой – источниками данных Запросы разных групп пользователей о результатах оценочной процедуры Участники и их родители Учителя Администрация школы Органы управления образованием Методические службы Родители, выбирающие школу СМИ, местное сообщество Запросы разных групп пользователей о результатах оценочной процедуры Участники и их родители Учителя Администрация школы Органы управления образованием Методические службы Родители, выбирающие школу СМИ, местное сообщество Источники данных о результатах оценочной процедуры и об условиях организации образовательного процесса Протоколы результатов ЕГЭ (ГИА) Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона _____________________________ Программа развития школы (региона) Данные других оценочных процедур и мониторингов Источники данных о результатах оценочной процедуры и об условиях организации образовательного процесса Протоколы результатов ЕГЭ (ГИА) Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона _____________________________ Программа развития школы (региона) Данные других оценочных процедур и мониторингов Информационные продукты, содержащие интерпретацию результатов оценочной процедуры Свидетельство о результатах ЕГЭ Региональный отчёт по итогам оценки. Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ). Аналитическая записка для министра. Информационный буклет для родителей. Пресс-релиз Информационные продукты, содержащие интерпретацию результатов оценочной процедуры Свидетельство о результатах ЕГЭ Региональный отчёт по итогам оценки. Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ). Аналитическая записка для министра. Информационный буклет для родителей. Пресс-релиз

Интерпретация результатов ЕГЭ для учителя Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно- измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке. Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно- измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке. «Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке. «Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке.

Пример интерпретации результатов ЕГЭ для учителя. Позадачная решаемость. Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными. Практика анализа результатов экзамена в разрезе отдельной школы, класса и учителя даёт разные профили по решаемости заданий.

Пример интерпретации результатов ЕГЭ для учителя. Результаты освоения содержательных блоков курса и сформированность основных умений. РУССКИЙ ЯЗЫК ФИЗИКА 71,9% 43,8% 69,3% 65,2% 72,3% Задания высокого уровня сложности Задания базового и повышенного уровня сложности Методы познания Квантовая физика Электродина- мика Молекулярная физика Механика

Пример интерпретации результатов ЕГЭ для учителя. Группы учащихся по уровню готовности к ЕГЭ-2012 по физике. Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом. Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований. Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным. Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ. Доля выпускников, успешно сдавших ЕГЭ по предмету от общего числа выпускников, сдававших данный предмет - 100% Доля выпускников, сдавших ЕГЭ по предмету с результатом, соответствующим повышенному уровню и выше от общего числа выпускников, изучавших предмет на профильном уровне – 81,25%

Интерпретация результатов ЕГЭ для школы (администрация, педколлектив, учащиеся, родители, социум) Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей? Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей? Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций. Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.

Не обеспечивает качества подготовки по востребованным предметам (биология, химия). обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. кроме востребованной физики обеспечивает высокий уровень практически по всем предметам. Пример интерпретации результатов ЕГЭ для ШКОЛЫ. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ

Интерпретация результатов ЕГЭ для управления образовательными системами (муниципальный, региональный уровни управления) Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети. Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети. Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения. Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения.

Пример интерпретации результатов ЕГЭ школ в пределах одного из муниципалитетов региона: Кластер Число выпускников Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ (выше порога) "+" - ВСЕ выпускники освоили стандарт; "-" - НЕ ВСЕ выпускники освоили стандарт Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога) Качество подготовки по обязательным предметам. Средний балл по двум предметам Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня Качество профильной подготовки. Доля экзаменов с результатом выше профильного уровня. Группа по совокупным результатам ЕГЭ-2012 МБОУ "Гимназия А" ,0%+92,1%58,267,9%21,3%1 МБОУ "СОШ А" ,0%+96,8%59,016,4%17,3%1 МБОУ "СОШ Б" ,0%+97,1%54,324,4%13,8%1 МБОУ "СОШ В" ,0%+97,6%57,102,4%13,0%1 МБОУ "СОШ Х с УИОП" ,0%+95,8%61,520,0%18,1%2 МБОУ "СОШ Г" ,0%+90,9%46,550,0% 2 МБОУ "СОШ Д" ,0%+79,6%53,087,1%14,4%3 МБОУ "СОШ Е,0%+82,5%52,480,0%6,8%3 МБОУ "СОШ Ж" ,0%+78,0%47,642,0%6,7%3 МАОУ "СОШ И с УИОП" ,0%+91,4%52,720,0%4,5%3 МБОУ "СОШ К с УИОП" ,0%+90,0%50,200,0%3,4%3 МБОУ "СОШ Л" 26198,4%-86,9%53,003,3%9,6%3 МБОУ "В(С)ОШ? " 62588,0%-60,0%38,340,0% 3 МБОУ СОШ М" 25998,3%-74,6%47,800,0% 4 Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона Интерпретация результатов оценочных процедур. Основные фиксации: Анализ и интерпретация результатов оценочной процедуры определяется с одной стороны запросами группы потенциальных пользователей, с другой – доступными источниками данных. Запросы на аналитические материалы по результатам оценочной процедуры разные и зависят от точки принятия управленческих решений, т.е. понимание результата оценочной процедуры на каждом уровне управления и под каждый запрос может быть различным. Для адресной подготовки аналитики необходимо максимально точное понимание того, на какие именно вопросы хотели бы получить ответы представители данной группы пользователей и каковы критерии (характеристики) качества объекта оценки. Для каждой группы пользователей необходимо применять особую модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы для воздействия на эти показатели.

Комплекс оценочных процедур. Как сопоставлять результаты? Сопоставление результатов, показанных каждым участником (одной и той же группой участников) в разных оценочных процедурах Готовность учащихся 1 классов к обучению в школе Внутриклассное оценивание, школьный мониторинг Готовность учащихся 5 классов к обучению в основной школе Внутриклассное оценивание, школьный мониторинг ГИА выпускников 9 классов Внутриклассное оценивание, школьный мониторинг Результаты предметных олимпиад ЕГЭ выпускников 11 классов Мониторинг образовательных и трудовых траекторий выпускников 11 классов Сопоставление результатов, показанных в каждой оценочной процедуре группой участников соответствующего возраста из одной школы (муниципалитета и т.д.) Комплекс процедур внешней оценки должен быть дополнен внутриклассным оцениванием и различными мониторингами….

Сопоставимость результатов нескольких оценочных процедур между собой. Варианты решения проблемы. Изменения собственно оценочных процедур: Проектирование оценочных процедур как частей единого комплекса ОСОКО. Совместимость баз данных индивидуальных результатов разных оценочных процедур между собой. Введение системы электронного портфолио учащихся. Использование специальных способов анализа: Единство методики исчисления ключевых показателей в разных оценочных процедурах (единообразие структуры моделей оценки). Через соответствующие системы показателей определение критериев качества работы эффективного учителя, хорошей школы, системы образования. Использование средних и относительных величин, поправочных коэффициентов, методов пересчета и т.д. Учёт контекстной информации. Использование уровневой системы интерпретации результатов: – Выделение уровней на основе процентильного подхода – Выделение двух пороговых групп участников - доля участников, успешно сдавших ЕГЭ по предмету (выше минимального порога базового уровня) и доля участников, преодолевших минимальный порог профильного уровня из числа изучавших предмет на профильном уровне.

ПРИМЕР: NAPLAN (Австралия) национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов Как интерпретировать результаты Слайд из презентации И.А. Вальдмана edu.ru/trainings/study/226

СПАСИБО ЗА ВНИМАНИЕ! Сергей Анатольевич Боченков г. Чебоксары, залив

Процедура получения оценок параметров совокупности (суммы показателя, среднего значения показателя, отношений величин показателей, долей, и т.п.) должна быть точно определена. Оценка представляет собой рассчитанное по данным выборочного наблюдения значение некоторого параметра совокупности. Также под оценкой понимают формулу или алгоритм вычисления числового значения оцениваемого по выборочным данным параметра изучаемой совокупности.

Как правило, в случае наблюдений на основе вероятностной выборки, оценки рассчитываются с учетом весов, соответствующих плану выборки (выборочных весов).

Для компенсации влияния систематических ошибок (неполучение ответа от единиц наблюдения, неполнота охвата) на достоверность итогов наблюдения и получения более точных значений оценки могут корректироваться, в том числе с использованием вспомогательной информации (например, методом калибрации).

Если в процессе оценки используются вспомогательные переменные, то их выбор должен быть обоснован, они должны быть соотнесены с переменными наблюдения и актуализированы. Использование той или иной модели процедуры оценивания должно быть задокументировано, включая и основополагающие допущения, принятые по данной модели.

В ходе выборочных наблюдений, которые используют невероятностные выборки, оценки, как правило, получают с использованием соответствующих статистических моделей. При этом процедуры оценки должны быть обоснованы, а принятые допущения - правдоподобны и, если это возможно, протестированы.

Оценки параметров совокупности должны сопровождаться характеристиками их точности (коэффициент вариации оценки, средний квадрат ошибки (СКО), среднеквадратическая (стандартная) ошибка выборки), в которых должны учитываться характеристики плана выборки (стратификация, многоступенчатый отбор и т.д.), а также поправки, внесенные в веса. По возможности в них также должны быть отражены и другие основные ошибки, которые наблюдаются во всем процессе производства статистических данных. Меры точности для наиболее важных оценок показателей должны быть получены как для всей совокупности, так и для основных разрезов разработки. Если они рассчитываются методами приближенных вычислений, то эти методы расчета должны быть задокументированы.

Критерии для публикации оценок должны быть установлены до их расчета: то есть должен быть зафиксирован уровень ошибки оценки, выше которого полученные данные не публикуются.

Процедуры оценки результатов статистического наблюдения, а также их применение детально описываются в соответствующих разделах методологических материалов (методологических рекомендациях, положениях и др.), утверждаемых в установленном порядке и размещаемых в открытом доступе на официальном сайте Росстата.

Процедура оценки может быть проведена с использованием специализированного или стандартного программного обеспечения. Специализированное программное обеспечение должно быть предварительно и точно испытано перед производством окончательных оценок. Все результаты процессов оценки должны быть воспроизводимыми (точно или с небольшими приближениями), а это означает, что, при повторении всей процедуры обработки должны быть получены такие же результаты.