Внешний аудит – это не ЕГЭ

Измерить неуловимое

Что такое аудит? Согласно Закону РФ от 2001 г., это «предпринимательская деятельность по независимой проверке бухгалтерского учета и финансовой отчетности организации и индивидуальных предпринимателей». Можно рассматривать ее шире, вне финансовой сферы, – как независимую оценку качества продукта и (или) результатов чьей-то деятельности. Тогда это будет называться «систематическим документированным процессом получения свидетельств (аудиторских доказательств), объективного их оценивания с целью установления степени выполнения критериев проверки» (ГОСТ РФ ИСО 2000-2001).

Сегодня в России существуют кадровый, экологический аудит и т.п. А в Пскове появился еще и аудит педагогический.

Возникновением идеи мы обязаны эксперименту по введению ЕГЭ. Нововведение выдвинуло на повестку дня вопрос: как измерить качество образования? Немногочисленные в России специалисты по педагогическим измерениям отвечали: можно измерить качество получаемых знаний, но не единой линейкой, как это предполагалось делать на ЕГЭ.

Выработанное в Пскове определение педагогического аудита звучит так: «Систематическая документированная деятельность по измерению академических достижений обучающихся с целью оценки степени соответствия результатов обучения требованиям образовательных стандартов и (или) содержанию учебных программ».

При проектировании новой технологии измерения в Информационном центре оценки качества образования Псковской области были использованы ключевые идеи классического аудита, фрагменты технологии проведения ЕГЭ, общепринятые стандарты в тестировании.

При этом создатели концепции педагогического аудита самокритично добавляют: «Любая система контроля качества знаний является несовершенной».

В 2005–2006 гг. технология была отработана до мелочей, когда специалисты Центра, контактируя с псковскими школами, отслеживали по их заказу качество знаний учеников по тем или иным предметам, проводили внутришкольный мониторинг.

Сегодня новая технология может использоваться в Пскове при плановых аттестациях образовательных учреждений (по решению регионального управления образования), для аттестации муниципальных общеобразовательных школ (согласно договорам, заключенным с руководителями муниципального уровня), мониторинговых исследований и независимой экспертизы по заказам муниципальных ОУ.

В России пока нет организаций, занимающихся аудитом качества школьного образования как предпринимательской деятельностью. Однако в Пскове считают, что многие региональные центры оценки (контроля) качества образования могли бы взять на себя роль независимого эксперта в этой сфере. Сотрудники таких центров, как правило, имеют опыт преподавания в школе, знакомы с теорией педагогических измерений, владеют компьютерными технологиями для обработки результатов тестирования.

«Есть много возможностей в этой деятельности, – рассказывает Надежда Владимировна Григорьева, заведующая отделом регионального Центра оценки качества образования. – Существует мнение, что измерения нужно проводить ежегодно во всех школах, по каждому ребенку, отслеживая динамику того, что происходит с учеником в том или ином классе.

Существует и другое мнение, согласно которому имеет смысл работать только с теми учителями, которые хотят повысить свой разряд: тогда надо отслеживать успехи их детей по индивидуальной заявке. Можно также сравнить, какой учебник дает лучший результат… В данном случае все зависит от политического решения. Мы – только исполнители».

Инициативно или обязательно?

Псковские эксперты различают внутренний и внешний, инициативный и обязательный педагогический аудит. Есть также аудит на соответствие.

Внутренний аудит проводится самой школой для своих целей в рамках традиционного педагогического контроля качества знаний. Такие формы проверок давно существуют в системе образования.

Внешний – осуществляется по указанию государственного (муниципального) органа управления образованием или по заказу школы на основе договора. Цель независимых экспертов – с максимальной объективностью оценить качество знаний школьников.

Инициативный – имеет добровольный характер. Он проводится в удобное для заказчика время. Школа сама определяет набор дисциплин, параллель, класс, вид и время контрольной проверки. Аудиторы дают обязательство о полной конфиденциальности полученной информации. Аудиторское заключение является собственностью заказчика и может быть разглашено только с разрешения руководителя или другого ответственного работника образовательного учреждения.

Обязательный аудит имеет критерии, объем и сроки проведения, которые устанавливаются государственным или муниципальным органом управления образованием и администрацией ОУ. Он может использоваться при прохождении школой плановой аттестации или аккредитации.

Аудит на соответствие – сопоставление результатов независимой экспертной оценки с академической успеваемостью школьников, зафиксированной в классном журнале. В данном случае измеряется способность школы пользоваться теми или иными критериями в оценивании детей. Другая возможность: сравнение результатов измерения и оценки качества знаний с требованиями государственных образовательных стандартов.

Пока системой образования не востребован операционный аудит – оценка эффективности обучения школьников. Этот подход требует тщательного изучения качественных показателей работы школы: трудовых и материальных ресурсов учебно-воспитательного процесса, экспертизы учебных программ, режима школьников, педагогического мастерства и трудовых затрат самого учителя.

Качество знаний в педагогическом аудите можно рассматривать как степень соответствия характеристик продукта (услуг) определенным или ожидаемым потребностям заинтересованных сторон. Образовательный стандарт выполняет в этом случае функцию основной критериальной модели. Ключевыми понятиями для педагогического аудита являются измерение и оценка. Педагогическое измерение должно устанавливать соответствие между оцениваемой характеристикой обучающегося – академической компетентностью – и точками определенной шкалы.

Важную содержательную часть технологии составляет ответ на вопросы: как измерить качество знаний, как интерпретировать результаты измерения, как давать им оценку?

Ручная работа

Когда в Псковской области готовилось положение о новой системе аттестации педагогов, Информационному центру оценки качества образования была поручена особая роль: обеспечить получение объективной информации об успехах учеников того или иного учителя. На первом этапе мониторинг знаний планировалось провести в 6–10-х классах базовых школ.

Специалисты-тестологи выполнили весь цикл работ: от составления тестов и подготовки учителей до наблюдения за тестированием и обработки полученных материалов. Для проведения мониторинга качества знаний по русскому языку, математике, физике, химии, биологии, географии выбрали 35 школ.

«Поначалу многое приходилось делать вручную, – вспоминает Надежда Григорьева. – Специалистов мало, а тесты конструируются долго. Кроме того, у нас было не так уж много сведений о тех образовательных учреждениях, для которых собирались делать мониторинг.

Мы разместили на сайте программу, которую должна была заполнить сама школа: внести в эксель-таблицы количество детей, учителей, их педстаж, данные последней аттестации… Затем наши методисты вручную сделали выборку по образовательным учреждениям: каждый анализировал, по каким программам и учебникам преподается интересующий предмет, количество часов в неделю по каждому из них, изученные темы…

В результате мы были вынуждены исключить из тестирования некоторые школы: их программы не подходили под уже подготовленные тесты. Каждое образовательное учреждение имеет право пользоваться выбранными учебниками. Но, скажем, если взять учебники географии, то в одном из них тема «Население» идет в 8-м классе, а в другом – в 9-м. В этом случае невозможно давать один тест на класс, нужно готовить его отдельно для каждой группы детей».

Научитесь себя вести

Как только тестологи узнали достаточно много о «своих» школах и учителях, они начали создавать тесты для внешнего аудита.

Параллельно разрабатывались подробные инструкции для всех участников и руководителей тестирования (тестеров и ответственных организаторов, общественных и внешних наблюдателей).

Завучей, которым предстояло обеспечивать в своих школах процедуру тестирования, пригласили в Псков на двухнедельные курсы. Там их познакомили с основами теории педагогических измерений. Это было сделано, чтобы они могли квалифицированно объяснить своим учителям и детям ключевые вопросы: что такое тест, как он составляется, каким образом интерпретируются его результаты.

Интересно, что после многолетнего проведения ЕГЭ знание этих реалий оказалось у многих учителей на примитивном уровне.

Курсы завершались зачетом в виде мини-экзамена. «Люди собрались разные, – признают эксперты. – Одни школы давно работают в этом направлении, и завучи приехали усовершенствовать свои знания. Другие столкнулись с этим впервые и с трудом понимали, о чем идет речь. Поэтому мы занимались с учителями еще и индивидуально, после лекций».

Одновременно на курсах проигрывалась ситуация предстоящего мониторинга. С педагогами разбирались все процедуры, которые они должны совершить с детьми в момент тестирования. «Это тоже наука – как себя вести во время проверки», – говорит Надежда Григорьева.

Педагоги уехали домой не с пустыми руками: эксперты Центра снабдили их особой презентацией, которую они должны были показать учительскому коллективу, родителям, ученикам.

Кроме того, учителям был предоставлен кодификатор – документ, демонстрирующий образцы тем и заданий, которые встретятся в тесте.

Так же, как и перед ЕГЭ, педагоги обязаны показать детям, как правильно заполнить бланк-образец. Подробная инструкция прилагалась.

«Мы взяли бланк, который уже использовался в ЕГЭ, и адаптировали его, выбрав нужные нам пункты, – рассказывает Надежда Григорьева.  – На ЕГЭ учащемуся предлагается несколько бланков. У нас же они объединены в одном: в нем мы пишем фамилию учащегося, дату его рождения, дату тестирования, номер аудитории, код образовательного учреждения. Вся регистрационная часть в наших бланках открыта. Части “С” у нас нет вовсе – пока мы не можем нанимать экспертов и проверять такое количество работ. Посчитали, что части “В” вполне достаточно.

Важная особенность: на нашем бланке есть поле замен. Если ребенок ошибся, он может исправить на нем свою ошибку. Мы убедились, что у детей не возникло психологических проблем с заполнением этих бланков: лишь изредка вместо даты тестирования ученики писали дату своего рождения. Но это несерьезно – все это при проверке мы видели на мониторе и могли поправить».

На секъюрпаки (о которых столько говорилось в связи с проведением ЕГЭ) создатели новой системы педагогического аудита пока не смогли потратиться. Пакеты для проведения тестирования покупали на почте.

Один индивидуальный пакет предназначался на одну аудиторию. На него наклеивался сопроводительный бланк. Пакет вскрывался в присутствии наблюдателей. Предполагалось 40 минут на работу с тестами и 15–20 минут  – на технические процедуры.

По окончании тестирования работы паковались в другой пакет, прикладывался заполненный протокол, и документы отправлялись в Центр оценки качества Псковской области, где их изучали и анализировали.

Сложнее всего пришлось завучам: им предстояло внести соответствующие изменения в школьное расписание. Эксперты рекомендовали не проводить в этот день сложных уроков, а сделать после тестирования ИЗО или физкультуру.

Кроме того, информационная безопасность требовала, чтобы все 35 школ, участвующих в мониторинге (а эти образовательные учреждения начинают занятия по-разному: в 8.00, в 8.30 и в 9.00), начали заполнение тестовых бланков одновременно – в 9 утра.

«Мы исходили из того, что между образовательными учреждениями есть определенная солидарность, – говорит Надежда Григорьева. – Если в вашей школе тестирование начнется в 8 часов утра и вы через час уже все прорешаете, кто вам мешает позвонить своей коллеге в соседний район (у которой занятия с 9-ти) и рассказать, какие задания были в этом тесте?

Мы сами осуществляли внешний инспекционный контроль за ходом тестирования, ездили по школам, смотрели, как выполняются наши инструкции. Одновременно проводили свой внутренний мониторинг: наблюдали, с какой скоростью дети решают задания, успевают или нет. После тестирования обязательно говорили с ними. Пытались получить по горячим следам обратную информацию.

При обработке данных только однажды у нас возникли некие подозрения: когда у детей оказалось слишком много исправлений в части “А”: возможно, они сумели друг другу что-то подсказать. Однако в остальном не было серьезных замечаний к процедуре проведения тестирования».

Специалисты Центра надеются, что в следующие годы они смогут осуществлять мониторинг под видеонаблюдением. Губернатор Михаил Кузнецов принял решение укомплектовать псковские школы видеокамерами.

Это значит, что можно будет собрать всю параллель в актовом зале и провести мониторинговое тестирование под видеонаблюдением.

Педагоги поверили

На следующем этапе мониторинг охватит уже 100 школ Псковской области (из 292-х). С будущего года здесь все учителя будут переходить на новую систему аттестации. Для ее прохождения нужны сведения об успехах учеников – причем такие, которые вызывают доверие.

Пока же педагоги (те, кому еще не скоро выходить на аттестацию) увидели в работе Информационного центра оценки качества образования то, что им так необходимо: внешнюю оценку, которая при своей объективности не влечет за собой никаких санкций (как низкие результаты ЕГЭ в некоторых регионах).

Результаты внешнего аудита образовательные учреждения получили пофамильно с матрицей по каждому ребенку (как школьник решил те или иные задания, где его надо похвалить, где – подтянуть).

Коробки с бланками, использованными при мониторинге, хранятся в Центре оценки качества образования. Каждый педагог (особенно если он усомнился в полученном результате) имеет право взглянуть на работу своего ученика. Впрочем, этим правом до сих пор никто не воспользовался.