На пути к объективной оценке

Центр образования № 548 «Царицыно» г. Москвы взял за основу модель, позволяющую выделить семь ключевых элементов оценивания:

• индивидуальный прогресс учащихся на предметном уровне;

• компетентностные характеристики в соответствии с внутришкольными стандартами по возрастам;

• ЕГЭ-готовность, распределенная по ступеням и периодам обучения;

• владение общеучебными умениями и навыками в соответствии со ступенью обучения;

• индивидуальные психологические особенности, способствующие обучению;

• готовность к решению проблем и контекстных задач;

• ценностные императивы и морально-этические мотивы поведения.

Мы исходили из того, что пятибалльная система оценивания хоть и впечатляет своей живучестью, но не информативна, лишена объективности (в силу и процесса оценивания, и критериальной базы) и далеко не всегда профессиональна в силу своей ограниченной шкалы.

Среда (в которую входят ученик, учитель, родители, одноклассники) давно уже воспринимает «5» и «4» как действительно некоторые позитивные оценки деятельности; «3» – как формальный ноль (не зря «тройку» называют «средней оценкой»); а «2» и «1» воспринимаются как отрицательные (то есть «минусовые») характеристики, более того, их качества практически не различаются.

Таким образом, в схеме отметочного оценивания мы ограничиваемся четырьмя основными позициями, из которых «тройка» фактически играет роль некоторого «водораздела», «нуля» на отметочной прямой.

Простота такого метода очевидна. Качественная (в смысле критериев) основа системы позволяет существовать оценке без жестких целевых установок. Однако высокая субъективность данного подхода указывает на отсутствие перспектив в вопросе его модернизации. И если мы сделаем 20-балльную или 80-балльную систему, то всего-навсего расширим качественные нюансы оценивания («превосходно», «изумительно», «уже лучше», «скорее плохо», «почти плохо», «абсолютно плохо» и т.д.).

Простота в схеме оценивания – дань прошлому, когда учитель являлся основным источником информации. Его целевое назначение требовало максимального сосредоточия на этом вопросе (накопление, транслирование и т.д.) за счет максимального упрощения остальных атрибутов (в том числе и оценивания). Однако в современных условиях, когда педагог становится скорее организатором, менеджером обучения, оценивание является фактором, который организует, направляет и стимулирует этот процесс.

Поэтому при создании своей оценочной системы мы опирались как на мировой опыт и успешные российские модели, так и на собственное понимание семи ключевых задач, стоящих перед оцениванием:

1. Высокий уровень объективности.
2. Не отражение разовых результатов, а определение тенденций развития образовательных успехов у конкретного ученика.
3. Повышение мотивационной составляющей оценки и снятие с нее эмоционального негатива.
4. Изменение случайного характера оценки на плановый, порождающий стремление к постоянной учебной деятельности.
5. Наглядность процесса оценивания и прогресса в обучении.
6. Процесс оценивания должен давать возможность ученику оценить свои успехи в соответствии с некоторым средним эталоном, относительно своих предыдущих результатов и достижений других учеников.
7. Процесс ввода, вывода, хранения и интегрального анализа оценочного материала должен быть прост для учителя, понятен для ученика и родителя, достаточен для проведения любых возможных аналитических мероприятий на уровне руководства школы и учредителя (в том числе, в части прогноза развития ситуации).

Фактически мы обозначили важнейшую цель оценивания – определить местоположение ученика в некоторой системе относительно себя и других. Для чего необходимо:

– сравнение учащегося со своим собственным (предыдущим) результатом;
– сопоставление с аналогичными параметрами другого ученика, для позиционирования школьников относительно модели социальной успешности;
– сравнение результатов деятельности с объективным эталоном, для определения соответствия каким-то изначально заданным условиям (ЕГЭ, ГИА).

Исходя их этих критериев, в 2004 году у нас начались работы по созданию Внутришкольной системы оценки качества образования. Она получила название «ВСОКО – 548».

Для ее реализации была организована Служба мониторинга, целью работы которой стала выработка механизмов и систем управления качеством всего образовательного процесса в Центре, а проблема оценки оказалась одной из частных задач.

В ходе реализации проекта предполагалось получить научно и методически обоснованные технологии оценивания, позволяющие установить соответствие для каждой позиции оценочной характеристики учащихся: условия ее достижения; ресурсы; показатели (индикаторы); периодичность, способы и виды мониторинга; система контроля качества процесса формирования данного показателя.

Для решения такого комплекса проблем нашему Центру пришлось скорректировать программу развития и создать отдельную программу по реализации проектов, связанных с оценкой качества образования и эффективности используемых ресурсов.

Начальный этап осуществления нашего замысла – 2004/05 учебный год. Первоочередной задачей стало создание качественного измерителя знаний учащихся по предметам в виде тестовых заданий.

Объектами оценивания мы выбрали две учебные дисциплины – русский язык и математику. С самого начала было решено, что все работы проводятся в тестовом виде в связи с тем, что современная система образования в школе переходит на данный вид контроля как во время итоговой аттестации учащихся в форме ЕГЭ, так и в рамках аттестации ОУ.

Главное при этом – наличие одинаковых для всех испытуемых условий осуществления педагогического контроля (трудность, состав, структура заданий) и правил интерпретации результатов (ответственность и справедливость). Выбор тестов как основы был обусловлен тем, что эта методика позволяла профессионально оценить знания, получить объективные оценки уровня и структуры подготовленности учащихся, являлась технологичной, давала возможность точных измерений, доступную интерпретацию результатов и позволяла перейти в дальнейшем к компьютерному тестированию.

Для работы по созданию заданий в форме тестов потребовалось массовое обучение учителей нашего Центра. Поэтому были организованы и проведены семинары по темам: «Тесты и новые образовательные технологии», «Основы теории и методики педагогических измерений», «Создание измерительных материалов в форме теста для педагогических измерений». Около сорока процентов наших педагогов прошли подготовку на курсах «Система заданий в тестовой форме».

В начале реализации предлагаемого подхода работа строилась по традиционной схеме: входной и итоговый контроль. При осуществлении проекта данная система трансформируется на основе разработанных методик по мере развития и отработки.

В школе был создан временный документ «Положение о порядке оценивания личных достижений учащихся (портфолио) Центра образования “Царицыно” № 548». Он определял принципы формирования портфолио школьников и перечень информации, которую он должен и может содержать.

Для организации системы мониторинга было написано «Положение о Службе мониторинга и оценке эффективности», определившее структуру службы, ее цели и задачи. В нем зафиксированы основные направления деятельности, принципы получения информации, полномочные представители от различных служб Центра, ответственные за предоставление информации Службе мониторинга.

В 2005/06 учебном году продолжилось создание и накопление тестовых заданий, сформировался банк готовых тестов. Началась работа по форме написания отчетов, определились направления анализа, но главное – шло налаживание сотрудничества с руководителями подразделений и кафедрами Центра образования.

Если 2004/05 учебный год характеризовался экспериментальной работой с отдельно выбранными классами или параллелями, то, начиная с 2005/06 учебного года, план деятельности Службы мониторинга был внесен в сводный план Центра образования, а через год реализовывался уже в виде циклограммы.

В исследованиях приняли участие ребята с 4-го по 10-й класс. Такой выбор не случаен. Четвероклассники проходят тестовый контроль по русскому языку и математике (итоговый контроль) в конце года. Полученные данные позволили нам проверить знания, умения и виды деятельности, которыми овладели учащиеся в начальной школе, провести качественное сравнение результатов, исходя из различных программ обучения. Появился независимый материал для работы по преемственности при переходе в пятый класс.

В том же году мы впервые провели психологическое тестирование, которое позволяет говорить о готовности пятиклассников к обучению в средней школе, степени интеллектуального развития, эрудированности и уровне переработки вербальной информации, выявлении проблемных зон.

В параллели восьмых классов проходило тестирование по русскому языку в двух формах: в тестовом варианте и в виде комплексного диктанта по русскому языку, а также в тестовом варианте и в виде усложненной контрольной работы по математике. Выводы и анализ по ним позволили получить материал для создания профильных классов.

На этом же этапе было введено психологическое тестирование, которое проводилось с помощью методики «Универсальный интеллектуальный тест». Он состоит из разного рода заданий: решение арифметических задач с использованием аналитических способностей, работа с числовыми рядами на выявление различных закономерностей, на пространственное мышление, где обнаруживается общая осведомленность и информированность школьников.

В параллели была начата деятельность по выяснению компетентностей учащихся восьмых классов, которые рассматривались как желаемый результат образования.

Итогами 2005/06 учебного года можно считать:

• Введение новых форм тестирования.

• Подготовку аналитического материала для организации предпофильных направлений.

• Формирование протокола взаимодействия между Службой мониторинга и руководителями подразделений, заведующими кафедр.

В 2006/07учебном году мы завершили перевод тестового материала и бумажного архива работ на электронные носители, закончили создание тестов естественно-научного цикла, тестовых заданий для комплексного тестирования младшей школы, нового вида интегрированных тестов с использованием ИКТ по проверке грамотности чтения для 4-х классов.

Теперь четвероклассники проходят у нас в течение года пять тестирований: дважды по русскому языку и математике (стартовый и итоговый контроль) и аудиотестирование грамотности чтения.

Учащиеся 6-х классов тестируются один раз в год, проходя итоговый контроль по русскому языку и математике. Причем в данной параллели с 2007 года тестирование проводится на компьютерах. Это новый вид работы, который позволил сопоставить достижения школьников на бумажном носителе и в компьютерном варианте, начать осваивать новый вид накопления данных об оценивании, а также получить результаты обученности за данный период.

В то же время был сделан и акцент на параллель 7-х классов, которая является рубежной для перехода в здание старшей школы. Тестирование здесь проводилось дважды в год по основным предметам – русскому языку и математике.

Были введены также новые измерения, связанные с изучением компетентности учащихся в области решения проблем. Это вызвано тем, что в условиях реальной жизни данная сфера является основой для дальнейшего обучения, эффективной профессиональной деятельности.

Задания теста требовали проведения анализа предложенного текста, умения обобщать информацию, расположенную в разных его частях, соотношения прочитанного со своим жизненным опытом, восприятия информации, заданной в неявном виде, способности понимать сложное изложение, критически оценивать, предоставлять те или иные сведения, формулировать гипотезы и выводы. Данный вид работы позволил выбрать основные направления по развитию ключевых компетенций.

Учащиеся 8-х классов проверяются у нас дважды в год по математике: первый раз тестирование для них проходит в электронном виде в декабре, второй – в форме контрольной работы на бумажном носителе в конце февраля. Выводы и анализ по этому типу заданий способствуют получению материала для создания профильных классов.

Параллельно проходят тестирования по русскому языку: в ноябре – по тестам в электронной оболочке программы, в январе – в виде комплексного диктанта. Электронное тестирование позволяет выявить уровень подготовленности по предмету, темы для повторения, проследить результаты по каждому тестовому заданию по классам. Комплексный диктант дает возможность проверить наличие базовых программных знаний по русскому языку и умение учащихся работать на повышенном уровне сложности.

Постепенно мы вводили тестирование и по другим предметам. В частности, учащиеся 9-х классов выполняют интегрированный тест по физике и химии. Мы убеждены в том, что развитие коммуникативных навыков является одним из главных направлений при формировании ключевых компетентностей. Поэтому разработали специальные тестовые задания, направленные на проверку лингвистических, языковых, коммуникативных способностей:

– умение проводить элементарный лингвистический анализ языковых явлений;
– уровень практического владения русским языком, его словарем и грамматическим строем, а также соблюдение языковых норм;
– владение разными видами речевой деятельности, умение читать и понимать предложенный текст, устанавливать связи между предложениями, определять стиль и тип речи, выделять в нем средства выразительности.

Тестирование по физике проходит в школе в октябре, но назвать его стартовым было бы неправильно, так как оно проверяет знания, полученные учащимися в 6–8-х классах. Его задания основаны на деятельностном подходе к проверке освоения требований, включенных в образовательные стандарты.

Аналогичное положение с тестированием по химии. Задания проверяют уровень обученности за 8-й класс и тему «Металлы» 9-го класса (проводится в конце декабря). Тенденции последнего времени (все чаще теперь говорят о введении в 9-х классах мини-ЕГЭ) дали школе дополнительную возможность проведения диагностики школьников, их готовности к единому экзамену по данным предметам.

Учащиеся 10-х классов тестировались по математике, русскому языку, географии, психологии, информатике, компетентностным навыкам. Для тестирования в данной параллели использовалось сразу несколько форм работы. Например, математика и русский язык, проводимые в январе, проходили в электронном виде; а те же предметы, проверяемые в апреле, – в форме, используемой на ЕГЭ. Это позволило нам оценить, насколько ребята готовы к такому виду проведения экзаменов, проанализировать работу учителей по подготовке учащихся, отработать форму заполнения бланков.

Итогами работы этих лет можно считать:

• запуск оценочной локальной компьютерной сети;

• перевод тестов в электронную оболочку «Аист» и их апробация;

• введение компьютерного тестирования;

• расширение диапазона тестирования;

• создание интегральных тестовых материалов для младшей школы;

• подготовка аналитического материала по предметам с учетом накопленного материала;

• создание контекстных тестов для классов т.н. «перехода» со ступени на ступень.

Использование разных методов педагогических измерений способствует формированию обширной и востребованной базы данных для аналитической и коррекционной работы. Просчитываемый средний балл и проценты по каждому заданию дают нам возможность сравнения: каков индивидуальный прогресс учащегося по тем или иным периодам и темам, какие из них усвоены лучше, кто из детей из года в год показывает стабильно низкие или высокие результаты.

Кроме того, это позволяет сделать сопоставление по классам, работающим учителям, оценке знаний для выявления динамики достижения предполагаемых результатов и качества образования. Полученный материал содействует выявлению зон риска и ограничений при достижении определенных итогов и качества образования.

Являясь независимой экспертной оценкой, деятельность Службы мониторинга помогает в разрешении конфликтных ситуаций «учитель–ученик», «учитель–родитель». Кроме того, это еще одна возможность проинформировать учащихся, родителей и учителей об успехах школьника в индивидуальных достижениях и достижении стандарта образования.

Актуальными задачами, которые предстоит решить в ближайшее время, можно считать поиск решений для удовлетворения следующих требований:

• для выполнения всех заданий в рамках одной работы должно затрачиваться не более 20-ти минут;

• все работы носят безличный характер (через систему идентификационных номеров);

• процедуру проведения оценивания по предмету проводит учитель, не имеющий специального образования для его преподавания (за исключением диктанта);

• проверка работ осуществляется специалистами на основании обезличенных списков (идентификационных номеров);

• задания оценивания должны быть открыты и представлены в разнообразных информационных формах;

• задания оценивания являются интегральными, т.е. позволяющими за одно измерение получить максимум информации (по предметам, видам и способам деятельности, используемым компетенциям, индивидуальному прогрессу и достижению стандарта);

• материал для оценки индивидуального прогресса по всем предметам является унифицированным с 3-го по 11-й класс;

• время, в которое учащийся хочет пройти процедуру независимого оценивания, он выбирает самостоятельно, заранее зная месяц, когда это необходимо сделать, и часы работы кабинета оценивания.

Общий смысл создаваемой системы «ВСОКО–548» – максимальная информативность оценивания для всех субъектов образования. При заинтересованной поддержке и грамотном развитии данный подход эффективен в структуре двух типов оценивания более высокого уровня.

В системе ОСОКО (Общероссийской системы оценки качества образования) могли бы быть использованы формируемые образовательным учреждением базы данных об измерениях, согласованных и аккредитованных соответствующим образом. Такая информация полезна при аккредитации учреждений. Благодаря этому есть возможность, с одной стороны, избежать измерительных нагрузок в ходе аккредитационных процедур, а с другой – повысить объективность оценки, так как она делалась бы на основании длительного самоаудита школы, который труднее исказить.

Развитие систем ВСОКО также помогает построить ОСОКО не «сверху вниз», где собранные школой данные ей самой практически не используются и ориентированы на более глобальный контекст проблем, а организовать движение информации по принципу «снизу вверх». При этом она может применяться в первую очередь самим образовательным учреждением для решения проблемы контроля качества и в избытке обеспечивать более высокие уровни РСОКО и ОСОКО (региональный и общероссийский) всеми необходимыми сведениями.

В системе ЕГЭ – ГИА, «ВСОКО–548» может быть использована как альтернативная форма итоговой аттестации, где вместо разового тестирования ученик имеет право выбрать рассмотрение накопленного за утвержденный период времени портфолио предметных достижений в качестве итогов своей образовательной деятельности.

Такая форма позволила бы версифицировать формат ЕГЭ, расширив его за счет новой альтернативы, помогла бы продемонстрировать учащимся не единичный результат оценки, а итоги систематического учебного труда, что более эффективно и по определению достовернее разового измерения, с точки зрения достигнутых успехов.

Безусловно, реализация подобных идей на практике сталкивается с множеством трудностей. Однако очевидно, что ВСОКО – это возможность учесть содержательную и организационную уникальность оценивания при единстве подходов ОСОКО и ГИА для каждого образовательного учреждения.

ВСОКО может стать предметом продуктивной конвенции в образовании, когда министерство, регионы, муниципалитеты, школы, ученики, учителя, семьи и заинтересованная общественность получат прозрачную, достоверную и гибкую систему оценивания.