Главная страница «Первого сентября»Главная страница журнала «Управление школой»Содержание №3/2009

Тема номера

Хотите улучшить работу?

Для совершенствования используйте опросники

Одна из американских ассоциаций учителей-естественников разработала оценочные методики, оформленные в виде руководства для   педагогов. Предлагаем соотнести их с вашей практикой. Как вы  считаете, насколько они применимы к российской системе образования?

Я изменила систему оценивания – подчеркнула понимание смысла феномена, связи идей, способности дать объяснения. Ученики поняли, что они должны осмыслить изучаемое, а не просто отрапортовать «попугайничая».

Е.Сеймур, преподаватель социологии

Зачем нужны такие опросники?

Опросник предоставляет сведения о том, как школьники воспринимают происходящее на уроках, включая общее отношение к занятию, предмету, к собственному обучению. Получив информацию из самоотчетов, можно определить, какие элементы в преподавании максимально поддерживают учебную деятельность ученика.

Опросники бывают разнообразными по форме, но, как правило, состоят из ряда утверждений, которые ребенок должен рассмотреть и определить степень своего согласия или несогласия с ними по определенной шкале.

Опросник отношений (аффективный опросник) обеспечивает информацию о том, как ученик воспринимает происходящее в классе, о его эмоциях, чувствах, отношениях (табл.1).

Таблица 1

Примеры простых утверждений из опросника отношений

Пожалуйста, используйте предложенную шкалу, чтобы отразить ваше согласие или несогласие с каждым утверждением.

АН – абсолютно не согласен; Н – не согласен; О – одинаково (нейтральное отношение); С – согласен; АС – абсолютно согласен; НП – не применимо.

Тема

АН

Н

О

С

АС

НП

Не знаю

Лабораторные работы

             

Я часто не понимаю того, что стоит за экспериментом

1

2

3

4

5

6

7

Я люблю лабораторные, в которых сам могу найти в эксперименте ответы на имеющиеся вопросы

1

2

3

4

5

6

7

Этот курс дает мне возможность поучаствовать в разработке эксперимента, чтобы получить ответы на имеющиеся вопросы

1

2

3

4

5

6

7

Мне ясно, как лабораторная работа связана с курсом в целом

1

2

3

4

5

6

7

Выполняя лабораторную работу в классе, я как будто действую по рецепту из поваренной книги

1

2

3

4

5

6

7

Учебник с руководством по проведению лабораторной работы хорошо написан, все понятно

1

2

3

4

5

6

7

Я хорошо учусь, если...

             

Выполняю домашние задания

1

2

3

4

5

6

7

Использую диаграммы и таблицы

1

2

3

4

5

6

7

Работаю с компьютером

1

2

3

4

5

6

7

Читаю учебник

1

2

3

4

5

6

7

Выполняю работу с напарником

1

2

3

4

5

6

7

Получаю помощь от взрослого

1

2

3

4

5

6

7

Делаю что-либо руками

1

2

3

4

5

6

7

Слушаю рассказ учителя

1

2

3

4

5

6

7

Делаю записи по ходу лабораторной работы

1

2

3

4

5

6

7

Читаю и перечитываю материал

1

2

3

4

5

6

7

Я знаю, что понимаю, когда...

             

Я могу работать над проблемой с учебником

1

2

3

4

5

6

7

Я могу применять изученное в новых ситуациях

1

2

3

4

5

6

7

Я получаю хорошую отметку на экзаменах

1

2

3

4

5

6

7

Я могу объяснить изученный материал кому-либо другому

1

2

3

4

5

6

7

Я вижу, как различные понятия связаны друг с другом

1

2

3

4

5

6

7

Например, обнаруживает восприятие:

  • содержания курса;

  • его специальных компонентов;

  • элементов, которые облегчают или затрудняют усвоение.

В том числе выявляет:

  • эффект от проводимых в процессе обучения инноваций.

Опросник может также отражать то, в чем ученики испытывают нужду в ходе обучения, и то, насколько их запрос понят и удовлетворен, а именно: интерес к предмету и понимание его важности, ожидания и уверенность в успехе и т.п.

Если большинство учеников согласились с утверждением: «Выполняя на уроке лабораторную работу, я как будто действую по рецепту из кулинарной книги», – пора менять приемы проведения лабораторных.

Кроме того, учитываются представления школьников о сущности данной дисциплины:

  • содержание того или иного курса (химия, физика и т.д.);

  • процесс освоения (изучения) именно этого предмета;

  • способность освоить данную область знаний;

  • стратегии, полезные для изучения;

  • индивидуальные учебные стили и предпочтения.

Результаты оценивания

В зависимости от содержания вопросов, учитель может получить информацию об учебном стиле ученика, о тех способах работы, которые он предпочитает. Это позволяет выбрать формы обучения, отвечающие потребностям ребенка. Педагог также может сделать вывод о том, какие элементы содержания и преподавания являются наиболее существенными для обучения.

Целостная информация о том, как дети представляют сущность изучаемого предмета, позволяет спроектировать формы учебной деятельности, помогающие школьникам более реалистично увидеть предмет и связанные с ним жизненные практики.

Еще одно преимущество этой формы опросника в том, что он побуждает учеников к рефлексии собственного учебного стиля, своих сильных и слабых сторон. Это часто помогает им лучше организоваться и найти более продуктивный способ работы.

Ограничения

При том, что вопросы и утверждения, вошедшие в опросник, кажутся очевидными, они являются результатом тщательной работы. Необходимо, чтобы они позволили измерять именно то, что хотелось бы (т.е. были валидными), и являлись достоверными для данной группы. Поэтому опросники, составленные без проверки на валидность и достоверность, часто не имеют значимости.

Для того чтобы получить при опросе качественные данные, ученикам должна быть гарантирована анонимность. То есть при анализе результатов исключена какая-либо идентификация отвечавших. Если надо сопоставить итоги исследования с успеваемостью, то провести опрос и проанализировать полученную информацию должен не преподаватель, а какой-либо нейтральный для учеников человек, причем детей необходимо проинформировать о происходящем. Собранные сведения желательно отсканировать и обработать с помощью статистической программы.

Цели с точки зрения преподавания и предложения по использованию

  • Обучение техникам и методам, полезным для достижения новых знаний по данному предмету.

  • Развитие соответствующих учебных умений, стратегий и привычек.

  • Развитие рефлексии относительно процесса обучения и контроля над ним (метакогнитивные умения).

  • Развитие предметных знаний и заинтересованности в предмете.

  • Развитие методов преподавания, основанных на обратной связи с учеником.

Опросник можно использовать в начале курса, чтобы установить, какие формы учебной деятельности, с точки зрения учеников, являются для них наилучшими, и определить их отношение к предмету. Это поможет выбрать стратегию преподавания.

Другая возможность – применять опросник, чтобы сравнить отношения школьников в начале (предтест) и в конце курса (посттест). Это позволит преподавателю увидеть, как были восприняты различные темы. К нему можно обратиться в любой момент по ходу изучения предмета для коррекции содержания и методов преподавания.

Тест не требует много времени. Достаточно длинный опросник обычно не отнимает более 20-ти минут у старшеклассников. Разумеется, при его составлении надо учитывать возрастные особенности учеников, включая различный темп выполнения задания.

Сканирование и использование программ статистической обработки значительно облегчает работу с полученными данными. Если ответы будут отсканированы, их можно обработать в соответствующих электронных программах. Простое распределение в каждой категории ответов дает возможность определить позиции учеников. Например, если большинство ребят согласились с утверждением «Выполняя на уроке лабораторную работу, я как будто действую по рецепту из кулинарной книги», – пора менять приемы проведения лабораторных.

Если в ходе курса осуществляется его существенная коррекция, то интересно измерить сдвиги, происшедшие в отношении учеников. Сравнив распределение их ответов по каждому утверждению, можно увидеть соответствующие изменения, касающиеся учебного процесса в целом или его отдельных составляющих. Если предположить, что среднее значение по утверждению «Мне ясно, как лабораторные работы связаны с содержанием предмета» будет низким (примерно около 2-х, где 2 – не согласен), то это показатель того, что ребята не понимают смысла лабораторных работ, их места в происходящем на уроках.

Учитель может получить неприятный сюрприз – обнаружить, что у его учеников совсем иная точка зрения, чем у него самого.

За и против

  • Формат опросника и способ работы с ним, как правило, знакомы ученикам и не вызывают затруднений. Обычно они с удовольствием выполняют это задание, им приятно, что преподаватель интересуется их отношением.

  • Учитель быстро получает информацию, которая позволяет расставить правильные акценты в учебном процессе и предметном курсе и сделать преподавание более эффективным.

Результаты можно выразить в процентах, они просты для предъявления и понимания.

  • Если опрос проведен в начале курса, ребята начинают активнее включаться в происходящее. Это улучшает настроение в классе, повышает активность учеников, облегчает коммуникацию.

Обсуждение результатов с учащимися помогает им увидеть, насколько разнообразными могут быть мнения и привычки в одном классе, то есть делает их более терпимыми и убеждает, что к одному явлению или концепции можно подойти по-разному, причем вполне обоснованно.

  • Проведение опроса облегчает ученикам рефлексию своих учебных привычек и отношений.

Однако:

  • Педагог может получить неприятный сюрприз – обнаружить, что у его учеников совсем иная точка зрения, чем у него самого, и, возможно, даже противоположная.

  • Некоторые ребята могут усомниться в анонимности опроса и отвечать не так искренне, как хотелось бы.

  • Узнав, как ученики в действительности относятся к его преподаванию и предмету, учитель может испытать глубокое разочарование и впасть в депрессию.

  • Ожидания и потребности школьников порой не совпадают с тем, как преподаватель планирует курс обучения. Тогда он должен или игнорировать пожелания или менять свои планы.

  • Опросник обычно дает широкий обзор, но менее детализированную информацию, чем можно получить при индивидуальном интервью или в фокус-группе.

Теория и исследования

Исследования (Angleo & Cross, 1993; Davis, 1993; Reynolds, 1992; Murray, 1991; Shulman, 1990) показали, что эффективного учителя отличает определенный набор характеристик. Две из них тесно связаны:

  • Эффективный учитель часто пользуется различными техниками оценивания и обратной связью для того, чтобы регулярно оценивать то, что делает он сам, что происходит на уроках, как продвигаются в действительности его ученики.

  • Эффективный учитель старается предусмотреть, что окажется наиболее трудным для детей, и так строит преподавание, чтобы дать этот материал самым приемлемым для них образом. Для этого он должен быть осведомлен о том, что знают и как подготовлены ученики, а также уметь сделать активность ребят на уроке максимальной.

Оценочные техники для курсов по гуманитарным и общественно-историческим предметам

Приведем пример, выбрав эту предметную область.

Довольно часто ученики, получив оценку, говорят: «Я не понимаю, чего от меня хотят!» или возмущаются: «Почему “4”, а не “5”?». Ребята должны понимать, каких достижений мы от них ожидаем при оценивании и, что наиболее важно, какими критериями при этом пользуемся. Рубрики обеспечивают приемлемый путь для взаимодействия с учащимися и совместной выработки учебных целей и критериев их достижения.

Это способ описания оценочных критериев, которые опираются на ожидаемые учебные результаты и достижения учеников. Обычно их используют при письменном оценивании и устных презентациях. Но они могут применяться для оценивания любых форм учебных достижений. Каждая рубрика содержит набор оценочных критериев и соответствующих им баллов. При использовании в классе рубрики обеспечивают объективный внешний стандарт, с которым сравниваются различные достижения отдельных учеников.

Рассказывает М.Сторм, преподаватель биологии: «Однажды я должна была дать вводный курс в биологию в общей сложности 60-ти школьникам. Я знала, что тесты с множественным выбором не позволят мне узнать, каким образом мыслят мои ученики. С другой стороны, видела своей задачей научить их думать, говорить и грамотно обосновывать свои мысли. Я считала это своим долгом. Но каким образом проверить 60 письменных работ при условии, что ученики пишут их достаточно часто? Поэтому я решила обратиться к методике рубрики…»

Рассмотрим Пример 1 в Таблице 2.

Таблица 2

Пример 1. Оценочные рубрики для контрольного задания и домашней работы

Уровень достижений

Общий подход

Понимание

Образцовый

(5 баллов)

Отвечает на вопрос.
Дает адекватный, убедительный ответ.
Логично и последовательно аргументирует ответ.
Использует приемлемый стиль и грамматику (ошибок нет)

Демонстрирует точное и полное понимание вопроса.
Подкрепляет выводы данными и доказательствами.
Использует не менее 2-х идей, примеров и/или аргументов, поддерживающих ответ

Адекватный

(4 балла)

Не отвечает  на вопрос прямо, но косвенно с ним соотносится.
Дает адекватный и убедительный ответ.
Логично и последовательно аргументирует ответ.
Использует приемлемый стиль и грамматику (ошибок нет)

Демонстрирует точное, но всего лишь адекватное понимание вопроса, поскольку не подкрепляет выводы доказательствами или данными.
Использует только 1 идею, поддерживающую ответ

Нуждается в улучшении

(3 балла)

Не отвечает на вопрос.
Не дает адекватных ответов.
Обнаруживает недопонимание, неправильные представления.
Ответ неясный  и логически  не организованный.
Не находит приемлемого стиля и грамматики  (2 и более ошибок)

Не демонстрирует точного понимания вопроса.
Не представляет доказательств  в пользу своего ответа

Не отвечает (0 баллов)

   

Цели оценивания:

  • Повысить достоверность количественого оценивания письменных заданий и устных презентаций.

  • Представить цели и ожидаемые достижения в четком однозначном виде.

Дать стандарты оценивания или балльные оценки и соотнести их с достижением учебных целей.

  • Вовлечь учеников в критическое оценивание собственных работ.

Ограничения

Проблема критериев. Вызовом (или потенциальным ограничением) в развитии и использовании рубрик является описание ожидаемых достижений и определение критериев, которые дифференцируют различные уровни достижений. При таком подходе могут быть полезны количественные характеристики, например, «обеспечить 2 варианта доказательств, подтверждающих выводы» или «0 грамматических ошибок». Такие варианты, как нечеткий и четкий, должны описываться настолько ясно, чтобы ученики видели разницу между четким и нечетким ответом.

Тщательное описание ожидаемых достижений и определение критериев делает оценивание более легким, информативным и полезным и для преподавателя, и для учеников.

Проблема практики и регулярного использования. Никакие оценочные инструменты не будут эффективны, если они не используются на регулярной основе. Рубрики наиболее эффективны, когда преподаватель и школьники практикуются в работе с ними вновь и вновь. Развитие эффективных рубрик требует постоянного пересмотра, основанного на обратной связи учителя и учеников. Наилучшие рубрики создаются в результате длительной совместной работы и большого числа повторений.

Рассмотрим Пример 2 в Таблице 3.

Таблица 3

Пример 2. Оценочная рубрика для исследовательской работы (35 возможных единиц)

Уровень достижений

Основная презентация

Понимание понятий

Структура аргументации

Использование литературы и других источников

Образцовый

(10 ед.)

Обеспечивает ясное и обстоятельное введение  и обоснование.
Ставит конкретные и проверяемы вопросы для исследования.
Обеспечивает ясное объяснение предлагаемых методов исследования.
Логично и последовательно аргументирует рациональность и содержательность предлагаемого исследования.
Использует приемлемый стиль и грамматику

(10 ед.)

Демонстрирует полное понимание предлагаемого исследования.
Использует широкий набор информации для построения и развития аргументации.
Демонстрирует полное понимание возможного применения полученных данных

(10 ед.)

Обеспечивает четкие, ясные и убедительные обоснования (заключения) причин, по которым предлагаемое исследование важно и должно быть осуществлено.
Обеспечивает релевантные подтверждения в пользу сделанных выводов

(5 ед.)

· Выбирает правильный формат цитирования.

· Использует информацию, релевантную предлагаемому исследованию

Адекватный

(8 ед.)

Обеспечивает введение и обоснование, которые только частично существенны для эксперимента .
Ставит ясные, но непроверяемые вопросы исследования.
Обеспечивает адекватное объяснение методов предлагаемого исследования.
Делает попытку логично и последовательно аргументировать рациональность и содержательность предлагаемого исследования.
Использует приемлемый стиль и грамматику (1–2 ошибки)

(8 ед.)

Демонстрирует частичное понимание предлагаемого исследования.
Использует для аргументации информацию из 2–3-х источников.
Демонстрирует частичное понимание возможного применения полученных данных

(8 ед.)

Заявляет причины, по которым предлагаемое исследование важно и должно быть осуществлено. Но дает слабые подтверждения и доказательства сделанных выводов

(4 ед.)

Выбирает правильный формат цитирования, но не на протяжении всего проекта.
Использует ограниченное число источников информации, релевантной предлагаемому исследованию

Нуждается

в исправлении

(6 ед.)

Обеспечивает введение и обоснование, которые  не являются существенными для эксперимента.
Ставит нечеткие и непроверяемые вопросы исследования.
Дает сумбурное объяснение методов предлагаемого исследования.
Сумбурно и слабо аргументирует рациональность и содержательность предлагаемого исследования.
Не удается использовать приемлемый стиль и грамматику (> 2 ошибок)

(6 ед.)

Не демонстрирует понимания предлагаемого исследования.
Использует для аргументации менее 2-х источников информации.
Не проявляет понимания возможного применения полученных данных

(6 ед.)

Заявляет причины, по которым предлагаемое исследование важно и должно быть осуществлено. Но дает слабые подтверждения и доказательства сделанных выводов

(3 ед.)

Не следует правильному формату цитирования.
Не использует информации, релевантной предлагаемому исследованию

Учитель получает множество данных о том, что понимают и могут делать ученики. Рубрики применимы к различным формам оценивания: короткие письменные пробы, эссе, выставка плакатов, устные презентации, листы исследований, недельные домашние задания.

Каждая рубрика вполне уникальна, но основные критерии в них во многом сходны. Например, рубрики для письменных заданий имеют одни и те же критерии приемлемого стиля и грамматики; ответы соотносятся с вопросом, а аргументы должны быть логичными и последовательными. И наоборот. Рубрика, составленная для оценивания представления плаката, может включать проверочный лист, который служит ученикам руководством к формированию всех разделов плаката. Каждый его компонент получает дополнительный критерий для оценки. Является ли заголовок плаката информативным? Содержит ли он ключевые слова?

Рассмотрим Пример 3 в Таблице 4.

Таблица 4

Пример 3. Оценочная рубрика для эссе

Уровень достижений

Основная презентация

Объяснения, аргументация

Образцовый

(10 ед.)

Обеспечивает ясное и обстоятельное введение и обоснование.
Отвечает на вопрос.
Представляет логичные аргументы.
Использует приемлемый стиль и грамматику

Демонстрирует точное и полное понимание вопроса.
Использует разнообразную аргументацию, примеры и данные, подкрепляющие выводы

Качественный

(8 ед.)

Достаточно качественно, но менее обстоятельно (1–2 ошибки).
Менее детально, но достаточно точно

Использует только один аргумент и пример, который подкрепляет вывод

Адекватный

(6 ед.)

Не отвечает на вопрос прямо, но косвенно с ним соотносится.
Аргументирует до определенной степени релевантно.
Некоторые аргументы вполне логичны.
Использует адекватный стиль и грамматику. (более 2-х ошибок)

Демонстрирует минимальное понимание вопроса.
Использует незначительное число возможных идей в поддержку своей аргументации

Нуждается в улучшении

(4 ед.)

Не отвечает на вопрос.
Не дает релевантных аргументов.
Не демонстрирует логики и последовательности.
Не находит приемлемого стиля и грамматики

Не демонстрирует понимания вопроса.
Не приводит доказательств, подтверждающих ответ на вопрос

Нет ответа

(0 ед.)

     

Анализ

Рубрики позволяют оценить в баллах различные задания и тесты. Эти баллы аккумулируются и определяют рейтинг ученика на определенном этапе. Например, регулярный письменный опрос оценивается в 5 баллов. За полугодие ребенок может набрать по этому заданию, которое выполняется 2 раза в неделю, 75 баллов. Такой подход позволяет определить средний уровень учеников в классе или школе.

В начале курса многие школьники отвечают на уровне ниже среднего. Но постепенно понимая критерии и упражняясь в письменных работах, они достигают значительного улучшения. Ключевой стратегией, обеспечивающей улучшение для всех учеников, является рассмотрение работ парами, входящими в группы сотрудничества.

Универсальные оценочные инструменты

«Я был расстроен в конце курса тем, как мало учеников охватили целостную, общую картину астрономии и какими устойчивыми оказываются непонимание и ложные концепты. В поисках решения я наткнулся на карты понятий. Я был буквально потрясен тем, что процесс «картирования» понятий может выявить такие структуры, о которых я и не подозревал…» (М. Зелик, преподаватель астрономии.)

Карты понятий позволяют оценить, как хорошо ученики могут видеть общую картину предмета или отдельной темы. Они применяются уже около 25-ти лет, обеспечивая возможность понятным и видимым образом представить концептуальные знания детей.

Карта понятий – это диаграмма, состоящая из узловых точек (каждая из которых помечена определенным понятием), связанных прямыми линиями. Узловые точки-понятия расположены на разных иерархических уровнях, соответствующих движению от наиболее общих к конкретным специальным понятиям (рис.).

Рис. Понятийная карта системы кровообращения человека (Mintzes, Wandersee & Novak, 1998)

Описание

Карта понятий представляет собой двумерную, иерархически организованную сетевую диаграмму, которая отражает структуру знаний в определенной предметной области, какой ее видит ученик, преподаватель или эксперт. Карта состоит из названий понятий, помещенных в рамки; они связаны линиями, фиксирующими соотношения этих понятий в направлении от общего к частному. Рассматривая карту от вершины к основанию, преподаватель может:

1. Проникнуть в то, как ученики воспринимают научные темы.
2. Проверить уровень понимания и возникшее у детей ложное толкование понятий.
3. Оценить сложность установленных ребенком структурных взаимосвязей.

Анализ

Начиная работать с данной методикой, следует сфокусироваться преимущественно на качественных аспектах карт, выполненных учениками, отражающих точность и глубину их знаний. Учитель может задать себе следующие вопросы:

– Зафиксированы ли наиболее важные понятия?
– Выстроено ли достаточное число иерархических уровней и взаимных соотнесений?
– Есть ли свидетельства того, что у ученика возникло неверное понимание и ошибочные понятия?
– Как выполненные учениками карты меняются через несколько дней или недель?

Если преподаватель и ученики приобрели опыт работы с картами, можно попробовать применить для их количественного оценивания одну или несколько «оценочных рубрик» (Novak and Gowin, 1984). В наиболее распространенной схеме оценивания 1 балл дается за каждую корректную связь между двумя соседними понятиями; 5 баллов – за каждый правильно установленный иерархический уровень, 10 – за любую содержательную и точную связь понятий из разных частей карты.

Более двухсот исследований только в области естественных наук использовали те или иные модификации этой техники. В основном все они показали, что она имеет многие характеристики, которыми должны обладать новые инструменты оценивания.

Рейтинг@Mail.ru