Польза тестов по гуманитарным дисциплинам
Апанович Т.А.
Казахский национальный университет искусств,
преподаватель ПЦК Теория музыки
ТЕСТИРОВАНИЕ В КУРСЕ ГУМАНИТАРНЫХ ДИСЦИПЛИН
ХХI век – время стремительно нарастающего темпа жизни. Техническая революция сделала возможными или достижимыми в прогнозируемом будущем самые смелые ожидания. И она же принесла с собой невероятное ускорение всех процессов. Почти физическое ощущение сжатия Времени и одновременного расширения Информационного поля знакомо, вероятно, большинству людей. Изменение их величин обратно пропорционально, и разбег этот набирает обороты в геометрической прогрессии. Вовлеченные в этот процесс, мы едва успеваем замечать, как меняется жизнь, распространяя принцип увеличения информации и сокращения затраченного времени практически на все сферы бытия.
Сфера образования не является исключением. И одним из проявлений данного факта является компьютерное тестирование. Практика тестирования на сегодняшний момент – одна из наиболее широко применяемых форм проверки знаний во всем мире. Возможности компьютерного тестирования позволяют за предельно сжатые сроки выявить, оценить, сравнить между собой, показатели не одного, а десятков, сотен и если возникнет необходимость, потенциально бесконечного количества тестируемых. На этом строится система ЕГЭ в России, ЕНТ в Казахстане.
Очевидные преимущества данного метода, заключающиеся в простоте применения, экономии времени и энергозатрат на проведение и анализ результатов, сделали его практически тотальным. Возмущенные голоса противников тестирования тонут в хвалебном хоре его приверженцев. Экономическая выгода как аргумент, как мне кажется, в ближайшем будущем решит судьбу этого бесперспективного спора.
Кроме того, сторонники тестирования приводят неопровержимые доказательства безусловного отсутствия объективности оценивания знаний учителем. Речь идет даже не о разнице в требованиях в различных школах или у разных преподавателей. «По мнению К. Ингенкампа «при использовании пятибалльной шкалы преподаватель выставляет оценки с разбросом плюс, минус 1 балл, то есть с точностью 20%. Из этого следует, что за одни и те же знания, испытуемый может быть оценен разными экзаменаторами на «2», на «3» и на «4». Более того, К. Ингенкамп указывает, что один и тот же экзаменатор в разные моменты времени, например с интервалом в 1 месяц, также по-разному оценивает один и тот же ответ (на экспериментах использовались видеозаписи ответов испытуемых)» [1, С. 5-6].
Тем не менее, контраргументы также весьма весомы. Образование – это прежде всего, коммуникативный акт между двумя личностями – учителем и учеником. Живое человеческое общение, положительный эмоциональный заряд, каждый раз личностно окрашенный и, потому неповторимый, заменяется суррогатом. Коммуникация учитель-компьютер и ученик-компьютер ничего не дает в плане духовного обогащения и нарушает некую сакральную сущность обучения.
Естественно, помимо ментальной сферы существует и рациональная, также свидетельствующая о негативных сторонах компьютерного тестирования. Попробуем определить, что же собственно выявляет тестирование. Как правило, в рамках теста включаются вопросы по крупному объему материала. Соответственно, степень подробности изучаемых явлений – минимальна. Итак, к примеру, мы пытаемся составить тест по музыкальной литературе. Степень важности фактов определяет каждый преподаватель эмпирическим путем. На первых этапах «тестотворчества» большая часть вопросов начинается с «В каком году…(родился, женился, учился, переехал, встретился, начал, завершил, скончался)». Формально, по ним можно воспроизвести биографию композитора, но что дает знание точной даты данного события в контексте его творчества? Или незнание? Оно ничего не говорит ни о степени изученности материала, ни о знании музыки. «В каком году написано», это отнюдь не история создания, а «в каком году поставлено» не раскрывает никаких перипетий, сопутствующих постановке.
Другой излюбленный штамп начинающих составителей – «Кто из композиторов написал…» И здесь возможны две крайности: либо произведение будет хрестоматийно известным, и правильный ответ будет лежать на поверхности, либо специально заковыристым, так что возникает соблазн спросить у преподавателя: «А сами-то Вы когда узнали об этом?».
Допустим, мы все-таки составили тест, в котором постарались избежать штампов, вопросов поверхностных (а глубоких в данных условиях представить в принципе невозможно) и некорректных. Следующей типичной ошибкой начинающих составителей является раздача тестов с вариантами ответов для самостоятельной подготовки. В результате, у ученика без твердо устоявшихся знаний на психологическом уровне происходит закрепление всех вариантов ответов. Через определенное время они кажутся ему одинаково знакомыми, и не вызывают реакции отторжения, отделения верного от неверного. Притупляется интуитивное знание. Если мы пытаемся как-то подготовить испытуемых к тесту, лучше уж дать вопросы без ответов.
Но вот мы, наконец, провели тест. К примеру, ученик ответил удовлетворительно. Компьютер дает возможность посмотреть ошибки, и через 5 минут проводим тестирование еще раз. Теперь он отвечает отлично. Знает ли он теперь музыкальную литературу? …
Ответ как отрицательный, так и положительный не свидетельствует о достижении результата обучения. Дело в том, что подобный «пуантилизм», точечный разброс по материалу, в принципе не соответствует природе гуманитарных наук. Красота мышления проявляется в его процессуальности, логической завершенности, в обобщениях. Гуманитарные дисциплины должны ставить вопросы не «что?», «где?», «когда?», а «почему?» и «каким образом?», и именно таких вопросов в тесте не бывает. Так что – вовсе отказаться от теста как непригодного в гуманитарных дисциплинах? Думается, жизнь нам этого не позволит. Отрицание тестирования в принципе, исходит прежде всего от незнания форм и видов тестирования, а также принципов составления и анализа полученных данных. Разработчики теории тестов выделяют несколько необходимых параметров при составлении теста.
1. Краткость. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается.
2. Одинаковость правил оценки ответов заключается в том, что все испытуемые находятся в равном положении. Это необходимое условие использования теста в качестве средства измерения.
3. Одинаковость инструкции для всех испытуемых. Это очевидное требование, в противном случае появится большая систематическая погрешность измерения.
4. Адекватность инструкции форме и содержанию задания означает взаимное соответствие компонентов, что необходимо для выполнения заданием своей функции. Несоответствие формы содержанию, и, наоборот, содержания форме, вызывает ошибку понимания смысла задания
5. Локальная независимость предполагает, что испытуемый, отвечая на задание, не может использовать добавленное знание, полученное из ответа на любое другое тестовое задание. Типичная ошибка начинающих составителей – перефразирование вопроса таким образом, что вопрос одного задания является ответом на другой: «Автором оперы «Жизнь за царя» является…» и «Сколько действий в опере Глинки «Жизнь за царя»?
Оптимальное количество времени на тестирование вычисляется путем неоднократного проведения одного и того же тестирования, иначе результаты не могут считаться объективными. И утомление, в следствие нерационально расширенного количества времени, и спешка от боязни не успеть, может негативно сказаться на итогах.
Тесты, традиционно используемые в учебной практике самые простые, они подразумевают лишь один вариант ответа. С нашей точки зрения, гораздо более убедительны тесты с несколькими правильными вариантами. Процедура оценивания здесь сложнее, чем в предыдущем случае. Сумма баллов за такое задание может быть больше чем в заданиях с выбором одного верного ответа.
Задания с градуированными ответами содержат ответы, которые возможно все являются правильными в той или иной степени. Ответы имеют градацию по степени правильности. Задача составителя заключается в том, чтобы найти и применить признак, позволяющий осуществить такую градацию. Максимальное количество баллов испытуемый получает, если его градация ответов полностью совпадает с градацией преподавателя, разработчика теста. Хорошим средством мобилизации мышления послужит создание ситуации поиска, поскольку ученик не осведомлен о количестве правильных ответов.
В заданиях на установление правильной последовательности испытуемому необходимо не просто выбрать соответствующие элементы ответа, но и расположить их в нужной последовательности. Заданиями такого типа хорошо проверять знание хронологической последовательности, логики рассуждений.
При апробации теста и анализе результатов, наиболее показательны ответы, где приблизительно равное количество ответивших и не ответивших. Вопросы со 100% правильных ответов, так же как и вопросы со 100% неправильных ответов должны быть дополнительно перепроверены на предмет своего соответствия. Вероятно, они или слишком сложны, или чересчур легки, или находятся на переферии изучаемой проблемы, второстепенны.
Образцом совмещения компьютерной технологии и гуманитарного знания может стать тестирование без ответов, по формуле неоконченных предложений. В отличие от прямого тестирования, подразумевающего единственно верный конкретный ответ, в данном случае предполагается свободное размышление, цель которого выяснить ход мысли. Разумеется, подобный вид не будет подвергаться компьютерной обработке.
Также хочется добавить, что необходимость обязательного выбора ответа, даже если учащийся его не знает, способствует созданию ложной картины результатов. Если, вне зависимости от знаний, использовать определенную систему, например, всегда нажимать ответ «А», это даст вам порядка 15% правильных ответов. При этом вероятность случайно попадания тем выше, чем меньше вариантов ответов запланировано. На психологическом же уровне необходимость в условиях отсутствия знания провоцирует небрежность, безответственность. Выходом же, как с воспитательной, так и с аналитической точки зрения может быть применение пункта «не знаю».
Современное компьютерное тестирование может дать преподавателю точные сведения о времени, затраченном на обдумывание каждого ответа, тем самым получить более полное представление об уровне усвоения материала и его проблемных местах.
Тестирование, давно и успешно применяемое в технических науках, с трудом находит свою область применения в гуманитарных. В то же время, реальность диктует неизбежность его все большего внедрения. Обращение к формам тестирования, более консонирующим с природой гуманитарного знания, а также оттачивание мастерства составления вопросов теста, может принести достаточно позитивные результаты. И, разумеется, оставляя, тестирование как одну из вспомогательных практик, не стоит рассматривать его как ведущую форму выявления знаний учащихся.
Литература
- Ким В.С. Тестирование учебных достижений. Монография. Уссурийск: Уссурийский государственный педагогический институт, 2007 г.
- Ким В.С. Анализ результатов тестирования в процессе Rasch measurement //Педагогические измерения, N4, 2005. –С.39-45.
- Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения, 2005, №4. -С.3-20.
1. Учитель литературы предложил семиклассникам написать сочинение на тему «Жизнь моей семьи». Ученица Тамара Л. написала в своем сочинении (текст с сохранением орфографии и пунктуации):
Мама у меня работает на фабрике. В прошлом году мама лежала два раза в больнице. Я и папа были вдвоем. Я стирала, готовила ходила к маме в больницу. Потом папа начал пить, часто приходит пьяной. Мы боялись его. Он бил маму выгонял нас из дома, часто приходилось ночевать у соседий. Часто выбрасывал мои учебники. Раньше за меня и маму заступалась сестра, а теперь сестра не живет с нами. Она вышла за муж. А папа все также продолжает пить. Мне тоже попадаит от него. Когда я училась в пятом классе он ударил меня по глазу и весь глаз был синий. Так вот и живет наша семья.
Учитель, проверив сочинение, поставил отметку «2». Возвращая девочке тетрадь, он сказал: «Очень плохо написано. Грубых ошибок наделала, да и с пунктуацией не все в порядке». Как Вы считаете, правильно ли поступил учитель? А что бы сделали Вы в данной ситуации?
2. Сформулируйте главную мысль следующего текста :
«Чтобы направлять действия учащихся в соответствии с целью, стимулировать их интерес, необходимо знать, как продвигается класс в работе.
Средством получения такой информации является контроль, который проводится непосредственно в ходе выполнения заданий. Это дает возможность своевременно корректировать самостоятельные действия некоторых учащихся.
Исследования психологов показали, что обратная связь в начале деятельности оказывает сильное мотивационное и регулятивное действие. Слова «хорошо», «правильно», движение руки, кивок – действия-стимулы, в которых нуждается каждый ученик.
Поэтому главная функция коррективного контроля – стимулирование деятельности. Он необходим не для внешнего порядка, дисциплины, а для того, чтобы поддержать усилия ученика».
3. Мы часто смешиваем эти понятия — оценка и отметка, употребляя их как синонимы. Между тем отметка — всего лишь выраженное в условных баллах, к тому же весьма расплывчатое внешнее выражение оценки той или иной работы в ходе учебного процесса. Иное дело оценка, т.е. выраженное чаще всего словами (а то и взглядом, интонацией, жестом) отношение к качеству устной или письменной работы, иного выполненного задания, к проявленному при этом творчеству. Оценивают не только содержание, скажем, сочинения, но и отношение автора к этой работе, его самостоятельность, его индивидуальную динамику. Как это уложить в баллы? Да и отметка принадлежит двоим: учителю и ученику, и “двойка” иногда результат конфликта, а то и опоздания на урок или забытой дома тетради…
Можно ли согласиться с утверждением, что и оценка принадлежит двоим?
4. Создателей тестов по гуманитарным дисциплинам всегда будет подстерегать еще одна явная опасность: перенос акцента в проверке на детали, мелочи, малозначительные факты в ущерб фундаментальным концепциям, идеям, теориям. Попробуйте-ка сформулировать вопрос с множественным выбором ответа, проверяющий понимание школьниками философских воззрений Льва Толстого! Авторы одного отечественного тестасделали это так:
Основная идея философских, мировоззренческих взглядов Л. Толстого может быть выражена следующим утверждением:
(А) Простота и близость к природе
(Б) Уважение человеческого в человеке и признание человека высшей ценностью бытия
(В) Непротивление злу насилием
(Г) Освобождение от религиозного дурмана
(Д) Общинность и соборность
Даже без учета стилистических погрешностей этого текста, его примитивность бросается в глаза. Кроме того, ученик может спокойно ответить, помня лишь одну фразу из говорившихся учителем, и даже не понимая ее значения, а тем более — смысла.
Видим уже из этих примеров, что перенос техники тестирования на нашу почву может быть очень опасным, поскольку таит в себе противоречие: обучение осуществлялось в одной культуре, а контроль предполагается в другой. Поэтому применение тестов должно быть очень осторожным.
Бершадский М.Е., Гузеев В.В. Дидактические и психологические основания образовательной технологии. – М., 2003. – С.228 – 229
Какие можно привести аргументы в пользу тестов по гуманитарным дисциплинам?
4. Составьте две методики, позволяющей вам, как классному руководителю определить, что в Вашем классе есть одаренный ребенок.
5. Составьте схему, отражающую содержание комплексной оценки достижений ученика.
С такими друзьями никаких врагов не надо.
Нет, я, конечно, понимаю – это такой хороший американский подход. Если есть спрос – значит, направление нужно развивать. Но на услуги астрологов спрос тоже есть, и это никак не свидетельствует о важности и пользе астрологии.
Сегодня я достал из архива текст, написанный мной три с половиной года назад для прежнего моего ЖЖ. Я публикую его без изменений, хотя сегодня многое бы написал иначе. Пусть он будет отправной точкой – а там поглядим.
Поехали.
– Что бы Вы сказали нынешним выпускникам гуманитарных вузов?
– Два кофе с собой, пожалуйста.
Популярный анекдот
В обществе – не только российском – широко распространено представление о том, что истинные науки – это науки естественные и точные. А гуманитарные – это так, красивая болтовня, не более того. Соответственно, основные ресурсы следует направлять именно на финансирование естественных наук. На гуманитарные деньги распределяются скорее по остаточному принципу, в результате их состояние довольно плачевное. Среди приоритетных направлений научного развития, обозначенных Правительством РФ, гуманитарных практически нет.
Такая тенденция наблюдалась и в Советском Союзе. Несмотря на то, что на гуманитарные науки там выделялось заметно больше ресурсов, чем в сегодняшней России, естественные явно опережали их в своем развитии. “Технарям” уделялось огромное внимание, поэтому в этой области мы находились на мировом уровне. В области гуманитарных наук до этого уровня мы, увы, явно не дотягивали. Это вполне понятно – ресурсы в Советском Союзе были ограничены, а интересы оборонки по очевидным причинам имели безусловный приоритет.
Однако вопрос заключается в том, чем все это закончилось.
Советский Союз имел высочайший уровень развития естественных наук.
Но где теперь сам Советский Союз?
Разумеется, я далек от мысли выводить гибель СССР только из отставания в области гуманитарных наук. Но стоит вспомнить знаменитую фразу Андропова: “Мы не знаем общества, в котором живем”. Именно это незнание стало одним из обстоятельств, сделавших возможным катастрофу второй половины 80-х годов. И это незнание – на совести именно гуманитарной сферы.
Гуманитарные, или общественные, науки, изучают человека и человеческое общество. Именно поэтому они очень важны. Весьма наивно (чтобы не сказать резче) полагать, что людям достаточно знать, как устроен окружающий мир, и ничего не нужно знать о самих себе. Общество, не знающее и не понимающее себя, становится беззащитной жертвой самых разнообразных кризисов; технический прогресс не только не способен справиться с ними, но часто еще и усугубляет их (создавая, например, все более мощное и разрушительное оружие). Любые реформы в обществе, проводимые без знания истории, социологии, экономики и т.д., напоминают соединение наугад проводков внутри сложного прибора. Собственно, примеров тому мы за последние десятилетия наблюдали очень много и продолжаем наблюдать.
Более того – именно достижения гуманитарных наук лежат в основе господствующей идеологии. От уровня их развития во многом зависит, способно ли общество отстоять свои ценности, свое мировоззрение, свою систему. От него также зависит способность идеологической базы адаптироваться к постоянно меняющейся среде, к возникающим непрерывно новым вызовам. Грубо говоря, для того, чтобы иметь возможность убедить людей в том, что социализм/капитализм – это хорошо/плохо, необходимо опираться на достижения истории, философии, социологии, психологии, экономики, политологии и т.д. Ядерная физика здесь мало поможет.
Почему же представление о “несерьезности” гуманитарных наук является настолько живучим? На то есть несколько причин.
1. В гуманитарных науках гораздо меньше четко сформулированных правил, законов и теорем. Это правда, и это во многом объясняется тем, что предмет общественных наук намного более сложен. В истории, например, поиски неких универсальных законов неоднократно упирались в необходимость учесть слишком много самых различных факторов, влияющих на события и процессы.
2. Практическое воплощение естественных наук является гораздо более осязаемым. Вот передо мной стоит компьютер – понятный и неоспоримый результат технического прогресса. Гуманитариям трудно похвастаться чем-то подобным. Если же упомянуть такие вещи, как правовая или налоговая система, можно услышать, что они возникли сами по себе, в результате длительной эволюции, являлись детищем политиков, а не ученых, и далеки от совершенства. Мало кому приходит в голову вспомнить, что современный компьютер тоже стал итогом длительной эволюции вычислительных систем, является детищем бизнесменов, а не ученых и также не свободен от массы недостатков.
3. Гуманитарные науки более подвержены вмешательству со стороны политической элиты. Часто приходится слышать высказывания типа “Зачем нужна история, если ее каждый раз переписывают?” На самом деле, если бы история была не нужна и не важна, ее никто бы даже и не подумал переписать. Регулярное вмешательство политиков в сферу общественных наук как раз и показывает высокую актуальность и значимость последних для современного общества.
4. В гуманитарных науках гораздо легче симулировать научную деятельность. Это чистая правда – и, добавлю, значительно труднее заниматься серьезной наукой. Далеко не случайно математики и физики часто делают выдающиеся открытия в 20-40 лет, большинство же действительно масштабных исторических трудов написаны людьми в возрасте старше 40 лет. Объясняется это сложностью предмета гуманитарных наук (см. п. 1)