viagra super force

+7(495) 123-XXXX  г. Москва

Выпуски журналов

  • Серия
  • Серия
  • Серия
  • Серия
  • Журнал
  • Журнал
  • Журнал
  • Журнал

И.А. Муратова,  (К.пед.н., доцент, МГУ имени М.В. Ломоносова)


 

Серия «Гуманитарные науки» # ИЮЛЬ  2016

Лингвистика
Цель данной статьи состоит в том, чтобы предложить всем, кому приходится по долгу службы сталкиваться с тестовыми материалами, варианты инструментария, с помощью которого они смогут оценить качество предлагаемой тестовой продукции. Автор проанализировал проблемы, с которыми сталкиваются профессионалы, оценивающие тесты, и предложил способы их решения. В статье даны характеристики различным целям контроля, типам аудитории, видам заданий и т.д.

Ключевые слова: Лингвистика, тестология, английский язык, лингводидактическое тестирование, спецификация, критерии оценивания.

 

Тестирование, как способ оценки достижений учащихся или измерения уровня владения ими иностранным языком, получило в последнее время достаточно широкое распространение. Одновременно распространяются мнения о «недостатках» данного вида контроля. Причины неудовлетворенности тестовыми способами контроля имеют разные источники. Главными из них являются: во-первых, действительно часто невысокое качество тестов, во-вторых, неподготовленность пользователей, выражающаяся, среди прочего, в непонимании специфики тестового контроля.

Справедливости ради следует отметить, что в последнее время предпринимаются попытки контролировать качество тестовых материалов со стороны организаций, организующих тестирование. В том числе такие, когда в качестве экспертов привлекаются опытные преподаватели, методисты и другие специалисты в области обучения иностранным языкам. К сожалению, как правило, среди них нет специалистов в области тестового контроля (до последнего времени их, собственно, нигде и не готовили*).

* Как до сих пор в России официально не признано, что лингводидактическое тестирование является отдельным направлением в прикладной лингвистике.

 

Цель данной статьи состоит в том, чтобы предложить всем, кому приходится по долгу службы сталкиваться с тестовыми материалами, варианты инструментария, с помощью которого они смогут оценить качество предлагаемой тестовой продукции.

Основанием для вывода о возможности применения тестовых материалов является заключение экспертов, как правило, после оценки результатов их расширенной апробации, подтверждающее их надежность, валидность и эффективность.

Чаще всего, эксперту бывает необходимо установить:

1. соответствие содержания тестовых материалов заявленным целям контроля и концепции теста;
2. соответствие формы заданий требованиям тестовой технологии;
3. обоснованность и приемлемость представленных заданий, схем и оценочных шкал субъективно оцениваемых субтестов, или тестов продуктивных речевых умений;
4. обоснованность присвоения весовых коэффициентов тестовым заданиям;
5. соответствие статистических показателей результатов апробации установленным параметрам.*

 * Вообще-то это задача разработчиков, которые обязаны исключить статистически неподходящие задания из предложенных на экспертизу по результатам предтестирования.

 

1. Соответствие содержания тестовых материалов заявленным целям контроля и концепции теста

Проконтролировать соответствие содержания заявленным целям можно только ознакомившись с документом, в котором эти цели будут обозначены. Другими словами, любой серьезный тест должен иметь при себе спецификацию.

Спецификация – документ, который может/должен* содержать следующие данные о предлагаемом тесте.

* Спецификации могут различаться по адресату – для разработчика заданий, пользователя и т.д.

 

  • Общая цель: т.е. для чего будет применяться тест, его тип (отборочный (абитуриентский), стартовый, тематический (по какой теме/аспекту) итоговый (за какой курс).
  • Характеристика испытуемых (для которых предназначен тест): их возраст, уровень подготовки (в зависимости от цели тестирования могут быть указаны родной язык испытуемых, их пол и т.д.).
  • Состав теста: количество разделов (субтестов), количество заданий в каждом из них, время, отводимое на выполнение теста в целом и каждого раздела в отдельности.
  • Планируемые условия тестирования: например, имитация естественных коммуникативных условий.
  • Типы текстов (используемых в разделах теста): их источник, функция, размер, количество, уровень сложности, степень аутентичности.
  • Объекты тестирования (общекоммуникативные/языковые): в терминах конкретных речевых умений и навыков, знаний о языковой системе языка.
  • Общая характеристика заданий: что должны будут сделать испытуемые при выполнении заданий (в соотнесении с объектами тестирования).
  • Формат тестовых заданий: открытые, закрытые и т.д.
  • Описаний инструкций: образцы тестовых инструкций (указаний к выполнению заданий раздела, группы заданий внутри раздела).
  • Критерии / схемы оценки: определение критериев успешности выполнения теста, способ оценки результатов тестирования, для субъективно оцениваемых разделов – описание критериальной шкалы оценивания.

Эксперту необходимо      ознакомиться со спецификацией теста и соответствующими стандартами, программами или другими нормативными документами и определить полноту соответствия содержания представленных тестовых материалов заявленным. Для общей оценки эксперт может в соответствии с концепцией и спецификацией теста представить себе пропорции теста (объемы разделов – субтестов) и сопоставить с предложенными материалами. Эксперт может признать пропорции удовлетворительными при расхождении не более чем в 25%.

2. Соответствие формы задания требованиям тестовой технологии

Эксперту необходимо оценить насколько предлагаемые формы (или виды) заданий, точнее знания, умения и навыки, необходимые для их выполнения, соответствуют заявленным в спецификации соответствующим знаниям, умениям или навыкам. В этом эксперт, как правило, должен полагаться на свои знания и опыт.

Укажем основные виды заданий при тестовом контроле по видам речевой деятельности.

ЧТЕНИЕ

  • Задания с выбором ответа (ниже мы подробней остановимся на этом формате заданий).
  • Задания с кратким ответом.
  • КЛОУЗ ТЕСТ, тест, предполагающий восстановление текста, в котором пропущено каждое n-ое слово.
  • МОДИФИЦИРОВАННЫЙ КЛОУЗ ТЕСТ, когда в тексте пропуск слова определяется разработчиком в связи с отдельной целью.
  • СИ-ТЕСТ, предполагающий восстановление текста в котором пропущена половина каждого второго слова.
  • Задания, требующие ПЕРЕНОСА ИНФОРМАЦИИ, когда на основания прочитанного текста испытуемым предлагается, например, заполнить таблицу.

В последнее время приобретают популярность кросс-текстовые задания (cross-text items) разных форматов. С их помощью оценивается способность испытуемых интегрировать информацию, получаемую из разных источников, например, из текстов различных жанров, посвященных одному объекту или явлению [1].

АУДИРОВАНИЕ

  • Задания с выбором ответа.
  • Задания с кратким ответом.
  • Задания, требующие ПЕРЕНОСА ИНФОРМАЦИИ.
  • ДИКТАНТ, естественно со спецификой, связанной с целью проверки понимания прослушиваемого текста, а не с умениями в письме.
  • Задания, требующие ВОССТАНОВЛЕНИЯ (дополнения предъявляемого текста определенной информацией) текста, на основе прослушанного текста.

ПИСЬМО

    (КОСВЕННЫЕ МЕТОДЫ ПРОВЕРКИ УМЕНИЙ)

  • Редактирование предъявленного текста.

    (ПРЯМЫЕ МЕТОДЫ ПРОВЕРКИ УМЕНИЙ)

  • Написание эссе.
  • Выполнение контролируемых письменных заданий (существует большое количество форм, например, заполнения анкет или формуляров).
  • Написание изложения.

ГОВОРЕНИЕ

  • УСТНОЕ СОЧИНЕНИЕ
  • УСТНАЯ ПРЕЗЕНТАЦИЯ
  • СВОБОДНОЕ ИНТЕРВЬЮ
  • КОНТРОЛИРУЕМОЕ ИНТЕРВЬЮ
  • ОПИСАНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ КАРТИНОК
  • ОТВЕТЫ НА ВОПРОСЫ ПО СОДЕРЖАНИЮ ОДНОЙ КАРТИНКИ
  • ИНТЕРАКТИВНЫЕ ЗАДАНИЯ различного характера
  • РОЛЕВАЯ ИГРА

Как уже неоднократно отмечалось, наиболее часто тестирование ассоциируется с выполнением заданий с выбором ответа, как правило, множественным выбором ответа. Данный формат заданий отличается особой сложностью в разработке, отметим здесь только основные требования (адресованные разработчикам) к заданиям, соблюдение которых должен оценить эксперт [2].

1. Каждое задание должно отражать один специфический элемент содержания в соответствии со спецификацией.
2. Каждое задание должно отражать значимый элемент изучаемого объекта, следует избегать несущественных элементов.
3. Используйте новый материал для проверки на более высоких уровнях. Перефразируйте текст учебника или исходный текст.
4. Содержание каждого задания должно оставаться независимым от содержания других заданий.
5. Избегайте чрезмерно специфичного или чрезмерного обобщенного материала.
6. Избегайте заданий, основанных на субъективном мнении.
7. Избегайте заданий – ловушек.
8. Используйте простой вокабуляр, соответствующий целевой группе испытуемых.
9. При форматировании формы предъявления заданий, используйте такие варианты основного формата, как вопрос, дополнение, лучший ответ, альтернативный выбор, верно/неверное, множественный выбор верно/неверно, соответствие, контекстно-зависимое задание, составные задания, но ИЗБЕГАЙТЕ комплексные задания с выбором ответа.
10. Форматируйте задания вертикально (для соблюдения принципа удобочитаемости)
11. Тщательно редактируйте и корректируйте текст.
12. Не допускайте грамматических, орфографических, пунктуационных ошибок.
13. Минимизируйте объем предлагаемого чтения.
14. При формулировании самого задания убедитесь в четкости указаний по его выполнению.
15. Основная идея должна быть в формулировке задания, а не в вариантах ответа (принцип законченности формулировки). Испытуемый должен быть в состоянии понять задачу и дать свой ответ, НЕ ЗНАКОМЯСЬ с предлагаемыми вариантами.
16. Избегайте вербальной избыточности в изложении задания.
17. Формулируйте задание в положительной форме, избегая НЕ или КРОМЕ. При необходимости использования отрицаний – выделяйте их графически.
18. Формулируя варианты ответа, старайтесь написать максимально возможное число вариантов, хотя исследования говорят о том, что трех вариантов, как правило, бывает достаточно…
19. Только один вариант ответа из предложенных должен быть полностью и безоговорочно верен.
20. Варьируйте месторасположение правильного ответа в группе заданий.
21. Располагайте варианты ответа в логической и порядковой последовательности.
22. Варианты должны быть сформулированы независимо друг от друга и не пересекаться.
23. Варианты ответов должны быть однородны по содержанию и структуре.
23/2. Варианты ответов должны быть грамматически согласованы с формулировкой задания.
24. Тексты вариантов ответа должны быть приблизительно равны по объему.
25. С осторожностью используйте как вариант ответа Ни один из указанных.
26. Избегайте использование варианта ответа Все из указанных.

Такой вариант ответа провоцирует угадывание, и может быть подсказкой, если испытуемый знает точно, что верными являются хотя бы два из предложенных вариантов.

27. Избегайте отрицаний в формулировках вариантов ответа.
28. Избегайте подсказок, таких как
     a. Использование определителей, включая такие как всегда, никогда, полностью, целиком.
     b. Созвучия с текстом стимула (текста на котором построено задание).
     c. Грамматическая непоследовательность.
     d. Выделяющаяся (в том числе за счет длины, наличия определенной детализации) формулировка правильного варианта.
     e. Пары или тройки вариантов, подсказывающие правильный ответ. Как правило, например, если из трех вариантов ответа два антонимичны, третий точно неверен.
     f. дополняющие или уточняющие формулировки.
29. Все дистракторы должны быть правдоподобны и в контекстных заданиях обоснованы его содержанием.
30. Используйте типичные ошибки учащихся при написании дистракторов.
31. Избегайте необоснованное использования юмора, особенно при подготовке заданий для высоко значимых испытаний.
 3. Для определения обоснованности и приемлемости представленных заданий, схем и оценочных шкал субъективно оцениваемых субтестов эксперту необходимо иметь образцы их выполнения во время апробации (в звукозаписи - для устных интервью, или письменные работы испытуемых).

Эксперт

1).  устанавливает адекватны ли предлагаемые схемы оценки или оценочные шкалы тем задачам, которые решают испытуемые во время выполнения заданий соответствующих субтестов;
2). применяет предложенные схемы для оценки имеющихся у него образцов выполнения заданий во время апробации;
3). сравнивает свои оценки с оценками экзаменатора, оценивавшего апробацию.

На основании анализа полученных результатов эксперт делает вывод об обоснованности и приемлемости представленных заданий, схем и оценочных шкал.

4. Обоснованность присвоения весовых коэффициентов тестовым заданиям определяется по следующей процедуре: эксперт разрабатывает в соответствии с концепцией теста и субъективной  оценкой значимости и сложности заданий собственные шкалы оценивания (в том числе метод перевода необработанных (первичных) баллов) результатов выполнения каждого субтеста и теста в целом, сравнивает их с предложенными авторами. При отсутствии статистически значимых расхождений эксперт делает вывод об удовлетворительной степени обоснованности присвоения весовых коэффициентов тестовым заданиям.
5. Соответствие статистических показателей результатов применения теста установленным параметрам определяется сопоставлением данных статистической обработки результатов тестирования с принятыми нормативами.

На основании анализа тестовых материалов по пунктам 1-5, эксперт делает вывод о соответствии показателей надежности, валидности и эффективности тестовых материалов.

Представлена самая общая схема организации экспертизы тестовых материалов, на основании которой выстаивается конкретная процедура, в зависимости от определенных условий.


СПИСОК ЛИТЕРАТУРЫ:
1. Purpose, development and performance (2014) Cambridge English Language Assessment/ Research Notes, Issue 55.
2. Сборник научных и учебно-методических трудов. Выпуск 12 / Под общей ред. проф. С.Г. Тер-Минасовой и доц. М.Г. Бахтиозиной. – М.: Университетская книга, 2015. - С. 322-331.
 



© 
И.А. Муратова, Журнал "Современная наука: актуальные проблемы теории и практики".
 

 

 

 
SCROLL TO TOP

 Rambler's Top100 @Mail.ru