LINEBURG


<< Пред. стр.

страница 2
(всего 6)

ОГЛАВЛЕНИЕ

След. стр. >>

Там, где используются параллельные предварительные наборы с прямым и обратным порядком следования заданий, коэффициенты точечно-бисериальной корреляции рассчитываются отдельно для каждого из двух сочетаний, а затем усредняются.
Упорядоченные критерии отбора заданий для окончательных вариантов теста имеют следующий вид:
1. Величина теста. Как уже указывалось выше, для обеспечения надежности необходимо не менее 20 заданий в каждом из вариантов.
2. Содержание. Желательно использовать настолько широкое разнообразие заданий, насколько это возможно.
3. Корреляция заданий с общим показателем. Считается, что чем выше корреляция, тем лучше задание. Однако возможен случай, когда оценки по заданию, требующему раскрыть суть какого-либо важного вопроса из учебного курса, покажут невысокую корреляцию с общей совокупностью, где преобладают задания, требующие лишь запоминания учебного материала. Все же в идеале все задания должны иметь корреляцию с показателями соответствующих им наборов не ниже 0,2.
4. Уровень трудности. Для большинства когнитивных тестов принято, что задания со значениями p от 0,8 до 0,2 считаются удовлетворительными. В то же время задание, эффективное в других отношениях, но несколько выходящее за пределы указанного для p диапазона, не должно быть отброшено. В некоторых тестах бывает желательна максимальная дискриминативность для измеряемой переменной. Чтобы достичь этого, необходимы задания самых разных уровней трудности.
После отбора заданий, удовлетворяющих статистическим и содержательным критериям, нужно еще раз просмотреть содержание этих заданий: охватывают ли они все характеристики, которые предполагается измерять при помощи данного теста. Если нет, то стоит изучить отбракованные задания: может быть, среди них есть такие, которые отражают эту характеристику и почти удовлетворяют статистическим критериям. Если есть несколько таких заданий, они должны быть введены в тест.
Далее из отобранных заданий может быть сформировано необходимое количество окончательных вариантов теста. Эти варианты должны быть равноценными по ряду признаков: количеству заданий, средней трудности, распределению трудности заданий, разнообразию содержания. Хотя трудность заданий в каждом варианте должна в общем возрастать от начала к концу, не следует абсолютизировать эту тенденцию, так как необходимо учесть и важность чередования заданий по содержательным и внешним характеристикам. Что касается средней трудности, то желательно, чтобы она оказалась в пределах 50-55%. Следует также стремиться, чтобы распределение трудности заданий было симметричным.
После того, как будет окончательно определена последовательность заданий в вариантах теста, следует скорректировать чередование положений правильных ответов, исходя из принципа "закономерной случайности".
Готовые варианты теста вместе с инструкцией компонуются с учетом вышеописанных требований и размножаются в виде брошюр. Одновременно разрабатывается регистрационный бланк. "Ключи" к каждому варианту могут быть сделаны из бланков в виде шаблонов с отверстиями по месту правильных ответов. Возможна компьютерная обработка ответов, отмечаемых на машиночитаемых бланках.
Кроме того, исходя из результатов предварительной апробации, должно быть задано время проведения, одинаковое для всех вариантов теста.

Стандартизация теста

Стандартизация тестов наиболее важна, когда осуществляется явное или неявное сравнение показателей испытуемых, например, при профориентации или отборе в целях дальнейшего обучения. Для решения других задач, например, текущего или итогового контроля в учебном заведении процедура стандартизации теста является необязательной. Стандартизация включает в себя: (а) испытание теста и получение по всем его вариантам эмпирических данных на представительной выборке (выборке стандартизации); (б) преобразовании результатов в некоторые относительные меры; (в) подтверждение диагностических качеств теста (надежности, валидности, дискриминативности); (г) выпуск теста в обращение вместе с рекомендациями по его эксплуатации.
Выборка стандартизации должна достаточно точно отражать категории лиц, для которых предназначен тест. Если генеральную совокупность образуют выпускники средних учебных заведений, то важнейшими переменными выборки являются: тип и специализация учебного заведения; регион проживания; тип населенного пункта. Могут иметь значения и другие характеристики (социальное и материальное положение родителей, район или микрорайон проживания в большом городе и т.д.). Обычно минимальным объемом выборки стандартизации, при условии точной репрезентативности этой выборки генеральной популяции, считается 200-300 испытуемых. Однако маловероятно, что в данном случае для такой небольшой выборки удастся добиться высокой репрезентативности. Поэтому следует планировать объем выборки в несколько раз большим.
При испытании окончательных вариантов теста необходимо придерживаться тех же правил, что и при предварительной апробации. Важно создать у учащихся заинтересованность в выполнении теста наилучшим образом; в противном случае нормы могут оказаться заниженными.
Чтобы более точно определить положение любого результата обследования относительно выборки стандартизации (а, следовательно, и генеральной совокупности), полученные данные преобразуют в производные, относительные показатели. Последние служат двум целям. Во-первых, они показывают положение испытуемого на фоне выполнения теста другими. Во-вторых, они позволяют непосредственно сравнивать данные, полученные по разным тестам.
Стандартные (относительные) показатели могут быть основаны (а) на отклонении первичных показателей от среднего, как например,

и (б) на процентилях, т.е. на процентном отношении в нормативной группе тех испытуемых, которые получили показатели равные или более низкие, чем рассматриваемые. Представление норм может закончиться на этом этапе, но чаще оно приобретает форму специального шкалирования.
Существует целый ряд шкал, основанных на предположении, что распределение первичных оценок по тесту близко к нормальному. Другие шкалы сами дают возможность перевести в нормальное распределение, отличное от такового. Считается, что адекватное формирование теста путем подбора и распределения трудности заданий, о чем уже говорилось выше, предпочтительнее, чем преобразование явно ненормального распределения. Естественно, при наличии приблизительно нормального распределения первичных показателей линейные стандартные показатели будут служить тем же целям, что и нормализованные. Для большинства традиционных шкал, используемых в психологической и педагогической диагностике, основной являются процентильные показатели; т.е. производится определенная нормализация распределений.
Практически процедура шкалирования строится так. Составляется таблица, где каждому из возможных баллов, набираемых по любому варианту теста, приписывается процент испытуемых из выборки стандартизации, набравших такое или меньшее число баллов. Далее распределение баллов может быть преобразовано в нормальное (если оно отличалось от такового) путем придания накопленным процентам качеств нормальной кривой. Таким образом, средним будет считаться показатель, соответствующий 50-му процентилю, а показателями, отклоняющимися вверх и вниз от среднего на 1? , будут считаться соответствующие (примерно) 84-му и 16-му процентилям.
Следующим этапом может быть перевод полученного на основе процентилей распределения в одну из известных стандартных шкал. Некоторые из этих шкал: стандартный IQ (М=100, ?=15), SAT - показатель (М=500,?=100), шкала Векслера (М=10,? =3), Т - показатель (М=50, ?=10).
Особый интерес представляет пятибалльная шкала, носящая, в отличие от перечисленных, нелинейный характер. Правомерна ассоциация такой шкалы с традиционной системой оценок академической (школьной) успеваемости.
В пятибальной шкале 1 балл приписывается самым низким показателям по тесту, набираемым 7% испытуемых из выборки стандартизации; 5 баллов соответствует самым высоким показателям, также набираемым 7% испытуемых; 2, 3 и 4 балла приписываются показателям, набираемым, соответственно, 24%, 38% и 24% испытуемых. Перевод показателей по тесту в другие шкалы может быть осуществлен по довольно несложным формулам, таблицам или графикам.
Вне связи с процедурой стандартизации может быть проведено соотношение показателей по тесту с успеваемостью по избранному учебному предмету таким образом можно выделить диапазоны тестовых баллов, эмпирически соответствующие традиционным отметкам: "2", "3", "4", "5". Хотя подобный перевод тестовых оценок в обычные учебные не является вполне строгим, но зато полученное с его помощью представление тестовых данных весьма наглядно для неспециалистов.
Важным моментом стандартизации теста является определение его надежности. Наиболее простым, но не самым сильным способом здесь может быть расчет корреляции между показателями по половинкам варианта теста, составленным из заданий с четными и нечетными номерами. Несколько лучшим и достаточно простым кажется расчет коэффициента внутренней согласованности по формуле
,
Где - количество заданий в варианте теста,
- дисперсия показателей для варианта теста,
- доля испытуемых, давших ключевые ответы на конкретное задание и
Указанные два способа не требуют дополнительного набора данных, которых вполне достаточно даже у части выборки стандартизации.
Для определения надежности параллельных форм, более убедительной для подтверждения качества теста, потребуется повторное тестирование некоторого числа испытуемых (не менее 100) по параллельным, случайно выбранным вариантам теста. Корреляция между результатами двух тестирований будет характеризовать надежность. Вообще же считается, что надежность теста удовлетворительная, если ее коэффициенты не опускаются ниже 0,7.
Валидность теста не всегда может быть представлена в виде количественной меры. Поскольку подтверждение содержательной валидности тестовых заданий было предусмотрено еще на этапе их разработки, нет необходимости вновь возвращаться к этому аспекту валидности. Что касается критериальной валидности, то она может быть определена путем подсчета коэффициента корреляции между показателями испытуемых по тесту и средними баллами успеваемости по данному учебному предмету. Обычно не приводятся минимально допустимые значения коэффициентов валидности. Однако величины 0,5 и выше считаются вполне приемлемыми.
Дискриминативность теста, отдельно по каждому из вариантов, может быть рассчитана по формуле


где - количество испытуемых,
- количество заданий,
- частота встречаемости (сколько раз) каждого показателя.
Если значение превосходит 0,9, то с уверенностью можно сказать, что тест является дискриминативным.
Следует отметить, что описанные требования к качеству теста не являются надуманными, поскольку их несоблюдение может привести к достаточной произвольности тестовых оценок, т.е. именно к тем нежелательным явлениям, для преодоления которых и стали разрабатываться тесты. Повышенные требования к тесту особенно важны там, где на основании результатов тестирования принимаются решения, определяющие судьбу тестируемого субъекта.
Если получены нормативные данные по тесту и он удовлетворяет требованиям качества, то можно рекомендовать его к практическому применению. При этом создатели теста должны еще раз сформулировать для себя и переложить для пользователей ответы на целый ряд вопросов.
Вкратце остановимся на этих вопросах и некоторых ответах на них.
1. Каковы причины, побудившие к созданию теста, и, в связи с этим, какие задачи он призван решать? Ответ на этот комплексный вопрос в общем виде уже дан в настоящем пособии и может быть
конкретизирован и дополнен самими разработчиками (или организаторами разработки) теста.
2. На обследование каких контингентов рассчитан тест? Если стоит задача определения качества обучения в том или ином учебном заведении или у того или иного педагога, то тестируемыми могут быть только учащиеся, непосредственно закончившие изучение избранного предмета. Если речь идет о конкурсном отборе в какое-либо учебное заведение, то обследоваться может любой поступающий независимо от возраста, типа оконченного ранее учебного заведения, сроков окончания этого учебного заведения и даже наличия в последнем соответствующего учебного курса.
3. Какова процедура обследования с помощью теста? Здесь, помимо уже описанных особенностей процедуры, следует предусмотреть возможные санкции за нарушение конкурсантами инструкций и правил тестирования.
4. Кому могут быть доверены хранение тестовых материалов, проведение обследований, обработка результатов, выдача заключений по результатам тестирования? Важно упорядочить круг лиц, ответственных за указанные пункты, иначе непрофессиализм и недобросовестность сведут на нет все усилия по созданию теста.
5. Как следует обрабатывать результаты тестирования? При массовых обследованиях можно попытаться автоматизировать первичную обработку, если использовать специальные бланки и оптические считывающие устройства, не передоверяя, однако, машине функцию принятия решения и постоянно контролируя качество машинной обработки. Обработанные данные можно соотносить с нормативными (таблицами, шкалами и т.п.), характеризующими генеральную совокупность, со специфическими, присущими определенным, часто высококритериальным выборкам, с внутригрупповыми.
6. Какого рода решения и как должны приниматься по результатам тестирования? Ответ на этот вопрос, разумеется, зависит от потребностей практики. Не следует абсолютизировать результаты обследования по тесту; если возникают сомнения в их достоверности, может быть проведено ретестирование по параллельному варианту и даже, в исключительных случаях, непосредственная оценка знаний и умений субъекта традиционными методиками. Желательно, чтобы принятие решения было определенным образом регламентировано, а тем, кто его принимает, предоставлена вся необходимая информация по тесту.















Использованная литература

Анастази А. Психологическое тестирование: Пер. с англ. В 2 кн. М., 1982.
Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. К., 1989.
Гайда В.К., Захаров В.П. Психологическое тестирование. Л., 1982.
Ингенкамп К. Педагогическая диагностика: Пер. с нем. М., 1991.
Клайн П. Справочное руководство по конструированию тестов:Пер. с англ. К., 1994.
Мышко С.А. Тестирование как психолого-педагогическое средство оценок академических способностей в системе образования США. М., 1980 // Высшая и средняя специальная школа за рубежом: Обзор.информ. Вып. 6.
Общая психодиагностика / Под ред. А.А. Бодалева, В.В. Столина. М., 1987.










































Приложение 1

О СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ
Приказ Министерства образования Российской Федерации от 17 апреля 2000 г. Ns 1122
С целью повышения качества образования и дальнейшего совершенствования аттестационных тестовых технологий приказываю:
1. Создать Координационный совет Минобразования России по вопросам сертификации качества педагогических тестовых материалов и утвердить его состав (приложение 1).
2. Утвердить документы, регламентирующие процедуру сертификации качества педагогических тестовых материалов:
2.1. Временное положение о сертификации качества педагогических тестовых материалов, используемых для оценки знаний обучающихся в образовательных учреждениях Российской Федерации (приложение 2).
2.2. Методические указания по подготовке педагогических тестовых материалов к сертификации (приложение 3).
2.3. Положение о Координационном совете Минобразования России по вопросам сертификации качества педагогических тестовых материалов (приложение 4).
3. Возложить функцию головного учреждения в системе Минобразования России по сертификации качества педагогических тестовых материалов, используемых для оценки знаний студентов высших и средних специальных учебных заведений, на Исследовательский центр проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета).
4. Возложить по согласованию с президентом Российской академии образования Н.Д.Никандровым функцию головного учреждения по сертификации качества педагогических тестовых материалов, используемых для оценки знаний обучающихся во всех типах общеобразовательных учреждений и учреждениях начального профессионального образования, на Институт общего среднего образования Российской академии образования.
5. Управлению прогнозирования и развития системы образования (В.М.Зуеву) предусмотреть на 2001 год за счет бюджетного финансирования в рамках системы мероприятий по реализации Федеральной программы развития образования работы Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета) по совершенствованию научно-методического обеспечения системы сертификации качества педагогических тестовых материалов.
6. Управлению образовательных программ и стандартов высшего и среднего профессионального образования (Г.К.Шестакову) совместно с Управлением послевузовского и дополнительного профессионального образования (В.В.Безлепкиным) до 01.08.2000 разработать и утвердить государственные требования, предъявляемые к программам профессиональной переподготовки в области тестирования.
7. Головным учреждениям по сертификации качества педагогических тестовых материалов разработать и представить на утверждение в Координационный совет Минобразования России по вопросам сертификации качества педагогических тестовых материалов образцы сертификата качества педагогического тестового материала и свидетельства о прохождении "экспертизы сертификации качества педагогических тестовых материалов.
8. Рекомендовать руководителям органов управления образованием различных уровней, ректорам высших учебных заведений, руководителям общеобразовательных учреждений, учреждений начального профессионального и среднего профессионального образования пользоваться для оценки знаний обучаемых методом тестирования сертифицированными педагогическими тестовыми материалами.
9. Считать утратившим силу приказ Минобразования России от 25.06.97 № 1300.
10. Контроль за исполнением настоящего приказа возложить на заместителя министра В.Д.Шадрикова.

































Приложение 2

ВРЕМЕННОЕ ПОЛОЖЕНИЕ О СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ, ИСПОЛЬЗУЕМЫХ ДЛЯ ОЦЕНКИ ЗНАНИЙ ОБУЧАЮЩИХСЯ В ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЯХ РОССИЙСКОЙ ФЕДЕРАЦИИ

Общие положения
1. Настоящее Временное положение определяет цель, предмет, содержание и организацию процедуры сертификации качества педагогических тестовых материалов (далее - ПТМ), используемых для оценки знаний обучающихся в образовательных учреждениях Российской Федерации.
2. Цель сертификации - повышение качества образования путем совершенствования ПТМ, применяемых для оценки знаний обучающихся методом тестирования в учебных заведениях Российской Федерации. При этом решаются две задачи:
первая - выявление и фиксация достигнутого уровня качества сертифицируемых ПТМ, вторая - разработка рекомендаций, определяющих методику совершенствования ПТМ.
3. Предметом и содержанием сертификации является установление степени соответствия характеристик ПТМ действующим на момент сертификации требованиям к их качеству. Требования утверждаются Координационным советом Минобразования России по вопросам сертификации качества ПТМ (далее - Координационный совет). Требования подлежат обновлению не реже одного раза в три года.
4. Основными принципами сертификации являются научная обоснованность, объективность, конфиденциальность, систематическая отчетность. Принцип научной обоснованности регламентирует использование в процессе сертификации современного научного аппарата. Принцип объективности предполагает экспертизу качества тестов по единой методике. Принцип конфиденциальности предписывает неразглашение содержательной части ПТМ, представленных на экспертизу, и результатов экспертизы внешним пользователям.
Процедура сертификации
5. Процедура сертификации качества ПТМ состоит из двух последовательных этапов. Первый этап - экспертиза ПТМ, включающая оценку качества содержания, правильности форм заданий и статистических характеристик ПТМ. Второй этап - сертификация. ПТМ, прошедшим экспертизу и удовлетворяющим утвержденным требованиям к их качеству, выдается сертификат качества ПТМ (в дальнейшем - сертификат). Образец бланка сертификата разрабатывается головными учреждениями по сертификации качества ПТМ и утверждается Координационным советом.
6. Сертификат дает право на использование ПТМ с целью оценки знаний обучающихся. Сертификат снабжается бланком с паспортными данными ПТМ, содержащими информацию о характеристиках ПТМ, и имеет регистрационный номер, совпадающий с регистрационным номером ПТМ. Бланк сертификата изготовляется на бумаге с водяными знаками.
7. При неполном соответствии характеристик ПТМ требованиям качества выдается свидетельство о прохождении процедуры сертификации. Свидетельство удостоверяет факт прохождения процедуры сертификации и содержит рекомендации по доработке ПТМ. Образец свидетельства и содержание рекомендаций по доработке ПТМ разрабатываются головными учреждениями по сертификации качества ПТМ и утверждаются Координационным советом. Бланк свидетельства изготовляется на бумаге с водяными знаками.

Требования к организации проведения сертификации
8. Сертификация проводится на базе головных учреждений:
Исследовательского центра проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета) и Института общего среднего образования Российской академии образования (далее - головные учреждения).
9. Сертификация ПТМ проводится по желанию авторов тестов или по заявкам учебных заведений на договорной основе. Стоимость затрат на проведение сертификации определяется типовой сметой расходов, утверждаемой Координационным советом.
10. Средства, перечисляемые заказчиками, поступают на счета головных учреждений по сертификации качества ПТМ и расходуются на оплату труда экспертов, организацию процесса сертификации, на развитие и совершенствование методического и материально-технического оснащения процедуры сертификации.
11. Сертификация проводится на основании договора, заключаемого между заказчиками работ и головными учреждениями. Договор может предусматривать оказание заказчику дополнительных услуг по доработке ПТМ. Объем последних определяет сертифицирующая организация в тех случаях, когда ПТМ требуют доработки для доведения их качества до уровня требований сертификации.
12. С целью проведения самой процедуры сертификации на базе головных учреждений создаются экспертные группы. Состав экспертных групп утверждается Минобразованием России по представлению головных учреждений. В состав экспертов не должны входить представители учебного заведения, заказавшего проведение работ по сертификации.
13. Работа экспертных групп осуществляется по специальным методикам, одобренным Координационным советом и утвержденным Минобразованием России.
14. Оформление результатов сертификации и выдача сертификата проводятся в порядке, утвержденном Координационным советом, и в соответствии с описанной выше процедурой сертификации.
15. Ежегодные отчеты о результатах сертификации (в аннотированной форме) передаются головными учреждениями в Координационный совет.
16. Сертифицированные ПТМ помещаются с согласия заказчика (автора) в информационные базы годовых учреждений для создания Федерального фонда ПТМ (банка тестов). Головные организации не обладают правом передачи ПТМ без согласия авторов.
17. Сертификат дает право на использование ПТМ для оценки знаний обучающихся методом тестирования только в соответствии с паспортными данными ПТМ. При любых изменениях, приводящих к нарушению паспортных данных ПТМ, зафиксированных в процессе сертификации ПТМ, сертификат утрачивает силу.
18. При возникновении конфликтных ситуаций, связанных с заключениями экспертов, заказчики работ обладают правом обращаться в Координационный совет с целью назначения дополнительной экспертизы.
Перечень документов и материалов, необходимых для выполнения сертификации
19. Для проведения экспертизы качества содержания сертифицируемых ПТМ заказчик работ должен представить следующее:
I. Для тестирования, проводимого на бумажных носителях:
1) общие данные о тесте;
2) тексты всех разработанных вариантов тестов в распечатанном виде, готовом для предъявления тестируемым;
3) спецификацию теста;
4) таблицу правильных ответов с критериями оценки (в баллах) за выполнение каждого задания;
5) эмпирические результаты апробации ПТМ в виде матриц (на дискете) с указанием дат проведения тестирования;
6) описание выборки стандартизации, использованной при разработке ПТМ, и основания для ее стратификации с указанием объема выборки;
7) статистические характеристики всех заданий и вариантов теста;
8) шкалу II правила оценки результатов;
9) все сопроводительные материалы по проведению тестирования.
II. Для компьютерного тестирования:
1) структуру и характеристики банка тестовых материалов;
2) распечатки тестовых заданий и отдельных вариантов тестов со всеми имеющимися характеристиками по выбору экспертов;
3) технологию формирования и предъявления теста;
4) демонстрационную версию банка;
5) систему оценивания результатов тестирования.

















Приложение 3

МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО ПОДГОТОВКЕ ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ К СЕРТИФИКАЦИИ
С целью подготовки ПТМ к процедуре сертификации заказчики (авторы) самостоятельно оценивают качество содержания ПТМ, проверяют соответствие заданий требованиям тестовой формы и выявляют статистические характеристики ПТМ.
7. Общие данные о ПТМ должны включать:
а) название учебного предмета;
б) название образовательной программы и год обучения;
в) авторский коллектив разработчиков;
г) период разработки (даты начала и конца);
д) даты прохождения экспертизы тестов и тестовых заданий, число экспертов, даты прохождения апробации тестов.
2. Спецификация ПТМ должна включать:
а) цели создания ПТМ (входная аттестация, промежуточная аттестация, итоговая аттестация);
б) перечень специальностей и направлений подготовки, для которых планируется использование ПТМ (в высших и средних специальных учебных заведениях);
в) перечень исходных документов, использованных при разработке ПТМ (ГОС или документы, их заменяющие, с указанием года и места издания, наименование программ вступительных испытаний и т.к.);
г) вид ПТМ (гомогенный или гетерогенный);
д) наименование подхода к разработке ПТМ (нормативно-ориентированный, критериально-ориентированный или смешанный) ;
е) число заданий в каждом варианте ПТМ;
ж) число вариантов ПТМ;
з) количество и процентное содержание заданий каждой формы;
и) число ответов к заданиям с выбором ответа;
к) вес каждого задания при подсчете баллов испытуемых;
л) время выполнения теста и время выполнения каждого задания;
м) соотношение заданий в каждом варианте ПТМ по разделам (содержательным линиям) и видам деятельности (знаниям, умениям) испытуемых (в виде таблицы и с подробной расшифровкой);
н) способ формирования вариантов ПТМ (кластерная модель или параллельные формы).
3. Статистические характеристики заданий и теста должны включать:
а) данные о трудности заданий в долях правильных ответов испытуемых, процентах правильных ответов или в шкале логитов (при использовании современной теории конструирования тестов);
б) для закрытых заданий теста - статистические данные о дистракторах;
в) для открытых заданий - распределение ответов испытуемых в соответствии со схемой оценки выполнения заданий;
г) данные о дискриминативности заданий, полученные с помощью индекса дискриминативности, точечно-бисериального коэффициента корреляции, параметра дифференцирующей способности заданий теста (при использовании современной теории конструирования тестов);
д) результаты проверки правдоподобности гипотезы о нормальном распределении эмпирических результатов по тесту (для нормативно-ориентированных тестов);
е) нормы (нормативно-ориентированных тестов), включающие среднее значение сырых баллов, дисперсию и т.д. с указанием временного промежутка действия норм;
ж) критериальный балл (для критериально-ориентированных тестов), сопровождаемый описанием процедуры его получения и результатами его эмпирической валидизации (с указанием временного промежутка действия балла);
з) данные о надежности теста с указанием методов их получения;
и) данные о валидности теста с указанием типа валидности и использованного метода получения оценок;
к) данные анализа корреляционных связей
заданий;
л) для гетерогенных тестов данные о результатах факторного анализа, количестве и видах шкал;
м) оптимальное время выполнения теста;
н) данные об информативности теста с точки зрения соответствия целевой информационной функции (если использовалась современная теория конструирования теста).
4. При проведении содержательной экспертизы ПТМ используются следующие критерии:
а) полнота отображения материала образовательной программы при отборе содержания ПТМ;
б) правильность пропорций, выбранных при отображении разделов предмета (содержательных линий);
в) полнота охвата требований государственных образовательных стандартов в ПТМ;
г) соответствие содержания заданий знаниям, умениям и навыкам, запланированным для проверки в спецификации ПТМ;д) значимость содержания каждого задания ПТМ для целей проверки.
5. Задания сертифицируемых ПТМ рекомендуется разрабатывать в одной из четырех форм:
а) задания с выбором ответов (испытуемый выбирает правильный ответ (ответы) из числа готовых, предлагаемых в задании теста);
б) задания на дополнение (испытуемый сам формулирует краткий или развернутый ответ);
в) задания на установление соответствия между элементами двух множеств;
г) задания на установление правильной последовательности в ряду предлагаемых элементов.
Разрабатываемые задания должны соответствовать ряду требований, которые можно подразделить на общие, инвариантные относительно выбранной формы и на специальные, отражающие специфику форм заданий теста. К общим требованиям относят:
наличие порядкового номера задания, установленного согласно статистическим оценкам трудности и выбранной разработчиком стратегии предъявления заданий теста;
наличие стандартной инструкции, адекватной форме заданий теста;
определенность мест расположения элементов заданий;
наличие эталонов правильных ответов к заданиям (кроме случая использования заданий в открытой форме со свободно конструируемым ответом) и правил, выбранных разработчиком для оценки результатов выполнения теста с обоснованием выбора весовых коэффициентов, если они имеются.
В отличие от общих специальные требования довольно многочисленны. Они излагаются в пособиях по тестовой проблематике, а также в развернутых методических рекомендациях, которые выдаются заказчикам после заключения договора на сертификацию ПТМ.
В сертифицируемых ПТМ допускается сочетание различных форм. В том случае, когда формы чередуются, соответствующим образом должна меняться инструкция к заданиям теста.
При подготовке материалов для сертификации рекомендуется использовать пособия по тестовой проблематике, приведенные ниже.
Рекомендуемая литература:
1. Анастази А. Психологическое тестирование, пер. с англ., в 2 кн. - М.: Педагогика, 1982.
2 Аванесов B.C. Композиция тестовых заданий: Учебное пособие. - М.: Ассоциация инженеров-педагогов, 1996.
3. Клайн П. Введение в психометрическое программирование:
Справочное руководство по конструированию тестов. - Клев: 1994.
4. Столин В.В., Шмелев А.Г. Дифференциальная психометрика. - М.: МГУ, 1984.
5.Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие.- М.: И.Ц, 1995
6. Челышкова М.Б., Ковалева Г.С. Теория и практика конструирования педагогических тестов: Учебное пособие.
















Приложение 4

ПОЛОЖЕНИЕ О КООРДИНАЦИОННОМ СОВЕТЕ МИНОБРАЗОВАНИЯ РОССИИ ПО ВОПРОСАМ СЕРТИФИКАЦИИ КАЧЕСТВА ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ
1. Координационный совет Минобразования России по вопросам сертификации качества педагогических тестовых материалов (далее - Координационный совет) является государственно-общественным органом Министерства образования Российской Федерации, действующим в целях научно-методического обеспечения и контроля процесса сертификации качества педагогических тестовых материалов (далее - ПТМ).
2. Координационный совет создается, реорганизуется и ликвидируется приказом Минобразования России.
В состав Координационного совета входят:
ведущие специалисты, в области тестирования, представители научно-исследовательских организаций и учреждений системы образования и Минобразования России.
3. Координационный совет возглавляет председатель. Подготовку заседаний Координационного совета и доведение принятых им решений до сведения заинтересованных организаций осуществляет ученый секретарь.
4. Координационный совет в своей деятельности руководствуется:
законодательными актами Российской Федерации,
постановлениями Правительства Российской Федерации в области образования,
нормативно-правовыми актами Минобразования России,
настоящим Положением.
5. Основными задачами и функциями Координационного совета являются:
осуществление контроля за соблюдением требований к качеству ПТМ в процессе сертификации, а также за обоснованностью результатов экспертизы качества сертифицируемых ПТМ;
выявление проблем и трудностей, замедляющих становление процесса сертификации ПТМ;
внесение предложений в программы работ головных учреждений В СИСТЕМЕ Минобразования России по сертификации качества ПТМ, в области сертификации ПТМ и определение приоритетных направлений их деятельности по сертификации (ежегодно);
обсуждение отчетов головных учреждений в системе Минобразования России по сертификации качества ПТМ и их утверждение (ежегодно);
согласование перечня документов и материалов, представляемых заказчиком, а также требований к качеству ПТМ;
согласование методик экспертизы качества ПТМ;
утверждение формы бланка сертификата ПТМ;
разработка рекомендаций по совершенствованию процесса сертификации ПТМ, в том числе определение приоритетных научно-исследовательских работ по расширению и совершенствованию процесса и системы сертификации ПТМ;
рассмотрение случаев апелляций со стороны заказчиков;
определение порядка оформления и выдачи сертификатов.
6. Координационный совет в соответствии с возложенными на него задачами имеет право получать отчеты головных учреждений в системе Минобразования России по сертификации качества ПТМ, документы и материалы Минобразования России и другую необходимую информацию по вопросам разработки и использования тестов.
7. Члены Координационного совета и члены экспертных групп должны соблюдать принцип конфиденциальности по отношению к содержательной части ПТМ, представленных на экспертизу, и результатам экспертизы для внешних пользователей.
8. Работа Координационного совета проводится по плану. Заседания Координационного совета проводятся не реже одного раза в два месяца. Решения Координационного совета принимаются большинством голосов членов совета, если на заседании присутствует не менее 2/3 членов совета.



































Приложение 5
Примеры заданий тестов из сборника Центра тестирования выпускников общеобразовательных учреждений РФ для государственного абитуриентского тестирования (11 класс)

Примеры заданий по русскому языку
Прочитайте внимательно задания теста и инструкции к ним. Задания выполняйте последовательно. В каждом задании может быть 1, 2 и более правильных ответов. Номера выбранных ответов отметьте в опросном листе под номером выполненного Вами задания.
Орфография
Отметьте номера слов, где пишется буква

О 1) Р_ВНИННЫЙ
2) РАЗВ_ЛИВШИЙСЯ САРАЙ
3) ОБЛ_ЖНОЙ ДОЖДЬ
4) ВОПЛ_ТИТЬ В ЖИЗНЬ
5) ОБОГ_ЩЕНИЕ

НН 1) ГЛАЖЖЕН_ОЕ БЕЛЬЁ
2) УГНАН_ЫЙ САМОЛЁТ
3) РАБОТЫ ПРОВЕРЕН_Ы
4) НЕВИДАН_ЫЙ
5) СУШЁН_ЫЕ В ПЕЧИ ГРИБЫ

Пунктуация
Отметьте номера предложений, где слова, набранные курсивом, выделяются запятыми.
1) Убаюканный сладкими надеждами он крепко спал.
2) Через узкое оконце замурованное льдом жизни яростное солнце пробивается с трудом.
3) Молодой паренек белобрысый и скуластый подошел к нему несмело.

<< Пред. стр.

страница 2
(всего 6)

ОГЛАВЛЕНИЕ

След. стр. >>

Copyright © Design by: Sunlight webdesign