WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 | 2 || 4 |

Следующим основанием для разделения тестов является цель применения. Здесь следует различать: тесты достижений; тесты усвоения знаний; тесты остаточных знаний; тест интегративный – система заданий для общей диагностики подготовленности выпускника образовательного учреждения.

Компьютерные сетевые технологии тестирования позволили преодолеть многие недостатки бланковых технологий. Основными преимуществами компьютеризированного тестирования с использованием Интернета мы считаем следующие: быстрое сравнение результатов измерения для большого количества испытуемых на больших территориях.

Использование технологии адаптивного тестирования. Создание и применение банков тестовых заданий. Применение новых способов предъявления тестовых заданий, повышающих информационную безопасность: оперативная рандомизация вариантов на основе банка заданий – оперативное («на лету») формирование последовательности вопросов для одного испытуемого (предъявление тестовых заданий в случайном порядке), рандомизация ответов (изменение позиции варианта ответа в различных вариантах).

Оптимизированное управление продолжительностью тестовых измерений как для всех процедуры тестирования целиком, так и для отдельных частей теста (тематических блоков) и отдельных заданий.

Привлекательность сети Интернет для психологов по сравнению с традиционными способами проведения исследований уже не раз отмечалась в литературе (Жичкина, 2000;

Шмелев, 2002; Шмелев, Бельцер, 1997; Birnbaum, 2000; Roberts, Smith, Pollock, 1997).

Признаки повышения эффективности в этих работах в значительной степени перекликаются с тем списком, который мы уже называли выше.

В шестом параграфе рассматриваются возможные модели сочетания тестовых и традиционных технологий контроля.

Анализ литературы (например, Симонов, 2004; Симонов, Черненко, 2002; Беспалько, Татур, 1989) и практического опыта сочетания тестовых и традиционных форм дает следующую комбинаторику вариантов: Модель 1. Тест-экзамен. Промежуточные формы отчетности (контрольные, коллоквиумы, рефераты) учитываются по принципу "зачетнезачет". Итоговая оценка формируется на экзамене в тестовой форме. Модель 2.

Тестирование-фильтр. В промежуточных формах контроля ключевую роль играет тест. Его результаты засчитываются по принципу "Зачет-допуск". Но результаты теста не учитываются на итоговом экзамене. Модель 3. Система накопленных баллов: тесты дают определенные баллы плюс проводится классический экзамен (устный или письменный).

Модель 4. Система накопленных баллов: практические работы плюс тестовый экзамен.

Модель 5. «Трехкатегориальный фильтр». Это особая модификация модели-2. Тест проводится как форма предэкзаменационного контроля. По результатам теста все студенты делятся на три категории, разные по численности.

Вторая глава - «Современные тестовые технологии» - посвящена анализу опыта и построению и обоснованию авторской модели конструирования тестов контроля профессиональных достижений.

В первом параграфе кратко освещаются (подробное рассмотрение и анализ происходит в следующих параграфах данной главы диссертации) этапы конструирования тестовой методики контроля знаний.

На основании анализа литературных источников и собственного многолетнего опыта разработки и проведения оценочных тестовых процедур, нами был предложен следующий список этапов разработки тестов достижений: 1) определение целей тестирования с учетом организационного контекста (в разных образовательных учреждениях разные ситуации, традиции, возможности учащихся и преподавателей по созданию новых или использованию готовых тестов); 2) определение ресурсных возможностей разработчиков; 3) выбор организационно-технологического решения; 4) отбор содержания учебного материала; 5) конструирование технологической матрицы (форма представления отбора содержания образования для конструирования тестов достижений) и-или спецификации варианта теста, экспертиза матрицы и спецификации; 6) составление тестовых заданий или банка заданий (это отдельный этап и по времени и организационно); 7) экспертиза. Возможная доработка заданий, не прошедших экспертизу; 8) формирования выборки для апробации заданий и тестов; 9) компоновка заданий для апробации; 10) апробация тестовых заданий и вариантов;

11) определение и расчет показателей качества тестовых заданий; 12) отбраковка неудачных заданий и составление теста (рабочего банка заданий); 13) возможная доработка (коррекция) отбракованных заданий; 14) апробация вариантов теста; 15) определение и расчет показателей качества теста; 16) составление окончательного варианта теста (банка и алгоритма формирования вариантов на его основе); 17) стандартизация теста (комплекс процедур и мероприятий, позволяющий создать для всех испытуемых равные условия). 19) нормирование теста (процесс получения количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение); 20) оснащение теста (издание в буклетной или электронной форме со всеми сопутствующими инструктивными материалами).

В втором и третьем параграфах рассматриваются основные составляющие этапа определения целей тестирования, а также состав и типы тестовых заданий, необходимых для реализации целей диагностики профессиональных знаний.

В самом общем виде тестовые задания должны (Майоров, 1996; Клайн, 1994; Cheung, Bucat, 2002; Burton at al., 1991; Frary, 1996; Kahoe, 1995): быть составлены с учетом соответствующих правил; соответствовать содержанию учебного материала; быть проверены на практике (апробированы); иметь рассчитанные показатели качества — трудность и дискриминативность (способность задания разделять испытуемых в соответствии с успешностью их деятельности); быть достаточно краткими, ясными испытуемому.

Нами были разработаны более подробные рекомендации авторам тестовых заданий, ознакомиться с которыми можно в приложении 21 основного текста диссертации.

Также в данном параграфе нами были подробно рассмотрены типы тестовых заданий, которые так же наиболее часто выделяют в литературе (Аванесов, 1998; Кэйс, Свенсон, 1996;

Майоров, 2000; Морев, 2004).

В четвертом параграфе обсуждается возможность применения психосемантических технологий в диагностике знаний.

В нашем исследовании мы решили попробовать сократить разрыв между традиционной формой контроля и тестовой. В сферу оценки учебных достижений нами был привнесен психосемантический метод многомерного шкалирования данных (Терехина, 1983, 1986) и метод концептуального картирования (Шмелев, 1994, 2002; Aidman, Ward, 2002;

Hammond, Allinson, 1987).

Научные традиции факультета психологии МГУ связывают психосемантику преимущественно с академическими и прикладными исследованиями в области экспериментального изучения Образа мира в его различных аспектах (Артемьева, 1980;

Петренко, 1983, 1988; Шмелев, 1983; Климов, 1995). Психосемантический подход в меньшей степени развивался в направлении прикладной образовательной диагностики. В данной работе обозначена одна из первых попыток применения этого подхода к оценке знаний студентов.

По нашему мнению, для человека, хорошо усвоившего материал, эта система понятий имеет более четкую структуру. Другими словами, система понятий может быть представлена структурой, опирающейся на четкие факторы.

В пятом, шестом, седьмом, восьмом, девятом, десятом, одиннадцатом и двенадцатом параграфах содержательно рассматриваются особенности каждого их этапов разработки тестовых методик. Обсуждаются основные аспекты процедуры экспертной оценки тестовых заданий, рассматривается основное содержание и задачи этапа апробации тестовых заданий, основные параметры качества тестовых заданий и теста в целом, а также методы их получения и анализа (в частности, трудности тестовых заданий – в классической тестологии и тестологии на базе IRT), вычисление дискриминативности тестовых заданий, измерение общих психометрических свойств теста в целом. Обсуждается авторский опыт применения, возможностей и преимуществ Интернет- и компьютерных технологий на всех этапах разработки тестового инструментария. Также подробно рассматриваются вопросы стандартизации процесса тестирования и вопросы, связанные с процедурой нормирования (получение количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение).

Как уже говорилось во введении, в условиях интенсивного развития новых информационных технологий (в частности, Интернет-технологий) в фокусе внимание специалиста, занятого решением прикладной проблемы, должны оказываться не только психометрические (тестологические) аспекты, но и психолого-эргономические аспекты проблемы. Информационная среда взаимодействия различных участников процесса конструирования и использования тестов в идеале должна быть организована так, чтобы содействовать их интеграции, но не дезинтеграции. По нашему мнению, это происходит тогда, когда педагоги чувствуют свою востребованность, свою включенность в процессы создания и применения тестовых технологий – в качестве авторов тестовых заданий, в качестве авторов логико-математических семантических моделей представления знаний, в качестве экспертов тестовых заданий, в качестве экспертов по подготовке окончательного комплексного заключения по оценке знаний студентов.

В тринадцатом параграфе рассматриваются основные критерии оценки пользовательского интерфейса программных средств экспертизы измерительных материалов и проведения тестирования, а также предложим варианты технологических решений.

Выделяются характеристики, которыми обладает графический интерфейс пользователя, а также этапы его проектирования.

В четырнадцатом параграфе формулируются основные выводы из теоретикометодологической части.

Третья глава – «Опыт конструирования компьютеризированного теста контроля знаний для студентов-психологов» - посвящена анализу результатов разработки и внедрения тестовой технологии, внедренной на факультете психологии МГУ им. М.В. Ломоносова.

Первый параграф посвящен изложению целей и гипотез исследования.

В этом разделе диссертации были сформулированы и обоснованы частные гипотезы исследования:

- пропуск, по крайней мере, одного этапа в оптимальной последовательности шагов по конструированию теста, может привести к резкому снижению качества создаваемого инструмента;

- целостность структуры знаний учащегося взаимосвязана с академической успеваемостью;

- психологическая позитивная установка преподавателей на использования тестовой технологии контроля формируется легче на основе принципа соучастия преподавателей в разработке самой технологии - на этапе конструирования банка тестовых заданий (в качестве авторов и экспертов по оценке и отбору тестовых заданий), а также при использовании тестовых баллов в качестве дополнительного источника информации, не отменяющего применения традиционных экзаменационных процедур.

Второй параграф посвящен описанию методики экспериментального исследования и методики обработки результатов. Особе внимание в экспериментально-методической части работы уделялось инструментальному оснащению нашего исследования, его технологическому, апаратурно-методическому базису:

1) Основные серии тестирования студентов проводилось с использованием специализированного программного комплекса тестирования «Maintest» (Мэйнтест), разработанного по руководством профессором кафедры психологии труда МГУ им. М.В.

Ломоносова А.Г. Шмелевым (программная реализация О.Н. Кононов);

2) В работе использована технология «виртуальной лаборатории», позволяющая организовать пространственно-распределенный процесс сбора экспертных оценок: данные экспертизы тестовых заданий собирались с использованием специализированного Интернеткомплекса «Личный кабинет для он-лайн исследований» и обрабатывались в специализированной для этой цели оболочке «Expan», разработанной А.Г. Шмелевым (программная реализация Д.М. Ильиных);

3) Данные о когнитивной сложности представлений учащихся (данные о целостности представлений) собирались и обрабатывались с использованием специализированной психосемантической методики «Тест когнитивной сложности «11 слов», разработанной А.Г.

Шмелевым (программная реализация А.Г. Ларионов).

4) Методы математической и статистической обработки и представления данных (статистический блок программного комплекса тестирования «Maintest», статистический пакет «Microsoft Excel»).

В ходе исследовательских работ по гранту РФФИ №01-06-80382 был составлен набор тестовых заданий по курсу общей (8 тем, 160 вопросов) и прикладной психологии (4 темы, 80 вопросов). Для прохождения теста на этапе первичной апробации для каждого из участников (испытуемых) генерировался вариант, состоящий из 48 вопросов (по 4 из каждого тематического блока: 48 = 12 * 4). В исследовании на этапе апробации приняли участие 116 человек (учащиеся 3-5 курсов факультета психологии МГУ им. М.В.

Ломоносова, а также выпускники прошлого года), во второй серии в общей сложности человека (учащиеся 5-6 курсов факультета психологии МГУ им. М.В. Ломоносова, а также учащиеся 3 курса факультета психологии ГУ ВШЭ). После полного цикла апробации первичного теста осталось не более 27 процентов заданий, пригодных для использования.

Примерно 20 процентов заданий были переформулированы.

Таким образом, полученные на первом этапе результаты неизбежно привели к тому, что следующая версия банка заданий должна была включать гораздо большее количество заданий. Такой банк был создан и включал в себя 320 заданий по 8 разделам общей психологии, работа с заданиями по прикладной психологии по ряду причин не продолжалась.

Методика независимой экспертизы представляла собой стандартный вариант оценки заданий по двум критериям: сначала эксперту необходимо было дать свой ответ на вопрос (решить задачу), а затем оценить его по двум характеристикам - сложность и качество. В работе приняли участие 10 экспертов - сотрудники кафедр психологии труда и общей психологии факультета психологии МГУ.

Данные экспертизы обрабатывались с использованием следующих методов: 1) графический анализ данных сопоставления ожидаемых и реальных показателей эксперта; 2) классические четырехклеточные матрицы сопряженности Гилфорда (корреляция компетентности эксперта с оценками сложности и качества заданий); 3) корреляционный балл - коэффициент линейной корреляции Пирсона всех оценок, данных экспертом (по всем парам «объект * критерий»), с усредненными оценками всех остальных экспертов; 4) балл близости - коэффициент «косинус», указывающий на близость индивидуального профиля к профилю остальных экспертов (с учетом уровня критичности).

Pages:     | 1 | 2 || 4 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»