WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     || 2 | 3 | 4 |

На правах рукописи

Чумаков Александр Алексеевич МЕТОДИКА КОНСТРУИРОВАНИЯ ТЕСТОВ ПРОФЕССИОНАЛЬНЫХ ДОСТИЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ИНТЕРНЕТ-ТЕХНОЛОГИЙ Специальность 19.00.03 – Психология труда, инженерная психология и эргономика (психологические наук

и)

Автореферат диссертации на соискание ученой степени кандидата психологических наук Москва, 2007 2

Работа выполнена на кафедре психологии труда и инженерной психологии факультета психологии Московского государственного университета им. М.В. Ломоносова.

Научный консультант: доктор психологических наук, профессор Шмелев Александр Георгиевич

Официальные оппоненты: доктор психологических наук, профессор Зараковский Георгий Михайлович;

кандидат психологических наук, доцент Моргунов Евгений Борисович.

Ведущая организация: Институт психологии Российской Академии наук

Защита состоится «13» апреля 2007 г. в 15.00 на заседании диссертационного совета Д 501.001.11 в МГУ им. М.В. Ломоносова по адресу: 125009, Москва, ул. Моховая, дом 11, корпус 5, аудитория 102.

Автореферат размещен на сайте факультета психологии МГУ им. М.В. Ломоносова www.psy.msu.ru 13 марта 2007 г.

С диссертацией можно ознакомиться в Научной библиотеке МГУ им. М.В. Ломоносова.

Автореферат разослан «12» марта 2007 г.

Ученый секретарь диссертационного совета, кандидат педагогических наук Володарская И.А.

3

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В настоящее время происходит массовая компьютеризацая образовательных учреждений, а также «корпоративных университетов» - систем профессиональной переподготовки кадров внутри современных корпораций. Этот процесс создает материально-технические предпосылки для использования стандартизированных процедур (тестов) как средства автоматизации системы контроля.

Прикладное применение тестов профессиональных достижений затрагивает в настоящее время не только вузы, но и крупные производственные предприятия, вынужденные в условиях научно-технической революции постоянно заниматься процессами переподготовки персонала и самим осуществлять контроля качества переподготовки. Развитие непрерывного образования выражается в постоянной работе профессионала над своими профессиональными знаниями. Тесты профессиональных достижений в этих условиях являются одним из основных инструментов для объективной обратной связи об эффективности результатов этого непрерывного образования.

В последние годы в обширной психолого-педагогической литературе все чаще акцентируется внимание на трудностях и проблемах, связанных с оценкой знаний:

недостаточная сформулированность целей образования и следовательно критериев оценки, субъективизм производящего оценивание, отсутствие четких критериев, по которым производится оценка, и т.п. Попыткам решения с разных позиций этих проблем посвящены многие работы психологов, педагогов, методистов (Аванесов, 1998; Гильбух, 1976;

Зинченко, 1982; Клайн, 1994; Майоров, 2000; Талызина, 1975; Шмелев, 1999; Gronlund, 1988). Однако сама по себе тестовая технология, даже разработанная по всем правилам математической теории тестов, не снимает ряда психологических проблем. Возникает практическая проблема такой организации информационно-коммуникативной среды в процессе создания и применения тестов, которая бы снимала негативный эффект психологического отчуждения преподавателей (наставников на производстве) от образовательного процесса.

Одним из актуальных направлений является проблема использования особых сетевых инструментально-измерительных технологий для оценки образовательных достижений учащихся, которая набирает новую высоту в связи с внедрением Интернета и других информационно-коммуникационных технологий. Новые информационные технологии инициируют развитие новых подходов к технологиям обучения, включая дистанционное образование. Однако неверным было бы предполагать, что информатизация процессов контроля усвоения знаний способна автоматически решить очерченные выше проблемы.

Чрезвычайно важным является вопрос разработки четкой и научно обоснованной психологопедагогической концепции создания и внедрения компьютеризированных тестовых методик контроля знаний.

В контексте развития указанной психолого-педагогической концепции особое место приобретает вопрос создания такой системы компьютерного тестирования, которая бы не отчуждала преподавателей от процесса контроля, но позволяла им активно влиять на образовательный процесс, способствовала эффективному усвоению учебного материала студентами, и использовалась, с одной стороны, преподавателем для промежуточного и итогового контроля знаний и, с другой стороны, учащимся для самооценки уровня своей подготовленности в процессе самостоятельной работы.

Цель исследования: построение методической схемы и апробирование технологической модели разработки педагогических компьютерных тестов контроля знаний с использованием Интернет-технологий, а также разработка инструментария для независимого и объективного тестового контроля знаний студентов-психологов.

Объектом исследования явилась процедура оценки профессиональных знаний студентов старших курсов психологических факультетов вузов.

Предметом исследования явились теоретико-методологические принципы и практические процедуры разработки тестов профессиональных знаний с использованием Интернет-технологий.

Основная гипотеза исследования: тестовая форма контроля дает согласованные (валидные) результаты с традиционной формой контроля, но не дублирует эту форму, то есть, позволяет диагностировать особые свойства в структуре и качестве знаний. На этой гипотезе базируется основная практическая рекомендация для разработчиков тестовых систем в вуза: тестовая и традиционная формы контроля должны дополнять друг друга.

Реализация поставленной цели и проверка основной гипотезы осуществлялись в процессе решения следующих задач исследования:

- выявить этапы, необходимые для создания полноценной и качественной методики тестирования знаний;

- выделить необходимые критерии, которым должен удовлетворять качественный тест достижений;

- выяснить концептуальные особенности различных принципов и подходов к созданию тестового инструментария и проанализировать, каким же должен быть тест достижений (на факультетах психологии и других центрах подготовки психологов) в зависимости от его целевого назначения;

- выяснить, какие факторы (в том числе организационные и социальнопсихологические) препятствуют успешному внедрению тестовых технологий в образовательную среду современного российского вуза, подготавливающего психологов;

- апробировать новую технологическую модель Интернет-ориентированного банка тестовых заданий, обеспечивающую опосредованность, независимость и оперативность взаимодействия экспертов с разработчиками тестовых заданий и между собой.

Методологической базой исследования послужили:

- принципы и подходы классической теории тестов (В.С. Аванесов, А.Н. Майоров, А.Г. Шмелев, А. Анастази, П. Клайн, Н. Гронлунд);

- принципы и подходы неклассической теории тестов – IRT (Дж. Раш, А.

Бирнбаум);

- психосемантический подход (А.Г. Шмелев, Е.Ю. Терехина, Е. Эйдман).

Последний подход, как, возможно, никакие другие, предполагает активную роль преподавателя как носителя знаний, ведь мерой успешности студента в данном случае объявляется сближение субъективного семантического пространства студента с эталонным пространством, в качестве которого принимается субъективное пространство преподавателя.

Методы исследования:

1) теоретический анализ литературных источников по психодиагностике, тестологии, психологии труда и организационной психологии, а также по психологии проектирования компьютерных систем;

2) метод тестов с вынужденным выбором;

3) метод согласования независимых экспертных оценок;

4) метод многомерного шкалирования с последующей реконструкцией субъективного пространства (в данном случае использовался экспресс-модификация полной процедуры многомерного шкалирования);

5) методический аппарат современного статистического анализа данных, включая корреляционный, факторный и кластерный анализ;

6) метод инженерно-психологического проектирования сетевых компьютерных многопользовательских систем и баз данных;

Достоверность и обоснованность результатов исследования обеспечивается детальной теоретической проработкой проблемы конструирования тестовых методик оценки уровня профессиональных достижений, а также изучение особенностей их внедрения в организационную среду вуза и использованием комплекса хорошо зарекомендовавших себя методических средств. Основой для реализации исследования послужила технология разработки тестов профессиональных достижений, разрабатывавшаяся на протяжении нескольких десятилетий за рубежом и в отечественной научной среде и прошедшая в модифицированном и переработанном виде полный цикл апробации при нашем непосредственном участии (Чумаков, 2006; Чумаков, Шмелев, 2005). Содержательная обоснованность полученных в диссертационном исследовании результатов подтверждается тем, что все диагностические обследования были проведены в реальных условиях предэкзаменационного тестирования выпускников при непосредственном внедрении технологии разработки и применения тестовой системы контроля в учебно-информационную среду вуза. Достоверность результатов обеспечивается репрезентативностью выборки испытуемых-студентов (общее число протестированных – свыше 400 человек), а также наличием значимо-согласованных экспертных оценок, полученных от 10 авторов-экспертов, которые соответствуют требованиям к использованию названных статистических процедур.

Научная новизна работы Впервые был применен и проанализирован с позиции психологии метод независимых экспертных оценок для создания первичного банка тестовых заданий. Обоснована значимость расширения авторского этапа при конструировании тестов, когда авторы тестовых заданий становятся непосредственными рецензентами своих собственных и чужих заданий и тем самым преодолевается эффект отчуждения педагогического коллектива образовательного учреждения от содержательного смысла внедряемой тестовой технологии.

Впервые произведено исследование взаимосвязи экспертных оценок сложности и качества тестовых заданий с аналогичными показателями, полученными в результате статистического анализа пунктов теста после апробации тестовой методики на реальных испытуемых. Обычная процедура экспертизы тестовых заданий не предполагает решение экспертом этих заданий в позиции учащегося. В нашем случае эксперты были принципиально поставлены в позицию учащегося, должны были решать тестовые задания и лишь после этого оценивать их качество.

Произведено поисковое психодиагностическое исследование взаимосвязи между когнитивной сложностью (консистентностью и дифференцированностью специальных знаний учащихся) и академической успеваемостью по соответствующим учебным дисциплинам. Ранее подобного рода исследования производились только в других странах и в ходе применения громоздких психометрических (фактически исследовательских, а не практических диагностических) процедур полной попарной оценки различий.

В данной работе впервые созданы и внедрены процедуры тестового контроля знаний студентов-психологов с использованием Интернет-технологии «виртуальной лаборатории», или «Личного кабинета экзаменатора-преподавателя».

Теоретическая значимость работы состоит в изучении зависимости экспертных оценок качества тестовых заданий от уровня осведомленности экспертов в изучаемой области, а также в изучении взаимосвязи между когнитивной сложностью и академической успеваемостью.

Практическая значимость работы Разработанная нами методическая схема и инструментальная система может быть использована не только педагогами (работниками сферы образования), но и специалистами кадровых служб предприятий для разработки собственного методического инструментария диагностики профессиональных знаний, отвечающего современным научным представлениям в области конструирования тестов и запросам практики. Прикладная ценность исследования – в позитивном ответе на вопрос о возможности применения различных психодиагностических процедур и методов, а также их сочетания с традиционными формами при оценке уровня профессиональных достижений.

Апробация и внедрение результатов работы Основные методологические выводы работы обсуждались на следующих крупных научно-практических конференциях: «Юбилейная конференция, посвященная 120-летию Московского психологического общества» (ПИ РАО, январь 2005), «Прикладная психология как ресурс социально-экономического развития России» (МГУ, ноябрь 2005), «Психологическая теория и практика в изменяющейся России» (ЮурГУ, май 2006). По результатам работы опубликованы 1 статья, 3 тезисных сообщения.

Результаты исследования внедрены на факультете психологии МГУ им. М.В.

Ломоносова для реализации предэкзаменационного тестирования старшекурсников перед государственным экзаменом по общей психологии, в программу межкафедрального спецсеминара «Конструирование тестов», существенные технологические элементы внедрены в практику работы компании ЗАО «Агентство «Гуманитарные технологии».

Положения, выносимые на защиту:

1) Оценка уровня успешности усвоения знаний учащимся оказывается более объективной (валидной) в том случае, если формируется как комплексная процедура, которая совмещает различные способы сбора данных, как в традиционной форме, так и в форме тестового диалога учащегося с компьютером.

2) Разработка методик диагностики профессиональных знаний требует комплексного, структурированного подхода, содержащего определенный набор принципиально важных этапов, пропуск или отказ от которых может привести к созданию некачественного диагностического инструментария, а также к социально-психологическим трудностям во внедрении тестовой технологии контроля знаний.

3) Доказана валидность сконструированных компьютерных тестов знаний – в виде значимых коэффициентов корреляции между данными тестов и суммарным баллом успеваемости студентов за всего годы обучения в вузе.

Pages:     || 2 | 3 | 4 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»