WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 |   ...   | 2 | 3 ||

Данные тестирования обрабатывались с использованием следующих методов: 1) расчет трудности заданий - алгоритм теории параметризации педагогических тестов IRT; 2) расчет дискриминативности тестовых заданий - точечно-бисериальный коэффициент корреляции; 3) сравнение экспертных оценок с показателями, полученными в ходе апробационных циклов, сравнение результатов прохождения тестирования респондентами с их объективными показателями успеваемости, сравнение уровня консистентности представлений и показателями успешности прохождения теста, а также показатель ретестовой надежности – коэффициент линейной корреляции Пирсона; анализ значимости различий между коэффициентами корреляции - z-преобразование Фишера для выборочного коэффициента корреляции; 4) надежность-согласованность пунктов – коэффициент корреляции «альфа» Кронбаха; 5) анализ когнитивной сложности – коэффициенты консистентности и дифференциронности, матрица сопряженности.

Третий, четвертый и пятый параграфы посвящены изложению результатов эксперимента и их обсуждению.

В результате проведенного нами исследования мы выяснили, что требование к соблюдению всех этапов создания тестирования, по крайней мере, тех, которые мы могли произвести, имеет вполне обоснованные причины. Возможность работы с полученными данными в результате разных подходов к оценке, обеспечиваемая многосторонним и гибким взаимодействие разноплановых структур: экспертные оценки позволяют судить о работе теста с позиций теоретико-педагогического видения, а анализ результатов позволяет выявить особенности, проявляющие в конкретных условиях взаимодействия субъекта с инструментарием. Такой разносторонний подход обеспечивает возможность создания понастоящему качественного, научно-обоснованного теста контроля знаний.

Нами было показано, что те задания, на которые эксперт давал неправильный ответ, оценивались им, как низкокачественные, а применительно к нашей гипотезе зависимость констатируется в следующей формулировке: точность экспертных оценок обратнопропорциональна субъективной оценке качества заданий. Этот факт можно объяснить тем, что на те вопросы, на которые эксперт не может дать однозначного ответа или же просто угадывает его, он склонен называть низкокачественными.

Анализ структуры аналогичных показателей средних оценок качества и сложности для правильно решенных заданий показывает нам их устойчивость от блока к блоку и близость их между собой внутри шкал. И хотя, на первый взгляд, может показаться, что ситуация должна быть прямо противоположной, то есть оценки правильно решенных заданий должны быть диаметрально противоположны оценкам заданий, на которые эксперт не знал правильного ответа. Ошибочность данного утверждения заключается в том, что по отношению к оценкам вопросов, на которые эксперт не дает правильного ответа, работают защитные механизмы самооценки, а вот по отношению к вопросам, где эксперт отвечает уверенно – оценочная стратегия (установка) оказывается более либеральной (менее строгой).

Как мы выяснили, компетентность эксперта все же влияет на оценку им качества и сложности тестового задания, а разработанные нами методы позволяют расширить круг качественных заданий, но этот метод не дает нам возможность судить однозначно о влиянии компетентности экспертов на их оценки заданий.

Благодаря методу экспертных оценок, мы смогли провести предварительный отбор пунктов по рейтингу, составленному на основе взвешенных критериев, построить шкальные профили объектов (в данном случае эти объекты – это тестовые задания), позволяющие работать с пунктами теста по оценкам отдельных критериев. А также нами были разработаны схемы проведения анализа необходимости принятия на рассмотрение или отказа от оценок экспертов как на основе качественно-количественных, так статистических методов. Такая гибкая система позволяет более надежно произвести отбор пунктов, учитывая качество и согласованность работы экспертов.

Мы выяснили, что низкая согласованность экспертов, скорее всего, не есть результат содержательной стороны теста, а следствие различия в индивидуальном понимании каждым экспертом смысла и значения каждого из оцениваемых критериев, а также уровня требовательности, предъявляемого экспертом по отношению к тесту. На основе этого нами была разработана схема повышения надежности показателя согласованности посредством как расширения группы экспертов, так и работы по согласованию понимания критериев у уже имеющихся экспертов.

Нами были рассчитаны статистические показатели прохождения теста для первичного и вторичного циклов апробации. В целом задания теста являются средними по уровню трудности, тем не менее, изначально в тесте присутствовали и сложные, и легкие задания, однако, после работы с банком заданий количество очень трудных и очень легких заданий сократилось. Диапазон средней трудности достаточно широк, что отдельно взятые блоки вопросов обладают достаточно хорошей сбалансированности вопросов, но внутри среднего диапазона.

Нами был рассчитан важный показатель корреляции сложности (на основе экспертных оценок) и трудности (на основе прохождения теста) тестовых заданий.

Коэффициент оказался значимым, что для данного массива объектов, то есть оценка сложности заданий экспертами находит свое отражение в реальной трудности этих же заданий при прохождении теста студентами. Другие показатели согласованности двух подходов подсчитаны на значимом уровне нами получены не были.

Проведенный нами предварительный анализ внутренней валидности шкал теста показал достаточно высокую интеркорреляцию шкал теста между собой, что является признаком не высокой дискриминантной валидности соответствующих субтестов. То есть диагностируемая ими сфера знаний сужается из-за сильной взаимосвязи знаний по одной области со знаниями по другой, что, конечно, может быть использовано при проведении комплексного тестирования по общей или прикладной психологии.

Анализ пунктов теста показал наличие плохо «работающих» или неработающих вопросов на этапе первичной апробации, число которых составило более половины от общего количества вопросов теста. Так же было отмечено, что достаточно маленький процент вопросов работает на свои шкалы: в большинстве случаев, даже если вопрос и работает на родную шкалу, то зачастую он работает еще и на какую-либо из других шкал.

Нами были получены внешние показатели качества теста, которые показывают, что тестовая форма контроля дает согласованные (валидные) результаты с традиционной формой контроля, а значит, может быть использована для контроля, например, фактологических знаний на этапе экзаменационной аттестации. Ниже (рис. 1) приведены полученные в ходе исследования коэффициенты корреляции (уровень значимости 0,01) тестовой формы контроля с другими показателями успеваемости.

Интегральная успеваемость 0,60 (0,70) 0,55 (0,66) 0,65 (0,75) Тест Устный экзамен Тест + уст. экзмен 0,47 (0,58) Рис. 1. Связь тестовой формы контроля с другими показателями (в скобках указаны коэффициенты корреляции без учета средней группы – балл от 26 до 32) Аналогичный анализ связи интегрального балла, в котором суммируются результаты студента по тесту и на экзамене (тест + уст. экзамен на рис.1), с общей академической успеваемостью (баллом диплома) показал, что лучше всего коррелирует с «общей академической успешностью» именно интегральный балл. По данным 2005 года он примерно на 0,1 выше, чем каждый из показателей (тестовый балл и оценка на гос. экзамене) в отдельности, что непосредственно указывает на преимущество комплексной оценки. В 2005 году наша основная гипотеза была подтверждена на уровне значимости 0,05, однако, уже в 2007 году (результаты исследований этого года не вошли в основной текст данной работы) нами были получены аналогичные показатели на большей выборке (170 человек), при этом гипотеза подтвердилась уже на уровне значимости 0,01.

Нами была обнаружена связь между некоторыми структурными параметрами целостной системы представлений, в частности, таким как «консистентность», и академической успеваемостью. Эта связь оказалась прямолинейной, то есть с ростом тестового балла растет консистентность понятийной системы.

В шестом параграфе работы рассматриваются различные примеры - такие, когда тот или иной вопрос, получая высокую оценку сложности у экспертов, оказывается легким по результатам прохождения учащимися тестирования. Или же такие задания, где оценки получились максимально скоррелированными.

Общие выводы:

1. Комплексный подход к проблеме диагностики учебных достижений имеет статистически значимо более высокий уровень точности (валидности) оценки по сравнению с традиционной и тестовой формами контроля, применяемыми по отдельности. Тестовые испытания должны не заменять, но дополнять собой традиционные устные экзамены.

2. Получаемые в результате тестирования данные позволяют: а) прогнозировать успешность сдачи студентами госэкзамена по общей психологии; б) обладают высокой конкурентной валидностью с традиционным госэкзаменом по отношению к такому интегральному критерию как «общий уровень подготовленности студентов на основе оценок за всю историю обучения в вузе».

3. Была разработана, компьютеризирована и апробирована технология конструирования тестов профессиональных достижений, основными особенностями которой являются следующие ключевые этапы: а) авторский цикл, б) экспертный цикл в рамках которого при помощи компьютерных технологии собираются первичные данные о трудности и качестве тестовых заданий еще до предъявления испытуемым, в) апробация тестовых заданий, скомпонованных определенным образом, на пилотной выборке (определения первичной статистической трудности заданий, оценка качества с позиции тестируемого, определение объективных параметров собственно процесса тестирования); г) формирование основного банка тестовых заданий с учетом данных, полученных в результате пилотной апробации; д) проведение основного тестирования; е) анализ результатов проведения основного тестирования.

4. Работа с экспертными оценками дала нам возможность, по крайней мере, частично понять, на каком уровне и каким образом происходит взаимодействие эксперта с тестовыми заданиями, какие факторы могут влиять на оценки эксперта. Субъективная оценка качества заданий обратно-пропорциональна точности экспертных оценок.

5. Применение именно Интернет-технологии тестирования создает не только операциональные удобства (скорость сбора данных и их последующей обработки, защита банка заданий от разглашения путем рандомизации вариантов), но и изменяет в ряде существенных моментов социально-психологическую ситуацию..

6. Нами было получено подтверждение перспективности предложенного нами пути преодоления «разрыва» между традиционной и тестовой форм системы контроля академической успеваемости посредством внедрения технологии семантического шкалирования (методов психосемантики) в сфере диагностику знаний, что дает нам возможность дальнейшего продолжения работ в этом направлении – по расширению репертуара тестовых технологий, опирающихся слишком часто на одни лишь задания с вынужденным выбором - не чувствительные к целостной организации индивидуальной понятийной системы.

Основное содержание диссертации отражено в следующих публикациях:

Статьи в рекомендованных ВАК изданиях 1. Чумаков А.А. Опыт компьютеризированного тестового контроля знаний у студентов-психологов /Чумаков А.А.// Вестник Московского университета. Серия 14.

Психология. – М.: Изд-во Московского университета, 2006, № 4. – 0,5 п.л.

Научные статьи и тезисы докладов 2. Чумаков А.А. Разработка тестов контроля знаний для факультетов психологии /Чумаков А.А.// Материалы юбилейной конференции посвященной 120 летию МПО. – М.:

Эслан, 2004. – 0,2 п.л.

3. Чумаков А.А. Применение метода экспертных оценок при разработке теста контроля знаний у студентов-психологов/Чумаков А.А.// Материалы Всерос. научной конференции «Психологическая теория и практика в изменяющейся России». – Челябинск:

ЮрГУ, 2006. – 0,3 п.л.

4. Чумаков А.А. Опыт использования компьютеризированного теста образовательных достижений для оценки уровня подготовки выпускников психологического вуза /Чумаков А.А., Шмелев А.Г.// Материалы Межрегиональной научно-практической конференции «Прикладная психология как ресурс социально-экономического развития современной России». – М.: АНО УМО «Инсайт», 2005. – 0,2 п.л. (авторский вклад 50%)

Pages:     | 1 |   ...   | 2 | 3 ||






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»