WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 || 3 | 4 |

При анализе существующих критериев, применяемых в методах оценки качества электронных обучающих систем, выявлена группа общих критериев качества, предназначенных для оценки различных автоматизированных систем, и группа критериев, предназначенных для оценки электронных обучающих систем. Но эти критерии возможно применять только на этапе эксплуатации обучающей системы, что не позволяет управлять ее качеством на этапе разработки. Более того, определение большинства критериев качества в данных методах связано с обработкой значительных массивов данных, и их расчет занимает большое количество времени. Существуют различные автоматизированные системы, применяемые для оценки качества электронных обучающих систем и обучающих материалов (см. таблицу 1).

В результате проведенного анализа было выявлено, что применяемые методы оценки качества не позволяют формировать рекомендации по изменению электронных обучающих систем; существующие автоматизированные системы оценки качества узкоспециализированы и ориентированы на оценку качества конкретной электронной обучающей системы; «многослойный» подход к оценке качества электронных обучающих систем не реализован на практике; отсутствуют автоматизированные системы оценки качества адаптивных обучающих систем. Поэтому необходима разработка метода автоматизированной оценки качества, охватывающего широкий класс электронных обучающих систем, в том числе адаптивных.

Таблица 1 – Анализ автоматизированных систем оценки качества процесса обучения и обучающих материалов

Система оценки качества

Используемый метод

Система оценки качества программных комплексов для дистанционного обучения (МИЭМ)

Оценка качества по ISO 14598:1-6:1998-2000 «Оценивание программного продукта»

Подсистема оценки качества информационно-образовательной среды "Chopin" (АлтГТУ)

Оценка качества на основе свертки критериев:

- валидность;

- надежность;

- трудность;

- экономичность и избыточность;

- интегрированность;

- практичность.

SADEP Интеллектуальная система оценки качества учебного процесса (КТИ, филиал ВолгГТУ)

Оценка качества на основе «контрольных карт», показывающих успешность обучения по отдельным частям курса

Hypermethod Assessment Tools (Лаборатория программных систем искусственного интеллекта, Санкт-Петербург)

Метод оценки качества на основе методик менеджмента предприятием:

- KPI – ключевые показатели качества;

- MBO – целевое управление.

Система оценки качества электронного обучения eLup (Университет Монпелье-2, Франция)

Оценка качества на основе диаграмм описания процесса обучения на UML-подобном языке

Quality Integration Tool (Университет Дуйзбург-Ессен, Германия)

Система поддержки процесса управления качеством электронных обучающих систем на основе процессного подхода и методологии ISO 9001:2000

Во второй главе изложен метод и критерии оценки качества, позволяющие производить оценку качества как на ранних этапах разработки обучающих систем, так и на стадиях внедрения и эксплуатации.

Оценка качества на ранних этапах разработки обучающей системы очень важна, так как решения на данных этапах определяют качество конечного продукта. Для оценки электронных обучающих систем существуют критерии качества, применимые на этапе разработки. Для адаптивных обучающих систем такие критерии отсутствуют. В адаптивных обучающих системах для персонификации процесса обучения используется модель обучаемого, в которой хранятся некоторые характеристики обучаемого, и технологии адаптации, применяемые на основе модели обучаемого. Разработка модели обучаемого особенно критична для таких систем. Для ее оценки на этапе разработки предложены два априорных критерия: адекватность модели обучаемого, чувствительность модели обучаемого.

Значение критерия адекватности модели обучаемого в адаптивной обучающей системе представляет собой оценку возможности адаптации системы на основе характеристик модели и надежности измерения каждой характеристики модели пользователя. Адаптация системы реализуется с помощью технологий адаптации, выбор которых зависит от пользователей системы и предметной области. Таким образом, для оценки адекватности модели обучаемого необходимо, руководствуясь знаниями о целевой аудитории обучающей системы и особенностях предметной области, определить технологии адаптации, которые требуется реализовать в системе, так как характеристики, хранящиеся в модели обучаемого определяют набор технологий, которые могут быть использованы. Расчет критерия адекватности модели обучаемого основан на методе анализа иерархии, с той разницей, что здесь в качестве критериев качества на нижнем уровне выступает надежность измерения каждой характеристики модели обучаемого, а уровнем выше вместо групп критериев качества – технологии адаптации, которые планируется реализовать в адаптивной обучающей системе. В качестве метода оценки приоритетов на каждом уровне экспертом используется метод, основанный на использовании матрицы парных сравнений. Получающаяся в результате свертки оценка характеризует адекватность модели обучаемого. Чем выше данная оценка, тем более построенная модель обучаемого удовлетворяет требованиям обучения данной целевой аудитории в данной предметной области.

Адекватность модели обучаемого рассчитывается по формуле:

,

где – вектор влияний характеристик в модели обучаемого на реализацию i-ой технологии адаптации;

– влияние j-ой характеристики в модели обучаемого на реализацию i-ой технологии адаптации;

– вектор надежности измерения характеристик модели обучаемого;

– надежность измерения -ой характеристики;

– вектор важности технологий адаптации;

– важность i-ой технологии адаптации;

– число технологий адаптации обучающей системы;

– число характеристик модели обучаемого обучающей системы.

Чувствительность модели обучаемого характеризуется величиной изменений характеристик обучаемого в модели при изменении результатов обучения. Под чувствительностью модели обучаемого по параметру P будем понимать отношение изменения хранящегося в системе значения характеристики обучаемого к изменению значения измеряемого параметра:

,

где – изменение хранящейся в системе характеристики обучаемого;

– изменение значения измеряемого параметра.

Характеристика чувствительности модели обучаемого может быть использована для анализа степени влияния поведения обучаемого на изменение его характеристик в модели. Правильное различение пользователей по поведению повышает качество моделей адаптации.

В неадаптивных обучающих системах характеристика чувствительности также может быть применена для оценки чувствительности системы к уровню знаний обучаемого, показываемому им в процессе обучения.

Для оценки качества на этапе внедрения и эксплуатации разработаны апостериорные критерии качества, рассчитываемые по результатам процесса обучения. Для представления процесса обучения используется имитационная модель, отображающая процесс взаимодействия обучающего с системой. Такая модель позволяет определять моменты возникновения ошибок в ходе процесса обучения. Для обеспечения инвариантности при построении модели использованы только общие для большинства электронных обучающих систем данные об обучаемых. Часть электронных обучающих систем позволяет совместное изучение курсов и выполнение проектов обучаемыми, поэтому в модели предусмотрена возможность моделирования процесса обучения, в котором несколько обучаемых взаимодействуют друг с другом.

Для представления модели процесса обучения была выбрана модель на основе сети Петри, так как она позволяет описать качественные и количественные характеристики процесса обучения, может быть наглядно представлена и построена автоматически. Метки сети Петри представляют собой обучаемых. Позиции сети Петри интерпретируются как концепты предметной области, то есть темы, которые проходят студенты. Для интерпретации переходов сети Петри был введен термин «контрольный переход». Срабатывание данного перехода интерпретируется как выполнение некоторого теста или контрольной работы по итогам изучения концепта. Необходимость моделирования процесса обучения обусловила введение соответствующих расширений сети Петри. Для моделирования процесса обучения каждого обучаемого, отдельной метке сети сопоставляется определенный цвет. Цвет состоит из двух компонент: первая компонента идентифицирует обучаемого, вторая компонента показывает состояние процесса обучения. Метки с состоянием «изучен» находятся в позициях, соответствующих изученным обучаемыми концептам. Метки с состоянием «текущий» находятся в концептах, которые обучаемые изучают в моделируемый момент времени. Переход считается разрешенным, только если число меток в его входной позиции совпадает с числом входных дуг, а цвета меток соответствуют цветам дуг. При срабатывании перехода метка с состоянием «текущий» извлекается из позиции, одновременно в позицию помещается метка с состоянием «изучено». Метка с состоянием «текущий» помещается в позицию, соответствующую следующему изучаемому концепту.

В электронных обучающих системах выбор последовательности изучаемых разделов курса (стратегии обучения) зависит от решения самого обучаемого. В адаптивных обучающих системах после изучения каждого концепта система может изменить стратегию и предложить различные варианты продолжения обучения в зависимости от характеристик обучаемого. Для моделирования различных стратегий изучения предметного курса в модели используется стохастическое расширение сети Петри. Дугам, соединяющим переходы с выходными позициями, сопоставляются функции вероятностей, соответствующие частотам выбора соответствующих концептов обучающего курса при заданной разметке сети. При определении вероятности учитывается набор пройденных обучаемым концептов.

Для моделирования динамики числовых характеристик процесса обучения каждому переходу сопоставляется распределение случайной величины интервала времени его выполнения. Это позволяет учесть время, затраченное на изучение концепта, соответствующего входной позиции перехода. Для представления уровня знаний каждого обучаемого метки содержат атрибут уровня знаний, что позволяет оценивать результаты обучения на каждом шаге процесса обучения. Метки с атрибутом «изучен» хранят уровень знаний обучаемого, которого он достиг после изучения концепта, соответствующего позиции, в которой находится метка. Метки с атрибутом «текущий» хранят соответствующий моменту времени моделирования текущий уровень знаний. Каждому переходу сопоставляется распределение случайной величины изменения уровня знаний обучаемого, которое равно оценке, полученной за тест, соответствующий сработавшему контрольному переходу.

Набор введенных расширений сети Петри позволяет классифицировать разработанную модель как стохастическую раскрашенную временную сеть Петри. Формально модель процесса обучения описывается кортежем вида:

,

где – множество позиций, каждая из позиций соответствует этапу процесса обучения, – количество позиций;

– множество переходов, переход соответствует обучающему заданию, срабатывание перехода интерпретируется как выполнение обучающего задания, – количество переходов;

– отношение инцидентности, определяющее множества дуг, направленные от позиций к переходам и от переходов к позициям;

– множество цветов сети Петри, – количество цветов;

– функция, задающая начальную разметку сети Петри;

– функция, задающая раскраску дуг сети Петри;

– функция, задающая вероятности развития процесса обучения в зависимости от текущей разметки сети Петри;

– множество всех возможных разметок сети Петри;

– функция, задающая значения статистических атрибутов каждого перехода.

,

где – компонента цвета, идентифицирующая обучаемого, – число обучаемых;

– состояние изученности.

,

где – математическое ожидание продолжительности изучения концепта;

– среднеквадратическое отклонение продолжительности изучения концепта;

– математическое ожидание уровня получаемых при изучении концепта знаний;

– среднеквадратическое отклонение уровня получаемых при изучении концепта знаний;

– коэффициент корреляции между продолжительностью изучения концепта и уровнем получаемых при его изучении знаний.

Алгоритм построения модели представлен на рис. 2.

Рисунок 2 – Алгоритм построения модели процесса обучения

В качестве исходных данных при построении модели используются данные о том, каким обучаемым была пройдена тема, идентификатор темы, время, затраченное на прохождение темы, и оценка, полученная при тестировании:

,

где - входные данные для построения модели процесса обучения;

- число произошедших в обучающей системе событий;

- событие процесса обучения;

- идентификатор обучаемого;

- идентификатор роли в процессе обучения;

- идентификатор изученного концепта;

- продолжительность изучения концепта;

- оценка, полученная по итогам изучения концепта.

Для оценки построенной модели процесса обучения разработаны следующие критерии:

Pages:     | 1 || 3 | 4 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»