WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

загрузка...
   Добро пожаловать!

Pages:     | 1 || 3 | 4 |   ...   | 22 |

Під час аналізурезультатів імітації рівень характеристикагентів третього типу різнився. Один загентів мав високий рівень досвіду, алемалий рівень знань, інший малий рівеньдосвіду, проте високий рівень знань.Різниці спостерігались і в іншихпідгрупах, проте вони були значноменші.

Такі характеристикибули зумовлені значеннями показників, яківстановлювалися для кожної з груп іпредставлені на рис. 5.

Рис. 5.Показники взаємодії учасниківе-навчання

В результаті комп’ютерної імітації ціпоказники відображаються у вікні «Statistic» іна відповідних графіках (рис. 6).

Рис. 6.Діаграма сукупного досвіду для кожноїгрупи агентів

Умовні позначення:

– шкала представленняавторів ДК;

– шкала представленнятьюторів;

– шкала представленнястудентів;

Вісь X – час перебування уВеб-центрі ЛКА;

Вісь Y – величина сумарногодосвіду.

На рис. 7 представленадіаграма продукування нових знань, щопритаманно, насамперед, агентам першоготипу (авторам ДК).

Умовні позначення:

– шкала представленняагентів першого типу;

Вісь X – час перебування уВеб-центрі ЛКА;

Вісь Y – кількістьпродукованих знань.

Рис. 7.Діаграма продукування знань агентамипершого типу

З рис. 7 видно, що новихзнань на початковій стадії е-навчаннястворювалося більше, однак рідше. Проте приформуванні більш близьких зв’язків процеспродукування нових знань ставав дедалічастіший, загальний показник зменшувався іпотім призупинився на сталому рівні. Цестверджує, що коефіцієнт зацікавленостіавторів ДК пов’язаний насамперед із їх діяльністю упершій групі агентів.

Висновки

Отже, висвітленіпідходи до створення агент-орієнтованоїмоделі учасників е-навчання за допомогоютехнології SWARM дозволяють зробити наступнівисновки та узагальнення.

Агент-орієнтованумодель учасників е-навчання, побудовану наоснові технології SWARM, можна розглядати якінструмент, що забезпечує на мікрорівнібудь-якого ВНЗ проведення досліджень усфері запровадження дистанційних освітніхтехнологій.

  1. Змістовнаінтерпретація результатів імітації АОМдозволяє:
    • робити на базі візуального аналізувзаємодії агентів, учасників е-навчання,висновки щодо рівня досягнення станурівноваги чи псевдорівноваги увіртуальному навчальному середовищіВНЗ;
    • розробляти внутрішні норми таправила взаємодії 3-х агентів на основітаких характеристик, як продуктивність ізацікавленість агентів.
  1. У подальшому мимаємо на меті трансформувати розробленумодель у АОМ, яка могла б враховуватихарактеристики взаємодій агентів намакрорівні, тобто у контексті віртуальногомережевого співтовариства, щосамоорганізовується.

Література

  1. Артеменко В.Б. Моделювання взаємодіїучасників дистанційної освіти на засадахагент-орієнтованого підходу // ВісникЛьвів. комерційної академії. – Серія економічна,вип. 25 – Львів:Вид-во Львівської комерційної академії, 2007.– С.193-197.
  2. Сайт Веб-центру Львівськоїкомерційної академії –http://virt.lac.lviv.ua/.
  3. Journal of Artificial Societies and Social Simulation –http://jasss.soc.surrey.ac.uk/JASSS.html.
  4. Журнал «Искусственные общества»–http://www.artsoc.ru/.
  5. Site Agent-Based Computational Economics (ACE) –http://www.econ.iastate.edu/tesfatsi/ace.htm.
  6. Site Santa Fe Institute – http://www.santafe.edu/.
  7. Сайт доступу до пакету SWARM – http://wiki.swarm.org/.

SOME TECHNIQUES FOR AUTOMATED DETERMINING OF TESTINGRESULTS

Bakhrushin Vladimir, Ghuravel Sergey,Ignakhina Marina

Classic Private University, Zaporizhjia,Ukraine

Techniques for automated determining oftesting results, based on usage of learning samples, are proposed. It gives anopportunity to decrease the subjectivism when mark scale constructing and toraise the quality of estimation.

МЕТОДИКИАВТОМАТИЗИРОВАННОГО ОПРЕДЕЛЕНИЯРЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Бахрушин В.Е., ЖуравельС.В., Игнахина М.А.

Классический приватныйуниверситет, Запорожье, Украина

Предложены методикиавтоматизированного определениярезультатов тестирования, основанные наиспользовании обучающих выборок. Это даетвозможность уменьшить субъективизм припостроении шкалы оценок и повыситькачество оценивания.

Введение

Проведение контролязнаний в тестовой форме приобретает впоследнее время все большую популярность.Это обусловлено широким распространениемдистанционных и электронных форм обучения,а также рядом недостатков традиционныхформ оценивания (субъективизм, неравенствоусловий контроля, трудоемкость процедуры идр.).

Теоретические основыобработки результатов тестированиярассмотрены в работах В.С. Аванесова идругих авторов [1]. Они базируются напредположении, что эти результатыподчиняются нормальному законураспределения. Однако, как было показанонами раньше [2], такое предположение напрактике часто не выполняется. Вопрос обустойчивости используемых методик котклонениям результатов от нормальногозакона распределения исследованнедостаточно. Известно [3], что отклоненияданных от нормального законараспределения во многих случаях ведут кнеправомерности использованиятрадиционных методов обработки и анализаданных, а также некоторых параметров,которые применяются для их описания.Поэтому целесообразно использовать дляобработки результатов тестированияметоды, устойчивые к отклонениям данных отнормального распределения.

Наряду с несомненнымидостоинствами тестированию свойственнысущественные недостатки. Среди них следуетотметить трудность учета разнообразияличных особенностей тестируемых и целейтестирования. В частности, по мнениюдиректора Российского центра тестированияВ. Хлебникова [4] Единый государственныйэкзамен (аналог украинского Внешнегонезависимого оценивания) годится толькодля средних детей, а высокие и низкиеоценки характеризуются недопустимобольшими погрешностями. Кроме того, вреальных системах тестирования назначениебаллов за правильные ответы на отдельныевопросы обычно бывает субъективным и невсегда достаточно обоснованным.

В связи с этим, цельюданной работы являлась разработка методикавтоматизированного определениярезультатов тестирования, позволяющихповысить их объективность.

Методика, основанная наиспользовании эмпирической функциираспределения результатовтестирования

В этом случае переводпервичных баллов в итоговые результатытестирования выполняется по такойсхеме.

1. Задаем функциюраспределения итоговых результатов в виде таблицы значений ее -квантилей:

,

где y – итоговые баллы, k– максимальнаяоценка. Примером реализации такогоподхода, является табл. 1, построенная поданным [1].

Таблица 1

Пример задания функциираспределения итоговых результатов

Итоговыйбалл (yk)

Лексико-оценочныеэквиваленты

Zk

1

Низшаяоценка

< – 2,25

0,01

2

Неудовлетворительно -

–2,25…–1,75

0,04

3

Малоудовлетворительно

–1,75…–1,25

0,11

4

Удовлетворительно

–1,25…–0,75

0,23

5

Нижесреднего

–0,75…–0,25

0,40

6

Средняяоценка

–0,25 … 0,25

0,60

7

Вышесреднего

0,25 …0,75

0,77

8

Хорошо

0,75 …1,25

0,89

9

Оченьхорошо

1,25 …1,75

0,96

10

Отлично

1,75 …2,25

0,99

11

Высшая

> 2,25

1

2. Проводим тестированиеобучающей выборки объемом n и строимэмпирическую функцию распределенияитоговых результатов, где x– первичныебаллы тестирования. При этом объемобучающей выборки должен быть не менее 50студентов.

3. Рассчитываем -квантили функции: x1, x2, …, xk.

4. Строим шкалусоответствия:

5. Периодически(например, по результатам тестирования 2n, 5n,10n испытуемых) возвращаемся к п.2 длякорректировки эмпирической функциираспределения и уточнения шкалыперевода.

Предложенная методикаявляется достаточно общей и может бытьиспользована при отсутствии специальныхтребований к процедуре и результатамтестирования. При этом следует отметить,что, благодаря использованию эмпирическойфункции распределения обучающей выборки,отпадает необходимость в использованиипредположений о законе распределенияисходных данных.

Рассмотренная методикане рассматривает вопрос о назначениипервичных баллов за правильные ответы наотдельные вопросы. Как правило, эту задачурешают эксперты. Однако при необходимостиавтоматизации соответствующую процедурутакже можно формализовать. В простейшемслучае, когда задания считаютсяравноценными с точки зрения их значимости,но различаются по сложности, можноиспользовать такой подход.

1. Определяем долитестируемых обучающей выборки (pj), справившихся скаждым из заданий. Они характеризуютстепень сложности заданий. Чем меньшевеличина pj, темболее сложным для испытуемых являетсясоответствующее задание.

2. Строим шкалуначисления первичных баллов. В зависимостиот целей тестирования может бытьиспользована равномерная илинеравномерная шкала перевода. Примерравномерной пятибалльной шкалы:

;

;

;

;

.

Пример неравномернойпятибалльной шкалы:

;

;

;

;

.

Здесь – среднееарифметическое величин pj, – их стандартноеотклонение.

Второй подход позволяетболее точно выделить группы наиболеесильных и наиболее слабыхтестируемых.

Методика, основанная напредварительном описании классовэквивалентности

Во многих случаяхвозможно предварительное разбиениеобучающей выборки на некоторые классыэквивалентности, которые соответствуюттем или иным качественно различным группамиспытуемых. Например, могут бытьсформированы классы "хороших", "средних" и"плохих" студентов; классы школьников,склонных к различным видам деятельности ит.п. В частности, можно ожидать, что притестировании по математике будутпроявляться существенные различия междуабитуриентами, которые являются "хорошими"с точки зрения дальнейшего обучения поразным направлениям подготовки(математика, физика, инженерныеспециальности, экономика). Это обусловленокак различием в используемом разнымиприложениями математическом аппарате, таки различиями психологических портретов"оптимальных" кандидатов. В такихситуациях для перевода первичных баллов витоговые результаты тестированияжелательно использовать другие методики,которые позволили бы определить степеньпринадлежности испытуемых к заданнымклассам. Примером может служить методика,предлагаемая ниже.

1. Формируем обучающиевыборки, соответствующие заданным классамэквивалентности. Объем каждой из такихвыборок должен быть не менее 50человек.

2. Проводим тестированиена обучающих выборках.

3. Определяемхарактеристические параметры классовэквивалентности, как средниеарифметические и дисперсии оценок заотдельные задания теста для каждогокласса.

4. Решаем задачу опринадлежности результатов испытуемого ккаждому из классов эквивалентности наоснове результатов сравнения результатовтеста с характеристиками классов. Вкачестве меры сходства можно использоватькоэффициент корреляции Пирсона. Однако приналичии нелинейной связи его применениеможет привести к ошибкам. Альтернативойявляется применение коэффициентадетерминации или корреляционногоотношения. Их вычисление более трудоемко,но они чувствительны к нелинейным связяммежду исследуемыми признаками. Длядихотомических оценок в качествепоказателя связи можно использоватьточечно-бисериальный коэффициенткорреляции.

5. Периодическимодифицируем обучающие выборки и уточняемпараметры классов.

Выводы

В работе предложеныметодики автоматизированного переводапервичных результатов тестирования витоговые оценки, основанные на примененииобучающих выборок. Это позволяет повыситкачество оценивания и учитывать различиецелей тестирования при определении егорезультатов.

Литература

1. Аванесов В.С. Научныеосновы тестового контроля знаний / В.С.Аванесов. –М.:Исследовательский центр, 1994. – 135 с.

2. Бахрушин В.Е.Эмпирические функции распределениярезультатов тестирования / В.Е. Бахрушин,М.А. Игнахина, Р.Я. Шумада // Збірник праць IIIМіжнародної конференції "Новіінформаційні технології в освіті для всіх:система електронної освіти" / Ред. В.Гриценко. – К.:МННЦ ІТС, 2008. –С. 79 – 84.

3. Орлов А.И. Прикладнаястатистика / А.И. Орлов. – М.: Экзамен, 2006.– 671 с.

Pages:     | 1 || 3 | 4 |   ...   | 22 |






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»