WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Шестова Елена Александровна

РАЗРАБОТКА МОДЕЛЕЙ И МЕТОДОВ ПРИНЯТИЯ РЕШЕНИЙ В ЗАДАЧАХ ТЕСТИРОВАНИЯ ЗНАНИЙ

Специальность:

05.13.17 Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Таганрог 2012

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одной из актуальных задач в области образования является повышение его качества. Технологии тестирования широко используются на практике для объективного контроля знаний и умений обучаемых, установления степени их соответствия образовательным стандартам при поступлении в вузы. Результаты тестирования это показатель качества преподавания. Тесты могут использоваться как для определения уровня компетенции студентов в той или иной области знаний, так и для оценки деятельности преподавателя. Удобство тестирования состоит в том, что оно с успехом может использоваться на различных этапах обучения в вузе.

Одним из основных путей оценки качества высшего образования является использование новых информационных технологий в процессе обучения и компьютеризация индивидуального уровня общения преподавателя и студента.

В этой области актуальной является проблема тестирования студентов и специалистов и анализ уровня их подготовки. При оценке качества образования, уровня знаний и умений обучаемых, установления степени их соответствия образовательным стандартам широкое распространение в настоящее время получили методы тестирования.

Разработка тестов и их применение является не простой задачей, так как попрежнему не имеется строго обоснованного, формального подхода к разработке тестов и обработке их результатов. Существует проблема модификации теста, его надежности и точности оценки знаний.

Учитывая, что разрабатываемые тесты обладают неопределенностью, заключенной как в полноте охвата тестируемого материала, так и в полноте оценки достоверности знаний, то актуальной остается задача формализации погрешностей теста, а также задача достоверной оценки знаний тестируемого с применением методов формализации результатов тестирования в условиях неопределенности.

Диссертационная работа посвящена разработке новых моделей и методов принятия решений в задачах тестирования знаний в условиях неопределенности.

Это определяет и подтверждает актуальность диссертационной работы.

Объектом исследования в диссертационной работе являются модели и методы принятия решений с применением нечеткой логики, а также проблемноориентированное прикладное программное приложение для решения задач анализа результатов тестирования знаний в условиях неопределенности (неполноты данных).

Цель диссертационной работы состоит в развитии моделей и методов тестирования знаний с извлечением скрытых закономерностей информации при принятии решений в условиях неполноты данных.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- исследование и анализ методов решения задач тестирования знаний;

- разработка системного подхода к решению задач тестовых заданий;

- разработка теоретико-множественной модели результатов тестирования;

- разработка методов формализации параметров тестов;

- разработка модели принятия решений на основе классификации нечетких ситуаций;

- разработка модели композиции нечетких правил вывода;

- разработка прикладного программного продукта для принятия решений при анализе результатов тестирования знаний.

Методы проведения исследования. В диссертационной работе используются методы теории нечеткой логики, теории построения нечетких ситуационных моделей, методы регрессионного анализа, элементы теории вероятности и математической статистики, методы компьютерного моделирования.

Достоверность получаемых в диссертации результатов обосновывается корректными математическими оценками, подтверждается данными экспериментальных исследований с применением численного и программного эксперимента на основе разработанных моделей.

Научная новизна результатов диссертационной работы заключается в следующем:

1. Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, отличающийся от аналогов возможностью исследования не только уровня подготовленности тестируемых, но и качества тестовых материалов, применяемых для контроля, что позволяет повысить адекватность оценки знаний тестируемых (С. 88-103).

2. Разработан метод тестирования знаний с применением теории нечетких множеств, отличающийся алгоритмом организации тестирования, который позволяет выявить закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования для эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

3. Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, который отличается от известных статистических моделей оценок результатов тестирования дополнением моделью принятия решений на основе классификации нечетких ситуаций и моделью композиции нечетких правил вывода, что позволяет снизить степень информационной неопределенности и повысить объективность оценки результатов тестирования в условиях неполноты данных (С. 116-135).

Основные положения, выносимые на защиту:

1. Метод оценки стохастических связей между показателями результатов тестирования на основе регрессионного анализа, позволяющий исследовать не только знания тестируемых, но и качество тестовых материалов, применяемых для контроля знаний и повысить адекватность оценки знаний тестируемых 2. Метод тестирования знаний с применением теории нечетких множеств, позволяющий выявить закономерности и взаимосвязи входных параметров задачи тестирования и результатов тестирования, с целью эффективного исследования, проводимого с применением знаний экспертов.

3. Метод анализа результатов тестирования знаний в условиях неполноты исходной информации, отличающийся формализацией параметров системы тестирования в виде лингвистических переменных, а также применением модели принятия решений на основе классификации нечетких ситуаций и модели композиции нечетких правил вывода, дополняющих известные статистические модели оценок результатов тестирования, позволяющий не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования в условиях неполноты данных.

4. Алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования C#, предназначенное для анализа результатов тестирования знаний обучающихся, позволяющее обеспечить достоверность результатов оценки качества знаний.

Практическая ценность результатов исследований определена их применимостью при профессиональном отборе и проверке подготовки кадров, в частности, в подведомственных организациях Министерства образования, на предприятиях, применяющих системы тестирования, в центрах занятости, с целью эффективного исследования знаний тестируемых, а также тестовых материалов, и для принятия решений в условиях неполноты исходной информации.

Реализация и внедрение результатов работы. Результаты диссертационной работы внедрены в службе обеспечения качества образования (ОКО) ТТИ ЮФУ;

при выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий»; а также в учебном процессе на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Апробация результатов работы. Основные научные результаты диссертационной работы докладывались и обсуждались на Международной научной конференции «Проблемы развития естественных, технических и социальных систем». Таганрог: ТТИ ЮФУ, 2007; Международной научной конференции «Проектирование новой реальности» (ПНР-2007). Таганрог: ТТИ ЮФУ, 2007; Международном семинаре студентов, аспирантов и ученых «Системный анализ, обработка информации и управление». Ростов-на-Дону:

ДГТУ, 2007; Международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». Таганрог: ТТИ ЮФУ, 2008; 6-й Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века – будущее российской науки». Ростов-на-Дону: ЮФУ, 2008; IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления».

Таганрог: ТТИ ЮФУ, 2008; Международной научной конференции «Инновации в обществе, технике и культуре». Таганрог: ТТИ ЮФУ, 2008; Международной научной конференции «Системы и модели в информационном мире (СМИ2009)». Таганрог: ТТИ ЮФУ, 2009; IV-й, VII-й, Всероссийской конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». Таганрог: ТТИ ЮФУ, 2006, 2009;

Международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР-2009). Таганрог: ТТИ ЮФУ, 2009; VI ежегодной научной конференции студентов и аспирантов базовых кафедр ЮНЦ РАН. Ростов-на-Дону: ЮНЦ РАН, 2010; Международной научной конференции «Информационное общество: идеи, технологии, системы».

Таганрог: ТТИ ЮФУ, 2010; Всероссийской молодежной научной конференции «Мавлютовские чтения». Уфа: УГАТУ, 2010, 2011; Международной научной конференции «Современные исследовательские и образовательные технологии».

Таганрог: ТТИ ЮФУ, 2010; Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем». Таганрог: ТТИ ЮФУ, 2011; 1-м, 2-м Международном семинаре студентов, аспирантов и ученых «Системный анализ, управление и обработка информации». Ростов-на-Дону:

ДГТУ, 2010, 2011; Международный молодежный конкурс «Студент и научнотехнический прогресс». Таганрог: ТТИ ЮФУ, 2012.

Публикации. Основные результаты диссертации опубликованы в 8 статьях, среди которых 4 включены в перечень изданий, рекомендованных ВАК, тезисах докладов.

Структура и объем работы. Диссертационная работа содержит 185 страниц машинописного текста, включая введение, четыре раздела, заключение, список литературы из 141-го наименования, 81 рисунок, 15 таблиц, а также приложение на 14-ти страницах.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи исследования, охарактеризованы научная новизна работы, ее практическая ценность, реализация и апробация результатов работы, дано краткое содержание структуры диссертации.

В первом разделе диссертационной работы выполнен обзор и анализ существующих моделей и методов тестирования знаний в условиях неопределенности.

Сформированы задачи тестирования, включающие в себя взаимодействие модели системы оценок знаний и тестовых программ, структура которого представлена на рис. 1.

Недостатки методов контроля знаний Субъективность Неординарность Неопределенность экспертов требований системы оценок Тестовые Математическая модель системы оценок знаний программы Контроль знаний, Критерии Технологии Коррекция умений и навыков качества образования модели обучаемых Рис. 1 Взаимодействие модели системы оценок знаний и тестовых программ При оценке знаний основополагающим понятием является качество образования. Влияющими факторами на данную оценку являются теоретикометодологические исследования, подготовка обучаемых и сочетание теоретикометодологических исследований и средств оценки подготовки обучаемых.

Качество образования представляет собой комплексную характеристику, определяемую тремя факторами: качеством функционирования системы образования, государственными образовательными стандартами и существующими представлениями об эталоне качества подготовки специалиста.

Для управления качеством подготовки специалистов необходимо создавать соответствующие системы.

Рассмотрены существующие критерии оценки тестовых заданий, в частности, диагностические состояния и проверки, метод оценки уровня знаний с использованием двоичных оценок, нечеткие критерии оценки знаний.

Применение вероятностных методов диагностирования обладает субъективизмом и погрешностями, а применяя лингвистические и нечеткие переменные можно формализовать качественную информацию задания критериев оценки знаний в моделях принятия решений о степени соответствия испытуемого определенному уровню требований в условиях частичной неопределенности.

Предложена теоретико-множественная модель оценки результатов тестирования как отношение порядка, позволяющая упорядочить испытуемых по заданному признаку. Разработана схема структуризации цели образовательной системы. Обоснован предмет диссертационных исследований, представленный на рис. 2.

Таким образом, в разделе обобщены результаты существующих исследований в данной предметной области, позволяющие расширить известные методы тестирования знаний и дополнить их методами принятия решений с учетом знаний экспертов в условиях неполноты данных (неопределенности).

Требования государственных Теоретико- Аттестационные образовательных стандартов методологические педагогические высшего профессионального исследования измерительные материалы образования Разработка и исследование методов моделирования и принятия решений в системах тестирования знаний Методы тестирования Ситуационные модели Модули принятия решений обучаемых с нечеткими информационной системы параметрами оценки качества образования Рис. 2 Пояснение предмета диссертационных исследований Во втором разделе диссертационной работы определены приоритетные направления исследовательских работ в области тестирования знаний.

Приведена краткая характеристика и сравнительная оценка существующих моделей.

В результате проведенного анализа критериев тестов выявлено, что достоверность оценки напрямую связана с выбранными критериями.

Обоснована необходимость формализации критериев оценки и предъявления требований к выборке количества задания.

Модель эвристического оценивания знаний с применением статистической информации позволяет оценивать знания в условиях неопределенности.

Оценивание степени истинности вариантов ответов на тестовые задания происходит с применением экспертной шкалы, а распределение ответов по пятизначной шкале аппроксимируют стохастическими распределениями.

Предложен метод оценки стохастических связей между показателями результатов тестирования на основе регрессионного анализа, отличающийся от аналогов возможностью исследования не только уровня подготовленности тестируемых, но и качества тестовых материалов, применяемых для контроля знаний. Математическая модель процесса тестирования представлена в виде системы уравнений:

yi=f(x1, x2, …, xk), i=1,…, n, где входные измеряемые переменные xj называют факторами, а функции fi(x1, x2, …, xk) функциями отклика. По данным результатов тестирования знаний необходимо найти оценку и исследовать уравнение регрессии вида:

~.

y x1... xk 0 1 k Размер выборки n=N определяется количеством испытуемых, прошедших тестирование, xk количество входных факторов. Результативный признак y общий балл за тест, полученный i-м испытуемым.

В результате проведения экспериментов было получено следующее регрессионное уравнение для линейной модели:

, y 28,434 1,67x1 1,486x2 2,423 10 x(0,0363) (0,521) (1,72) (1,726) где x1 количество выполненных заданий группы А, x2 - количество выполненных заданий группы В, x3 процент выполнения.

В табл. 1 приведена оценка адекватности полученной модели процесса тестирования.

Таблица Проверка модели на адекватность Критерий Формула Результат проверки Абсолютные min(e)=-3,4ej yi yi отклонения max(e)=1,4Разброс величин (min(e); max(e)) (-3,442; 1,459) абсолютных отклонений Относительные =ei/yi min( )=-0,1i отклонения max( )=0,Разброс величин (-0,115; 0,03) (min( );max( )) относительных отклонений 2 ESS Несмещенная оценка S 0,6S дисперсии ошибок n k S 0,8n Средняя относительная 1 % 1,1100% ошибка аппроксимации i n i Проверка на адекватность полученного уравнения показала, что найденное решение адекватно описывает экспериментальные данные.

Анализ данного метода показал, что одним из основных препятствий эффективного применения множественного регрессионного анализа является мультиколлинеарность, которая связана с линейной зависимостью между аргументами x1, x2, …, xk. В результате мультиколлинеарности определители матриц XTX и парных коэффициентов корреляции близки к нулю и оценки вектора оценок неизвестных параметров { } неустойчивые, так как j приходится делить на число, близкое к нулю.

Данные метод позволяет исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, что позволяет повысить адекватность оценки знаний тестируемых.

В третьем разделе диссертации разработана методика проектирования системы тестирования, позволяющая определить ее, организовать процесс принятия решений на основе знаний специалистов с применением выбранных методов моделирования, а так же предусмотреть смену этих методов в соответствии с оценкой результатов тестирования, что соответствует известным методикам системного анализа.

На рис. 3 приведена последовательность этапов методики проектирования системы тестирования знаний, включающих обоснование актуальности разработки, формулирование цели, выбор критериев оценки функционирования, структуру системы, формализацию параметров системы тестирования, модели оценки результатов тестирования.

Этап I Определение актуальности системы тестирования Этап II Определение цели и критериев Этап III Оценка всех альтернатив и выбор наилучшей Разработка структуры и параметров системы тестирования Этап IV Формализация параметров Выбор методов и разработка тестов Разработка моделей принятия решений Этап V Проведение пробного тестирования Диагноз созданной системы с целью устранения недостатков Управление процессами тестирования Этап VI Разработка комплексной программы развития системы тестирования Рис. 3 Последовательность этапов методики проектирования системы тестирования Предложен подход к формализации параметров системы тестирования в условиях неполноты данных с применением вербальных параметров, позволяющий применять модели нечеткого логического вывода.

На рис. 4 и 5 приведены структурная и иерархическая модели нечеткой системы тестирования знаний.

1 Д Y БП БПНР n 1 n n n БЗ Рис. 4 Структурная модель взаимодействия элементов нечеткой системы тестирования L0 L1 L2 L3 LY n n Рис. 5 Иерархическая модель нечеткой системы тестирования На вход модуля (рис. 4) поступают входные переменные ( ), следовательно, i в блоке фаззификации (Ф) формируются лингвистические переменные T( ), которые поступают в блок правил (БП), где формируются в соответствии с выработанными экспертами правила работы системы в базе знаний (БЗ) для принятия необходимых решений в блоке принятия нечетких решений (БПНР), и в конце работы модуля системы тестирования знаний выполняется задача дефаззификации (Д) для принятия четких решений.

Иерархическая модель нечеткой системы тестирования (рис. 5) представляет собой развернутую структурную модель взаимодействия элементов нечеткой системы тестирования, где: L0 – слой входных переменных системы тестирования; L1 – блок формирования лингвистических переменных (фаззификация); L2, L3 – блоки формирования нечетких решений в соответствии с формированными экспертами правилами работы системы в БЗ для принятия необходимых решений; L4 – блок вычисления четких решений (дефаззификация – процедура преобразования нечетких величин, получаемых в результате нечеткого вывода, в четкие).

Разработана модель принятия решений на основе классификации нечетких ситуаций как дополнение к известным статистическим моделям для задач тестирования знаний. В модели принятия решений с нечеткими параметрами эксперты на базовых множествах определяют множество входных лингвистических переменных, задают степень принадлежности значений нечетких переменных базовым множествам, а также правила принятия решений.

Эксперты заполняют таблицу соответствия «ситуация – действие». В модели принятия решений на основе классификации нечетких ситуаций задаются классы кортежей нечетких переменных, соответствующие конкретным решениям.

Разработана модель композиции нечетких правил вывода, применение которой как дополнение известных моделей оценок результатов тестирования, позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования.

Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации, отличающийся формализацией параметров системы тестирования в виде лингвистических переменных, а также применением модели принятия решений на основе классификации нечетких ситуаций и модели композиции нечетких правил вывода, дополняющих известные статистические модели оценок результатов тестирования.

Рассмотрен пример задания входных лингвистических переменных, их терммножеств на выбранных базовых множествах, выходной лингвистической переменной «результат тестирования» и соответствующих функций принадлежности нечетких переменных. Исследуются и анализируются результаты проведения тестирования в группах испытуемых. Математическую модель принятия решений на основе модели классификации нечетких ситуаций и модели композиции нечетких правил вывода можно представить в виде набора множеств (X, T, H), где: X – базовое множество; Т – множество, элементы которого представляют собой формальную запись в виде продукций словеснокачественной информации экспертов; H={h0,h1,h2,h3,…,hmax} – множество принимаемых решений. Входные лингвистические переменные (ЛП) задачи тестирования: <, T( ), XI, G, M>, i = 1,n, где: название i-й ЛП; T( ) i i i i терм-множество ЛП ; XI – область определения каждого элемента T( ); G – I i синтаксическое правило (грамматика), порождающее элементы (j-е нечеткие j переменные (НП)) T ( ), M – семантическое правило, которое ставит в i i ~ j i соответствие каждой НП T ( ) нечеткое множество C( ) – смысл НП i i j j i i i. Для каждой ЛП определим терм-множества: T ( ),,...,, i i 1 2 mi ~ ~ i i i, i 1, k, j 1, m, C( ) { (xi ) / xi }, xi Xi, i 1, k,, Xi,C( ) i j j j C( ) j где (xi ) – функции принадлежности. Выходная ЛП – «результат i C( ) j тестирования», терм-множество этой ЛП - Т( )={ – неудовлетворительный результат; –удовлетворительный результат; –почти хороший результат; – 2 3 хороший результат; – отличный результат}.

k T {Ri}i 1 база нечетких правил, где Ri – i-ое нечеткое продукционное правило (совокупность условий и выводов). Для базы нечетких правил (НП) справедливы следующие свойства: непрерывность, непротиворечивость, k полнота. Полнота базы НП {Ri}i 1 связана с полнотой знаний, которые содержатся в базе правил.

Получение нечеткого вывода осуществляется следующим образом:

(x0, hs ) max (x0, hi ), T ( ) T ( ) s i i находится такое значение hs базового множества H ЛП - «результат тестирования», при котором (x0,hi ) имеет максимальное значение.

T ( ) j Нечеткая переменная ЛП, имеющая наибольшее значение в точке hs, является результатом оценки тестируемого по результатам ответа на предложенный тест.

(x) (x) (x) min( (x), (x)), x R нечеткая операция «И» A3 A1 A2 A1 A(логическое произведение Заде), ~ I ( (x), (x)) max((1 (x), (x)) нечеткая импликация.

B A1 A2 A1 AОсновной для проведения операции нечеткого логического вывода является база правил, содержащая нечеткие высказывания в форме «если-то» и функции принадлежности для соответствующих лингвистических переменных. При разработке алгоритма и программного приложения для нечеткой системы управления необходимо осуществить проверку базы нечетких правил на непрерывность, непротиворечивость и полноту.

Для вывода операции дефаззификации используется метод центра тяжести, описываемый выражением n (z )z C j j.

zЦТ j n (z ) C j j Разработанные и исследованные модели принятия решений на основе классификации нечетких ситуаций и композиции нечетких правил вывода соответствуют методике проектирования системы тестирования, так как достаточно просто алгоритмизируются, что позволяет создать прикладное программное приложение для информационного обеспечения задачи тестирования знаний.

В четвертом разделе диссертационной работы разработано программное приложение на языке программирования C# в среде программирования Microsoft Visual Studio 2008. В качестве основы программного приложения используется платформа.NET, обеспечивающая высокую гибкость конечного продукта, возможность его запуска на различных версиях ОС Windows (Windows 9*, Windows 2000, Windows NT, Windows XP, Windows Vista, Windows 7).

На рис. 6 приведен общий алгоритм модели композиции нечетких правил вывода.

Начало Подпрограмма ввода лингвистических и нечетких переменных входных факторов Подпрограмма ввода функций принадлежности нечетких переменных Подпрограмма ввода элементов множества принятия решений Подпрограмма задания таблицы соответствия «ситуация – решение» Подпрограмма ввода текущего состояния параметров Подпрограмма вывода результата решения Конец Рис. 6 Алгоритм модели композиции нечетких правил вывода Программное приложение позволяет обеспечить достоверность результатов оценки качества знаний.

Проведены исследования системы тестирования знаний с помощью разработанного и статистического методов. Основной оценкой качества результатов является полная оценка тестирования с учетом информационной неопределенности.

На рис. 7 12 представлены диаграммы анализа результатов тестирования знаний (в группах и на факультетах, с точки зрения показателей «успеваемость» и «качество») с использованием двух методов статистического и с помощью нечеткой логики при отсутствии информационной неопределенности.

100% 100% 90% 90% 80% 80% 70% 70% 60% 60% 50% 50% 40% 40% 30% 30% 20% 20% 10% 10% 0% 0% Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Рис. 8 Успеваемость и качество Рис. 7 Успеваемость и качество обучения в группах по факультету обучения в группах по факультету (статистический метод и нечеткий (статистический метод и нечеткий метод) метод) 100% 100% 90% 90% 80% 80% 70% 70% 60% 60% 50% 50% 40% 40% 30% 30% 20% 20% 10% 10% 0% 0% Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Рис. 10 Успеваемость и качество Рис. 9 Успеваемость и качество обучения в группах по факультету обучения в группах по факультету (статистический метод и нечеткий (статистический метод и нечеткий метод) метод) 100% 100% 90% 90% 80% 80% 70% 70% 60% 60% 50% 50% 40% 40% 30% 30% 20% 20% 10% 10% 0% 0% Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Успеваемость СМ Качество СМ Успеваемость НМ Качество НМ Рис. 12 Успеваемость и качество Рис. 11 Успеваемость и качество обучения в группах по факультету обучения в группах по факультету (статистический метод и нечеткий (статистический метод и нечеткий метод) метод) По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) выдает оценку, совпадающую с результатами статистического метода.

Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа Группа На рис. 13 приведена диаграмма анализа результатов тестирования знаний с использованием двух методов: статистического и с помощью нечеткой логики при добавлении факторов информационной неопределенности.

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% «неудовл.» «удовлетв.» «хорошо» «отлично» Всего Количество студентов % от общего количества участников (статистика) % от общего количества участников (программа) Рис. 13 Гистограмма плотности распределения результатов входного контроля по математике в процентах (статистический метод и нечеткий метод) При добавлении факторов информационной неопределенности статистический метод не справился с заданными входными параметрами, а нечеткий метод оценки тестирования знаний при этом учитывает заданную неопределенность и выдает более достоверный результат.

Таким образом, применение модели композиции нечетких правил вывода и модели классификации нечетких ситуаций позволяет не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования знаний в условиях неполноты данных.

Заключение содержит полученные в работе результаты.

В приложении приведено задание функций принадлежности нечетких переменных терм-множеств входных переменных, акты об использовании результатов диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ 1. Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, позволяющий исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, и позволяющий повысить адекватность оценки знаний тестируемых (С. 88-103).

2. Разработан метод тестирования знаний с применением теории нечетких множеств, включающий алгоритм организации тестирования, для выявления закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования с целью эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

3. Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, включающий помимо известных статистических моделей оценок результатов тестирования модель принятия решений на основе классификации нечетких ситуаций и модель композиции нечетких правил вывода, с целью понижения степени информационной неопределенности и повышения объективности оценки результатов тестирования в условиях неполноты данных (С. 116-135).

4. Синтезирован алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования C# в среде программирования Microsoft Visual Studio.

NET 2008, предназначенное для анализа результатов тестирования знаний с целью достоверности результатов оценки качества знаний (С. 138-154).

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ Публикации в ведущих рецензируемых изданиях, рекомендованных ВАК РФ 1. Шестова Е.А. Разработка методов тестирования потребителей электроэнергии // Известия ЮФУ. Технические науки. Тематический выпуск.

«Актуальные проблемы производства и потребления электроэнергии». – Таганрог: Изд-во ТТИ ЮФУ, 2008. № 7 (84). С. 154-159.

2. Шестова Е.А. Модель стохастического анализа состава тестов и результатов тестирования // Известия ЮФУ. Технические науки. Тематический выпуск.

«Методы и средства адаптивного управления в электроэнергетике». – Таганрог:

Изд-во ТТИ ЮФУ, 2011. № 2 (115). С. 137-141.

3. Шестова Е.А. Разработка моделей и методов анализа и обработки результатов тестирования знаний // Известия ЮФУ. Технические науки.

Тематический выпуск. «Методы и средства адаптивного управления в электроэнергетике». – Таганрог: Изд-во ТТИ ЮФУ, 2012. № 2 (127). С. 146152.

4. Соловьев В.В., Шестова Е.А. Оптимизация регуляторов сложных технических систем управления с нечеткими параметрами // Известия ЮФУ.

Технические науки. Тематический выпуск. «Методы и средства адаптивного управления в электроэнергетике». – Таганрог: Изд-во ТТИ ЮФУ, 2012.

№ 2 (127). С. 191-197.

Публикации по теме диссертации в других изданиях 5. Финаев В.И., Шестова Е.А. Информационные технологии в образовании // Материалы IV Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». – Таганрог: Изд-во ТРТУ, 2006.

6. Финаев В.И., Шестова Е.А. Применение корреляционного анализа при обработке результатов тестирования знаний // Сб. тезисов докладов Международной научной конференции «Проблемы развития естественных, технических и социальных систем». Ч.1. Таганрог: Изд-во «Антон», ТТИ ЮФУ, 2007.

7. Шестова Е.А. Тестирование как результат оценивания проекта // Материалы Международной научной конференции «Проектирование новой реальности» (ПНР-2007). Ч.1. Таганрог: Изд-во ТТИ ЮФУ, 2007. С. 49-50.

8. Шестова Е.А. Обработка информации и принятие решений в системах тестирования знаний // Межвузовский сборник научных работ «Системный анализ, обработка информации и управление». Вып.1. Ростов-на-Дону: Изд-во ДГТУ, 2007. С. 343-347.

9. Финаев В.И., Шестова Е.А. Применение методов тестирования для оценки знаний обучаемых // Сб. тезисов докладов Международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». Ч.1. Таганрог: Изд-во ТТИ ЮФУ, 2008.

10. Шестова Е.А. Исследование и разработка моделей и методов принятия решений в задачах тестирования знаний // Сборник материалов докладов 6-й Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века – будущее российской науки» в 2-х томах. Т.1. – Ростов-на-Дону, 2008. – С. 184 – 186.

11. Ларькина Е.Ф, Шестова Е.А. Разработка моделей и методов принятия решений в задачах тестирования знаний // Труды IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления»: Тезисы докладов. Таганрог: Изд-во ТТИ ЮФУ, 2008. Т.1. С. 209-210.

12. Шестова Е.А. Тестовые технологии в образовании // Труды Международной научной конференции «Инновации в обществе, технике и культуре»: Тезисы докладов. Ч.1. - Таганрог: Изд-во ТТИ ЮФУ, 2008. С. 78-79.

13. Шестова Е.А. Статистическая обработка при тестировании. Проблема выборки // Труды Международной научной конференции «Системы и модели в информационном мире», (СМИ-2009), Ч.3. – Таганрог: Изд-во ТТИ ЮФУ, 2009.

С. 98-99.

14. Шестова Е.А. Программное приложение оценки знаний по результатам тестирования // Сборник материалов докладов VII-й Всероссийской конференции молодых ученых, аспирантов и студентов, «Информационные технологии, системный анализ и управление». – Таганрог: ТТИ ЮФУ, 2009. – С.

179 – 181.

15. Шестова Е.А. К вопросу о принятии эффективных решений при анализе результатов тестирования знаний обучаемых // Труды Международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР2009), Ч.1. – Таганрог: Изд-во ТТИ ЮФУ, 2009. С. 87-89.

16. Куликовская Н.А., Шестова Е.А. О качестве систем автоматического управления // VI Ежегодная научная конференция студентов и аспирантов базовых кафедр Южного научного центра РАН: Тезисы докладов. – Ростов-наДону: Изд-во ЮНЦ РАН, 2010. – С. 150 – 153.

17. Шестова Е.А. Задачи тестирования знаний в системе образования // Труды Международной научной конференции «Информационное общество: идеи, технологии, системы», Ч.1. – Таганрог: Изд-во ТТИ ЮФУ, 2010. С. 70-71.

18. Шестова Е.А. Использование моделей с нечеткими исходными данными в задачах тестирования знаний // Труды Всероссийской молодежной научной конференции «Мавлютовские чтения». – Уфа: Изд-во УГАТУ, 2010. С. 153154.

19. Шестова Е.А. Анализ количественных и качественных критериев тестовых заданий // Труды Международной научной конференции «Современные исследовательские и образовательные технологии», Ч.1. – Таганрог: Изд-во ТТИ ЮФУ, 2010. С. 55-54.

20. Шестова Е.А. Применение информационных технологий для анализа результатов тестирования знаний // Системный анализ, управление и обработка информации [текст]: Труды 1-го Международного семинара студентов, аспирантов и ученых/Под общ. ред. Р.А. Нейдорфа. – Ростов-на-Дону: Изд.

Центр Донск. гос. техн. ун-та, 2010. – С. 240 – 242.

21. Шестова Е.А. Применение технологии тестирования для анализа качества образования // Труды Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», Ч.1. – Таганрог: Изд-во ТТИ ЮФУ, 2011. С. 59-60.

22. Шестова Е.А. Разработка программного приложения для анализа результатов тестирования знаний // Системный анализ, управление и обработка информации [текст]: Труды 2-го Международного семинара студентов, аспирантов и ученых/ Под общ. ред. Р.А. Нейдорфа.– Ростов-н/Д: Изд. центр Донск. гос.

техн. ун-та, 2011. – С. 307-313.

23. Шестова Е.А. Разработка программного приложения для обработки результатов тестирования знаний // Мавлютовские чтения: Всероссийская молодежная научная конференция: сб. трудов в 5-ти томах. Т.3 / Уфимск. гос.

авиац. техн. ун-т. – Уфа: УГАТУ, 2011. С. 140-141.

24. Шестова Е.А. Организация процесса принятия решений при анализе результатов тестирования знаний // Студент и научно-технический прогресс:

сб. научных работ финалистов международного молодежного конкурса. – Ростов н/Д: Изд-во ЮФУ, 2012. – С. 251-255.

Лично автором в работе [4] предложена методика синтеза нечеткого адаптивного регулятора, позволяющая реализовать управление объектами с переменными параметрами и структурой в условиях неполноты данных. В работах [9, 11] рассмотрено применение методов принятия решений в задачах тестирования знаний. В работе [6] предложен метод обработки результатов тестирования знаний на основе корреляционного анализа. В работах [5, 16] рассмотрено применение информационных технологий для оценки качества систем.







© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.