WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Работа выполнена на кафедре Информационных технологий в Государственном образовательном учреждении высшего

На правах рукописи

профессионального образования Московском государственном университете печати

Официальные оппоненты:

доктор технических наук

, профессор СУВОРОВ Дмитрий Наумович, МАДИ (ГТУ) ПОПОВ Дмитрий Иванович доктор технических наук, профессор БАЛДИН Александр Викторович, МГТУ им.Баумана доктор технических наук, профессор КОМПЛЕКСНАЯ АВТОМАТИЗАЦИЯ ГОРБУНОВ Владимир Леонидович, И УПРАВЛЕНИЕ ПРОЦЕССАМИ АТТЕСТАЦИИ ФГУ НИИ РИНКЦЭ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования Специальность 05.13.06 – Автоматизация и управление технологическими (РосНИИ ИТ и АП), г. Москва.

процессами и производствами (промышленность)

Защита состоится 13 ноября 2007 г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильнодорожного института (государственный технический университет) по адресу:

125319, ГСП А-47, г. Москва, Ленинградский просп., д.64.

С диссертацией можно ознакомиться в библиотеке МАДИ (ГТУ).

АВТОРЕФЕРАТ

диссертации на соискание ученой степени Текст автореферата размещен на сайте Московского автомобильнодоктора технических наук дорожного института (государственного технического университета):

www.madi.ru и на сайте ВАК РФ vak.ed.gov.ru.

Автореферат разослан "____" октября 2007 г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.

Ученый секретарь диссертационного совета, Москва – 20кандидат технических наук, доцент Михайлова Н.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

информационные технологии являются одновременно самым популярным средством организации процесса аттестации и обучения.



Актуальность работы.

Решением многих существующих проблем на данном этапе может стать В современном обществе информационные технологии, профессиональные автоматизированная система аттестации и обучения персонала, которая позволит, вонавыки и знания представляют собой важнейший ресурс дальнейшего развития первых, объединить знания и опыт лучших профессионалов в данной области, вочеловечества. Одним из важнейших условий, влияющих на переход мирового вторых, сделать эти знания доступными для тысяч желающих научиться сообщества от индустриального этапа к информационному этапу, является посредством интернет-технологий. Профессионалы получат возможность более информатизация процессов в промышленности, в образовании, смена и широкого распространения ценных знаний и методик, а пользователи и персонал усовершенствование концепции профессионального образования. Этим объясняется предприятий получат возможность учиться когда, где и как им удобно. Подобная то внимание, которое уделяют в последние годы правительства, национальные и концепция организации информационно-образовательных услуг способствует международные организации использованию новых информационных и повышению уровня образованности персонала на предприятиях промышленности, и, коммуникационных технологий в промышленности и образовании.

как следствие, экономическому росту и улучшению благосостояния в различных В последние годы в области информационных и коммуникационных отраслях народного хозяйства.

технологий наблюдается значительный прогресс, в результате которого поколения Важнейшей особенностью систем нового поколения является возможность компьютерного оборудования и программного обеспечения быстро приходят на индивидуализации процессов обучения и аттестации за счет использования смену друг другу, появляются различного рода новые информационные технологии.

интеллектуальных средств и методов. Поэтому разработка интеллектуальных Совершенно очевидными стали тенденции, ведущие к формированию методов и средств автоматизации процессов аттестации и обучения персонала информационного общества. Все это требует критического пересмотра состояния и промышленных предприятий является важной и актуальной задачей на современном перспектив развития системы подготовки и аттестации кадров для предприятий этапе. Именно решению таких задач посвящена данная работа. Следует заметить, что промышленности.

существующие методы и разработки в автоматизированных системах аттестации Повсюду в мире отмечается тенденция к увеличению потока данных.

персонала, а также используемые программные и технические средства достигли Цифровая технология произвела своего рода революцию, она позволяет объединить в определенной степени развития и могут рассматриваться, как стартовый уровень для цифровой форме текст, графическое и видеоизображение, речевое и музыкальное реализации таких технологий. Однако вопросы, связанные с методологией и сопровождение; на основе этой технологии создаются мощные новые средства технологией проектирования таких систем, а также задачи обеспечения качества, представления и передачи знаний, а также средства тренинга профессионалов, мониторинга обучения и аттестации остаются по-прежнему в большей степени повышения уровня их обученности, аттестация их знаний. Относительно низкая открытыми.

стоимость современных технических устройств и их большая мощность в Все вышесказанное подчеркивает актуальность проблем автоматизации и значительной степени способствуют их распространению. Неуклонный процесс управления процессами аттестации персонала предприятий промышленности, распространения компьютеров в сферах промышленности и транспорта решению которых и посвящена настоящая диссертационная работа.

способствует росту понимания потенциала стратегий компьютеризации в качестве В работе рассматриваются методики и технологии комплексной экономически выгодного решения целого ряда проблем, связанных с обучением и автоматизации управления процессами аттестации персонала предприятий аттестацией персонала предприятий и повышением их квалификации, в идеальном промышленности, анализируются и исследуются существующие подходы в этом случае, – безотрывно от работы на производстве.

направлении, предлагаются теоретические выкладки, приводятся примеры Тем более все это имеет большую важность для промышленных предприятий реализации различных модулей автоматизированной системы аттестации и обучения на современном этапе развития общества, когда внедрение информационных персонала предприятий промышленности.

технологий охватывает практически все технологические и производственные Цели и задачи. Целью настоящей диссертационной работы является процессы в этих отраслях. К сожалению, существующая традиционная система разработка теоретических и методологических основ комплексной автоматизации и образования уже не всегда способна удовлетворить все возникающие потребности.

управления процессами аттестации персонала предприятий промышленности на Поэтому очень актуальным является решение вопросов, связанных с автоматизацией основе моделей и алгоритмов представления и оценки знаний, методов нечеткой процессов аттестации и обучения персонала предприятий промышленности. В логики и непараметрической статистки.

настоящее время существует множество направлений, где требуются подобного рода Для достижения указанной цели в диссертации решены следующие задачи:

образовательные и аттестационные услуги. Это и привычное среднее, и высшее, и 1. Создана методология и технология проектирования автоматизированных систем профессиональное образование, и переподготовка кадров в связи с использованием аттестации персонала предприятий промышленности.

на рабочих местах новейшей техники и технологий, и различные образовательные 2. Разработана типовая архитектура образовательной среды повышения программы для персонала предприятий, и аттестационные комиссии на квалификации и аттестации персонала предприятий, отличающаяся наличием предприятиях. Очевидна при этом и сложность организации процессов обучения и модулей интеллектуальной поддержки и мониторинга процесса обучения.

аттестации по всем направлениям на предприятиях промышленности. Компьютеры и 3 3. Разработаны усовершенствованные модели и алгоритмы представления и практические рекомендации по своевременному обновлению, изменению оценки знаний на основе пространств знаний, позволяющие оптимизировать тестовых материалов.

структуры хранения знаний в образовательном процессе и минимизировать 4. Методы и алгоритмы обработки экспертной оценки характеристик время анализа существующих знаний. аттестационных материалов, на основе непараметрической статистики и 4. Разработан метод адаптивной аттестации на основе механизмов нечеткой кластерного анализа, позволяют повысить качество аттестационных материалов.

логики, позволяющий имитировать контроль знаний на устном экзамене, что 5. Предложенный выборочный метод позволяет сократить время экспертизы и сокращает время аттестации и повышает точность оценки знаний. сертификации аттестационных материалов при определенных условиях от 7 до 5. Разработаны методы экспертной оценки характеристик аттестационных 27,5%.

материалов на основе методов непараметрической статистики и кластерного 6. На основе предлагаемой методологии и технологии проектирования анализа, которые сокращают время экспертизы и адаптированы на реализацию в автоматизированных систем аттестации персонала предприятий интернет-системах. промышленности осуществлена разработка следующих автоматизированных 6. Проведена оценка эффективности предлагаемых методов и алгоритмов на систем:

основе моделирования и расчетного исследования.

• система автоматизированной экспертизы качества аттестационных Научная новизна работы заключается в следующем:

материалов;

1. Разработаны усовершенствованные методы представления и оценки знаний на • система повышения квалификации и обучения персонала предприятия без основе пространств знаний, позволяющие оптимизировать структуры хранения отрыва от производства.

знаний в автоматизированных системах аттестации персонала промышленного Практическая значимость диссертационной работы подтверждается предприятия и минимизировать время построения пространств знаний.

соответствующими актами о внедрении результатов исследований, авторскими 2. Разработан новый метод адаптивной оценки уровня аттестации знаний на свидетельствами РФ об официальной регистрации программ для ЭВМ, документами основе нечеткой логики, повышающие верность оценки знаний.

о присвоении номеров государственной регистрации программным продуктам в 3. Для повышения качества экспертизы аттестационных материалов и верности фонде алгоритмов и программ, почетным дипломом выставки ВВЦ, приказами об оценки знаний, предложены математические методы и алгоритмы экспертной объявлении благодарности Министерства РФ работникам сферы образования №13–оценки характеристик аттестационных материалов.

от 18.03.2002 и № 4702 от 30.12.02.

4. Предложена новая методология и технология проектирования Предложенные методы легли в основу технологии проведения экспертизы и автоматизированных систем аттестации персонала промышленного предприятия, сертификации тестовых материалов Органом сертификации (аттестат аккредитации основанная на методах нечеткой логики, пространств знаний и № РОСС RU.0001.11СП13 от 17.12.03) и испытательной лаборатории (аттестат непараметрической статистки.

аккредитации № РОСС RU.0001.21СП41 от 17.07.07).

5. Предложена типовая архитектура автоматизированной системы повышения Внедрение результатов. Результаты диссертации внедрены и применяются квалификации и аттестации персонала промышленного предприятия, Федеральной службой по надзору в сфере образования и науки для экспертизы отличающаяся наличием модулей интеллектуальной поддержки и мониторинга тестовых материалов. Методология и технология оценки качества аттестационных процесса обучения и аттестации.

материалов внедрены в Московском государственном университете печати, Донском 6. Разработано новое математическое и программное обеспечение с государственном техническом университете, Таганрогском государственном использованием методов представления и оценки знаний для автоматизации и радиотехническом университете, в АНО «Центр образовательных коммуникаций и управления процессами аттестации и повышения квалификации персонала тестирования профессионального образования», в ООО «Независимый центр промышленного предприятия.

тестирования качества обучения (АСТ-Центр)», на предприятии ЗАО «НПВФ Новизна некоторых из предложенных технических решений защищена «СВАРКА». Результаты работы также использованы при выполнении госбюджетных авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ НИР в 2001–2003 гг. (регистрационные номера отчетов ВНТИЦ 02200206551, №№2004612524, 2004612525, 2007612281, 2007613720.

02200300381, 02200206550, 02200300383, 02200204937, 02200300382, 02200201029), а Практическая ценность результатов состоит в следующем:

также при выполнении государственного контракта НИР № 1070 (2003–2004гг.).

1. Разработанные алгоритмы представления пространств знаний позволяют при Обоснованность и достоверность результатов.

определенных условиях увеличить скорость обработки пространств знаний от Обоснованность результатов диссертационной работы, полученных с 10 до 30%.

использованием признанных научных положений и апробированных методов 2. Практическая реализация метода адаптивной аттестации позволяет сократить исследования, подтверждается корректным применением математического аппарата и время проведения аттестации и получить более точные результаты аттестации.

согласованностью этих новых результатов с известными теоретическими 3. Методы и модели расчета рассекречивания банков аттестационных материалов, положениями.

вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики позволяют устанавливать 5 Достоверность результатов подтверждается согласованностью расчетных методической конференции «Развитие системы тестирования в России» (Москва, данных, полученных с помощью математического моделирования, алгоритмов и Центр тестирования Министерства образования РФ, 2001); I-й Международной программ моделирования и научных выводов. научно-практической конференции «Проблемы регионального управления, На защиту выносятся следующие положения: экономики, права и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 1. Методология и технология проектирования автоматизированных систем 2001); четвертой Всероссийской научной конференции с международным участием аттестации персонала промышленного предприятия, ориентированные на молодых ученых и аспирантов «Новые информационные технологии. Разработка и математическое и программное обеспечение, разработанное в данной аспекты применения» (Таганрог, ТРТУ, 2001); седьмой международной научнодиссертации. технической конференции студентов и аспирантов «Радиоэлектроника, 2. Разработанные математические методы организации и обработки знаний на электротехника и энергетика» (Москва, МЭИ, 2001); IEEE International Conference on основе пространств знаний, позволяющие повысить эффективность Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe); Всероссийской научноструктуры хранения знаний в автоматизированных системах и методической конференции Телематика’2002 (Санкт-Петербург, 2002);

минимизировать время построения пространства знаний. Международных конференциях «Искусственные интеллектуальные системы» (IEEE 3. Методы и модели расчета рассекречивания банков аттестационных AIS’02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002); XII материалов, вероятности случайного угадывания ответов на конференции-выставки «Информационные технологии в образовании» (Москва, аттестационные задания и адаптивной аттестации на основе нечеткой МИФИ, 2002); Всероссийской конференции-выставке «Современная образовательная логики. среда» (Москва, Всероссийский выставочный центр, 2002, 2003гг.); Всероссийской 4. Методика классификации форм аттестационных материалов на основе научной конференции «Управление и информационные технологии» (Санктфункции оценки ответа. Петербург, 2003); X Всероссийской научно-методической конференции «Телематика5. Методология и технология автоматизации и управления процессов 2003» (Санкт-Петербург, 2003); 1 конференции «Развитие методов и средств экспертизы и сертификации качества аттестационных материалов. компьютерного адаптивного тестирования» (Москва, МГУП, 2003); Второй и Третьей 6. Разработанные математические методы и алгоритмы обработки экспертной Всероссийской научно-методической конференции «Развитие методов и средств оценки характеристик аттестационных материалов, на основе компьютерного адаптивного тестирования» (Москва, МГУП, 2004, 2005гг.); Научнонепараметрической статистики и кластерного анализа, повышающие методической конференции «Инновационные методы и средства оценки качества качество аттестационных материалов. образования» (Москва, МГУП, 2006г.); Второй международной научно-практической 7. Архитектура автоматизированной системы повышения квалификации и конференции «Исследование, разработка и применение высоких технологий в аттестации персонала промышленного предприятия, отличающаяся промышленности» (Санкт-Петербург, СПб.гос.политехнич.ун-т, 2006) и др.

наличием модулей интеллектуальной поддержки и мониторинга процесса По теме диссертации опубликована 71 научная работа, в том числе обучения и аттестации с соответствующим математическим обеспечением. 3 монографии, статьи в реферируемых журналах (в том числе 10 публикаций, из Авторский вклад. Все выносимые на защиту результаты и положения перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства диссертационной работы получены и разработаны лично автором, или при его образования Российской Федерации «Создание системы открытого образования», а непосредственном участии. также в рамках государственного контракта НИР № 1070.

Апробация результатов работы. Основные научные результаты, полученные Структура и объем работы. Диссертационная работа состоит из введения, в ходе диссертационного исследования, докладывались и обсуждались на следующих пяти глав, заключения и 10 приложений, списка использованной литературы из конференциях, выставках и конгрессах: международной научно-методической 165 наименований. В работе содержится 28 таблиц, 41 рисунок. Объем работы без конференции «Новые информационные технологии в преподавании учета приложений составляет 278 страниц.

электротехнических дисциплин» (Астраханский государственный технический университет, 1998); Первой Всероссийской научной конференции молодых ученых и СОДЕРЖАНИЕ РАБОТЫ

аспирантов (Таганрогский государственный радиотехнический университет, 1998);

Во введении обоснована актуальность темы, сформулированы цели и задачи Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые диссертационного исследования, приведены положения, выносимые на защиту, информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, обсуждены научная новизна и практическая значимость работы.

2000); V Всероссийской научной конференции студентов и аспирантов «Техническая В первой главе проводится анализ задач автоматизации и управления кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000);

процессами аттестации и повышения квалификации персонала предприятий Восьмой международной конференции «Открытое образование в России XXI века» промышленности, анализируются научные школы и направления в этой области.

(Москва, МЭСИ, 2000); конгрессе «Искусственный интеллект в XXI веке» (Москва, Начало основных и важнейших исследований в области автоматизации 2001); 2-ой Всероссийской конференции «Электронные учебники и электронные процессов аттестации и повышения квалификации персонала промышленного библиотеки в открытом образовании» (Москва, МЭСИ, 2001); международной предприятия можно отнести к последним двум десятилетиям прошлого столетия. К научно-методической конференции Телематика (Санкт-Петербург, 2001); III Научно 7 концу 90-х г. Минобразования РФ подготовило несколько научно-методических Фоминых И.Б., Емельянов В.В. и другими. В первой главе проводится критический программ, объединенных под названием «Создание системы открытого анализ технологий аттестации и повышения квалификации без отрыва от образования», целью которых была разработка базы для развития технологий производства. Проводится анализ и исследование существующих непрерывного обучения и повышения квалификации, в том числе и для автоматизированных систем аттестации и обучения на основе интернет-технологий, промышленных предприятий. В результате этого были образованы несколько интеллектуальных систем обучения, математического и программного обеспечения и направлений и исследовательских групп, преобразовавшихся позднее в научно- возможности таких систем с точки зрения наличия интеллектуальных характеристик.

исследовательские центры и институты. Так, важнейшие результаты были Делается заключение о типовой структуре таких систем, учитывающих специфику реализованы группой специалистов во главе с Федоровым И.Б., Коршуновым С.В., подготовки персонала промышленных предприятий, в которую в частности входят Поляковым А.А., Вержбицким В.В. и другими учеными по программе «Научно- следующие компоненты: модуль просмотра материала; модуль редактирования методическое обеспечение дистанционного обучения», которые были положены в материала – инструментарий для создания структуры курса; модуль регистрации и основу методического и нормативно-правого открытого образования. Другая группа администрирования; модуль тестирования; модуль редактирования тестов; модуль специалистов была интегрирована вокруг Российского государственного института контекстной помощи; модуль предоставления дополнительного учебного материала;

открытого образования (РГИОО) во главе с Солдаткиным В.И., Андреевым А.А., модуль защиты; модуль поиска информации; модуль осуществления обратной связи.

Лобачевым С.Л. и другими учеными, получившими результаты в области разработки Показано, что в современных системах автоматизации процессов аттестации основ и концепций Открытого образования, а также в области технологий разработки персонала промышленных предприятий отсутствуют или слабо представлены такие образовательных порталов. К технологиям разработки образовательных порталов компоненты как: методы мониторинга в процессе обучения; способы адаптации также можно причислить и работы направления Государственного научно- обучения; интеллектуальная поддержка образовательного процесса и методов исследовательского института информационных технологий и телекоммуникаций аттестации; адаптивные алгоритмы тестирования, оценки знаний и умений;

«Информика». Во главе исследований по этому направлению можно выделить разнообразие видов аттестационных материалов. Делается вывод о необходимости работы таких ученых, как А.Н.Тихонов, А.Д.Иванников, Ю.Л.Ижванов, К.С.Кованов, разработки методологии и технологии автоматизации управления процессов А.Б.Козлов и другие. Важный вклад в развитие системы Открытого образования в аттестации персонала предприятий промышленности нового поколения с элементами России был внесен специалистами Государственного научно-исследовательского искусственного интеллекта, с возможностью использования эффективных методов института системной интеграции (ГОСНИИСИ) во главе с Ю.М.Кузнецовым, представления и оценки знаний.

Г.Ф.Филаретовым, Ю.В.Костиковым, С.Д.Белушкиным и другими. Их исследования Во второй главе рассматривается и разрабатывается теоретический аппарат связаны с развитием информатизации образования, обеспечением комплексной по автоматизации процессов представления и оценки аттестационных знаний.





поддержки создания и использования новых информационных технологий в сфере Приводятся классические модели представления знаний, рассматриваются методы на образования и науки. Нельзя обойти вниманием важнейшие работы в области основе пространств знаний. Вводятся понятия состояния, структуры, базы открытого образования одного из первопроходцев этого направления, ректора пространства знаний. Доказываются теоремы о наличии и единственности базы для Московского государственного университета экономики, статистики и информатики пространства знаний. На основании теоретических выкладок приводятся алгоритмы (МЭСИ) – В.П.Тихомирова, а также его учеников и последователей, чьи работы построения базы пространства знаний и обратного – построения пространства знаний исходят ко второй половине 90-х г. прошлого века и по настоящее время раскрывают на основе базы пространства. Развиваются эти алгоритмы с целью повышения основные концепции, принципы и технологии открытого образования. эффективности в смысле сокращения количества шагов для получения базы Другим важнейшим направлением в области автоматизации процессов пространства знаний. Показывается, что полученные методики и алгоритмы аттестации персонала являются интеллектуальные методы и системы. В этом повышают быстродействие построения базы пространства знаний до 30%. Далее в направлении следует выделить научную школу зарубежных авторов, внесших этой главе разрабатываются методы оценки ответов на тестовые задания, методы первоочередной вклад в развитие этого направления. Это, прежде всего, Л.Заде, адаптивного контроля знаний на основе нечеткой логики и правдоподобных А.Кофман, Д.Дюбуа, А.Прад, П.Брусиловский, Д.Капка, С.Осуга, Ю.Саэки, рассуждений. Предлагаются модель адаптивного тестирования для X.Судзуки и др., которые положили основу научным направлениям в области теории автоматизированной системы аттестации персонала, модели расчета вероятности нечетких множеств, интеллектуальных систем, искусственного интеллекта. угадывания на тестовые задания и расчета рассекречивания банков тестовых Отечественные научные школы в этом направлении представлены главным образом материалов.

учеными Москвы и Санкт-Петербурга, но имеются отдельные группы ученых и в Пространства знаний позволяют описать в машинном виде знания и опыт других городах России. Так Санкт-Петербургская научная школа представлена преподавателя и обеспечить программный доступ к этим знаниям. Такое трудами ученых Гавриловой Т.А., Полякова А.О., Лачинова В.М., Ерофеева А.А и представление позволяет отразить структуру знаний по преподаваемому предмету, др. в области интеллектуальных нечетких технологий управления. Московская зависимости различных тем, последовательность изучения материала. При этом научная школа представлена исследованиями и трудами в области искусственного система может работать с гораздо большим количеством вопросов, чем интеллекта и методов приобретения и формализации знаний следующими учеными: преподаватель, и реализовать более быстрый и эффективный способ оценки знаний.

Поспелов Д.А., Попов Э.В., Кузьмицкий А.А., Кузнецов О.П., Аверкин А.Н., 9 Состояние знаний индивидуума представлено набором тестовых заданий в называется пространством знаний. Концепция замкнутости относительно определенной области, на которые он способен ответить в идеальных условиях. Это объединения играет центральную роль в пространствах знаний.

означает, что он работает не под давлением времени или эмоционального стресса Как упомянуто ранее, структуры знаний могут иметь большое количество любого вида и т.д. Следует также учитывать, что субъект, не имеющий реального состояний, что ставит проблему описания таких структур экономно (например, для знания заданного вопроса, может угадать правильный ответ. Состояние знаний хранения информации в памяти компьютера). В случае конечного пространства индивидуума, таким образом, не является непосредственно наблюдаемым, и должно знаний только некоторые из состояний должны быть определены, остальные быть выведено из ответов на тестовые задания. получаются путём объединения базовых.

Для любой нетривиальной области число осуществимых состояний знаний Перекрытие семейства множеств F – это семейство F' всех множеств, которые может быть весьма большим. Коллекция всех состояний знаний описывает являются объединением некоторых членов F. В таком случае говорится, что F организацию знаний. Она играет центральную роль и будет упомянута как перекрывает F'. База структуры знаний (Q, K) – это минимальное семейство B «структура знаний». Пример структуры знаний для области Q = {a, b, c, d, e} состояний, перекрывающих K (где минимальное означает минимальное относительно приведен на рис. 1.

включения множеств, удовлетворяющее свойству: если F B – любое семейство Граф на рис.1 представляет структуру знаний состояний, перекрывающих K, то F = B). В соответствии со стандартным соглашением, пустое множество – объединение пустого подсемейства B. Таким K = {, {a}, {b}, {a, b}, {a, d}, {b, c}, {a, b, c}, образом, пустой набор никогда не принадлежит базе. Очевидно, структура знаний {a, b, d}, {b, c, d}, {a, b, c, d}, Q}.

имеет базу только в том случае, если она является пространством знаний. Более того, состояние k, принадлежащее к некоторой базе B, для K не может быть объединением Эта структура содержит 11 состояний. Область Q и пустое множество , других элементов B; таким образом, k не может быть объединением других состояний последнее, символизирующее полное невежество, включаются в неё. Рёбра графа K.

представляют отношение покрытия на множестве: ребро, связывающее состояние K и В работе доказан ряд теорем: о единственности базы для пространства знаний, состояние K', расположенное справа на графе, означает, что K K' (где обозначает о наличии базы в конечном пространстве знаний, о том, что состояние K в строгое включение), и что не существует состояния K" такого, что K K" K'. Это пространстве знаний (Q, K) – атом, если K F для любого подсемейства состояний F, графическое представление используется очень часто. Когда граф просматривается удовлетворяющих условию K = F, а также о том, что если пространство знаний слева направо, то повторяется процесс изучения: сначала субъект не знает ничего имеет базу, то эта база является объединением всех атомов.

относительно области и находится, таким образом, в состоянии , которое В диссертации описаны два алгоритма составления базы пространства знаний.

представлено пустым квадратом слева на рисунке. Обходя граф слева направо, знание Будем говорить, что область Q – конечна, подразумевая, что |Q| = m и постепенно прогрессирует от состояния к состоянию, следуя одному из путей на |K| = n. По доказанной в работе теореме, база пространства знаний является графе (рис. 1), пока знание темы в совершенстве не достигнуто в состоянии Q.

объединением атомов. По определению атома, атом на некотором элементе – минимальное состояние знаний, содержащее этот элемент. Простой алгоритм для a, d задания базы основан на этом определении атома и сформулирован Доулингом следующим образом.

a a, b, d Алгоритм 1. Пронумеруем список элементов, как q1, q2, …, qm. Также перечислим состояния как K1, K2, …, Kn таким образом, что Ki Kj подразумевает i < j a, b для i, j {1, 2, …, n}. Это достигается внесением в список состояний согласно не уменьшающемуся размеру и произвольно для состояний одинакового размера.

b a, b, c a, b, c, d Q Сформируем массив T размерностью n m с рядами и колонками, представляющими состояния и элементы соответственно, т.е. ряды индексированы от 1 до n и колонки от b, c 1 до m. На любом шаге алгоритма ячейка T содержит один из символов «*», «+» или «–». Первоначально установим Tij в «*», если состояние Ki содержит элемент qi; иначе b, c, d установим Tij равным «–». Алгоритм просматривает ряды i = 1, 2,..., n и преобразовывает в «+» каждое значение «*», содержащееся в ячейке Tij, Рис. 1. Пример структуры знаний для области Q удовлетворяющее следующему условию: существует индекс p такой, что 1 < p < i, состояние Kp содержит элемент qj и Kp Ki. Когда это будет выполнено, атомами Из рис. 1 видно, что семейство состояний удовлетворяет интересному будут являться состояния Ki, для которых ряд i все еще содержит по крайней мере свойству: если K и K' являются любыми двумя состояниями в K, то K K' является одну «*».

также состоянием. Таким образом, можно сделать вывод, что семейство K замкнуто Пример. Возьмём пространство K = {, {a}, {a, b}, {b, c}, {a, b, c}}, относительно объединения. Структура знаний, удовлетворяющая этому свойству, 11 рассмотренное выше. Начальное множество T показывается слева в табл. 1. Из элементы g Bi следующим образом: необходимо брать такое объединение только конечных значений T справа можно заключить, что база – {{a}, {a, b}, {b, c}}.

тогда, когда G из Gi–1 удовлетворяет условию Легко проверить, что Алгоритм 1 также работает на перекрывающем D {Bi, B2, …, Bi–1}: D G Bi D G. (3) подсемействе, а не только на самом пространстве.

Необходимо также избегать получения состояния G Bi, принадлежащего к Описание, данное для этого алгоритма, предназначено для начального Gi–1 (т.е. состояние, которое было произведено на более ранней стадии цикла). С этой кодирования пространства или перекрывающего семейства F как матрицы целью для G Gi–1, удовлетворяющего условию (3), имеем G Bi Gi–1, при Bi G.

размерностью n m, каждая ячейка (i, j) которого указывает, содержит ли состояние Алгоритм 2. Пусть B = {B1, B2, …, Bp} – база некоторого пространства знаний Ki элемент qj. Нетрудно перепроектировать поиск атомов на случай отличного K на Q, которое будет произведено алгоритмом. Проинициализируем G в {}. На способа кодирования пространства (например, как список состояний, представленных каждом шаге i = 1, 2, …, p выполним следующее:

списком элементов).

1) Инициализируем H в .

Таблица 2) Для каждого g G проверим a b c a b c Bi g и d {B1, B2, …, Bi–1} : d g Bi d g.

– – – – – – Если условие выполняется, добавим g Bi к H.

{a} * – – {a} * – – 3) Когда все g из G будут рассмотрены, заменим g на G H. Это заканчивает {a, b} * * – {a, b} + * – шаг i.

{b, c} – * * {b, c} – * * Семейство G, полученное после шага p, – искомое пространство K.

{a, b, c} * * * {a, b, c} + + + Пример. Для базы B = {{a}, {a, b}, {b, c}} табл. 1.2 показывает последовательные значения G.

Алгоритм для восстановления пространства из его базы Таблица Предположим, что база B содержит p состояний, B = {B1, B2, …, Bp}. СоГлавная стадия Базовый элемент Состояния в G стояния получены в соответствии с последовательной процедурой, основанной на Инициализация рассмотрении все более и более возрастающего подсемейства базы. Пусть G0 = {}, и 1 {a} , {a) для i = 1, 2, …, p определим Gi как пространство, перекрываемое Gi–1 {Bi}. Это – 2 {a, b} , {a}, {a, b} общая схема, но необходимо позаботиться об эффективности. Очевидно, что на 3 {b, c} , {a}, {a, b}, {b, c}, {a, b, c} любом шаге i алгоритма новые состояния, созданные взятием перекрытия Gi–1 {Bi}, имеют вид G Bi, где G Gi–1. Однако некоторые состояния, сформированные Пример. Приведём другой пример, с B = {{a}, {b, d}, {a, b, c}, {b, c, e}}. В объединением Bi с некоторыми состояниями из Gi–1, могут уже существовать в Gi.

табл. 3 в каждой строке показывается только базовый элемент, рассматриваемый на Прямое применение этой схемы требовало бы проверки для каждого этом главном шаге вместе с вновь полученными состояниями.

сгенерированного состояния, было ли оно получено прежде. Поскольку вообще число Таблица n состояний может расти по экспоненте как функция p, такие проверки могут быть Базовый элемент Состояния в H затруднительны. Соответственно, нужно формировать G Bi только тогда, когда это Инициализация объединение даёт состояние, ранее не полученное (или на предыдущем шаге, или на {a} {a} текущем). Имеется критическое замечание: среди всех состояний G из Gi–1, {b, d} {b, d}, {a, b, d} производящих K = G Bi, имеется единственное максимальное, которое обозначим {a, b, c} {a, b, c}, {a, b, c, d} М. Таким образом, имеем K = M Bi, и, кроме того, K = G Bi для G Gi–{b, c, e} {b, c, e}, {b, c, d, e}, {a, b, c, e}, {a, b, c, d, e} подразумевает G М. Существование и единственность М следует из того факта, что Gi–1 замкнуто относительно объединения. Ключ к алгоритму – условие (2), которое Алгоритм 2 может применяться к любому перекрывающему подсемейству F будет рассмотрено ниже и которое обеспечивает управляемую характеристику М.

пространства знаний K для получения этого пространства. В случае перекрывающего Рассматривается ситуация, в которой произвольный поднабор B области Q добавлен к подсемейства F, которое не является базой, рекомендуется сначала построить базу B базе D пространства знаний G на Q.

для K по алгоритму 1, применённому к F. Алгоритм 2 может тогда применяться к B В работе доказано утверждение, согласно которому для пространства знаний для получения K.

(Q, G) с базой D и при M G, B 2Q следующие два условия эквивалентны:

Несколько слов относительно эффективности алгоритма 2. Эксперименты g G : M B = g B g M; (1) показывают, что время выполнения программы на Паскале, осуществляющей этот d D : d M B d M. (2) алгоритм, зависит от порядка, в котором элементы базы (или перекрывающие На основании этого можно получать на главном цикле i только уникальные элементы) внесены в список. Пока что нет идеального правила относительно 13 оптимального кодирования элементов базы. С другой стороны, усовершенствование могут быть исключены, поскольку в графе пространства знаний состояния, получено на многих наборах данных, изменив Алгоритм 2 следующим образом. На находящиеся слева, включаются в состояния, находящиеся справа.

каждом шаге i находится объединение U всех Bj с 0 < j < i и Bj Bi. Когда рассматривается g G, сначала проверяем U g. Если U g, проверку шага (2) в Оценка сложности модифицированных алгоритмов алгоритме 2 можно пропустить, потому что условие заведомо не выполняется. Для Обозначим число элементов базы через p, число генерируемых (кроме и Q) оригинального алгоритма Доулинга используют множество U очень интенсивно. Этот элементов в пространстве знаний через n, а размер домена – m. При этом оценка алгоритм также чувствителен к выбранному порядку.

времени выполнения исходного алгоритма будет O (mnp2).

С теоретической точки зрения, эффективность алгоритма 2 хорошая.

Отсечение пройденных состояний требует просмотра всех элементов базы (p Поскольку количество элементов n семейства K множеств, покрываемых базой B с p элементов) и определения включения для каждого из них (не более m операций), т.е.

элементами из области Q мощностью m, может расти по экспоненте p, сложность оценка времени выполнения будет O (mp). После выполнения этого алгоритма база анализируется в зависимости от m, p и n. Алгоритм 2 имеет время выполнения уменьшится до p' < p элементов, а значит, восстановление пространства будет O (n p2 m). Другими словами, существуют натуральные числа m0, p0 и n0 и занимать не более O (mnp' 2) шагов. На самом деле это значение ещё меньше, положительное действительное число c, такие, что на области мощностью m > m0, с поскольку число элементов в пространстве знаний и размер домена могут также мощностью базы p > p0 создание пространства мощностью n > n0 будет всегда уменьшиться.

требовать шагов, меньше чем cnp2m.

Ограничение пространства знаний «сверху» имеет аналогичные характеристики производительности: O (mp) – для самого алгоритма и O (mnp' 2) – Разработка усовершенствованного алгоритма построения базы для получения пространства.

пространства знаний Эти алгоритмы можно примерять совместно, при этом для определения включения каждого из элементов базы может потребоваться вычисление двух Поскольку практическое применение понятий пространства и структуры теоретико-множественных операций, т.е. в наихудшем случае трудоёмкость усечения знаний имеет определённые особенности, в частности продвижение слева направо по базы по совместному алгоритму будет не больше суммы числа операций для графу, описывающему пространство знаний, то применение указанных выше алгоритмов по отдельности.

алгоритмов в чистом виде в некоторых случаях может быть малоэффективным.

Для наглядного сравнения этих модификаций и исходного алгоритма Например, реализация системы, основанной на пространствах знаний в сети рассмотрим пространство знаний, изображённое на рис. 1.

Интернет, предполагает отсутствие такого понятия, как сессия, и сервер не имеет возможности сохранить какие-то данные между двумя последовательными Пространство знаний K = {, {a}, {b}, {a, b}, {a, d}, {b, c}, {a, b, c}, {a, b, d}, запросами, соответственно, при каждом новом запросе необходимо восстанавливать {b, c, d}, {a, b, c, d}, Q}, базой для него является множество B = {{a}, {b}, {a, d}, {b, c, информацию о пространстве знаний из базы. Уменьшения количества информации, d}}. Параметры оценки будут равны p = 4, n = 9, m = 4. Трудоёмкость исходного которое необходимо восстанавливать, можно достичь путём отсечения уже алгоритма одного порядка с числом 1296.

пройденных состояний. Для этого можно из базы убрать те элементы, которые Построим график (рис. 2) относительных трудоёмкости и выигрыша включаются в текущее состояние. производительности в зависимости от (p – p'). Как видно из графика, уже при уменьшении базы на один элемент достигается значительный выигрыш в Отсечение пройденных состояний производительности (около 20%).

Пусть B = {B1, B2, …, Bp} – база некоторого пространства знаний K на Q, На рис. 3 приводятся количественные оценки выигрыша от применения Kc – текущее состояние. Тогда элементы базы, удовлетворяющие условию Bi Kc, модификаций.

входят в текущее состояние и могут быть заменены на Kc. После этого строится Описанный выше подход позволяет в значительной мере представить в пространство знаний, описывающее возможные пути развития знаний обучаемого программно-ориентированном виде знания преподавателя, автоматизировать процесс (или опроса его знаний).

оценки знаний. К достоинствам данной модели можно отнести:

Более общее применение имеет ситуация, когда субъект стремится достичь не • универсальность (независимость от области знаний);

полного знания области, а какого-то конкретного состояния знаний. В этом случае • возможность не просто вычисления балла, но и детализированного определения модификация алгоритма предусматривает ограничение пространства знаний областей знания и незнания испытуемого;

«сверху», т.е. тех состояний, в которые обучаемый (или тестируемый) не стремится попасть.

• удобство машинной обработки формализованных знаний;

Ограничение пространства знаний «сверху» Пусть B = {B1, B2, …, Bp} – база некоторого пространства знаний K на Q, Kt – целевое состояние. Тогда элементы базы, удовлетворяющие условию Bi Kc, 15 1,10009008000,8 7006000,5004000,3002000,100Оригинальный алгоритм 0 1 2 3 4 5 6 7 Уменьшение базы на 1 элемент Уменьшение базы на 2 элемента -0,Уменьшение базы на 3 элемента 3 Число элементов базы Относительная трудоёмкость Относительный выигрыш Рис. 2. График относительных трудоёмкости и выигрыша производительности Рис. 3. Диаграмма сокращения числа шагов при уменьшении базы • возможность выдачи рекомендаций испытуемому (какие темы он знает (например, для хранения информации в памяти компьютера). В случае конечного недостаточно хорошо и должен повторить).

пространства знаний, только некоторые из состояний должны быть определены При этом модель имеет свои узкие места:

заранее, остающиеся получаются путём объединения комбинации базовых. Для получения списка базовых элементов и восстановления из них исходного • Построение пространства знаний требует специальных методик и не всегда пространства существуют эффективные алгоритмы.

гарантирует стопроцентную точность.

Представление пространства знаний. Графическое представление • Представление построенного пространства знаний требует от пользователя пространства знаний становится слабым местом при росте числа осуществимых работы со сложным графом, что в случае большого количества знаний состояний, поскольку человеку затруднительно воспринимать растущее количество затруднительно.

связей между состояниями и путями освоения материала. На данный момент нет Тем не менее, модель пространств знаний отлично зарекомендовала себя какого-то универсального решения данной проблемы.

практически и доказала свою применимость.

Использование для тестирования. Программа, реализующая тестирование испытуемого с применением составленного пространства знаний, вычисляет при своей работе наиболее вероятные последовательности задаваемых вопросов. Начиная Особенности реализации алгоритмов из состояния, соответствующего полному незнанию испытуемого, тестирующая Построение пространств знаний. Поскольку число осуществимых состояний программа определяет возможные пути продвижения по графу пространства, знаний может быть весьма большим, то для составления списка состояний требуются составляет список вопросов, которые могут быть заданы на текущем шаге и выбирает специальные методики, повышающие точность составления и уменьшающие случайно некоторые из них. При корректном ответе на вопрос программа количество ошибок. Такие методики разработаны и автоматизированы. Специальная продвигается по графу, в направлении, соответствующем заданному вопросу. Таким программа опрашивает эксперта (преподавателя): предположим, что испытуемый образом, последовательно (и целенаправленно!) задавая вопросы, программа ответил неправильно на вопросы q1, q2, …, qn, ответит ли он также неправильно на уточняет область знания испытуемого, и в результате получает не просто оценку по вопрос qn+1? По результатам такого опроса программа составляет список связанных заранее заданной линейной шкале, а детализированное описание области знания (или состояний и получает пространство знаний. Причём на практике не требуется незнания испытуемого). Для минимизации влияния различного рода случайностей перебирать все комбинации вопросов – результат может быть получен раньше.

(угадывания ответа на вопрос или ошибок ввода) программа может применять Хранение и обработка пространства. Как упомянуто ранее, структуры различные методики, например, задание избыточного количества вопросов.

знаний, с которыми сталкиваются на практике, могут иметь большое количество состояний, что ставит перед нами проблему описания таких структур экономно 17 число шагов Адаптивное тестирование для автоматизированной системы аттестации где M – заданное экспертом множество нечетких переменных уровня адаптации;

Задача оценки знаний учащихся на основе компьютерных систем B – заданное экспертом множество нечетких переменных возможных тестирования является одним из важных вопросов, возникающих в результатов ответа на тестовое задание.

автоматизированных системах аттестации и обучения. В этом подразделе Опишем множество признаков, характеризующих состояние системы диссертации рассматривается способ оценки знаний, который может быть реализован адаптивного тестирования:

в компьютерных автоматизированных системах аттестации персонала промышленного предприятия. Широко известны две задачи, решение которых Y={Ri, Ai, t, r, l, LC, Lmax,,L, O}, необходимы при проверке знаний учащегося. Основной задачей экзаменатора где является «извлечь» максимум знаний, известных испытуемому. Основной задачей Ri U – текущий рейтинг (процентный балл) тестируемого после ответа испытуемого является показать максимум своих знаний. Очевидно, цели на i-е тестовое задание (ТЗ);

экзаменатора и испытуемого достаточно близки. Тем не менее, в результате тестирования достичь этих целей удается не всегда, что является причиной Ai – результат ответа на i-е тестовое задание, Ai B ;

заниженных и завышенных оценок. Для избежания и уменьшения погрешности t – период «стабилизации» итоговой оценки, т.е. количество ТЗ, которые оценки знаний разработан комбинированный способ адаптивного тестирования с были заданы испытуемому, но не внесли изменения в итоговую оценку;

использованием элементов нечеткой логики.

Рассмотрим следующую модель. Пусть текущий рейтинг R испытуемого в r – порог стабилизации рейтинга, т.е. интервал сходимости функции процессе прохождения теста оценивается по 100-балльной шкале – в процентах. Сто рейтинга испытуемого;

процентов означает «абсолютное», идеальное знание этого предмета.

l – порог смены уровня адаптации;

Зададим лингвистическую переменную LC – стартовый уровень адаптации;

O=< «Итоговая оценка», T, U>, Lmax = M – максимальное количество уровней адаптации.

где Заметим, что исходные априорные параметры системы, задаваемые экспертом – вербальные значения лингвистической переменной O, причем T ={Ti i = 1,5} и определяющие схему тестирования, описываются множеством каждое из этих значений является в свою очередь нечеткой переменной с областью S0 = { t, r, l, LC, Lmax}.

определения U, например, T={«неудовлетворительно», «ниже среднего», Пусть Li – дефазифицированное по методу центра площади значение уровня «удовлетворительно», «выше среднего», «отлично»};

адаптации на i-том ТЗ и предположим, что Li =1, Lmax.

U=[0; 100] – область определения нечетких переменных Ti.

Тогда, математическая модель адаптивного тестирования на основе нечеткой При этом нечеткие переменные Ti таковы:

логики описывается следующей системой:

~ Ti = {i,U,C(i )}, где Ri+1 = R(S0, Li, Ri, Ai);

~ – нечеткое подмножество C(i) ={< µC( )(x) / x >}(xU ) i O = O(S0, Li, Ri);

(4) множества U, описывающее ограничения нечеткой переменной i и определяющее L = L(S0, Li, Ai).

~ i+функцию принадлежности µC (i )(x). Очевидно, C(i) задается группой При этом условие завершения тестирования может быть следующим:

экспертов или автором теста. Например, эксперт может задать следующее значение для T1:

. (5) ~ (Rk k = 1, N)(min(Ri i = k, k + t) + r Rk max(Ri i = k, k + t) - r) T1={«Неудовлетворительно», [0;100], C(i) }, где ~ Условие увеличения уровня адаптации может быть следующим:

C(i ) ={<1,0/10>,<1,0/20>,<1,0/30>,<0,9/40>,<0,5/50>,<0,1/55>,<0,0/60>}.

Аналогичным образом экспертом задаются и другие значения для Ti. Точно также, (6) (Ak k = 1, N)(Ai Bmax i = k, k + l) Li+1(S0, Li, Ai ) = min(Li +1, Lmax ) могут быть заданы следующие лингвистические переменные:

где Bmax, принятая экспертом оценка для смены (увеличения) уровня адаптации, как L=<«Уровень сложности», M, U>;

правило, max = B .

A=<«Ответ на вопрос», B, U>, 19 Условие уменьшения уровня адаптации может быть следующим: Для увеличения гибкости модели предусмотрены также возможности изменения распределения нечеткой величины – «итоговая оценка». Таким образом,, (7) она может быть настроена индивидуально для каждого преподавателя и дисциплины, (Ak k = 1, N)(Ai Bmin i = k,k + l) Li+1(S0, Li, Ai ) = max(1, Li -1) для каждой дисциплины, ориентирована на различные группы обучающихся.

где Bmin, принятая экспертом оценка для смены (увеличения) уровня адаптации, как правило, min=1.

Эксперту по дисциплине необходимо разработать соответствующий набор вопросов по каждому уровню сложности. Сложность этих вопросов должна соответствовать различному уровню подготовки учащихся. Предположим, мы имеем Ответы на те с тов ы е задания 4 уровня сложности вопросов: начинающий уровень, средний уровень сложности, уровень повышенной сложности, уровень эксперта. Эти уровни сложности будут Ист ина меняться в зависимости от успеха отвечающего. С уменьшением правильных ответов будет понижаться и уровень сложности вопросов. И, наоборот, если учащийся Спорно отвечает успешно, то сложность вопросов возрастает.

Каждый раз, когда задается вопрос, на основании описанной модели Ошибочно происходит «прогнозирование» наиболее вероятного ответа испытуемого и соответственно выбирается вопрос необходимого уровня. По мере увеличения Ложь правильных ответов увеличивается и уровень сложности задаваемых вопросов и l 1 3 5 7 9 11 13 15 17 19 21 23 25 27 наоборот. В результате общая (итоговая) оценка зависит от следующих факторов:

• правильности ответа на очередное тестовое задание;

l • пропорционального количества вопросов разной сложности;

• текущей и прогнозируемой оценки (в процентах);

Рис. 4. График ответов на аттестационные задания • времени ответа на вопросы.

В результате использования математической метода на основе нечеткой логики при экспериментальном тестировании получены следующие диаграммы, поясняющие результат применения такой математической модели и показывающие следующие зависимости:

Уровни сложности Уровни сложности, Li • «правильность» ответов испытуемого на вопросы теста (рис. 4);

• изменение уровней сложности задаваемых вопросов по мере прохождения Эксперт теста (рис. 5);

• текущий рейтинг испытуемого, полученный по мере прохождения теста (рис. 6);

• диаграммы нечетких множеств для итоговой оценки испытуемого (рис. 7).

Сложный Механизм нечеткой оценки знаний поддерживается в автоматизированной системе аттестации персонала посредством:

• ввода экспертом (преподавателем) вопросов четырех уровней сложности;

• предложения экспертом нескольких (не менее 4) вариантов ответов и оценки Средний каждого ответа;

• ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования;

• ввода лимита времени, необходимого для ответа на этот вопрос.

Начальный Отличительной чертой разработанного метода является ее 1 3 5 7 9 11 13 15 17 19 21 23 25 27 интеллектуальность, что выражается в моделировании работы экзаменатора в случае неуверенности в знаниях учащегося. Например, тестирование может быть прервано, когда испытуемый вышел на стабильную оценку, а также может быть задан ряд дополнительных вопросов для уточнения уровня знаний учащегося. Рис. 5. График смены уровней сложности 21 Классификация уровня учебных достижений на основе правдоподобных рассуждений Рассмотрим задачу оценки достоверности заключения о состоянии объекта на Текущий рейтинг Ri r Текущий рейтинг, R основе частных утверждений, содержащих описания отдельных признаков. Так, если G, G,…, G – множество утверждений вида s r, s r,…, s r, где s, 100,1 2 n 1 2 n s,…, s – множество значений признаков, описывающих некоторый объект; r – 2 n 80,заключение о состоянии объекта, то достоверность заключения вычисляется 60,00 следующим образом:

40,00 n n n µ(r) = ) - ) + ) +…- (-1)n ), µ(sj µ(sj µ(si µ(sj 20,j =1 j> p jj l > j > p 0,1 3 5 7 9 11 13 15 17 19 21 23 25 27 где µ (s ), j=1, n – достоверности признаков s частных утверждений G ;

j j j µ (r) – оценка достоверности заключения, сформированная на основе частных утверждений.

t Будем использовать идемпотентную симметрическую сумму в качестве Рис. 6. График текущего рейтинга операции свертки для случая неравнозначных критериев. Симметрическая сумма для m критериев определяется следующим образом:

max(µ1(), µ2(),..., µm()) µG =, (8) Итоговая оценка, О(S0,L,R) l j 1+ m µr () - µ () j =r где µ () – наиболее значимый критерий.

В диссертационной работе показывается, что при условиях заданной базы правил, моделирующих процесс принятия решения преподавателем, на экзамене в 0,процессе опроса учащегося (или при предъявлении системой тестирования тестовых заданий) с определенными заранее критериями итоговой оценки B, D, F, формула (8) 0,может быть преобразована к одному из следующих видов:

0,max(µ1(), µ2(), µ3()), (9) µG = 1+ µ3() - µ2() + µ3() - µ1() 0,max(µ1(), µ2()) 0, (10) µG = 1+ µ2() - µ1() 1 3 5 7 9 11 13 15 17 19 21 23 25 27 =. (11) µG µ1() Неуд. Ниже среднего И наконец, в этом разделе диссертации приводится результат оценок по Удовл. Выше среднего i i i частным целям µB, µD, µF в соответствующий интервал нормированной Отл.

рейтинговой шкалы А (k = 1,3) в виде следующей формулы:

k Рис. 7. График итоговой оценки 23 Проценты maxA Ak - min элементов, а в правой части k элементов. При этом m k. Тогда мощность i k (12) µA () = min + (µM () - minM ) Ak k множества возможных правильных наборов заключений будет равна количеству maxM - minM , k! размещений элементов из k по m: M =. Отсюда вероятность угадывания где min, min, max, max – минимальные и максимальные значения шкал Ak M Ak M (k - m)! A и M соответственно.

k (k - m)! ответа на такое ТЗ равна Pc = 1/ M =.

Модель расчета вероятности угадывания на тестовые задания k! Вероятность угадывания ответа на ТЗ на упорядочение рассчитывается как При разработке автоматизированных систем аттестации персонала возникает обратная величина от возможного количества перестановок вариантов заключений:

задача по разработке банков тестовых заданий (БТЗ). Это требует множество решений относительно априорных характеристик этих банков и генерируемых на них тестов.

PП = 1/ k!.

Одной из важнейших характеристик тестов является критериальный балл.

Для расчета вероятности угадывания ответов на тест введем следующие Существует ряд методик априорного вычисления этого балла, но ни в одной из них не операторы:

делается поправка на возможное случайное угадывание ответов при тестировании. В 1, если ТЗ № i закрытого типа;

данной работе предлагается подход, позволяющий оценить вероятность случайного 1. Z(i) = 0, в противном случае.

угадывания ответов на тестовые задания (ТЗ). Имея такую информацию, можно скорректировать критериальный балл, сделав ее более точным.

1, если ТЗ № i на соответствие;

Предварительно рассчитаем вероятности угадывания ответов на ТЗ различных 2. S(i) = 0, в противном случае.

форм. Для открытой формы примем вероятность угадывания равную Po = const. Если предполагать, что угадывание осуществляется индивидуумом, полностью не 1, если ТЗ № i на порядок;

знакомым с предметной областью, то примем Po = 0.

3. П(i) = 0, в противном случае.

Рассмотрим теперь задания закрытого типа. Пусть имеется закрытое тестовое задание с k вариантами заключений, из которых m являются верными (при этом Если в тесте предъявляется N тестовых заданий, тогда вероятность случайного 0

угадывания ответов можно рассчитать следующим образом:

Возможны два варианта формулировки ТЗ: когда из формулировки ясно, какое N i i количество заключений является истинным и когда из формулировки этого не ясно.

Z(i)PЗi + S(i)PC + П(i)PП () min Соответственно вероятность угадывания ответа на такое ТЗ можно рассчитать двумя i= Pmin = ; (13) способами.

N В первом случае мощность множества возможных правильных наборов N i i заключений может быть ограничена перебором всех сочетаний из k по m элементов, Z(i)PЗi + S(i)PC + П(i)PП () max k ! i= Pmax =. (14) т.е. M =. Тогда вероятность угадывания правильного ответа в этом N m!(k - m)! Модель расчета рассекречивания банков тестовых материалов m!(k - m)! случае будет PЗ max = 1/ M =.

Для решения поставленных задач необходимо ввести следующие параметры.

k! Пусть N – объем банка тестовых материалов, L – фиксированная длина одного Во втором случае мощность области всех возможных правильных наборов теста (количество ТЗ в тесте), M – количество проведенных сеансов тестирования.

заключений будет рассчитываться как количество всех переборов заключений за Введем также некоторый коэффициент k, принимающий значения в диапазоне от 0 до минусом двух наборов – когда не выбрано ни одного заключения и когда выбраны все 1 и назовем его коэффициентом «агрессивности среды». Под агрессивной средой будем понимать такой контингент тестируемых, который стремится полностью заключения. Таким образом, M = 2k - 2. Тогда PЗ min = 1/ M =. Будем обменяться всеми известными ему тестовыми заданиями (сразу можно оговорить, что 2k - полностью известный банк тестовых материалов не гарантирует 100%-но правильные рассматривать вероятности PЗ min и PЗ max, как оценки снизу и сверху вероятности выводы на известные тестовые суждения). В этом случае коэффициент агрессивности угадывания ответа на ТЗ закрытой формы.

будем считать равным 1 (т.е. % узнавания теста максимально велик). Если же, взять Рассчитаем вероятность угадывания ответа на ТЗ, представленные в виде пример, при котором испытуемыми «копируется» и распространяется только соответствия. Ограничимся такими ТЗ на соответствие, в которых требуется найти половина из предъявляемых тестовых суждений, то коэффициент k будет равен 0,5.

соответствие «один к одному». Пусть в левой части ТЗ на соответствие имеется m Теперь необходимо найти вероятность p того, что все задания будут известны и 25 скопированы. Эту вероятность можно будет интерпретировать как долю тех ТЗ из В третьей главе рассматриваются вопросы квалиметрии и подходы к банка, которые будут известны тестируемым после проведения M сеансов обработке мнений экспертов, методы расчета характеристик аттестационных тестирования. материалов при проведении экспертизы и сертификации качества аттестационных Для начала рассмотрим, как может быть использован коэффициент k. материалов, используемых в автоматизированной системе аттестации и повышения Рассмотрим ситуацию, при которой сеанс тестирования проводится в «агрессивной квалификации персонала промышленного предприятия. Предлагается методика среде», т.е. k = 1. Тогда, в пределах одного сеанса – все L тестовых заданий (ТЗ) из экспертного анализа характеристик аттестационных материалов для банка становятся известными. Если k 1, то с учетом физического смысла автоматизированной системы аттестации и повышения квалификации персонала коэффициента k доступными окажутся kL тестовых заданий, другими словами, та же промышленного предприятия. Разрабатываются требования к аттестационным ситуация возникает, когда запоминаются все задания при длине теста kL. Таким материалам, модель расчета согласованности мнений экспертов на основе образом, коэффициент k может быть использован для корректировки длины теста L, и непараметрической статистики и способы сокращения времени экспертизы в дальнейших формулах мы будем использовать скорректированное значение длины аттестационных материалов на основе выборочного метода. Далее в главе теста, равное kL. приводятся основные выводы и результаты, полученные в этой главе.

Предположим, в процессе тестирования из банка выбираются случайным Модель для расчета согласованности мнений экспертов образом тестовые задания. Вероятность того, что некоторое тестовое задание не будет Пусть m экспертов, оценивают n ТЗ по L факторам, каждый из факторов имеет N - kL качественную градацию из k уровней. Рассчитаем общий коэффициент выбрано в течение одного сеанса равна: p1 =. Такая же вероятность N согласованности мнений экспертов w. Пусть j N - kL cix – значение установленное экспертом x для фактора j тестового задания i, p2 = будет и при втором сеансе тестирования и при M-ом сеансе N kj – количество качественных уровней для фактора j.

тестирования. В главе показывается, что в этом случае коэффициент согласованности мнений Поскольку каждый сеанс тестирования – независимое событие, то общую экспертов для множества факторов, оцениваемых по различным шкалам, вычисляется вероятность того, что некоторое задание не будет выбрано после М сеансов по формуле m m n L тестирования можно вычислить путем перемножения вероятностей pi. Таким j j M cix - ciy N - kL x=1 y=x+1 i=1 j=образом, p0 =. Тогда искомая вероятность p будет вычисляться по w = 1-. (19) L N M m(m -1)n -1) (k j формуле p = 1- p0 = 1-() 1- kL / N. (15) j=Из полученного выражения (15) можно найти M – количество сеансов, которое В частном случае, при оценке экспертами всего одного фактора (т.е. L = 1) необходимо, чтобы было известно pN тестовых заданий в банке:

получим (j =1, L)k = k = const :

j m m n log(1- p) log(1- p) M ==. (16) cix - ciy N - kL log 1- kL / N () log x=1 y=x+1 i= N w = 1-.

m(m -1)n(k -1) Аналогично, из выражения (15) можно найти минимальную длину теста, при Алгоритм кластеризации группы экспертов с заданной степенью заданных значениях M, N, k, p :

сходства мнений M L = N 1- 1- p / k. (17) () На следующем этапе для получения обобщенной экспертной оценки качества И, наконец, из (17) при известных M, L, k, p можно определить тестового задания необходимо на основе матрицы W выделить кластеры рекомендуемый размер БТМ:

экспертов, взаимная степень согласованности которых не меньше определенного M порога. В этом случае могут применяться различные алгоритмы кластерного анализа.

N = kL / 1- 1- p. (18) () 27 Рассмотрим наиболее простой в реализации, но достаточно эффективный Общая задача может быть разделена на две части: во-первых, определяют пределы, в которых находится параметр совокупности при заданном размере выборки иерархический алгоритм, использующийся для небольших размеров матрицы W.

и уровне надежности. Для этого необходимо определить ошибку выборки. Во-вторых, Исходными данными для его работы являются массив с номерами экспертов определяют размер выборки при заданном, т.е. допустимом, уровне величины (размерностью M, где M – число экспертов), матрица попарной согласованности погрешности выборочной оценки и принятом уровне надежности. Пусть речь идет о мнений экспертов (размерность M M) и порог оценки согласованности 0 < P < 1.

конкретном параметре, характеризующем, долю ТЗ, которые не удовлетворяют Суть алгоритма, блок-схема которого приводится в диссертации, заключается методологическим требованиям («бракованные» ТЗ). Можно утверждать, что доля в том, что:

таких заданий в генеральной совокупности (в БТЗ) находится в пределах 1. На первом шаге рассматривается M кластеров, каждый элемент массива p = w ± d, где p и w – доля «бракованных» ТЗ в генеральной совокупности и в номеров экспертов считается отдельным кластером и в своем кластере объявляется выборке; d – предельная ошибка выборочной доли.

центральным.

Задача, таким образом, сводится к расчету ошибки выборочной доли d. Эта 2. Далее последовательно рассматривается каждый полученный кластер.

ошибка при собственно-случайном отборе находится следующим образом:

3. Для всех элементов, за исключением центрального в рассматриваемом кластере, из матрицы попарной согласованности мнений экспертов выбирается w(1- w) n 1- d = z, (20) величина рассматриваемого элемента согласованности и элемента, центрального в n N кластере.

где n – размер выборки; N – размер банка аттестационных материалов; z – 4. Если эта величина превышает или равна заданному порогу P, то при наличии в кластере только центрального элемента, рассматриваемый элемент показатель кратности ошибки выборки, который вычисляется из уравнения заносится в кластер.

2Ф0 (z ) = 1- ; 1– – принятый уровень надежности, обычно принимается 5. Если же в кластере помимо центрального находятся еще элементы, то равным 10%, 5% или 1%; Ф0 (x) – функция нормированного и центрированного рассматриваемый элемент сравнивается со всеми остальными элементами в этом кластере. нормального распределения. Чтобы достичь заданной точности измерений, на основе 6. Если оценка согласованности каждого элемента кластера с формулы (20) легко получить уравнение для расчета необходимого объема выборки рассматриваемым превышает или равна заданному порогу, то рассматриваемый при оценке доли. В этом случае элемент помещается в кластер.

Nz 2w(1- w) 7. Выбирается кластер с наибольшим числом элементов. n =. (21) d N + z 2w(1- w) На основании мнения экспертов, входящих в найденный кластер, вычисляется общая оценка качества рассматриваемых тестовых заданий. Для этого используется Здесь w означает не выборочную долю ТЗ, а ожидаемую, т.е. выборка еще не обычное вычисление средних оценок по каждому заданию теста, но только тех осуществлена. Полученные результаты позволяют сделать заключение, что при экспертов, которые входят в результирующий кластер. определенных параметрах, с заданной точностью можно сократить время экспертизы, используя выборку заданий. Возьмем граничные, наиболее точные параметры оценки Способы сокращения времени экспертизы аттестационных материалов объема выборки и рассчитаем, на сколько методы позволяют сократить экспертизу.

Для того чтобы оценить качество аттестационных материалов в целом, Например, рассчитаем объем выборки n для банка объемом N, при наиболее необходимо провести экспертизу всех тестовых суждений. Для аттестационной оптимальных значениях w = 1, d = ±0,5, = 1%, и отобразим соответствующий проверки остаточных знаний разрабатываются БТЗ, содержащие большое количество выигрыш по времени экспертизы в процентах в виде следующей таблицы:

заданий. Просмотреть огромные массивы информации в пределах одного банка N 1000 900 800 700 600 500 400 300 2достаточно сложно по причинам различного характера. Это, в первую очередь, может быть технически невозможно, во-вторых, экономически неэффективно, в-третьих, n 725 671 614 553 489 421 348 270 1такая процедура может занять довольно длительное время. Следовательно, когда на % 27,50 25,44 23,25 21,00 18,50 15,80 13,00 10,00 7,экспертизу предоставляются банки тестовых заданий большого объема, возникает оптимизации задача оптимизации проверки такого банка. Наиболее эффективным способом такой В четвертой главе разрабатывается технология экспертизы и сертификации оптимизации, может быть, выборочный метод. В этом случае необходимо аттестационных материалов, состоящих из следующих процессов: регистрация, проанализировать определенное количество заданий из банка произвольной выборки проверка документов, оформление договоров; предварительная экспертиза ПДТМ;

и в случае, если выборка содержит большое количество не корректных ТЗ, то весь подбор экспертов, оформление договоров с экспертами; экспертиза содержания банк возвращается на доработку без анализа оставшихся ТЗ. Такой подход позволяет ПДТМ, работа экспертов; апробация тестов в учебных группах; расчет характеристик значительно экономить время проведения экспертизы банков тестовых заданий.

теста; подготовка сертификата.

29 К основным этапам сертификации качества аттестационных материалов Предложенные во второй и третьей главе методы и алгоритмы достаточно можно отнести (рис. 8): легко реализуются на ЭВМ, и на их основе была разработана автоматизированная система интернет-экспертизы аттестационных материалов, которая рассматривается в четвертой главе. Система разделена на две части: закрытая часть – администрирование системы и открытая часть для авторизованных пользователей – ЗАЯВИТЕЛЬ подсистема проведения экспертизы (рис. 9).

8 1 В пятой главе разрабатывается автоматизированная система повышения Рекомендации Сопроводительные по доработке Тестовые документы Сертификат тестовых материалы материалов соответствия ГОСТ - Р Орган Тестовые сертификации (ОС) материалы 6 Подсистема проведения экспертизы Результаты Испытательная испытаний лаборатория (ИЛ) Модуль статистики Модуль интернет- Модуль обработки эксперта шкал экспертизы Рис. 8. Основные этапы сертификации Просмотр статистики Выбор шкал Выбор тестов Просмотр шкал 1. Подачу в Орган сертификации (ОС) Заявки на проведение сертификации ПДТМ. Экспертиза 2. Подготовка Заявителем ПДТМ в соответствии с «Требованиями к ПДТМ».

Начать Продолжить Исправить 3. Оформление «Информационной карты» (ИК), договора и других Завершить экспертизу сопроводительных документов в соответствии с «Требованиями к типовому Подтвердить результат комплекту материалов для сертификации ПДТМ».

4. Передача комплекта материалов в орган сертификации (ОС).

Рис. 9. Структура автоматизированной системы проведения экспертизы 5. ОС подготавливает План мероприятий по сертификации в соответствии с внутренней «Методикой по проведению сертификации ПДТМ».

квалификации и обучения персонала предприятия без отрыва от производства, 6. Заявитель оплачивает услуги сертификации ПДТМ.

описываются все ее функциональные части, их структура, характеристики и 7. ОС осуществляет мероприятия по сертификации в соответствии с Планом возможности. В такую систему автором включены: подсистема интеллектуальной мероприятий, используя возможности испытательной лаборатории (ИС).

поддержки процесса обучения и тестирования; подсистема обучения и подготовки 8. Если предъявленный материал соответствует всем необходимым требованиям, учебных ресурсов; подсистема адаптивной аттестации и конструирования тестов;

то ОС выдает сертификат соответствия, в противном случае ОС выдает подсистема локального тестирования, создания и редактирования тестов; подсистема свидетельство о причине отказа в выдаче сертификата соответствия.

тестирования на бланках и распознавания результатов бумажного тестирования;

подсистема статистики, подготовки ведомостей и анализа результатов тестирования;

31 подсистема конвертации и обработки тестов на основе стандарта IMS QTI; Методы и алгоритмы адаптивности тестов предполагают ввод следующей подсистема верификации, проверки валидности тестов и автоматизации экспертизы; информации в процессе создания теста: количество уровней сложности; ограничение подсистема интерактивного взаимодействия; подсистема безопасности и защиты по времени на прохождение теста; минимальное и максимальное количество информации; подсистема поддержки учебного процесса; виртуальная библиотека. вопросов; разбиение материалов теста на уровни сложности; разбиение материалов Предложенная система разрабатывается на основе программного обеспечения теста по темам.

интернет-систем. Создание тестов может проходить в режиме on-line через Интернет либо в режиме локального редактирования и создания тестов. В этом случае используется Подсистема аттестации соответствующий модуль, который может интегрировать разработанные локально Важнейшей частью образовательной среды является подсистема аттестации.

тесты в хранилище тестов, доступное пользователям через Интернет. Аналогичным Ее структура приведена на рис. 10.

образом может использоваться модуль локального тестирования. Зачастую он Модуль адаптивного тестирования обращается к хранилищу тестов, которое решает задачи, связанные с самооценкой знаний учащихся в процессе обучения.

содержит все вопросы и ответы, настройки для каждого теста и прочую информацию, Пользователь сам проверяет себя на локальном компьютере, узнает свои слабые производит опрос, обрабатывает результат и заносит его в хранилище результатов.

места, пытается повысить уровень своих знаний и только после этого выходит на Модуль создания тестов или Редактор тестов обращается к тому же тестирование через Интернет, где каждый результат тестирования учитывается в хранилищу и позволяет пользователю (разработчику теста) создать новый тест, хранилище данных.

изменить настройки теста, редактировать вопросы и ответы, использовать в одном Модуль статистики и анализа результатов тестирования должен предоставить преподавателю и администратору возможность просмотреть результаты обучения и тестирования отдельного пользователя или целой группы по одной или нескольким дисциплинам. По каждому указанному тесту модуль формирует ведомости, анализирует успеваемость учащихся, предлагает статистику обучения, дает рекомендации по результатам тестирования с целью повысить уровень знаний группы учащихся или конкретного обучаемого.

Модуль интеллектуальной поддержки тестов решает важнейшую задачу реализации интеллектуальных методов оценки знаний. Здесь необходима разработка и использование математических методов и моделей поведения обучаемого, разработка критериев оценки его знаний, способностей и умений.

Подсистемы обучения, мониторинга и интеллектуальной поддержки процессов обучения и тестирования В нее входят такие части, как: модули создания учебных курсов (локально и через Интернет), модуль локального обучения, модуль создания мультимедийных курсов. Вся электронная учебная информация находится в хранилище курсов в системе обучения.

На рис. 11 приведена информационная структура модуля интеллектуальной поддержки системы обучения. Интеллектуальные средства обучения и тестирования включают: мониторинг процесса обучения, обучающие экспертные системы, игровые обучающие программы, модули промежуточного и адаптивного тестирования.

Мониторинг процесса обучения подразумевает контроль деятельности Рис. 10. Структура подсистемы аттестации персонала обучаемого, построение его индивидуальной модели и генерацию управляющих решений по корректировке поведения обучаемого для достижения им поставленных целей обучения. Для осуществления мониторинга процесса обучения сначала на тесте вопросы других, т.е. обеспечить слияние тестов, которое необходимо, основе экспертных оценок, т.е. строится предварительная модель обучаемого для например, при составлении итогового теста, основанного на промежуточных тестах.

некоторого предмета (курса). При этом предполагается, что процесс обучения Кроме того, модуль решает проблемы синхронизации пользователей Интернет, представляет собой последовательную совокупность освоения отдельных разделов исключает возможность одновременного редактирования одного и того же теста учебного материала. Учебный материал разбивается на несколько модулей различными пользователями, обеспечивает сохранность авторских прав – тест (информационных блоков, этапов обучения) таким образом, чтобы можно было должен быть доступен для редактирования только создателю или тем, кому создатель проконтролировать степень освоения изученного материала (тестирование, теста предоставит свои права.

33 контрольная работа, семинар и т.п.). Выделяются возможные результаты проверки реализуется на основе экспертной системы, база знаний которой содержит знаний и умений для каждого модуля, определяются способы освоения материала, а утверждения, отражающие мнение преподавателя учебного курса относительно оценки результатов выполнения каждой группы заданий, а также схем рассуждений, позволяющих автоматически оценивать уровни знаний, в зависимости от конкретных Подсистема измерений. Интегральная оценка знаний основана на использовании операторов Студент Преподаватель мониторинга свертки оценок, полученных на предыдущем этапе. Особенность данных операторов состоит в том, что они позволяют учитывать различную важность каждого типа тестовых заданий и, в зависимости от этого, относить полученные оценки к одному из четырех классов: «отлично», «хорошо», «удовлетворительно» и Мастер создания МАСТЕР СОЗДАНИЯ ТЕСТОВ «неудовлетворительно». В результате функционирования данных модулей, на момент курсов аттестационного тестирования, все пользователи классифицируются по уровням Обучающая Конструктор тестов Редактор тестов Разработчик сценариев ЭС тестирования (группам) знаний. Это позволяет на этапе адаптивного тестирования, даже первый вопрос задавать не случайным образом, а выбирать из группы тестовых заданий, База электронных учебных курсов соответствующих выявленному раннее уровню знаний. Подсистема адаптивного тестирования позволяет задавать каждый следующий вопрос в зависимости от ответов на все предыдущие вопросы. Вопросы, задаваемые подсистемой по каждому База сцен предмету, разбиваются на несколько уровней, по мере возрастания сложности База экзаменационных База рейтинговых База обучающих вопросов. Вопросы задаются целенаправленно, за счет предварительной оценки тестов тестов тестов каждого испытуемого, полученной на этапе промежуточного (рейтингового) тестирования. Проводя опрос, система адаптивного тестирования накапливает сведения об обучаемом и выставляет ему комплексную оценку, учитывая такие параметры, как количество правильных ответов, время прохождения теста, а также количество попыток прохождения каждого уровня.

Классификатор Подсистемы администрирования, безопасности и защиты информации студентов по Диспетчер группам успеваемости В основные функции системы администрирования должны входить:

возможность регистрации пользователей; возможность редактирования БД пользователей; работа с хранилищами учебных курсов и тестов по выделению прав База знаний Подсистема адаптивного тестирования доступа. Подсистема администрирования тесно связана с подсистемой обеспечения безопасности и защиты информации, которая рассматривается далее.

Рис. 11. Информационная структура модуля интеллектуальной поддержки Следует учесть, что системы интерактивного обучения активно взаимодействуют с пользователями – учителями, учениками, гостями, случайными также описываются (преподавателем) возможные варианты поведения обучаемого посетителями. И нельзя делать исключения или упрощения при проектировании при переходах между модулями курса. Затем с учетом предпочтений обучаемого в систем безопасности для автоматизированных систем интерактивного обучения. В выборе способов освоения материала, результатов обучения (база данных параметров диссертации рассматриваются модели обеспечения информационной безопасности, деятельности: результаты промежуточного контроля на этапах обучения, время используемые при реализации системы обучения «KnowledgeCT».

изучения материала, время тестирования и т.д.) определяются цели обучения и В заключение диссертационной работы сформулированы наиболее формируется индивидуальная модель обучаемого. Далее выделяются стратегии значимые результаты и выводы.

поведения, наиболее соответствующие индивидуальному стилю обучаемого, а также стратегии, ориентированные на достижение цели обучения. На основании полученных данных осуществляется прогноз деятельности обучаемого. В случаях, ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ когда выбранная обучаемым исходная стратегия перестает быть эффективной по отношению к заданной цели, подсистема генерирует рекомендации по 1. Разработана методология и технология проектирования автоматизированных трансформации индивидуальной стратегии обучаемого.

систем аттестации и повышения квалификации персонала промышленного Модули промежуточного тестирования предназначены для текущего контроля предприятия, основанные на математических моделях и методах нечеткой логики, знаний и построены на алгоритмах нечеткой логики. Методика оценки уровня знаний правдоподобных рассуждений, пространств знаний, непараметрической включает два основных этапа: оценку результатов выполнения каждой выделенной статистики.

группы тестовых заданий и интегральную оценку уровня знаний. Первый этап 35 И р н а с з т р р а у б м о е т Б н к а у т и з а ч а п л е р б ь г н и н и ы л ы п о е е х ж р с т е к р е н у е к и р д с й с с т о т о в в в а ы х 2. Автором предложены новые теоретические положения, принципы и методы ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ представления и оценки знаний на основе структур знаний, позволяющих оптимизировать способы хранения информации в процессе обучения и МОНОГРАФИИ аттестации, минимизировать время построения пространства знаний.

1. Попов Д.И. Автоматизация управления процессов аттестации персонала 3. Разработано математическое обеспечение для автоматизации процессов предприятий промышленности: монография. – М.: Изд-во МГУП, 2007. – 178 с.

адаптивной аттестации и контроля уровня учебных достижений, позволяющее сократить время аттестации без ухудшения точности оценки знаний. 2. Попов Д.И. Методы и технологии поддержки открытого образования на основе интеллектуальной информационно-образовательной среды дистанционного 4. Разработаны методы и алгоритмы для автоматизации процессов экспертной обучения. / Научное издание. – Таганрог: Изд-во ТРТУ, 2003. – 168 с.

оценки характеристик аттестационных материалов, что позволяет повысить качество аттестационных материалов. 3. Астанин С.В., Попов Д.И., Жуковская Н.К., Калашникова Т.Г. Применение математических методов и моделей в дистанционном обучении. / Научное 5. Предложена архитектура автоматизированной системы аттестации и повышения издание. – Таганрог: Изд-во ТРТУ, 2003. – 183 с.

квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения. ПУБЛИКАЦИИ В РЕЦЕНЗИРУЕМЫХ ЖУРНАЛАХ ИЗ СПИСКА ВАК 6. Разработана технология автоматизации процессов экспертизы и сертификации 1. Попов Д.И., Советов Б.Я., Касаткин В.В. Методика вычисления согласованности качества аттестационных материалов, позволяющая сократить сроки и мнений экспертов в автоматизированной системе аттестации персонала финансовые затраты на проведение экспертизы. промышленного предприятия // Вестник МАДИ(ГТУ) №3(10). – М., 2007. – С.92–94.

7. Разработано алгоритмическое и программное обеспечение автоматизации 2. Попов Д.И., Пугачев И.Б., Ремонтова Л.В. Расчет доли угадывания ответов на процессов аттестации, повышения квалификации персонала промышленного тестовые задания при аттестации персонала промышленного предприятия// предприятия и экспертизы аттестационных материалов.

Вестник МАДИ(ГТУ) №3(10). – М., 2007. – С.94–97.

8. Модели и алгоритмы, предложенные автором данной диссертационной работы, 3. Попов Д.И. Модель адаптивного тестирования для автоматизированной системы позволяют: анализировать результаты обучения и делать соответствующие аттестации персонала// Известия высших учебных заведений. Проблемы выводы по качеству аттестационных материалов; вводить и обрабатывать учебные полиграфии и издательского дела №4’2006. – М., 2006. – С.104–109.

материалы через Интернет; проводить обучение и аттестацию через Интернет;

4. Попов Д.И. Способы повышения точности оценки знаний при аттестации формировать отчетные и итоговые ведомости по результатам мониторинга персонала в автоматизированных системах // Известия высших учебных процесса обучения.

заведений. Проблемы полиграфии и издательского дела №4’2006. – М., 2006. – 9. Разработанные автором данной диссертации методы анализа мнений экспертов С.110–117.

утверждены в 2004 г. заместителем руководителя департамента лицензирования, 5. Попов Д.И., Васильев В.И. Модель представления экспертных знаний в системах аккредитации и аттестации министерства образования РФ А.А. Киринюком и автоматизации управления полиграфическим предприятием// Известия высших приняты в процессе оценки качества тестовых материалом органом по учебных заведений. Проблемы полиграфии и издательского дела № 1’2004. – сертификации (аттестат аккредитации № Росс RU.001.11СП13) системы М., 2004. – С.44–56.

Госстандарта РФ.

6. Попов Д.И., Голец И.Н. Представление тестовых заданий на основе теории пространства знаний //Известия Таганрогского государственного 10. Применение математического и программного обеспечения позволило создать радиотехнического университета (ТРТУ). – Таганрог: Изд-во ТРТУ, 2003. – реально действующую автоматизированную систему аттестации и повышения С.286–290.

квалификации «KnowledgeCT», успешная эксплуатация подтверждается 7. Попов Д.И. Интеллектуальная система дистанционного обучения // Научный соответствующими актами о внедрении, авторскими свидетельствами РФ об вестник Московского государственного технического университета гражданской официальной регистрации программ для ЭВМ.

авиации № 38/2001. – М.: Изд-во МГТУ ГА, С.16–22.

11. Результаты диссертационной работы могут иметь дальнейшее широкое 8. Попов Д.И. Проектирование интеллектуальных систем дистанционного применение в области открытого образования и аттестации персонала образования// Известия Таганрогского государственного радиотехнического промышленных предприятий с учетом специфики контингента, в центрах университета (ТРТУ) №4/2001. – Таганрог: Изд-во ТРТУ, 2001. – С.325–332.

тестирования, в центрах переподготовки, на любых предприятиях и в 9. Попов Д.И., Голец И.Н. Модель представления знаний в интеллектуальной организациях при аттестации и проверке служащих на профессиональную системе дистанционного образования // Известия Таганрогского пригодность и для проведения классификации и аттестации сотрудников государственного радиотехнического университета (ТРТУ) №4/2001. – Таганрог:

предприятий.

Изд-во ТРТУ, 2001. – С.332–336.

37 10. Попов Д.И. Способ оценки знаний в дистанционном образовании на основе методической конференции «Развитие методов и средств компьютерного нечетких отношений // Дистанционное образование (новое название журнала тестирования». – М., 2004. – C. 92–95.

«Открытое образование») № 6. – М., 2000. – С.26–29. 24. Попов Д.И. Перспективы разработки мультимедийного методического и сетевого обеспечения для ИОС Южно-Российского региона // Труды Международной ПУБЛИКАЦИИ В ДРУГИХ ИЗДАНИЯХ научно-методической конференции «Телематика-2001». – СПб., 2001. – С. 230–231.

11. Попов Д.И. Оценка знаний в дистанционном обучении // Материалы Восьмой 25. Попов Д.И. Калашникова Т.Г. Интеллектуальная система дистанционного обучения международной конференции «Открытое образование в России XXI века».

«KnowledgeCT» // Материалы Третьей Всероссийской научной конференции Москва: Изд-во МЭСИ, 2000. – C.183–188.

молодых ученых и аспирантов. Новые информационные технологии. Разработка и 12. Попов Д.И. Возможности интеллектуальной системы дистанционного обучения аспекты применения. – Таганрог: ТРТУ, 2000. – С. 176–181.

в Интернет – KnowledgeCT // Перспективные информационные технологии и 26. Попов Д.И., Голец И.Н. Метод оценки знаний на основе нечётких множеств // интеллектуальные системы №1(5), 2001. – С.247–254.

Тезисы докладов V Всероссийской научной конференции студентов и аспирантов 13. Попов Д.И. Способы автоматизированной оценки тестов в дистанционном «Техническая кибернетика, радиоэлектротехника и системы управления». – обучении // Труды конгресса «Искусственный интеллект в XXI веке». Научное Таганрог, ТРТУ, 2000. – С. 121–122.

издание. – М.: Издательство Физико-математической литературы, 2001. – С. 545– 27. Попов Д.И., Никифорова А.М. Классификация типов вопросов для адаптивного 551.

тестирования // Тезисы докладов V Всероссийской научной конференции 14. Попов Д.И., Никифорова А.М. Оценка тестовых заданий при дистанционном студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы контроле знаний // Перспективные информационные технологии и управления». – Таганрог, ТРТУ, 2000. – С.122–123.

интеллектуальные системы №1(5), 2001. – С.206–214.

28. Астанин С.В., Попов Д.И., Жуковская Н.К. Особенности информационно15. Попов Д.И. Поддержка стандарта IMS QTI и проверка валидности для тестовых образовательной среды «KnowledgeCT» // Труды X Всероссийской науч.-мет.

заданий и тестов в интеллектуальной образовательной среде дистанционного конф. «Телематика-2003». – СПб., 2003. – Т.2. – С.527–528.

обучения в Интернет «KnowledgeCT» // «Современная образовательная среда» / 29. Попов Д.И., Никифорова А.М. Способы оценки тестовых заданий в системе Тезисы докладов по материалам Всероссийской конференции. – М.:

дистанционного обучения «KnowledgeCT» // Материалы Третьей Всероссийской Всероссийский выставочный центр, 2002. – С.104–105.

научной конференции молодых ученых и аспирантов «Новые информационные 16. Dmitry Popov, Alexander Khadzhinov. Safety Subsystem of Intelligent Software технологии. Разработка и аспекты применения». – Таганрог: ТРТУ, 2000. – С. 167–168.

Complex for Distance Learning // Proceedings of 2002 IEEE International Conference 30. Астанин С.В., Попов Д.И., Калашникова Т.Г. Особенности реализации on Artificial Intelligence Systems (ICAIS 2002), pp.464–465, IEEE Inc., 2002.

функционирования интеллектуальной системы дистанционного обучения 17. Попов Д.И. Метод вычисления обобщенной экспертной оценки качества «KnowledgeCT» // Труды конгресса «Искусственный интеллект в XXI веке». – М.:

тестовых заданий для реализации в Интернерт // Материалы конференции Издательство Физико-математической литературы, 2001. – С.599–605.

«Развитие методов и средств компьютерного адаптивного тестирования». – 31. Попов Д.И. Инструментальная система дистанционного обучения и тестирования М., 2003. – С.94–98.

в интернет-KnowledgeCT// Тезисы докладов 2-ой Всероссийской конференции 18. Астанин С.В., Курейчик В.М., Попов Д.И., Кузьмицкий А.А. Интеллектуальная «Электронные учебники и электронные библиотеки в открытом образовании». – образовательная среда дистанционного обучения // Новости искусственного Москва: Изд-во МЭСИ, 2001. – C.371–379.

интеллекта №1 (55). – М.2003. – С.7–14.

32. Попов Д.И. Метод оценки результатов электронного тестирования через 19. Попов Д.И., Попова Е.Д. Количественные характеристики банков тестовых Интернет// Тезисы докладов III Научно-методической конференции «Развитие заданий // Перспективные информационные технологии и интеллектуальные системы тестирования в России». – М.: Центр тестирования Министерства системы №1(21) 2005г. – С.90–93.

образования РФ, 2001. – С.243.

20. Попов Д.И., Попова Е.Д. Модель расчета рассекречивания банков тестовых 33. Попов Д.И., Голец И.Н. Особенности представления знаний в системе заданий // Педагогические измерения № 4 2005. – М., 2005. – С.117–125.

дистанционного обучения // Тезисы докладов Четвертой Всеросийской научной 21. Попов Д.И., Хаджинов А.А. Система безопасности Интеллектуального конференции с международным участием молодых ученых и аспирантов «Новые программного комплекса дистанционного обучения // Труды Международных информационные технологии. Разработка и аспекты применения». – Таганрог:

конференций «Искусственные интеллектуальные системы» (IEEE AIS’02) и Изд-во ТРТУ, 2001. – С.139–145.

«Интеллектуальные САПР» (CAD-2002). – М., 2002. – С. 214–219.

34. Попов Д.И., Голец И.Н. Построение пространства знаний на основе результатов 22. Астанин С.В., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в тестирования // Перспективные информационные технологии и Интернет // Сборник докладов Всероссийской научной конференции интеллектуальные системы №4(16)/2003. – С.119–123.

«Управление и информационные технологии». – СПб., 2003. – Т. 2. – С. 278–282.

35. Попов Д.И. Подсистема адаптивного тестирования среды дистанционного 23. Попов Д.И., Попова Е.Д. Подходы к оценке валидности теста при экспертизе обучения // Сборник трудов участников XII конференции-выставки банков тестовых заданий // Материалы второй Всероссийской научно 39 «Информационные технологии в образовании». Часть V. – М.:МИФИ, 2002. – С.45–46.

36. Астанин С.В., Попов Д.И. Особенности информационно-образовательной среды Таганрогского государственного радиотехнического университета // Труды Всероссийской научно-методической конференции Телематика’2002. – СПб.:

Изд-во Санкт-Петербургского гос.института точной механики и оптики, 2002. – С.315–316.

37. Попов Д.И., Никифорова А.М. Синхронизация процессов редактирования тестов в системе «KnowledgeCT»// «Радиоэлектроника, электротехника и энергетика».

VII международная научно-техническая конференция студентов и аспирантов.

Тезисы докладов. – Москва: МЭИ, 2001. – С.266–267.

38. Отчет по НИР «Разработка методов представления мультимедийных электронных учебников и их реализация в ИОС южно-российского региона» / В.М. Курейчик, Д.И. Попов, С.В. Астанин и др., инвен. номер 022002065ВНТИЦ, 2002. – 83 с.

39. Отчет по НИР «Разработка мультимедийных электронных учебников по техническим наукам» / В.М. Курейчик, Д.И. Попов, С.В. Астанин, Н.К. Жуковская и др., инвент. номер 02200300381 ВНТИЦ, 2003. – 71 с.

40. Отчет по НИР «Исследование и разработка методов и правил сертификации программно-педагогических тестовых заданий, тестов и технологий компьютерного тестирования» / Д.И. Попов, С.В. Астанин, В.М. Курейчик и др., инвен.номер 02200204937 ВНТИЦ, 2002. – 91 с.

41. Отчет по НИР «Разработка методов и алгоритмов автоматизированной проверки корректности материалов тестов и тестовых заданий» / Д.И. Попов, С.В.

Астанин, В.М. Курейчик и др., инвен.№ 02200300382 ВНТИЦ, 2003. – 52 с.

42. Отчет по НИР «Разработка методов адаптивного тестирования, представления и оценки знаний, архитектуры типовой системы адаптивного тестирования в Интернет» / В.М. Курейчик, Д.И. Попов, С.В. Астанин и др., инвен.номер 02200201029 ВНТИЦ, 2002. – 73 с.

АВТОРСКИЕ СВИДЕТЕЛЬСТВА 43. Попов Д.И., Тягунова Т.Н., Попова Е.Д. АСТ-Эксперт. Свидетельство об официальной регистрации программ для ЭВМ № 2004612525 от 15.11.2004 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2004.

44. Тягунова Т.Н., Попов Д.И. АСТ-Web. Свидетельство об официальной регистрации программ для ЭВМ № 2004612524 от 15.11.2004 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2004.

45. Попов Д.И., Попова Е.Д. ОАСИС «Test-maker». Свидетельство об официальной регистрации программ для ЭВМ № 2007612281 от 31.05.2007 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2007.

46. Попов Д.И., Попова Е.Д. ОАСИС «Комплекс тестирования». Свидетельство об Подписано в печать 1.07.2007 г.

официальной регистрации программ для ЭВМ № 2007613720 от 31.08.2007 // Формат 6084/16. Объем 2,5 п.л. Тираж 120 экз. Заказ № 283/2Федеральная служба по интеллектуальной собственности, патентам и товарным Московский государственный университет печати знакам, 2007.

127500, Москва, ул. Прянишникова, 2а.

Отпечатано в РИО МГУП 41






© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.