WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

На правах рукописи

Болдырев Сергей Владимирович

ФИЛЬТРАЦИЯ СИГНАЛОВ ПОСРЕДСТВОМ ВЕЙВЛЕТПРЕОБРАЗОВАНИЯ В НЕЙРОСЕТЕВЫХ СИСТЕМАХ КЛАССИФИКАЦИИ ОБРАЗОВ

05.13.18 – Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

Ставрополь – 2012

Работа выполнена на кафедре прикладной математики и информатики ФГБОУ ВПО «Ставропольский государственный университет»

Научный консультант: заслуженный деятель науки и техники РФ, доктор технических наук, профессор Червяков Николай Иванович

Официальные оппоненты:

доктор технических наук, профессор Копытов Владимир Вячеславович доктор технических наук, профессор Финько Олег Анатольевич

Ведущая организация:

Южный федеральный университет (ЮФУ) (г. Ростов-на-Дону)

Защита состоится «16» июля 2012 г. в 13 часов 00 минут на заседании совета на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук Д 212.256.08 при ФГБОУ ВПО «Ставропольский государственный университет» по адресу: 355009, Россия, Ставропольский край, г. Ставрополь, ул. Пушкина, д. № 1, корп. 1а, ауд. 416.

С диссертацией можно ознакомиться в научной библиотеке Ставропольского государственного университета.

Автореферат разослан «_15_» _июня_ 2012 г.

Ученый секретарь совета на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук Д 212.256.08, кандидат физико-математических наук, доцент Л. Б. Копыткова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В настоящее время идет интенсивное развитие многих направлений обработки информации. Научное направление, связанное с построением и применением систем распознавания и классификации образов в настоящее время является одним из самых востребованных.

С прикладной точки зрения решение проблемы классификации образов важно прежде всего потому, что оно открывает возможность автоматизировать многие процессы, которые до сих пор связывали лишь с деятельностью живого мозга. Круг задач, которые могут решаться с помощью систем классификации, очень широк. Сюда относятся не только задачи обработки зрительных и слуховых образов, но и задачи распознавания сложных процессов и явлений, возникающих, например, при выборе целесообразных действий руководителем предприятия или выборе оптимального управления технологическими, экономическими, транспортными операциями. В каждой из таких задач анализируются некоторые явления, процессы, состояния внешнего мира.

Существующие подходы к решению задач обработки и классификации сигналов, основанные на использовании вейвлет-анализа и нейросетевых методов предложенные и развитые в работах Оссовского С., Редько В.Г., Галушкина А.И., Дорогова А.Ю., Дремина И.Л., Анисимовича К.В., Астафьевой Н.М., Маллата (Mallat S.), Червякова Н.И., Терехова В.А., Васильева В.И, Гадзиковского В.И., Горелика А.Л., Дьяконова В.П., Кохена А.

(Cohen A.), Видрова Б. (Widrow B.) и других ученых являются эффективными и во многом превосходят существующие методы. Но все же проблема применения этих методов для совершенствования систем классификации сигналов в том числе и в тех случаях когда сигналы являются нестационарными, зашумленными либо информация о них является неполной недостаточно исследована.

Известно, что нейросети по своей природе представляют собой попытку построения системы, которая в какой-то степени моделирует работу биологических нейронов. Важнейшей особенностью нейросетей является возможность параллельной обработки информации, способность к обучению и обобщению накопленных знаний. Характерной особенностью нейросетей является возможность реализации с применением технологии сверхбольшой степени интеграции. Это открывает возможность создания специализированного процессора с однородной структурой, способного перерабатывать разнообразную информацию.

При построении систем классификации мы сталкиваемся с обработкой большого количества данных. Иногда, поступающие для классификации объекты содержат помехи, наводки и шум. Для решения данной проблемы применяются различные методы предварительной обработки и очистки сигнала от шума. Высокие результаты получаются в результате применения методов на основе вейвлет-преобразования. Теория вейвлетов дает более гибкую технику обработки сигналов, чем преобразование Фурье.

Оно предоставляет возможность анализа сигнала не только по его частотным составляющим, но и локализует их. В процессе построения нейронных сетей применение предварительной обработки сигналов, входящих как в обучающую выборку так и непосредственно в сами классифицируемые сигналы посредством вейвлет-анализа позволяет повысить скорость и качество обучения нейросети.

При использовании вейвлет-анализа для обработки графической информации целесообразно использование методов кратномасштабного анализа и быстрого алгоритма нахождения вейвлет-коэффициентов. Многомасштабное представление дает возможность рассмотрения сигнала на разных уровнях его разложения. В то время как алгоритм быстрого вейвлет-преобразования позволяет обойти вычисление большого количества интегралов. К тому же существует возможность построения нейросетевой структуры, реализующей алгоритм быстрого вейвлет-преобразования.

Данной структурой являются так называемые быстрые нейронные сети.

Таким образом исследования, проведенные в данной работе являются актуальными и практически значимыми.

Соответствие темы диссертации требованиям паспорта специальности ВАК (по техническим наукам). Диссертационная работа выполнена в соответствии с пунктами 1, 3, 5 и 8 паспорта специальности 05.13.18 – «Математическое моделирование, численные методы и комплексы программ» (технические науки) ВАК Министерства образования и науки РФ.

Целью диссертационной работы является повышение скорости и точности работы нейросетевых систем классификации образов посредством предварительной обработкой сигналов с помощью вейвлет-анализа.

Объектом исследования в данной диссертационной работе является цифровая фильтрация в системах классификации образов.

Предметом исследования являются методы и алгоритмы предварительной обработки сигналов в системах классификации образов на основе нейросетевых структур.

Научная задача исследования состоит в разработке методов предварительной фильтрации сигналов посредством вейвлет-преобразования применительно к нейросетевым алгоритмам классификации на основе самоорганизующихся гибридных сетей для увеличения скорости и качества классификации.

При этом были решены следующие частные задачи:

1. Систематизация и анализ методов и алгоритмов распознавания и классификации сигналов.

2. Разработка методов выявления классообразующих признаков объекта классификации.

3. Разработка методов предварительной обработки и очистки сигналов от шума посредством дискретного вейвлет-анализа.

4. Построение математической модели нейросетевой структуры, реализующей быстрые алгоритмы нахождения вейвлет-коэффициентов.

5. Разработка метода интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала.

6. Разработка эффективного нейросетевого алгоритма классификации на основе самоорганизующихся алгоритмов обучения и методов предварительной вейвлет-фильтрации сигналов.

7. Разработка системы компьютерного моделирования в среде разработки С++, моделирующая алгоритм предварительной обработки сигналов.

Методы исследования. Для решения поставленных в работе задач использованы методы теории искусственных нейронных сетей, вейвлет-анализа, математического моделирования, линейной алгебры, математического анализа, синергетики, системного анализа, дискретной математики, теории автоматического управления, теории вероятностей, численных методов.

Достоверность и обоснованность полученных в диссертационной работе теоретических результатов и формулируемых на их основе выводов обеспечивается строгостью математических выкладок. Достоверность выводов об эффективности предложенных методов обеспечивается проводимым компьютерным моделированием.

Научная новизна работы заключается в следующем:

- обоснование применения к системам автоматической классификации образов вейвлет-преобразования, обладающего частотно-локальными свойствами и возможностью кратномасштабного анализа сигналов;

- предложен метод нтерполяции вейвлет-коэффициентов после процедуры децимации при вейвлет-обработке в процессе восстановления сигнала с помощью интерполяционных многочленов.

- разработан алгоритм нахождения коэффициентов быстрого вейвлетпреобразования на основе применения быстрых (ядерных) нейронных сетей;

- разработана эффективная модель позволяющая повысить качество работы нейросетевых алгоритмов для классификации образов на основе самоорганизующихся нейросетей, сети прямого распространения и быстрой нейросети реализующей предварительную вейвлет-фильтрацию сигналов;

- реализация обоих этапов обработки данных (предварительная обработка и классификация) с помощью аппарата искусственных нейронных сетей.

- разработан комплекс программ в среде разработки С++ для моделирования алгоритма предварительной обработки сигналов посредством вейвлет-анализа.

Практическая значимость. Практическое использование результатов дает возможность:

- повысить скорость и качество классификации сигналов благодаря разработанной модели гибридной нейросети на основе самоорганизующихся алгоритмов обучения и методов обработки и очистки сигналов от шума;

- обеспечить повышение скорости вейвлет-обработки сигналов благодаря ее реализации с помощью нейросетевых методов;

- производить оба этапа обработки данных (предобработка и классификация) используют одни и те же средства реализации – нейронные сети;

Полученные результаты могут быть использованы в построении эффективных систем обработки сигналов.

На защиту выносятся следующие основные положения:

1. Обоснование эффективности применения методов вейвлетфильтрации для предварительной обработки сигналов (выявления классообразующих признаков и очистка от шума) поступающих на входы нейронной сети.

2. Метод интерполяции вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов.

3. Математическая модель и алгоритм нейросетевой реализации быстрого вейвлет-преобразования на основе применения быстрых (ядерных) нейронных сетей.

4. Применение нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

5. Комплекс программ в среде разработки С++ для моделирования алгоритма предварительной обработки сигналов.

Апробация результатов работы. Результаты работы были представлены в журнале «Инфокоммуникационные технологии» (г. Самара 2008), в журнале «Успехи современного естествознания» (г. Москва, 2008), в журнале «Фундаментальные исследования» (Москва, 2008), в журналесборнике «Математическое моделирование развития северных территорий Российской Федерации» (г. Якутск, 2008), в журнале "Инфокоммуникационные технологии в науке, производстве и образовании (Инфоком3)" (г. Кисловодск, 2008), в журнале-сборнике «Информационные технологии в науке, образовании и экономике» (г. Якутск, 2008), в журнале «Актуальные проблемы и инновации в экономике, управлении, образовании, информационных технологиях 2009» (Кисловодск, 2009), в журналесборнике «Математическое моделирование развития северных территорий Российской Федерации» (Якутск, 2009), в электронном научном журнале «Вестник Дона» (Ростов-на-Дону, 2012).

Публикации. Основные результаты диссертационного исследования опубликованы в 9 научных работах, в том числе 2 статьи опубликована в научном издании, рекомендованном ВАК РФ для публикации основных результатов диссертаций.

Реализация и внедрение результатов работы. Теоретические и практические результаты диссертационной работы были реализованы в научно-производственном объединении «СайТЭК» для обработки данных химического и микробиологического анализа ингредиентов с помощью спектрального анализа и вейвлет-преобразования получаемых с приборов графиков для проверки соответствий заданным требованиям и вейвлетобработки цифровых изображений при съемке световым микроскопом.

Объем и структура работы. Диссертационное исследование состоит из введения, четырех глав, заключения, списка литературы, содержащего 112 наименований и 4-х приложений.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность исследований по разработке нейросетевых алгоритмов с применением предварительной обработки сигналов посредством дискретного вейвлет-преобразования. Была сформулирована цель работы, показана научная новизна и практическая значимость результатов проведённых исследований, указаны основные положения, выносимые на защиту.

В первой главе сформулированы основные проблемные задачи, которые решаются при построении систем классификации. Произведен сравнительный анализ методов выделения классообразующих признаков объектов классификации. Также было показано, что из существующего большого количества методов и алгоритмов классификации и распознавания, методы построенные на основе искусственных нейронных сетей, являются одними из самых эффективных.

Показано, что для классификации одними из самых эффективных являются сети на основе принципов самоорганизации. Их основными достоинствами являются алгоритмы обучения, которые позволяют производить количество необходимых итераций для получения наилучшего результата на порядок меньше чем в традиционных сетях. Также показано, что применение в совокупности самоорганизующейся архитектуры с линейными сетями, которые позволяют производить эффективную аппроксимацию, позволяет получить структуру, называемую гибридной сетью, которая дает возможность уменьшить время обработки сигналов и увеличить эффективность их классификации.

Для решения рассматриваемой задачи фильтрации была рассмотрена задача предварительной обработки сигналов входящих как в обучающую выборку так и непосредственно в сами классифицируемые сигналы нейросети.

Эта задача решается с использованием дискретного вейвлет-анализа. Показывается что вейвлеты, в отличие от преобразования Фурье, позволяют локализовать как частотную так временную составляющую сигнала. Использование вейвлет-преобразования практически во всех случаях помогает повысить эффективность обработки сигналов по сравнению с другими методами.

На основе проведенного анализа сформулированы цели и задачи диссертационного исследования.

Во второй главе из математического аппарата теории вейвлетанализа были выбраны и развиваются методы кратномасштабного анализа как основы быстрого вейвлет-преобразования, которые становятся основой для решения задачи предварительной обработки сигналов. Показывается эффективность использования в качестве базисных ортогональных вейвлетов. Рассматривается применение быстрых (ядерных) нейронных сетей для реализации алгоритма быстрого вейвлет-преобразования.

В работе показано, что когда мы имеем сигнал, в котором частотный состав претерпевает существенные изменения на интервале его задания, то преобразование Фурье дает только усредненные данные частотного состава сигнала с усредненным частотным разрешением.

Вейвлет-преобразование дает семейства спектров масштабных коэффициентов а сжатия-растяжения:

-1/ 2 (t - b) dt c(a,b) = s(t) a . (1) a - Масштабные коэффициенты действуют во времени, изменяя "ширину" вейвлетов. Каждой частоте соответствует своя длительность временного окна анализа, и наоборот. Многоразмерные временные окна вейвлетпреобразования дают возможность выявлять с достаточной степенью точности и низкочастотные, и высокочастотные характеристики сигнала.

Также показано, что возможен каскадный алгоритм вычислений:

(k +1)t cm,k =, (2) s(t) (2mt - k)dt p kt При известных значениях коэффициентов cm,k предшествующего уровня расчет коэффициентов может выполняться последовательно с уче том изменения нормировочного множителя 1 в формуле итерации:

p (k+1)t cm+1,k = cm,2k+n, dm+1,k = gncm,2k+n, c0,k = s(t)(t - k)dt.

h n (3) n n kt где c – аппроксимирующие коэффициенты, d – детализирующие коэффициенты, h – соответствующие значения функции , g – соответствующие значения функции . Схематически данный процесс изображен на рисунке 1.

Рисунок 1 – Схема алгоритма быстрого вейвлет-преобразования.

В итоге мы получаем, что коэффициенты вейвлет-преобразования вскрывают флюктуационную структуру сигнала на разных масштабах и в разных временных точках.

В работе предложен алгоритм реализации вейвлет-преобразования с помощью нейросетей. Т. к. алгоритмы быстрого вейвлет-преобразования имеют выраженную многослойную структуру, подобную структуре многослойных персептронов, поэтому возможно построение нейронных сетей с использованием принципов вейвлет-преобразования. Для этого в операциях преобразования заменяем коэффициенты преобразования перестраиваемыми синаптическими весами и добавляем нелинейные функции активации. Обобщенное спектральное преобразование рассматриваем как нейронную сеть с линейными функциями активации.

Т. к. быстрые нейронные сети представляют собой вариант многослойных сетей, то для их обучения эффективно использовать градиентные методы типа обратного распространения ошибки. Структура быстрой нейронной сети представляется в виде слабосвязанного многослойного графа.

Каждая вершина графа является нейронным ядром, и определяет базовую операцию над векторной компонентой. Базовая операция нейронного ядра pi pi задается матрицей размерности (синаптической картой нейронного ядра). В структуре быстрых нейронных сетей отсутствуют параллельные пути между вершинами графа, что позволяет представить преобразование данных как совокупность преобразований векторных компонент вдоль путей, связывающих вершины терминальных слоев сети. Обозначим через i номер вершины входного слоя и через j номер вершины в выходном слое и поразрядно представим эти числа в позиционной системе счисления:

i = ik-1,ik-2,...,i1 j = j0, j1,..., jk-,, (4) i, j 0,1,...,( p -1) где. Для структурной модели быстрых нейронных сеi тей существует порождающая схема, связывающая номер ядра в слое с разрядными переменными чисел i,j. Эта порождающая схема имеет следующий вид i = j0 j1... j-1ik-1ik-2...i+, (5) yi (v ) = xi (u )wi (u,v ) . (6) u Изменяя в (6) значения от 0 до k-1, строится структурная модель быстрой нейронной сети следуя правилу: вершины смежных слоев соединяются дугой, если в поразрядном представлении номеров вершин общие одноименные разрядные числа имеют совпадающие значения.

В третьей главе на основе методов и алгоритмов предыдущей главы происходит построение алгоритма предварительной обработки сигналов.

s = {s }, j Z Возьмем дискретный сигнал. В соответствии с принциj пами многомасштабного анализа выделим из данного сигнала его низкоsH sG частотную и высокочастотную составляющие.

j j Исходный сигнал представляет собой сумму составленную из его s = sH + sG низкочастотных и высокочастотных компонентов. Исходя из j j j этого получаем следующие выражения 0 sH = s sG = s, (7) j hk j-k j gk j-k kZ kZ gk hk где – коэффициенты низкочастотного фильтра, - коэффициенты высокочастотного фильтра.

Сигнал sj подается на фильтры декомпозиции низких и высоких частот, после чего с помощью операции децимации 2 (уменьшения числа частотных составляющих вдвое в соответствии с теоремой Котельникова-Шеннона) – H G {sn } {sn } удаление элементов и с нечётными номерами, можно получить коэффициенты аппроксимации на выходе фильтра низких частот и детализирующие коэффициенты на выходе фильтра высоких частот.

К сигналу s ={s } применяется низкочастотный фильтр разложения j A = {Ak} Lo_D с децимацией для получения сглаженной составляющей, затем применяем высокочастотный фильтр разложения Hi_D с децимацией D = {Dk} для получения детальных коэффициентов, которые теряются при сглаживании. Пройдя данный этап получаем коэффициенты аппрокA1 = {A1,k} D1 = {D1,k} первосимации и детализирующие коэффициенты го уровня разложения.

A1,k = A0,2k+m, D1,k = hm g A0,2k (8) m +m m m A После чего разложение применяется к набору коэффициентов, и A2 = {A2,k} мы получаем коэффициенты второго уровня разложения и D2 = {D2,k}. После каждого шага, в результате операции децимации, число аппроксимирующих и детализирующих коэффициентов уменьшается в два раза.

Aj,k = Aj-1,2k+m, Dj,k = gm Aj-1,2k+m (9) hm m m Схему данного разложения выглядит следующим образом:

Lo _ D 2 Aj+1, Aj (10) Hi _ D 2 Dj+1, Aj+Dj+где - кэффициенты аппроксимации уровня j+1, - детализирующие коффициенты уровня j+1, Lo_D – низкочастотный фильтр, Hi_D - высокочастотный фильтр.

Lo _ D = m,k (x) = p (2m x - k), (11) где - скейлинг функция вейвлета, р – коэффициент ортонормирования, m m,k (x) dx = 1 p = который определяется по условию и равен.

Рисунок 2 - Схема работы высокочастотного и низкочастотного фильтра на этапе разложения сигнала.

При прохождении сигнала через высокочастотный фильтр Hi _ D коэффициенты вейвлет-разложения вычисляются как разности значений первой и второй половины интервала т.е.

Dj-1,k = (Aj,2k - Aj,2k+1) Hi _ D :. (12) Т.о. коэффициенты получаются следующим образом:

Aj+1 = _ D(n - 2k)Aj (n) Dj+1 = Hi _ D(n - 2k)Aj (n),. (13) Lo n n После прохождения через фильтры в соответствии с теоремой КоAj+Dj+тельникова-Шеннона удаляются элементы и с нечётными номерами, т.е. проводится децимация сигнала. В итоге мы получим полный набор аппроксимирующих и детализирующих коэффициентов, вплоть до уровня декомпозиции j+1. По этому набору коэффициентов мы можем построить вейвлет-спектрограмму сигнала для оценки его особенностей.

Схема работы фильтра на этапе разложения приведена на рисунке 2.

Теперь перейдем к диаграмме быстрой вейвлет-реконструкции. Используя операцию, обратную децимации – интерполяцию (увеличения частотных составляющих в 2 раза), создаются наборы аппроксимирующих и детализирующих коэффициентов. Данная операция осуществляется путем добавления нулевых компонентов к полученным на этапе разложения. При ~(k) = s k s s(k) этом для сигнала на выходе имеем для четных k и ~(k) = 0 для нечетных.

s Метод 1. Интерполяция вейвлет-коэффициентов после процедуры децимации в процессе восстановления сигнала с помощью интерполяционных многочленов. Т.к. нам известен определенный набор значений вейвлет-функции, то остается лишь найти необходимые отсчеты по этим значениям, т.е. по узлам интерполяции. Оптимизировать этот процесс позволяет построение так называемого интерполяционного вейвлет-базиса, т.е.

нахождение многочленов с определенными свойствами.

Интерполяционной функцией называется любая функция такая, что {(t - n)} есть базис Рисса порожденного им пространства U1 и которая nZ удовлетворяет равенству 1, n = (n) = (14) 0, n 0.

Пространство UT строиться так, что любая функция этого пространства может быть восстановлена интерполяцией равномерной выборки T.

s UЛюбой сигнал восстанавливается интерполяцией его отсчетов s(n):

s(t) = s(n)(t - n) (15) n=- Любой сигнал s UT может быть записана в виде многочлена s(t) = s(nT )T (t - nT ) (16) n=- Интерполяционная функция может восстановить сигнал s по равномерной выборке {s(nT )}, если s принадлежит определенному подпроnZ странству UT пространства L2 (R). Коэффициенты разложения вычисляются по значениям отсчетов сигнала вместо интегралов скалярного произведения. = - интерполяционные вейвлеты, (t) = (2- j t - n), где j,n j-1,2n+1 j,n (t) = (2t -1). Функция на самом деле не вейвлет, так как она не имеет нулевых моментов, но она играет ту же самую роль, что и вейвлет в таком разложении. Wj определяется как пространство всех сумм. Это a[n] j,n n=- есть неортогональное дополнение Vj в Vj-1. Т. е. для любого j Z Vj-1 = Vj-1 = Vj Wj.

Если s Vj-1,то j s = + [n], (17) s(2 n) j,n d j j,n n=- n=- 1 1 n n j где d [n] = s2 + - PV s2 +.

j j j 2 Интерполяционное вейвлет-преобразование функции s вычисляется j -1 -при масштабах 1 2 > N = 2L по ее отсчетом {s(N n)}. При каждом масnZ j штабе 2j значения s между отсчетами {2 n} вычисляются с помощью инnZ j j терполяции PV s(t) = (t - 2 n) т.е.

s(2 n) j j n=- 1 n k)n - k + j j j PV s2 + = = s(2 s(2 k)hi[n - k], (18) j 2 n=- k =- где интерполяционный фильтр hi - неполная выборка автокорреляционно го фильтра h в h(n) = [m]h0[m - n] = h0 h0[n] т.е. hi[n] = 2n + = h[2n +1].

h m=- Вейвлет-коэффициенты вычисляются с помощью 1 1 n n j d [n] = s2 + - PV s2 +. (19) j j j 2 Это уточняет интерполяцию с грубой решетки 2jn на более точную 2jn добавлением «подробностей», коэффициенты dj[n] у которых есть по 1 1 n n j грешность интерполяции s2 + - PV s2 +. Интерполяционный j j 2 вейвет-базис пространства C0 в смысле равномерной сходимости определяется следующим образом: если f C0, то m J m J lim s - - [n] = 0. (20) s(2 n)J,n d j j,n m n=-m j=l n=-m l- Формула (20) раскладывает s на грубую интерполяцию с шагами 2J плюс слои подробностей, которые дают погрешность интерполяции на последовательно более точных двоичных решетках.

-Восстановление s(N n) по значениям вейвлет-коэффициентов выполняется рекурсивно восстановлением отчетов s(2j-1n) по более грубым отсчетам s(2jn) с интерполяцией, к которой добавляются dj[n]. Если dj[n] - конечный фильтр длинны K и если s имеет носитель в [0,1], то алгоритмы разложения и восстановления требуют KN умножений и сложений.

Диаграмма понижения уровня коэффициентов аппроксимации выглядит следующим образом:

Aj 2 Lo _ R (+) Aj-1.

(21) Dj 2 Hi _ R Кроме подавления шума полученные в результате вейвлет-разложения коэффициенты являются основой для формирования входных данных для нейросети классифицирующей сигналы. Происходит минимизация входного образа нейросети, в результате объем входных данных нейросети в целом существенно увеличивается, но в тоже время не происходит увеличение самого входного образа. Такой подход позволяет достичь большей информативности входов нейросети (рис. 3).

Рисунок 3 – Система обработки сигнала с применением вейвлетпреобразования для получения входного образа нейросети.

Рисунок 4 – а) Исходный сигнал; б) выход нейросети без вейвлетобработки; в) аппроксимирующие коэффициенты 3-х уровней разложения;

г) детализирующие коэффициенты 3-х уровней разложения; д) выход нейросети с вейвлет-обработкой.

На рисунке 4 показан сигнал воспроизведенный нейросетью после обучения. Становится ясно, что нейронная сеть не смогла с достаточной степенью точности обработать входные сигналы. Это связано с достаточно сильными шумами в исходном сигнале. Для примера возьмем 3 уровня вейвлет-декомпозиции сигнала с помощью вейвлета Добеши 4 (рис. 4).

Детализирующие коэффициенты первых двух уровней разложения несут в себе информацию о шуме в исходном сигнале. При подаче на вход нейросети они отбросываются, берутся в рассмотрение коэффициенты 3-го A3 Dуровня разложения и, которые и несут в себе необходимую для работы нейросети информацию о сигнале. Т.е. мы производим для каждого сигнала вейвлет обработку до 3-го уровня разложения, отбрасывая коэфA1, A2, D1, Dфициенты.

Т. о. обученная нейросеть на полученных коэффициентах дает более высокий результат за счет удаления шума и избыточной информации из сигнала. К тому же нейросеть, при обработке лишь необходимой информации, имеет более простую структуру, т.е. происходит концентрация наиболее важных компонентов сигнала, что и позволяет уменьшать число слоев и нейронов в сети.

В четвертой главе на основе методов и моделей предыдущих глав происходит построение и моделирование нейросетевых алгоритмов предварительной обработки и классификации сигналов.

Алгоритм 1. Нейросетевая модель реализующая алгоритм предварительной обработки сигнала с помощью быстрого вейвлет-преобразования A = {Ak} т.е. для нахождения аппроксимирующих и детализирующих D = {Dk} коэффициентов нужного уровня для их использования при обучении классифицирующей нейросети.

Строим алгоритм быстрого вейвлет-преобразования на временном интервале длиной N = p0, p1,..., pk -1, pi - произвольные целые числа. Для построения данного алгоритма использован вариант быстрой нейронной сети, описанной во второй главе работы.

В быстрых нейронные сетях обработка данных выполняется последовательно по слоям от начального слоя к конечному. Обозначим через X,Y входной и выходной векторы слоя. Алгоритм преобразования з апишется следующим образом:

+1 Y = X H, X = Y, = 0,1,...,k -, (22) где X,Y - входной и выходной векторы слоя , H матрица преобразова ния в слое . Матрица H является слабозаполненной и состоит из непересекающихся блоков, каждый из которых содержит синаптическую карту нейронного ядра. Для построения алгоритма делается привязка ядер к пе ременным U,V слоя . Глобальные переменные слоя в поразрядной фо рме представляются в следующем виде:

U = U U...U0, V = V0V1...Vk. (23) k -1 k -2 -Однозначные соответствия между локальными и глобальными разрядными числами системы имеют вид:

(i,U0 ) U, (i,V ) V (24) Подставляя в (22) глобальные переменные, получим:

Y (i,V ) = X (i,U0 )wi (U0,V ), (25) U где i = U U...U0. Соответствия (23) определяются топологией слабозаполk -1 k - ненной матрицы H. Анализируя выше приведенное выражение получаем аналитическую форму для поэлементного представления данной матрицы:

h (U,V ) = wi (U0,V ) (Uk -1,V0 )... (U,V0 ) (U,V ) (U,V )... (U1,V ) k - k --1 +1 k --2 +2 -(26) Построим нейронную сеть для вейвлет-базиса Добеши заданного на интервале длиной 2k. По частотным локализациям функции базиса разбиваются на октавы. При k=3 матрица образующих импульсов для каждой октавы и имеет вид:

С0 С = . (27) С - С2 3 Базисные функции разбиваются на три октавы, а матрица преобразо0 1 вания факторизуется в произведение трех матриц: H H H. Поразрядное представление строк и столбцов матрицы H можно записать в виде:

U = U2U1U0, V = V0V1V2. Матрица синаптической карты 0-го, 1-го и 2-го слоя определяется выражениями:

0 0 0 0 h0(U,V ) = wi0 (U0,V00) (U2,V10) (U1,V20) (28) 1 1 1 1 1 h1(U,V ) = wi (U0,V11) (U,V01) (U1,V21) (29) 2 2 2 h2 (U,V ) = wi2 (U0,V22 ) (U,V02 ) (U12,V12 ) (30) 0 0 0 0 0 i0 = U U1, wi0 (U,V ) = (U,V ) где, (,) - оператор Кронекера.

Преобразование Добеши от некоторого вектора соответствует умножению его на матрицу:

C0 C1 C2 CC3 - C2 C1 - CC0 C1 C2 CC3 - C2 C1 - C0 (31)......

C0 C1 C2 CC3 - C2 C1 - CC2 C3 C0 CC1 - C0 C3 - C Каждая строка матрицы соответствует свертке вектора сигнала с локализованным вейвлет-фильтром. При этом нечетные строки «сглаживают», а соответствующие четные фильтры вычисляют поправки к сглаживанию, обеспечивая обратимость преобразования. Полное вейвлетпреобразование получается путем умножения вектора сигнала на полученную матрицу Добеши, далее нечетные компоненты сигнала (сглаженная версия сигнала) снова умножаются на матрицу Добеши (вдвое меньшей размерности), и так до тех пор, пока не будет получено полностью сглаженное представление, т.е. среднее значение сигнала.

Матрицы послойных преобразований представлены на рисунке 5:

V0 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 V1 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 V2 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 U2 U1 U0 0 0 C0 C1 0 0 0 0 0 0 C0 C1 0 0 0 0 0 0 C0 C1 0 0 0 0 0 0 0 1 C3 - C2 0 0 0 0 0 0 0 0 C1 0 0 0 0 0 0 0 C0 0 0 0 0 0 1 0 0 0 C0 C1 0 0 0 0 C3 - C2 0 0 0 0 0 0 0 0 0 0 C0 0 0 0 1 1 0 0 C3 - C2 0 0 0 0 0 0 0 C2 0 0 0 0 0 0 0 0 0 0 C0 1 0 0 0 0 0 0 C0 C1 0 0 0 0 0 0 C0 C1 0 0 C3 - C2 0 0 0 0 0 1 0 1 0 0 0 0 C3 - C2 0 0 0 0 0 0 0 0 C1 0 0 0 0 C2 0 0 0 1 1 0 0 0 0 0 0 0 C0 C1 0 0 0 0 C3 - C2 0 0 0 0 0 0 0 C2 0 1 1 1 0 0 0 0 0 0 0 0 C00C3- 00C2 000 C2 0 0 0 0 0 1-й слой 2-й слой 3-й слой Рисунок 5 – Матрицы послойных преобразований для вейвлета добеши.

Результирующая матрица преобразования вид:

3 2 2 C0 C0 C1 C0 C1 0 C1 C0 0 0 C0 C3 C0C3 C1 C3 C1 C0 0 - C2C1 C0 0 0 C C3 C0C3 C1 - C0 C2 0 2 0 0 C1 C2C0 2 2 (32) C3 C0 C3 C1 - C3C2C0 0 0 0 - C2 C0 H = 2 2 0 C1 C0C2 0 C1 C2 0 C C3 - C0 C2 2 C3 C0 - C3C0C2 0 C3C1 C2 0 - C2 C1 0 2 2 0 0 C1 C2 C C3 - C0C3 C2 0 - C0C2 3 2 2 C3 - C3 C2 0 - C3 C2 0 0 0 - C2 Рисунок 6. Модель в виде графа быстрого вейвлет алгоритма для размерности 23.

Модель нейронной сети реализации преобразования Добеши в виде графа быстрого алгоритма для размерности 23 постоенная на основе матриц послойных преобразований представлена на рисунке 6.

Построим сеть состоящую из двух подсетей. Первая представляет собой самоорганизующуюся сеть. Она обучается по алгоритму нейронного газа. Используется конкурирующая функция активации. В процессе поступлении на вход вектора все нейроны сортируются в зависимости от их расстояния до вектора x. После сортировки нейроны размещаются в последовательности, соответствующей увеличению удаленности d0 < d1 <... < dn-1, где dk = x - wm(i) обозначает удаленность i-го нейрона, занимающего в результате сортировки m-ю позицию в последовательности, возглавляемой нейроном-победителем, которому сопоставлена удаленность d0. Значение функции соседства для i – го нейрона G(i,x) определяется следующим образом m(i) , (33) G(i, x) = exp- в котрой m(i) обозначает очередность, полученную в результате сортировки (m(i)=0,1,2,…,n-1), а – параметр уменьшающийся с течением времени.

При =0 адаптации подвергается только нейрон победитель, при уточнению подлежат веса многих нейронов, причем уровень уточнения зависит от величины G(i,x).

Второй сетью в данной гибридной сети является персептронная сеть с прямым распространением. При построении и обучении сети используется линейная функция активации и используется 2 слоя нейронов. По завершении обучения самоорганизующегося слоя веса нейронов замораживаются и проводится анализ их выходных сигналов при подаче на вход сети последовательности сигналов x из обучающего множества. Нейрон с наибольшим значением суммарного сигнала переводится в единичное состояние, а остальным нейронам приписываются состояния из интервала (0, 1). Переход от фактических суммарных сигналов ui этих нейронов к выходным нормализованным umax - ui сигналам проводится по следующему равенству: yi = exp-, где па раметр изменяется по необходимости для улучшения результатов обучения.

С учетом полученных результатов обучается методом обратного распространения ошибки персептронная сеть. В результате обучение линейного слоя сводится к незначительной корректировке их значений и мы получаем глобальный минимум функции погрешности.

В общем виде схема системы классификации приведена на рисунке 7.

Рисунок 7 – Схема нейросетевого алгоритма классификации.

Погрешность построенной при обучении гибридной сети на основе результатов полученных на выходе быстрой нейросети составила 0,125. После обучения на контрольной выборке проводим проверку результатов обучения.

Таблица Количество ошибочно отклассифицированных сигналов обучающей выE(w,e) =,Yq ) борки., где Dq - вектор выходных значений обучающей I(Dq q выборки, Yq - вектор выходных значений, полученных в результате работы нейронной сети (значение функции I равно 1 если (0,5 - yi ) < e и (y + 0,5) > e ) ji Вид нейросетевой структуры Объем 100 200 400 600 8 выборки Многослойный персеп- 21 % 19,90 % 19 % 18,3 % 18% трон Сеть Кохонена 14,2 % 16,80 % 15,50 % 12,9 % 12,7% Гибридная сеть 8,20 % 10,70 % 9,50 % 6,90 % 6,70% Таблица q Классификация сигналов тестовой выборки, где Pr = - Di )(Yi+1 - Yi )) P((Di+q i=P=1 если (Di+1 - Di )(Yi+1 - Yi ) > 0 или (Di+1 - Di ) = 0 и (Yi+1 - Yi ) = 0.

Вид нейросетевой структуры Объем 100 200 400 600 8 выборки Многослойный персеп- 75,10 76,10 % 76,50 % 77,70 % 79 % трон % Сеть Кохонена 82,80 80,20 % 81,50 % 83,10 % 84,% % Гибридная сеть 89,80 90,30 % 91,50 % 92,30 % 94,50% % Таблица Качество классификации с предобработкой и без предобработки.

100 200 400 600 8 Объем выборки Без предобработки 75,80 % 76,30 % 78,50 % 78,10 % 79,30 % С предварительной 88,80 % 89,30 % 89,50 % 89,60 % 89,75 % обработкой посредством преобразования Фурье С предварительной 92,80 % 91,30 % 91,50 % 93,20 % 93,50 % обработкой посредством вейвлета ДобешиС предварительной 92,40 % 92,30 % 93,50 % 94,20 % 94,50 % обработкой посредством койфлета С предварительной 93,80 % 93,30 % 94,50 % 94,50 % 95,50 % обработкой посредством симмлета В приложениях представлен код программы в среде MATLAB для моделирования и оценки разработанных алгоритмов, фрагмент кода программы на C++ для реализации нахождения вейвлет-коэффициентов оцифрованных сигналов. Представлен акт о внедрении результатов диссертационного исследования, свидетельство о регистрации программного модуля C++.

Заключение В диссертационной работе произведены исследования методов предварительной обработки сигналов посредством вейвлет-анализа в нейросетевых алгоритмах классификации образов для повышения их эффективности и точности работы. В итоге получены следующие теоретические и практические результаты:

1. Разработан нейросетевой алгоритм на основе принципов самоорганизации и вейвлет-фильтрации в виде гибридной сети для классификации образов.

2. Для рассматриваемой задачи классификации была показана эффективность применения дискретного вейвлет-анализа.

3. Применены методы кратномасштабного анализа и быстрого вейвлет-преобразования для разработки алгоритмов предварительной обработки сигналов применительно к задаче классификации образов.

4. Показана целесообразность применения ортогональных вейвлетов и их модификаций в задачах классификации образов.

5. Обоснованно применение быстрых нейронных сетей для реализации алгоритма дискретного быстрого вейвлет-преобразования.

6. Разработан нейросетевой алгоритм для реализации быстрого вейвлет-преобразования.

7. Показана эффективность применения нейросетевых алгоритмов для реализации обоих этапов обработки данных (предобработки и классификации).

8. Произведено моделирование построенных алгоритмов предварительной обработки сигналов посредством быстрого вейвлетпреобразования.

9. Проведено исследование производительности построенной гибридной сети по сравнению с другими нейросетевыми структурами для решения задачи классификации образов.

10. На основании проведенных экспериментов и их анализа сделан вывод об эффективности построенных методов предварительной обработки сигналов применительно к нейросетевым алгоритмам для классификации образов.

В диссертационной работе предложен метод предварительной обработки сигналов с применением быстрого дискретного вейвлетпреобразования, реализованного с помощью нейросетей, позволяющий повысить качество работы нейросетевого алгоритма классификации образов.

Построенный алгоритм позволяет повысить скорость и точность классификации по сравнению с другими нейросетевыми методами до 15 %. Количество ошибочно отклассифицированных сигналов как обучающей так и тестовой выборки составляет не более 5 %. Использование быстрой нейронной сети для реализации вейвлет-преобразования позволяет избежать большого количества вычислений и намного ускорить поиск коэффициентов вейвлет-разложения. Процесс предварительной обработки образа и его классификация происходит с использованием одних и тех же средств, что предоставляет возможность эффективного применения разработанных нейросетевых алгоритмов.

Список публикаций по теме диссертационной работы В рецензируемых журналах из списка ВАК 1. Болдырев С.В. Применение гибридных самоорганизующихся нейронных сетей и быстрого дискретного вейвлет-преобразования для построения систем классификации сигналов // Инженерный вестник Дона, Ростов-на-Дону 2012. URL:http://www.ivdon.ru/magazine/latest/n2y2012/7(дата обращения 01.05.2012).

2. Червяков Н.И., Болдырев С.В. Эффективность использования дискретного вейвлет-преобразования для построения систем обработки сигналов // Инфокоммуникационные технологии, г. Самара, Том 6, №2, 2008.

С. 23-26.

В других изданиях 3. Болдырев С.В. Использование вейвлет-преобразования в системах обработки и анализа сигналов // Фундаментальные исследования, Москва, №7, 2008. С.102-103.

4. Болдырев С.В. Эффективность использования принципов самоорганизации и нейронных сетей для идентификации сигналов // Успехи современного естествознания, Москва, №9, 2008. С. 109.

5. Болдырев С.В. Предварительная обработка дискретных сигналов с помощью вейвлет-анализа // Математическое моделирование развития северных территорий Российской Федерации. Якутск, 2008. С. 80-81.

6. Болдырев С.В. Эффективность применения самоорганизующихся и гибридных нейронных сетей для распознавания образов. Информационные технологии в науке, образовании и экономике. Якутск, 2008. С. 7-9.

7. Червяков Н.И., Болдырев С.В. Использование дискретного вейвлет- преобразования и нейронных сетей в построении систем обработки сигналов // Инфокоммуникационные технологии в науке, производстве и образовании, Инфоком-3, часть 1-я, 2008. С.149-153.

8. Болдырев С.В. Применение аппарата искусственных нейронных сетей для построения алгоритма реализации дискретного вейвлетпреобразования // Актуальные проблемы и инновации в экономике, управлении, образовании, информационных технологиях 2009. Ставрополь, 2009. С. 27-29.

9. Болдырев С.В. Реализация алгоритма дискреиного вейвлет - преобразования с применением искусственных нейронных сетей // Математическое моделирование развития северных территорий Российской Федерации ч. 2 Якутск, 2009. С. 81-82.

Свидетельство о государственной регистрации программ для ЭВМ 10. Болдырев С.В. Дискретная вейвлет-фильтрация оцифрованных сигналов. Свидетельство о государственной регистрации программы для ЭВМ № 2011612482. Зарегистрировано в Реестре программ для ЭВМ марта 2011 г.

Подписано в печать 14.06.20Формат 60х84 1/16 Усл.печ.л. 1,28 Уч.-изд.л. 0,Бумага офсетная Тираж 100 экз. Заказ 1Отпечатано в Издательско-полиграфическом комплексе Ставропольского государственного университета.

355009, Ставрополь, ул. Пушкина, 1.




© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.