WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     ||
|

2 049

0

50

12 407

jDocflow

10 000

0

0

3 000

0

40

13 040

DocsVision

9 200

30

20

1 800

2800

40

13 890

Во второй главе представлены новый подход к распознаванию рукописных символов, модель нейронной сети, которая обеспечивает устойчивость к разным видам деформации в задаче распознавания рукописных символов, а также алгоритм ускоренного обучения многослойных нейронных сетей с большим количеством весовых коэффициентов.

В диссертации приведены классификация задач обработки документов (Рис. 1.)

Рис 1. Классификация задач обработки документов

В традиционной модели (рис.2) распознавания образов система делится на 2 модуля:

  • Вручную настроечный модуль выделения признаков собирает наиболее значимую входящую информацию и отсеивает лишнюю.
  • Обучаемый классификатор сортирует полученные характеристические векторы по классам. При таком подходе, как правило, полносвязные многослойные нейронные сети могут быть использованы как классификаторы.

Однако при использовании полносвязных нейронных сетей в РРТ могут возникнуть некоторые проблемы:

  • Сети должны иметь большое количество весов в порядке нескольких десятков тысяч.
  • Отсутствие инвариантности по отношению к переменным и искажению образов входных данных.
  • Обучение требует большого количества обучающих образов сходных по структуре, но имеющих различное положение или наклон для покрытия всего разнообразия возможных вариантов сходной входной информации.
  • Топология входной информации полностью игнорируется.
  • Точность распознавания в значительной степени определяется эффективностью работы модуля выделения признаков. Это приводит к тому, что для каждого нового задания, к сожалению, придется перенастраивать систему.

Рис 2. Традиционная модель

Рис 3. Новая модель

Более рациональный подход состоит в построении систем РРТ, объединяющих модули выделения признаков и классификатор с применением нейронных сетей, имеющих меньшее количество весов относительно многослойных полносвязных нейронных сетей. Системы должны сами выделять признаки и обладать инвариантностью к искажению входных символьных изображений. В диссертации предлагается метод построения таких систем на основе сверточных нейронных сетей (рис. 3).

Нейроны на каждом слое объединены в плоскости (характеристической карте), при этом все нейроны в одной плоскости выделяют одинаковую совокупность весовых коэффициентов. Все нейроны характеристической карты призваны выполнять одинаковые операции над разными частями изображения.

Каждый слой состоит из несколько характерных карт. Каждому нейрону сверточного слоя соответствует поле чувствительности (рецептивное поле), состоящее из матрицы 5х5 сенсорных узлов. Каждый нейрон имеет 25 входов и, следовательно, 25 обучаемых коэффициентов, плюс 1 настраиваемый коэффициент порога. Рецептивное поле каждого нейрона слоя подвыборки представляет собой квадрат размером 2х2 в соответствии с характеристической карты предыдущего слоя (Рис. 4).

Рис 4. Архитектура сверточной нейронной сети СНС_РТ

Каждый нейрон определяет некоторые усредненные величины входных данных со своих четырех входов, умножает их на обучающий весовой коэффициент. Затем добавляет величину настроечного коэффициента порога, и пропускает результат через сигмоидальную функцию. В таблице 3 представлен способ соединения слоев 2 и 3 сети. В таблице 4 приведены показатели сети. Сеть имеет 340908 связей, но только 60030 свободных обучающих параметров, причиной чему является совместное использование весовых коэффициентов.

Таблица 3.

Таблица 4.

Функция активации:

В качестве функции активации была выбрана функция гиперболического тангенса (а= 1,7159, b = 2/3). Определенная таким образом функция гиперболического тангенса имеет ряд по­лезных свойств.

(1) = 1 и (-1) = -1.

В начале координат тангенс угла наклона (т.е. эффективный угол) функции активации близок к единице:

(0) = аb = 1,7159 х 2/3 = 1,1424.

Вторая производная (v) достигает своего максимального значения при v = 1.

Рис 5. Функция активации

Для обучения НС такой конфигурации используется алгоритм обратного распространения ошибки и его модификации. Таким образом, при построении системы распознавания рукописного текста важную роль играет выбор алгоритма обучения нейронной сети. Обучение заданной модели нейронной сети проводилось с использованием следующих алгоритмов:

  • "классический" алгоритм обратного распространения ошибки;
  • алгоритм обратного распространения ошибки с моментом;
  • алгоритм обратного распространения ошибки с оптимизацией квази-Ньютона;
  • алгоритм обратного распространения Левенберга-Маркара;

Уравнение для коррекции весовых коэффициентов НС при обучении по классическому алгоритму обратного распространения имеет следующий вид:

(1)

Алгоритм обратного распространения с градиентным спуском видоизменяется таким образом, чтобы в уравнении коррекции весовых коэффициентов включать слагаемое момента (или инерции), которое пропорционально величине предыдущего изменения веса. Величина коррекции с учетом слагаемого момента видоизменяется таким образом:

(2)

В алгоритме с оптимизацией квази-Ньютона целевая функция в окрестностях произвольной точки аппроксимируется квадратичной функцией, при этом на каждой итерации решается задача локальной минимизации:

(3)

где H - симметричная и положительно определенная матрица вторых частных производных (матрица Гессе), с - постоянный вектор, b - константа.

Итерационное уравнение методов Ньютона имеет вид:

(4)

где f(wk) - функция, для которой ведется поиск минимума. Уравнение (4) в том виде, в котором оно записано, требует вычисления и обращения матрицы Гессе на каждом шаге, что часто является основной частью вычислений.

Алгоритм Левенберга-Марквардта (Levenberg-Marquardt Algorithm, LMA) является наиболее распространенным алгоритмом оптимизации. Он превосходит по производительности методы сопряженных градиентов в различных задачах. Как видно из таблицы 5 , наиболее быстрым алгоритмом обучения НС является алгоритм обратного распространения LMA.

Таблица 5.

Алгоритм

Ошибка

Эпохи

"Классический" алгоритм обратного распространения ошибки

0.0997834

674

Алгоритм обратного распространения ошибки с моментом

0.0993434

1005

Алгоритм обратного распространения ошибки с оптимизацией квази-Ньютона

0.0944526

12

Алгоритм обратного распространения Левенберга-Маркара (LMA)

0.0034274

4

В модели НС функции стоимости определяются формулой:

где - вектор весовых коэффициентов сети;

dkp – настоящее значение k-ого выхода при подаче на НС p-ого образа;

okp – ожидаемое значение k-ого выхода при подаче на НС p-ого образа;

N – колличество весов сети, P – количество образов обучающей выборки.

Уравнение (5) можно переписать в виде:

(6)

Матрица Якобиан определяется формулой:

(7)

Где - вектор ошибок на выходе для всех образов. ( )

Веса в каждой итерации вычисляются по формуле:

(8)

где I – единичная матрица.

- обучающий параметр.

Данное правило используется следующим образом: если на очередной итерации невязка сокращается, мы уменьшаем (обычно в 10 раз), чтобы понизить влияние градиентного спуска. Если невязка увеличивается, необходимо следовать направлению градиента, и мы увеличиваем (во столько же раз).

Единственный недостаток алгоритма LMA заключается в необходимости обращения матрицы на каждом шаге.

Даже не смотря на то, что нахождение обратной матрицы обычно выполняется с использованием быстрых методов псевдообращения (таких как, разложение по сингулярным числам матрицы), время одной итерации становится неприемлемым для нескольких тысяч параметров. В диссертации разработан модифицированный алгоритм LMA, который обеспечивает эффективность и быстроту обучения многослойных нейронных сетей по методу обратного распространения ошибок.

Модификация алгоритма LMA

Формулу (5) можно переписать как:

(9)

Где и (k =1,2,...K).

Теперь, матрицу Якобиан можно переписать в следующем виде:

(10)

Соответственно, преобразуем уравнение (5) в следующее:

(11)

Рассмотрим следующую операцию с матрицами.

Если, то справедливо уравнение

(12)

(13)

(14)

(15)

Заменить (10), (11), (12), (13) в (9) получаем:

(16)

И заменить (14) в (8) получаем:

(17)

Стоит отметить, что в правой части уравнения (16) размер результирующей матрицы равняется KxK. Значит затрат ресурса при вычислении операций с матрицами гораздо снизится (т.к. на практике количество выходов К гораздо меньше количества весов сети N). В результате чего, затрат ресурса при обновлении веса по формуле (17) становится намного меньше чем по формуле (8).

В третьей главе была разработана программа СНС_РТ, а также проведены эксперименты по работоспособности предложенных модели НС и алгоритмов обучения НС. Ниже показаны иерархия классов и примеры объектов в БД (Рис.6 – Рис.7).

Pages:     ||
|



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.