WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 8 | 9 || 11 | 12 |   ...   | 25 |
        1. Литература
  1. DeSieno D. 1988. Adding a conscience to competitive learningProceedings of the IEEE International Conference on Neural Networks,pp. 117-24. San Diego, CA: SOS Printing.
  2. Qrossberg S. 1969. Some networks that can learn, remember andreproduce any number of complicated space-time patterns. Journal of Mathematicsand Mechanics, 19:53-91.
  3. Grossberg S. 1971. Embedding fields: Underlying philosophy,mathematics, and applications of psyho-logy, phisiology, and anatomy. Journalof Cybernetics, 1:28-50.
  4. Grossberg S. 1982. Studies of mind and brain. Boston:Reidel.
  5. Hecht-Nielsen R. 1987a. Counterpropagation networks. InProceedings of the IEEE First International Conference on Newral Networks, eds.M. Caudill and C. Butler, vol. 2, pp. 19-32. San Diego, CA: SOSPrinting.
  6. Hecht-Nielsen R. 1987b. Counterpropagation networks. AppliedOptics 26(23): 4979-84.
  7. Hecht-Nielsen R. 1988. Applications of Counterpropagationnetworks. Newral Networks 1: 131-39.
  8. Kohonen Т. 1988. Self-organization and associative memory. 2d ed.New-York, Springer-Verlag.
    1. Глава 5.
      Стохастические методы

Стохастические методы полезны как дляобучения искусственных нейронных сетей, так и для получения выхода от ужеобученной сети. Стохастические методы обучения приносят большую пользу,позволяя исключать локальные минимумы в процессе обучения. Но с ними такжесвязан ряд проблем.

Использование стохастических методов дляполучения выхода от уже обученной сети рассматривалось в работе [2] иобсуждается нами в гл. 6. Данная глава посвящена методам обучениясети.

      1. ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ

Искусственная нейронная сеть обучаетсяпосредством некоторого процесса, модифицирующего ее веса. Если обучениеуспешно, то предъявление сети множества входных сигналов приводит к появлениюжелаемого множества выходных сигналов. Имеется два класса обучающих методов:детерминистский и стохастический.

Детерминистский метод обучения шаг за шагом осуществляет процедуру коррекции весов сети,основанную на использовании их текущих значений, а также величин входов,фактических выходов и желаемых выходов. Обучение персептрона является примеромподобного детерминистского подхода (см. гл. 2).

Стохастические методы обучения выполняют псевдослучайные изменения величин весов, сохраняя теизменения, которые ведут к улучшениям. Чтобы увидеть, как это может бытьсделано, рассмотрим рис. 5.1, на котором изображена типичная сеть, в которойнейроны соединены с помощью весов. Выход нейрона является здесь взвешеннойсуммой его входов, которая, преобразована с помощью нелинейной функции(подробности см. гл. 2). Для обучения сети может быть использована следующаяпроцедура:

  1. Выбрать вес случайным образом и подкорректировать его на небольшоеслучайное Предъявить множество входов и вычислить получающиесявыходы.
  2. Сравнить эти выходы с желаемыми выходами и вычислить величинуразности между ними. Общепринятый метод состоит в нахождении разности междуфактическим и желаемым выходами для каждого элемента обучаемой пары, возведениеразностей в квадрат и нахождение суммы этих квадратов. Целью обучения являетсяминимизация этой разности, часто называемой целевойфункцией.
  3. Выбрать вес случайным образом и подкорректировать его на небольшоеслучайное значение. Если коррекция помогает (уменьшает целевую функцию), тосохранить ее, в противном случае вернуться к первоначальному значениювеса.
  4. Повторять шаги с 1 до 3 до тех пор, пока сеть не будет обучена вдостаточной степени.

Рис. 5.1. Двухслойная сеть без обратныхсвязей

Этот процесс стремится минимизироватьцелевую функцию, но может попасть, как в ловушку, в неудачное решение. Нарис. 5.2 показано, как это может иметь место в системе с единственным весом.Допустим, что первоначально вес взят равным значению в точке А. Если случайныешаги по весу малы, то любые отклонения от точки А увеличивают целевую функцию ибудут отвергнуты. Лучшее значение веса, принимаемое в точке В, никогда не будетнайдено, и система будет поймана в ловушку локальным минимумом, вместоглобального минимума в точке В. Если же случайные коррекции веса очень велики,то как точка А, так и точка В будут часто посещаться, но то же самое будетиметь место и для каждой другой точки. Вес будет меняться так резко, что онникогда не установится в желаемом минимуме.

Рис.5.2. Проблема локальныхминимумов.

Полезная стратегия для избежания подобныхпроблем состоит в больших начальных шагах и постепенном уменьшении размерасреднего случайного шага. Это позволяет сети вырываться из локальных минимумови в то же время гарантирует окончательную стабилизацию сети.

Ловушки локальных минимумов досаждают всемалгоритмам обучения, основанным на поиске минимума, включая персептрон и сетиобратного распространения, и представляют серьезную и широко распространеннуютрудность, которой часто не замечают. Стохастические методы позволяют решитьэту проблему. Стратегия коррекции весов, вынуждающая веса принимать значениеглобального оптимума в точке В, возможна.

В качестве объясняющей аналогии предположим,что на рис. 5.2 изображен шарик на поверхности в коробке. Если коробку сильнопотрясти в горизонтальном направлении, то шарик будет быстро перекатываться отодного края к другому. Нигде не задерживаясь, в каждый момент шарик будет сравной вероятностью находиться в любой точке поверхности.

Если постепенно уменьшать силу встряхивания,то будет достигнуто условие, при котором шарик будет на короткое время«застревать» в точке В. При еще более слабом встряхивании шарик будет накороткое время останавливаться как в точке А, так и в точке В. При непрерывномуменьшении силы встряхивания будет достигнута критическая точка, когда силавстряхивания достаточна для перемещения шарика из точки А в точку В, нонедостаточна для того, чтобы шарик мог вскарабкаться из В в А. Таким образом,окончательно шарик остановится в точке глобального минимума, когда амплитудавстряхивания уменьшится до нуля.

Искусственные нейронные сети могут обучатьсяпо существу тем же самым образом посредством случайной коррекции весов. Вначаледелаются большие случайные коррекции с сохранением только тех изменений весов,которые уменьшают целевую функцию. Затем средний размер шага постепенноуменьшается, и глобальный минимум в конце концов достигается.

Это сильно напоминает отжиг металла, поэтомудля ее описания часто используют термин «имитация отжига». В металле, нагретомдо температуры, превышающей его точку плавления, атомы находятся в сильномбеспорядочном движении. Как и во всех физических системах, атомы стремятся ксостоянию минимума энергии (единому кристаллу в данном случае), но при высокихтемпературах энергия атомных движений препятствует этому. В процессепостепенного охлаждения металла возникают все более низкоэнергетическиесостояния, пока в конце концов не будет достигнуто наинизшее из возможныхсостояний, глобальный минимум. В процессе отжига распределение энергетическихуровней описывается следующим соотношением:

P(e) = exp(–e/kT) (5.1)

где Р(е) – вероятность того, что системанаходится в состоянии с энергией е; k – постоянная Больцмана;Т – температура по шкалеКельвина.

При высоких температурах Р(е) приближается к единице для всехэнергетических состояний. Таким образом, высокоэнергетическое состояние почтистоль же вероятно, как и низкоэнергетическое. По мере уменьшения температурывероятность высокоэнергетических состояний уменьшается по сравнению снизкоэнергетическими. При приближении температуры к нулю становится весьмамаловероятным, чтобы система находилась в высокоэнергетическомсостоянии.

        1. Больцмановскоеобучение

Этот стохастический метод непосредственноприменим к обучению искусственных нейронных сетей:

  1. Определить переменную Т, представляющую искусственную температуру. Придать Т большое начальноезначение.
  2. Предъявить сети множество входов и вычислить выходы и целевуюфункцию.
  3. Дать случайное изменение весу и пересчитать выход сети и изменениецелевой функции в соответствии со сделанным изменением веса.
  4. Если целевая функция уменьшилась (улучшилась), то сохранитьизменение веса.

Если изменение веса приводит к увеличениюцелевой функции, то вероятность сохранения этого изменения вычисляется спомощью распределения Больцмана:

P(c) = exp(–c/kT) (5.2)

где Р(с) – вероятность измененияс в целевой функции;k – константа, аналогичная константеБольцмана, выбираемая в зависимости от задачи; Т – искусственнаятемпература.

Выбирается случайное число r из равномерного распределения от нулядо единицы. Если Р(с)больше, чем r, то изменениесохраняется, в противном случае величина веса возвращается к предыдущемузначению.

Это позволяет системе делать случайный шаг внаправлении, портящем целевую функцию, позволяя ей тем самым вырываться излокальных минимумов, где любой малый шаг увеличивает целевуюфункцию.

Для завершения больцмановского обученияповторяют шаги 3 и 4 для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимонизкое значение целевой функции. В этот момент предъявляется другой входнойвектор и процесс обучения повторяется. Сеть обучается на всех векторахобучающего множества, с возможным повторением, пока целевая функция не станетдопустимой для всех них.

Величина случайного изменения веса на шаге 3может определяться различными способами. Например, подобно тепловой системевесовое изменение w можетвыбираться в соответствии с гауссовским распределением:

P(w) = exp(–w2/T2) (5.2)

где P(w)– вероятность изменения веса на величину w, Т – искусственнаятемпература.

Такой выбор изменения веса приводит ксистеме, аналогичной [З].

Так как нужна величина изменения весаДw, а не вероятность изменения веса, имеющего величину w, то метод Монте-Карло может бытьиспользован следующим образом:

  1. Найти кумулятивную вероятность, соответствующую P(w). Это естьинтеграл от P(w) в пределахот 0 до w. Так как в данномслучае P(w) не может быть проинтегрированааналитически, она должна интегрироваться численно, а результат необходимозатабулировать.
  2. Выбрать случайное число из равномерного распределения на интервале(0,1). Используя эту величину в качестве значения P(w}, найти в таблице соответствующеезначение для величины изменения веса.

Свойства машины Больцмана широко изучались.В работе [1] показано, что скорость уменьшения температуры должна быть обратнопропорциональна логарифму времени, чтобы была достигнута сходимость кглобальному минимуму. Скорость охлаждения в такой системе выражается следующимобразом:

(5.4)

где T(t) –искусственная температура как функция времени;Т0– начальнаяискусственная температура; t– искусственноевремя.

Этот разочаровывающий результатпредсказывает очень медленную скорость охлаждения (и данные вычисления). Этотвывод подтвердился экспериментально. Машины Больцмана часто требуют дляобучения очень большого ресурса времени.

        1. ОбучениеКоши

В работе [6] развит метод быстрого обученияподобных систем. В этом методе при вычислении величины шага распределениеБольцмана заменяется на распределение Коши. Распределение Коши имеет, какпоказано на рис. 5.3, более длинные «хвосты», увеличивая тем самым вероятностьбольших шагов. В действительности распределение Коши имеет бесконечную(неопределенную) дисперсию. С помощью такого простого изменения максимальнаяскорость уменьшения температуры становится обратно пропорциональной линейнойвеличине, а не логарифму, как для алгоритма обучения Больцмана. Это резкоуменьшает время обучения. Эта связь может быть выражена следующимобразом:

(5.5)

Распределение Коши имеет вид

(5.6)

где Р(х) естьвероятность шага величины х.

Рис. 5.3. Распределение Коши ираспределение Больцмана

В уравнении (5.6) Р(х) может быть проинтегрирована стандартными методами. Решаяотносительно х,получаем

xc =ρ T(t) tg(P(x)), (5.7)

где ρ – коэффициент скорости обучения;хc– изменениевеса.

Теперь применение метода Монте Карлостановится очень простым. Для нахождения х в этом случае выбирается случайноечисло из равномерного распределения на открытом интервале (–π/2,π/2) (необходимоограничить функцию тангенса). Оно подставляется в формулу (5.7) в качествеР(х), и с помощью текущей температуры вычисляется величинашага.

        1. Методискусственной теплоемкости

Несмотря на улучшение, достигаемое с помощьюметода Коши, время обучения может оказаться все еще слишком большим. Способ,уходящий своими корнями в термодинамику, может быть использован для ускоренияэтого процесса. В этом методе скорость уменьшения температуры изменяется всоответствии с искусственной «теплоемкостью», вычисляемой в процессеобучения.

Во время отжига металла происходят фазовыепереходы, связанные с дискретными изменениями уровней энергии. При каждомфазовом переходе может иметь место резкое изменение величины, называемойтеплоемкостью. Теплоемкостьопределяется как скорость изменения температуры с энергией. Изменениятеплоемкости происходят из-за попадания системы в локальные энергетическиеминимумы.

Искусственные нейронные сети проходятаналогичные фазы в процессе обучения. На границе фазового переходаискусственная теплоемкость может скачкообразно измениться. Этапсевдотеплоемкость определяется как средняя скорость изменения температуры сцелевой функцией. В примере шарика в коробке сильная начальная встряска делаетсреднюю величину целевой функции фактически не зависящей от малых измененийтемпературы, т. е. теплоемкость близка к константе. Аналогично при очень низкихтемпературах система замерзает в точке минимума, так что теплоемкость сноваблизка к константе. Ясно, что в каждой из этих областей допустимы сильныеизменения температуры, так как не происходит улучшения целевойфункции.

Pages:     | 1 |   ...   | 8 | 9 || 11 | 12 |   ...   | 25 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.