WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 20 | 21 || 23 | 24 |   ...   | 82 |

На данный момент нами разработана и спроектирована нормализованная база данных экспериментов, которую планируется пополнять в ходе продолжающихся экспериментов по оптимизации ИНС под конкретные задачи.

Оптимизация ИНС в рамках бионической парадигмы В рамках теории ИНС было разработано множество алгоритмов оптимизации параметров топологии. Их можно разделить на конструктивные и деструктивные. Конструктивные алгоритмы начинают работу с минимально возможной сетью (без скрытых слоев, а иногда и без выходного слоя, как в алгоритме расширяющегося нейронного газа) и продолжают наращивать нейроны, а подчас и слои, вплоть до достижения желаемого результата.

Очевидным недостатком этих методов является неспособность учесть возможность применения другой топологии, другого алгоритма обучения и т.д. Плюсом же является тот факт, что разработчик остается в рамках коннекционизма.

Генетическая оптимизация ИНС Наибольшую эффективность как конструктивным, так и деструктивным подходам придают генетические алгоритмы (ГА) [Ragg, 1996]. Однако подобный подход не решает основной проблемы деструктивных и конструктивных алгоритмов, которая обозначена выше. Для того чтобы для определенного типа сетей решить все задачи оптимизации (выбор параметров топологии, алгоритма обучения, параметров XII-th International Conference "Knowledge - Dialogue - Solution" алгоритма обучения) используются метагенетические алгоритмы. Заметим, что, так как практика показывает, что ГА хорош в нахождении области притяжения глобального минимума, а нахождение самого минимума лучше возложить на алгоритмы обучения ИНС, оптимизироваться должны как веса ИНС, так и алгоритм обучения. Пример метагенетического алгоритма можно найти в работе [Abraham, 2002].

Вполне очевидно, что подобный подход позволяет находить (суб)оптимальные ИНС, но он может применяться лишь в случае, если процесс поиска оптимальной сети отделен от процесса применения в связи с большой вычислительной сложностью. Вторым недостатком является необходимость создания нескольких таких алгоритмов, если планируется сравнивать несколько различных типов сетей. Другими словами оптимизация по типу сети является невозможной в рамках генетической парадигмы.

Применение многоагентных систем для оптимизации ИНС Поставим некоторую особь в рамки окружающей среды, которая соответствует поставленной задаче.

Затем дадим особи знания об этой окружающей среде, своем месте в ней и других особях. Определим конкретную цель для особи. Важно также предоставить ей возможность обучаться, и делиться накопленными знаниями. Можно также добавить возможность случайных изменений, для решения проблемы локальных минимумов. Теперь мы можем определить приз (например, выживание) для лучших, и получим модель, позволяющую в рамках данной конкретной задачи получить оптимальный результат, оптимальную особь. При этом по желанию, мы можем все знания представлять в терминах проблемной области (далее ПО), а значит, мы получим и компоненту объяснения, и результат опять таки в терминах конкретной ПО. В данном случае речь пойдет не о функции фитнеса, а скорее о целой «задаче фитнеса», т.е. особь, решающая данную задачу быстрее, точнее, качественнее и будет искомой.

Проделав все вышеперечисленное, из простого ГА мы получим многоагентный алгоритм оптимизации.

Таким образом, мы заменяем разработчиков агентами, условия задачи – средой и ставим перед агентами цель в рамках данной среды найти возможные решения задачи.

Метафора возможных сред обитания агентов Рассмотрим мир А. Большое количество агентов живут в мире, и каждый агент имеет целью создать лучшую ИНС (все приведенные примеры основаны на принципе конкуренции, не исключающей ограниченной кооперации). Агент обладает знаниями о построении ИНС и о взаимосвязи различных компонент.

Предпочтения. Агент изначально имеет (обладает знаниями) всю информацию о мире, включая информацию об ассортименте каждого из магазинов. В мире есть 1) магазин входных данных (здесь получают данные, можно добавить выбор размерности вектора входов или выбор предобработчика);

2) магазин типов сетей (здесь выбирают тип сети);

3) магазин параметров топологии (здесь выбирают параметры топологии);

4) магазин алгоритмов обучения (здесь выбирают алгоритм обучения и его параметры);

5) арена тестирования (здесь проходит тестирование получившейся сети);

6) лаборатория облучения (с определенной вероятностью случайно изменяет предпочтения).

Ассортимент каждого из магазинов определяется условиями задачи. На нулевой итерации определяются «врожденные» предпочтения агента (его знания об оптимальной сети). В простейшем случае можно создавать агента без предпочтений или со случайными предпочтениями. С другой стороны можно изначально привить агенту «любовь», например, к РБФ сети. На каждой итерации каждый агент пробегает по всем магазинам, приходит на арену, ждет оставшихся агентов, проходит тестирование и разочаровывается или убеждается в своих выборах (значит в будущем он, скорее всего, не сделает такой же выбор (те же ошибки)). Результаты каждой итерации фиксируются. Возможно увеличение доверия к компонентам сетей победителей (5%-10% от популяции). После тестирования агент попадает в лабораторию. Компоненты в магазинах бесплатны.

Neural and Growing Networks После определенного числа итераций или по нахождению (суб) оптимальной сети работа системы останавливается, и результатами будут 1. База данных экспериментов.

2. Лучшая из найденных сетей.

3. Несколько близких конкурентов.

4. База знаний самых успешных агентов.

О возможности применения первой речь шла выше. Лучшую из найденных сетей можно 1. Объявить оптимальной и наиболее пригодной для данной задачи.

2. Исследовать на «устойчивость» – сравнить с близкими конкурентами, если среди них много сходных сетей, значит, данная сеть, скорее всего, будет хорошо работать на новых данных из проблемной области, в противном случае необходимо с большей долей недоверия относится к результатам эксперимента.

3. Включить в ансамбль вместе с ближайшими конкурентами и применять данный ансамбль.

База знаний лучшего агента может быть использована для генерации компоненты объяснения и для выбора оптимальной сети в схожей проблемной области в будущем.

Антирыночные цены. Рассмотрим мир В. Агент изначально имеет (обладает знаниями) всю информацию о мире, включая информацию об ассортименте каждого из магазинов и о ценах в каждом из магазинов.

Более того, при изменении цен в любом магазине, агент сразу же узнает об этом. Мир В отличается тем, что любой товар в магазине имеет цену и агент не просто берет, а покупает товар. В мире В нет лаборатории облучения. Изначально каждый компонент в каждом магазине имеет свою цену. При отсутствии априорных знаний об оптимальной сети следует назначать одинаковые цены эквивалентным компонентам. В начале каждой итерации у каждого агента есть определенное количество ресурсов (это количество может уменьшаться от итерации к итерации), никак не связанное с прошлой итерацией.

Агенты, решив задачу, о том, как потратить ресурсы, чтобы получилась сеть, проходят тестирование (можно добавить возможность обучения агентов, для оптимизации принимаемых ими решений). Чем лучше зарекомендовал себя компонент в тестировании, тем дешевле он становится в магазине (можно ввести систему скидок, для того чтобы учесть взаимосвязь между компонентами, то есть, если в наилучшей известной сети использовались два определенных компонента, то покупка второго будет дешевле номинала, при наличии первого). Таким образом, в будущем агенты будут более склонны покупать именно приносящие лучшие плоды компоненты. Время от времени цена случайных компонентов изменяется. Одним из результатов работы системы будет список цен, позволяющий определить наиболее адекватные компоненты.

Буржуазный мир. В мире С к объектам мира В добавлено казино, где случайным образом с определенной вероятностью изменяется капитал агентов. Возможно применение лаборатории облучения. На нулевой итерации определяются «врожденные» предпочтения агента (его знания об оптимальной сети) и начальный капитал каждого агента. Изначально каждый компонент в каждом магазине имеет свою цену.

При отсутствии априорных знаний об оптимальной сети следует назначать одинаковые цены эквивалентным компонентам. Агенты, решив задачу, о том, как потратить ресурсы, чтобы получилась сеть, проходят тестирование (можно добавить возможность обучения агентов, для оптимизации принимаемых ими решений). Чем лучше результаты агента, тем больше денег он зарабатывает.

Изменение предпочтений аналогично миру А. Чем лучше зарекомендовал себя компонент в тестировании, тем дороже он становится в магазине. Таким образом, одни агенты (богатые) будут развивать свой успех, двигаясь в изначально выбранном направлении, другие (бедные) будут вынуждены искать принципиальные новые решения (возможно лучшие), а значит, уменьшается вероятность «застрять» в локальном минимуме. После тестирования агент попадает в казино. Результаты работы системы аналогичны мирам А и В.

XII-th International Conference "Knowledge - Dialogue - Solution" Заключение В данной статье мы рассмотрели различные возможности оптимизации ИНС. Каждый разработчик вправе выбирать подход более адекватный его задаче. Однако, по выше названным причинам, мы считаем, что многоагентный подход является универсальным и при правильном применении способен находить (суб)оптимальное решение.

На очереди создание соответствующего программного инструментария, способного применить всю мощь многоагентных систем. Выбор из приведенных концепции также должен стать предметом будущих исследований. В силу отмеченной пользы, которую способна принести база данных экспериментов, будущий инструментарий планируется снабдить возможностями по автоматическому ведению и применению подобной базу. Подобная база данных сама по себе представляет интерес, так на ее основе может быть создана база знаний для оптимизации ИНС под конкретную задачу.

Библиографический список [Abraham, 2002] A. Abraham. Optimization of Evolutionary Neural Networks using Hybrid Learning Algorithms // IEEE Joint International Conference on Neural networks. 2002. Volume 3. P. 2797-[Gonzalez, 2000] S. Gonzalez. Neural Networks for Macroeconomic Forecasting: A Complementary Approach to Linear Regression Models, Working Papers, Department of Finance Canada. Available at:

“http://www.machinelearning.net/ann/Gonz00.pdf”. 07/2000.

[Ragg, 1996] T. Ragg, H. Braun, H. Landsberg. A Comparative Study of Neural Network Optimization Techniques // In 13th International Conference on Machine Learning: Workshop Proceedings on Evolutionary Computing and Machine Learning, 1996, P. 111–118.

[Уоссермен, 1992] Ф. Уоссермен. Нейрокомпьютерная техника, М.: Мир, Информация об авторах Кирилл Юрков – Пермский Государственный Университет, студент; Россия, 614990, Пермь, ул. Букирев, д.15; e-mail: forfin@mail.ru NEAREST STRING BY NEURAL-LIKE ENCODING Artem Sokolov Abstract: We analyze an approach based on distributed representations in the neural network paradigm to similarity preserving coding of symbol sequences and showed that it can be viewed as an embedding process.

We also give conditions for obtaining binary and ternary vectors at the output that can be useful for a unified approach to representation and processing of various data types.

Keywords sequence similarity, edit distance, metric embeddings, distributed representations ACM Classification Keywords: I.2.6 Connectionism and neural nets, E.m Miscellaneous Introduction Edit distance (Levenshtein distance) [Levenshtein, 1966] is used in а large number of research areas from genetics and web-search to anomaly detection in network traffic and voice recognition. Taking into account the contemporary data lengths (millions and billions of symbols) that have to be dealt with in the mentioned areas, the classic O(n2)-algorithm [Vintsyuk, 1968; Wagner, 1974] of its calculation is not applicable in practice.

These circumstances gave birth to a branch of information theory concerned with the acceleration of edit distance calculation or its approximation (see survey [Navarro, 2001]). An exponential increase in the characteristic Neural and Growing Networks lengths of sequences, which are subject to comparison (the genome assembly, the need to compare data flows in information systems, etc.) urged interest to applications of the metric embedding theory (see survey [Indyk, 2004]). This theory is concerned with space mappings that simplify distance calculation [Indyk, 2001].

Levenshtein edit distance embedding to a vector space is an actual known open problem [Matouek, 2002].

Independently, within the framework of the neural network paradigm of AI several approaches were proposed to the task of distributed representation and comparison of strings and other structured objects [Kussul, 1991;

Rachkovskij, 2001]. Some approaches aimed at finding similarity of strings were presented in [Sokolov, 2005].

Here we develop one of them, namely, the approach based on the position-dependent thinning of vector representations, giving a theoretical grounding to the obtained scheme with the aid of probabilistic embedding of the edit metrics into Manhattan space.

Task Description We seek for a way to effectively calculate Levenshtein edit distance with the help of vector representations or, more specifically, by embedding edit metrics to a vector space.

Our method belongs to the group of the so-called q-gram edit distance approximation methods (q-gram is a substring of length q), started by [Ukkonen, 1992]. We noted that the approach based on the distributed representations [Sokolov, 2005] partly resembles embedding or sketching methods [Cormode, 2000;

Bar-Yossef, 2004; Batu, 2004] and therefore we attempted to combine both presenting the neural coding approach as an edit distance embedding into Manhattan space. In order to show that the proposed method l realizes one of the possible embedding definitions [Indyk, 2001], we will give the proofs of:

1) «upper bound», i.e. statements like ed(x,y) k => P[d(v(x),v(y) d ]p 1 1 (1a) (1b) 2) «upper bound», i.e. statements like ed(x,y)>k => P[d(v(x),v(y)>d ]p.

Pages:     | 1 |   ...   | 20 | 21 || 23 | 24 |   ...   | 82 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.