WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 34 | 35 || 37 | 38 |   ...   | 58 |

Модели рассуждений по аналогии (Рис. 2) по входному эпизоду находят наиболее Поиск и обработка аналогов требует сходные эпизоды-аналоги в памяти, использования вычислительно сложных используя меру сходства, учитывающую операций оценки сходства сложных структуру аналогов. Затем входной эпизод вложенных структур. Однако, такие Материалы XVI Международной конференции по нейрокибернетике "затраты" оправданы тем, что могут быть К сожалению, эти методы (меры), как найдены более релевантные примеры. правило, требуют решения NP-полных Структурное сходство аналогов задач или подвержены комбинаторному отражает то, как элементы аналогов взрыву [17]. Таким образом, из-за (например, сущности, отношения и вычислительных трудностей они подструктуры различных иерархических практически неприменимы для больших уровней) расположены (организованы) по графов, а тем более для больших баз таких отношению друг к другу. Оно основано на графов. С другой стороны, даже полностью понятии "структурной согласованности" изоморфные графы часто не отвечают [12] или "изоморфизма" [13]. Аналоги требованиям, которые предъявляют люди к также сравниваются по "поверхностному" сходству аналогов [18]. Это означает, что или "внешнему сходству" [14] на основе поверхностное, семантическое сходство, общих элементов аналогов, или по более также важно.

широкому "семантическому сходству" [13] Вычислительную сложность и на основе, например, принадлежности к неадекватность граф-теоретических одной таксономической категории или моделей и мер сходства для сходству векторов характеристических структурированных примеров пытаются признаков [14]. преодолеть введением различных мер и Эксперименты по оценке людьми моделей оценки сходства. Для этого сходства и аналогии подтвердили, что как исходные описания примеров поверхностное, так и структурное сходство трансформируются и / или дополняются необходимо для поиска адекватных внутренними представлениями и аналогов [14]. Хотя структурное сходство в моделями.

поиске аналогов считается менее важным, Исследователями рассуждений по чем в отображении (сопоставлении, поиске аналогии предложен ряд эвристических соответствий), модели поиска, которые моделей поиска аналогов на основе учитывают только поверхностное сходство, сходства. Наиболее продвинутыми из них считаются недостаточными. являются MAC/FAC, которая работает с Реляционную структурированную символьными структурами [14] и ARCS, информацию в эпизодах или аналогах, использующая локалистские нейросетевые которые применяют в рассуждениях по структуры [13]. Другой подход использует аналогии, часто рассматривают как примерное субоптимальное сравнение помеченные ориентированные графов или специальные виды графов упорядоченные ациклические графы (Рис. [17,19]. Эти методы оценки сходства 4). имеют полиномиальную вычислительную сложность. Однако, полиномиальная R сложность для больших аналогов и баз 1 2 примеров также неприемлема, по крайней мере, для степени полинома более 2-3.

R1 RТаким образом, традиционные 1 1 методы работы со структурами R C вычислительно дорогие и плохо учитывают 1 семантику. Альтернативный подход A B заключается в преодолении высокой вычислительной сложности и плохого Рис. 4. Пример графа – структурированного эпизода базы знаний.

учета семантики путем вложения Это порождает соблазн (преобразования) графов во внутренние использовать меры сходства графов из векторные представления. В отличие от теории графов такие как изоморфизм рассуждений по прецедентам, в подграфов; максимальный общий подграф;

рассуждениях по аналогии такие векторы минимальный общий суперграф;

должны отражать не только семантику, но расстояния редактирования графов [15-17].

и структуру примеров.

4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ» Распределенные векторные – непосредственное представление представления примеров сходства (сходные объекты имеют сходные представления) и использование В последнее время ряд подходов к эффективно вычислимых мер сходства вложению графов в векторные (скалярное произведение или расстояние);

пространства был разработан в теории – возможность использования хорошо графов [20, 19, 21]. Еще раньше, развитых методов векторной обработки интересные методы таких вложений были информации;

предложены в области исследований, – богатую семантическую основу, за счет известной как "распределенные использования представлений на основе представления" (distributed representations) признаков, и даже позволяя отразить [22]. Это нейросетевой подход, основанный сходство признаков.

на моделировании представления К достоинствам РП относятся также информации в мозге, к которому привели нейробиологическая релевантность;

идеи распределенного или избыточное представление информации, "голографического" представления что приводит к способности работать в информации в мозге, как альтернативы условиях шума, сбоев, и неопределенности;

"локалистским" представлениям" [23]. надежность и "мягкая деградация".

В локалистских представлениях Считалось, что главным каждому объекту (например, признак, недостатком распределенных физический объект, отношение и т.п.) представлений является неспособность соответствует некоторый узел, символ, или представлять структуру (см., например, [24] компонент вектора. Распределенное и ссылки в ней). Однако, в последнее время представление (РП) информации – форма появились схемы "структурно- векторного представления, где каждый чувствительных" распределенных объект представлен множеством представлений в виде векторов различных компонентов вектора, и каждый компонент форматов, где для представления вектора может принадлежать структуры используются операции представлениям многих объектов [22]. связывания (binding). "Голографические Поэтому, в РП семантика отдельных редуцированные представления" компонентов векторов представления не (Holographic Reduced Representations HRRs) определена, в отличие от обычного (ссылки в [25]) используют векторы с (локалистского) векторного представления. вещественными компонентами и операцию Распределенные представления круговой свертки для их связывания.

обеспечивают: "Бинарные распределенные коды" (Binary – высокую информационную емкость Spatter Codes) ссылки в Канервы [26] (например, если один объект представлен используют векторы c компонентами {0,1} M компонентами N-мерного вектора и покомпонентное исключающее ИЛИ для представления, число представимых связывания. Схема "умножение, сложение, объектов распределенных представлений перестановка" (Multiply, Add, Permute) равно числу сочетаний из N по М, в Гейлера [27] использует векторы с отличие от N/M в локалистских компонентами {–1, +1} и покомпонентное представлениях); умножение для связывания.

– явное представление релевантных В разрабатываемой нами парадигме аспектов объектов как элементов АПНС для РП используются двоичные многомерного вектора, что обеспечивает векторы с компонентами {0,1}, которые мы непосредственный доступ к ним: называем кодвекторами. Любой объект х информация может быть извлечена с (атрибут, объект, отношение) представлен помощью простой обработки и без кодвектором X (xX). Кодвекторы – дополнительного обращения к памяти (без разреженные векторы, то есть доля прослеживания указателей и т.п.); ненулевых компонент вектора М Материалы XVI Международной конференции по нейрокибернетике кодвектора X размерностью N мала: M/N применения специальных методов << 1/2. хранения и обработки данных.

Сходные объекты (в контексте Такое преобразование может быть прикладной задачи) должны иметь сходные выполнено при помощи кодвекторы. Сходство кодвекторов персептроноподобной нейронной сети. Для определяется на основании скалярного решения задач классификации, произведения, которое для двоичных аппроксимации, гетероассоциативной векторов равно числу общих единичных памяти и др. веса связей таких сетей компонентов, то есть, перекрытию X, Y: обычно настраивают на обучающей выборке, стартуя со случайных весов.

|XY|, где – покомпонентная Однако, нейросети со случайной начальной конъюнкция, |Z| число ненулевых структурной организацией уже имеют компонентов в Z. Для связывания полезные свойства [28-32, 7].

используется специальная операция Преобразуем входной массив контекстно-зависимого прореживания [24].

данных, представленный в виде входной В последующих разделах рассмотрим матрицы X(AxL), L – число векторов, в разработанные методы формирования и массив Y(NxL) путем его повекторной обработки РП векторных данных и подачи на однослойный персептрон (Рис.

реляционных структур.

5) со случайными связями, представленными в виде матрицы R(NxA):

Распределенное представление и Y=RX.

обработка векторных данных z1 z2 z3 zN z Большая часть электронных цифровых данных может быть представлена в виде матриц или таблиц.

...

Например, массивы текстов для целей y поиска или классификации рассматривают как матрицы слова-тексты, где в столбцах –...

тексты, а в строках – слова. Эту же 1 N информацию можно трактовать как набор точек в многомерном пространстве.

R Размерность пространства может составлять, например, сотни тысяч (по числу слов в языке), а число точек – миллионы и миллиарды (по числу вебстраниц Интернет).

...

...

Многие методы и алгоритмы 1 A информационного поиска, классификации, кластеризации, аппроксимации, обучения и x1 x2 x3 xA x рассуждений на основе примеров, Рис. 5. Однослойный персептрон.

ассоциативной памяти и др. оперируют мерами различия и сходства векторов – При определенном выборе R, по такими, как расстояние, скалярное результату (то есть по N-мерным векторам произведение, угол. Поэтому было бы матрицы Y) можно с высокой точностью и полезно оперировать с преобразованными вычислительно эффективно оценить векторными представлениями, которые расстояния между исходными А-мерными имеют сходство, согласующиеся со векторами в Х, даже при N<

4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ» Применим в выходных нейронах Формирование РП проецированием персептронной сети бинаризирующее схематически показано на Рис. 6.

пороговое преобразование yz: Заметим, что у компонентов входных векторов в нашем примере с zj=1 при yj > tj; zj = 0 иначе, j = 1,...,N, (1) представлением текстов была явная семантика – компонент соответствовал где tj – величина порога.

слову, а его значение – функция от частоты Тогда по бинарным выходным векторам z1, встречаемости слова в тексте. У z2 тоже можно оценивать угол между компонентов выходных векторов, входными векторами [35] как соответствующих текстам, такой семантики компонентов уже нет. В то же время, (2) * = g–1 ((z1, z2)/|z1|), сходным входным векторам соответствуют сходные выходные векторы. Такие векторы где g–1 – функция, обратная функции g являются примером РП.

вычисления условной вероятности Случайные числа с плавающей совпадения единичных компонентов точкой, требующиеся для представления результирующих бинарных разреженных Гауссовых случайных величин, векторов, (z1,z2)/|z1| – оценка этой генерировать вычислительно сложно, и они вероятности по бинарным векторам, (z1, z2) занимают много места. Очевидно, самый – скалярное произведение z1, z2. Функция g простой вариант – это бинарные случайные вычисляется как величины со значениями 0 и 1. Они очень легко генерируются и хранятся. Тогда и p(z1j =1| z2 j =1) = p(z1j =1,z2 j =1)/ p(z2 j =1) (3) умножение на бинарную матрицу сводится к сложению, то есть является где p(z2 = 1) – вероятность единичного вычислительно простым. Поэтому компонента z2, p(z1 =1, z2 =1) – вероятность представляет интерес изучения совпадения единичных компонентов z1 и z2, формирования РП с помощью случайных которая, в свою очередь, при бинаризации бинарных матриц.

порогами t1 и t2 вычисляется как Рассмотрим еще одну задачу, решение которой требуется для многих p(z1j =1,z2j =1|,t1,t2)=p(y1j >t1,y2j >t2 |)= практических приложений. Пусть дана 2 линейная система y1 -2 y1 y2 cos + y (4) 2 (1-cos ).

dy1dy e 2 (1 - cos ) t1 tAx=b, (5) Степень разреженности бинарных где матрица A(m x n) и вектор b известны, выходных векторов регулируется вектор x требуется оценить.

величиной порога. При этом число бит для В случае, когда сингулярные значения A представления бинарных векторов может плавно убывают до нуля и отношение быть меньше, чем число бит на между наибольшим и наименьшим представление векторов с плавающей ненулевым сингулярными значениями точкой, даже если размерность бинарных велико, вектор b искажен аддитивным векторов больше. В то же время, получаем шумом, эта задача известна как векторы в формате АПНС [2-6] и "дискретная некорректная задача" (см.

эффективных разновидностей ссылки в [37]).

ассоциативной памяти [35,36].

Материалы XVI Международной конференции по нейрокибернетике Входные Результирующие Генератор данные данные случайных X (AL) Z (NL) чисел A R L X L Y L Z = N N N Умножение Z=f(Y) Проекционная Cпроекционная матрица матрица A R (NA) Y (NL) Шаг 1. Генерирование Шаг 3. Трансформация проекционной матрицы Шаг 2. Проекция результата проецирования Рис. 6. Схема формирования РП проецированием.

Дискретные некорректные задачи возникают, например, при дискретизации RAx=Rb. (6) интегральных уравнений Фредгольма и Вольтерры первого рода в важных задачах спектрометрии, гравиметрии, Число столбцов n матрицы RA(kxn) магнитометрии, электроразведки и др. (см.

определяется размерностью матрицы A, [38-39] и ссылки в них).

число строк k априорно неизвестно.

Решения дискретных некорректных Решение получим с помощью задач как задач наименьших квадратов с псевдообратной матрицы (RA)+:

использованием численных методов линейной алгебры являются неустойчивыми – малые возмущения во x=(RA)+Rb. (7) входных данных приводят к большим возмущениям в решении. А возмущения Оказывается, ошибка такого решения присутствуют по условию задачи, так как меняется в зависимости от размерности k вектор b искажен аддитивным шумом. Для проекционной матрицы. Причем имеется повышения устойчивости и точности оптимальная промежуточная размерность решения используют методы k

Pages:     | 1 |   ...   | 34 | 35 || 37 | 38 |   ...   | 58 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.