WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 37 | 38 || 40 | 41 |   ...   | 58 |

2010 48. Forbus K., Riesbeck C., Birnbaum L., Livingston https://www.fbo.gov/indexs=opportunity&mode=form K., Sharma A., Ureel L. Integrating natural language, &id=cbc05c86eb555a334708b570564dddca&tab=core knowledge representation and reasoning, and analogical &tabmode=list&= processing to learn by reading. // Proceedings of AAAI42. Rachkovskij D.A. Representation and processing of 07: Twenty-Second Conference on Artificial structures with binary sparse distributed codes // IEEE Intelligence, Vancouver, BC, 2007.

Transactions on Knowledge and Data Engineering, 49. Chomsky N. The Minimalist Program, Cambridge, 2001, 2(2), P. 261-276. МA: MIT Press, 1995.

43. Rachkovskij D.A. Some approaches to analogical 50. Fong S., Ginsburg J.A Computational mapping with structure sensitive distributed Implementation of Syntactic Binding Theory in the representations // Journal of Experimental and Minimalist Program // 2nd Joint ASU/UA Linguistics Theoretical Artificial Intelligence, 2004, 16(3), P. 125- Symposium. Tempe, AZ. October 1st 2011.

145. http://dingo.sbs.arizona.edu/~sandiway/mpp/ 44. Sokolov A. Vector representations for efficient 51. Gerth S., beim Graben P. Unifying syntactic theory comparison and search for similar strings // Cybernetics and sentence processing difficulty through a and Systems Analysis, 2007, issue 4, P. 484–498.

connectionist minimalist parser //Cognitive 45. Gallant S. I. Context vectors: A step toward a Neurodynamics 3(4), 2009, P. 297-316.

“Grand Unified Representation” // Hybrid Neural Systems, Lecture Notes in Computer Science, 2000, Материалы XVI Международной конференции по нейрокибернетике УСТОЙЧИВОЕ ПРЕОБРАЗОВАНИЕ ВЫХОДА ЛИНЕЙНОЙ СИСТЕМЫ В ВЫХОД СИСТЕМЫ С ЗАДАННЫМ БАЗИСОМ НА ОСНОВЕ СЛУЧАЙНЫХ ПРОЕКЦИЙ Е.Г. Ревунова, Д.А. Рачковский, А.В. Тищук Международный научно-учебный центр информационных технологий и систем НАН Украины helab@i.com.ua In this paper we propose an approach to a stable ковариационная матрица не вырождена, а transformation of a linear system output to the output of также не вырождена матрица базисных the system with a given basis. To provide stability, we функций A, взвешенная ковариационной use regularization based on random projections or матрицей шума, в [1] предлагается truncated SVD. Both methods have a simple neural network implementation. получать искомое преобразование с использованием обращения A. Однако, Введение если А имеет высокое число обусловленности и ряд ее сингулярных Пусть имеется линейная система, чисел плавно спадает к нулю, получаемое с вектор выхода которой b формируется использованием обратной матрицы путем линейного преобразования входного решение (результат преобразования в вектора (входа) х и добавления выход системы С) является неустойчивым.

аддитивного шума как Ax + =b. Например, Неустойчивость проявляется в том, что это может быть измерительная система, где малым изменениям b соответствуют дискретно заданный сигнал объекта большие изменения решения и ошибка измерения x неизвестен, b – наблюдаемый решения велика.

выход ("сигнальный образ" x), матрица A Матрицы базисных функций с описывает взаимодействие сигнала со указанными свойствами часто встречаются средой и/или особенности измерительных на практике в задачах обработки сигналов в средств (детектора, преобразователя геофизической разведке (электроразведка, сигнала и т.п.). Столбцы A можно магниторазведка, сейсморазведка, рассматривать как отсчеты дискретно гравиразведка), спектрометрии (например, заданных базисных функций линейной гамма-спектрометрия), медицинской системы.

диагностике (визуализация, томография) и Набор базисных функций A отражает др. Для получения устойчивого решения в свойства конкретной измерительной этих случаях требуется использовать системы, то есть не может быть регуляризацию [2]. В данной статье произвольным. Соответственно, предлагается подход к устойчивому наблюдаемый выход b, который решению задачи преобразования выхода, определяется базисными функциями A, основанный на использовании случайных может не соответствовать требованиям проекций и усеченного сингулярного пользователя, либо может быть разложения [3–5]. Оба метода имеют несовместимым с методами последующей простую нейросетевую реализацию обработки. С другой стороны, если известен набор базисных функций C, Задача преобразования выхода которые дали бы выход с требуемыми свойствами, можно поставить задачу Пусть сигнал b получен с выхода нахождения преобразования наблюдаемого линейной системы А, выполняющей выхода b в выход системы С с базисом C.

преобразование Будем искать преобразование выхода Ax + =b, (1) как линейное преобразование. Для случая, где A mn, xn, b m, и когда известен вектор шума и его 4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ» пространство, координатные оси которого Ax = b0. (2) являются случайными векторами. Эта Обозначим как d0 выход линейной системы операция имеет простую нейросетевую С, выполняющей преобразование реализацию посредством однослойного Cx = d0. (3) персептрона со случайными связями, веса которых – реализации случайной величины Для получения решения – оценки выхода (Рис. 1).

системы С по b – сначала получим оценку х' входа х, решив обратную задачу:

х' = P b, (4)...

1 k где P – оператор (матрица), преобразующий выход b в х'.

R Затем получим оценку выхода системы C:

d'= C х' = C P b = Tb (5) Таким образом, оператор CP преобразует b...

...

1 n в d'. Матрицу преобразования T=CP в [1] называют матрицей редукции.

Рис.1. Однослойный персептрон со случайными Конкретный вид P зависит от свойств связями.

матрицы А. Если ряд собственных чисел А спадает монотонно и число Получаем выражение:

обусловленности велико, то задачу относят RAx =Rb, (6) к классу дискретных некорректных задач где RA kn, Rb k. Число столбцов n [6]. Приближенные решения дискретных определяется размерностью матрицы A, некорректных задач как задач наименьших число строк k априорно неизвестно.

квадратов с использованием численных Решение задачи наименьших методов линейной алгебры, таких как квадратов (6) получим с помощью разложения LU, Холецкого, QR, являются псевдообратной матрицы (RA)+:

неустойчивыми. Это означает, что малые возмущения во входных данных приводят к х' = (RA)+ Rb. (7) большим возмущениям в решении.

С учетом (7), оценка выхода d' системы С выглядит следующим образом:

Преобразование вектора выхода с d'= C х' = C (RA)+ Rb= Tb, (8) использованием случайного проектора где T = C (RA)+ R.

Предложим подход к устойчивому В работе [5] нами исследовалась решению задачи преобразования выхода, зависимость точности восстановления основанный на идеях нейросетевого истинного вектора x (7) от числа строк k распределенного представления матрицы случайного проектора.

информации, случайных проекций и Исследование показало, что зависимость e рандомизированных алгоритмов [3–5].

от k при заметной величине шума имеет Cначала получим оценку сигнала минимум при k

матрицу Rkn, k n, элементы которой Оптимальным числом строк k матрицы являются реализациями случайной случайного проектора будем считать такое, величины с гауссовым распределением с при котором минимальна нулевым средним и единичной дисперсией.

среднеквадратичная ошибка Таким образом осуществляется преобразования выхода:

преобразование (проекция) в новое e = E||d'k – d0||2 = (9) Материалы XVI Международной конференции по нейрокибернетике Для выбора оптимальной размерности k E||C (RkA)+Rkb – d0||2.

проекционной матрицы используются где E – усреднение по реализациям шума.

критерии выбора модели.

Чтобы выбрать размерность k проекционной матрицы, при которой Экспериментальное исследование ошибка решения близка к минимальной в реальных условиях, т.е. когда точное Экспериментально исследовалась решение неизвестно, мы предлагаем [4] зависимость ошибки преобразования использовать критерии выбора модели, выхода от числа строк матрицы случайного первоначально предложенные для выбора проектора. Столбцы матриц А и С параметров регуляризации Тихонова, а содержат m отсчетов радиальных базисных также критерии, используемые для выбора функций: fn(z)=exp(–g(z–с)2), с=dn+b, (d=5, оптимальных моделей в области b=20), z={1,5,10,…,100}, n – номер машинного обучения, индуктивного базисной функции. Для исходной линейной обучения, и анализа данных (Маллоуза, системы g = 0.05, для системы С значение Акаике, и др.).

g=0.3. На Рис.2 приведены ряды сингулярных чисел матриц.

Преобразование вектора выхода на основе сингулярного разложения singular values of A 5 singular values of C Другой предлагаемый нами подход к устойчивому решению задачи преобразования выхода основан на s_k усеченном сингулярном разложении.

Нейросетевая реализация сингулярного разложения описана в [8, 9]. Для устойчивого регуляризованного решения k при вычислении оператора CP (5) в качестве P будем использовать матрицу, 1 2 3 4 5 6 7 8 9 10 11 получаемую как Рис. 2. Ряды сингулярных чисел матриц А и С.

P = Аk+ = V diag (i / i) UT, (10) при ik i=1, иначе i =0.

Здесь Аk=USVT – приближение матрицы А Компоненты вектора x в экспериментах были следующими: x5=1, x6=0.5, x10=1, (mn), полученное по k (k

с.к.о. (уровень шума) {0.0125, 0.00625, Оценка выхода системы C, полученная 0.003125}. На Рис.3 для трех уровней шума с использованием k компонент приведена зависимость ошибки e от сингулярного разложения A, есть размерности k для метода с использованием d'k = САk+b = Tkb, (11) случайного проектора (e_rp), а также Tk = САk+ = С V diag (i / i) UT d'k. (12) значения ошибки для не регуляризованного решения (e_nr).

Оптимальным числом компонент Видно, что для метода преобразования сингулярного разложения будем считать выхода с использованием случайного такое, при котором минимальна проектора зависимость e от k имеет среднеквадратичная ошибка минимум при k

положение минимума смещается в область e = E||d'k – d0||2 = E||Tkb – d0||2. (13) меньших значений k, а ошибка в точке 4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ «НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ» минимума растет. Минимальные значения обеспечивает меньшее время вычислений, ошибки для метода с использованием чем метод на основе усеченного случайного проектора меньше значений сингулярного разложения, так как после ошибки для нерегуляризованного решения. проецирования разложение по сингулярным значениям осуществляется 100 e_rp nl=0.e_rp nl=0.для результирующей матрицы (kn), где k e_rp nl=0.e_nr nl=0.составляет малую долю n исходной e_nr nl=0.e_nr nl=0.матрицы Amn. Метод преобразования выхода на основе сингулярного разложения e демонстрирует значения ошибки в точке минимума меньшие, чем для метода с 1 использованием случайного проектора.

Применение метода с использованием случайного проектора предпочтительно в k тех случаях, когда требования по 0.быстродействию высоки, а обеспечиваемая 1 2 3 4 5 6 7 8 9 10 11 точность является достаточной.

Рис. 3. Зависимость ошибки e от размерности k для метода с использованием случайного проектора.

Список литературы Для метода на основе усеченного 1. Пытьев Ю.П. Математические методы сингулярного разложения зависимость интерпретации эксперимента. М: Высшая школа, ошибки преобразования выхода от числа 1989, 351 с.

компонент сингулярного разложения k 2. Тихонов А.Н., Арсенин В.Я. Методы решения приведена на Рис.4.

некорректных задач. М.: Наука, 1979, 285с.

3. Рачковский Д.А., Мисуно И.С., Слипченко С.В.

10 e_svd nl=0.Рандомизированные проекционные методы e_svd nl=0.формирования бинарных разреженных векторных e_svd nl=0.представлений // Кибернетика и системный анализ, 2012, № 1, С. 176-188.

e 4. Рачковский Д.А., Ревунова Е.Г.

Рандомизированный метод решения дискретных некорректных задач // Кибернетика и системный анализ, 2012, № 4, стр. 163-181.

5. Рачковский Д.А., Гольцев А.Д., Лукович В.В., Мисуно И.С., Омельченко Р.С., Ревунова Е.Г., Слипченко С.В, Соколов А.М. Нейросетевые k распределенные представления как средство 0.повышения эффективности и интеллектуальности 1 2 3 4 5 6 7 8 9 10 11 информационных технологий. XVI Международная конференция по нейрокибернетике (ICNC-12).

Рис. 4. Зависимость ошибки e от размерности k для 6. Hansen P.C. Rank-deficient and discrete ill-posed метода на основе сингулярного разложения.

problems. Numerical Aspects of Linear Inversion.

SIAM, Philadelphia, 1998, 247 p.

Заключение 7. Ревунова Е.Г. Исследование составляющих ошибки для решения обратной задачи с В статье предлагается подход к использованием случайных проекций // Матеем.

машины и системы, №.4, 2010, С. 33-42.

устойчивому решению задачи 8. Weingessel A.. An Analysis of Learning Algorithms преобразования выхода, основанный на in PCA and SVD Neural Networks, PhD thesis, использовании случайных проекций, а Technische Universitat Wien, 1999.

также на основе сингулярного разложения, 9. Weingessel A., Hornik K. SVD algorithms:APEXимеющий простую нейросетевую like versus subspace methods // Neural Process. Lett., реализацию. Метод преобразования №.5, 1997, p. 177-184.

Pages:     | 1 |   ...   | 37 | 38 || 40 | 41 |   ...   | 58 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.