Обучение нейронной сети.

Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Обучение основано на увеличении силы связи (веса синопса) между одновременно активными нейронами. Таким образом, часто используемые связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Математически это правило можно записать так:

(1.5)

где wij(t) и wij(t+1) - значение связи от i-го к j-му нейрону соответственно до и после его изменения, a - скорость обучения. В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них приведены ниже.

«

Back

propagation

» (алгоритм обратного распространения ошибки).

Этот алгоритм является обобщением одной из процедур обучения простого персептрона, известной как правило Уидроу - Хоффа (или дельта-правило), и требует представления обучающей выборки. Выборка состоит из набора пар образов, между которыми надо установить соответствие, и может рассматриваться как обширное задание векторной функции, область определения которой - набор входных образов, а множество значений - набор выходов.

Перед началом обучения связям присваиваются небольшие случайные значения. Каждая итерация процедуры состоит из двух фаз. Во время первой фазы на сеть подается входной вектор (образ) путем установки в нужное состояние входных элементов. Затем входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход - выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидную нелинейность вида (1.4).

Полученный выходной вектор сравнивается с требуемым. Если они совпадают, обучения не происходит. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основании этой информации об ошибке производится модификация связей с обобщенным дельта-правилом.

Обучение без «воспитателя».

Обучение без «воспитателя» возможно например в сетях адаптивного резонанса (параграф 2.1.3.). Происходит сравнение входного образа с имеющимися в памяти сети шаблонами. Если нет подходящего шаблона, с которым можно было бы отождествить исследуемый образ, то создается новый шаблон, содержащий в себе этот входной образ. В дальнейшем новый шаблон используется наравне с другими.

Другое по теме

Инфразвук
В течение последних десятилетий резко возросло количество разного рода машин и других источников шума, распространение портативных радиоприемников и магнитофонов, нередко включаемых на большую громкость, увлечение громкой популярной музыкой. Отмечено, что в городах каждые 5-10 лет уровень шума возрастает на 5 дБ (дециб ...

Осушительно-увлажнительная система
Задачей курсовой работы является углубление и обобщение полученных студентами знаний при изучении соответствующих разделов курса, приобретение практических навыков проектирования осушительных систем и приучение к самостоятельной работе со справочной и специальной литературой. Курсовая работа выполняется в соответств ...