Приложения к общим нелинейным задачам оптимизации 76

Предисловие 5

БЛАГОДАРНОСТИ 5

Введение 6

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 6

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 6

ИСТОРИЧЕСКИЙ АСПЕКТ 8

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 11

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 12

ВЫВОДЫ 13

^ Глава 1.
Основы искусственных нейронных сетей 15

БИОЛОГИЧЕСКИЙ ПРОТОТИП 15

ИСКУССТВЕННЫЙ НЕЙРОН 17

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 21

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 23

ПРОЛОГ 26

^ Глава 2.
Персептроны 27

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 27

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 29

ОБУЧЕНИЕ ПЕРСЕПТРОНА 37

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 38

^ Глава 3.
Процедура обратного распространения 42

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 43

Обзор обучения 45

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 52

ПРИМЕНЕНИЯ 53

ПРЕДОСТЕРЕЖЕНИЕ 53

^ Глава 4.
Сети встречного распространения 56

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 56

СТРУКТУРА СЕТИ 56

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 57

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 59

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 65

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 65

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 67

ОБСУЖДЕНИЕ 68

^ Глава 5.
Стохастические методы 69

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 69

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 76

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 77

Глава 6.
Сети Хопфилда 82

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 83

ПРИЛОЖЕНИЯ 91

ОБСУЖДЕНИЕ 96

ВЫВОДЫ 98

^ Глава 7.
Двунаправленная ассоциативная память 99

СТРУКТУРА ДАП 100

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 102

КОДИРОВАНИЕ АССОЦИАЦИЙ 103

ЕМКОСТЬ ПАМЯТИ 105

НЕПРЕРЫВНАЯ ДАП 106

АДАПТИВНАЯ ДАП 107

КОНКУРИРУЮЩАЯ ДАП 108

ЗАКЛЮЧЕНИЕ 108

^ Глава 8.
Адаптивная резонансная теория 109

АРХИТЕКТУРА APT 111

РЕАЛИЗАЦИЯ APT 119

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 123

ХАРАКТЕРИСТИКИ APT 125

ЗАКЛЮЧЕНИЕ 128

Глава 9.
Оптические нейронные сети 130

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 131

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 138

ЗАКЛЮЧЕНИЕ 144

^ Глава 10.
Когнитрон и неокогнитрон 145

КОГНИТРОН 146

НЕОКОГНИТРОН 156

ЗАКЛЮЧЕНИЕ 163

Приложение А.
Биологические нейронные сети 165

ЧЕЛОВЕЧЕСКИЙ МОЗГ:
БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 165

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 166

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 174

^ Приложение Б.
Алгоритмы обучения 176

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 176

МЕТОД ОБУЧЕНИЯ ХЭББА 176

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 179

ОБУЧЕНИЕ ПЕРСЕПТРОНА 180

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 182

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 182

САМООРГАНИЗАЦИЯ 183