Anna Bartkowiak- Sieci neuronowe.pdf

Sieci Neuronowe

Notatki do wykªadu ÿSieci Neuronowe" dla studentów kierunku Informatyka

na Uniwersytecie Wrocªawskim

Anna Bartkowiak

18 lutego 2002

Anna Bartkowiak

Uniwersytet Wrocªawski

Instytut Informatyki

Zakªad Metod Numerycznych

Przesmyckiego 20

51{151 Wrocªaw

http://www.ii.uni.wroc.pl/~aba/

Niniejsze notatki mog¡ by¢ drukowane, powielane oraz rozpowszechniane w wersji

elektronicznej i papierowej, w cz¦±ci b¡d¹ w caªo±ci | bez konieczno±ci uzyskania

zgody autora | pod warunkiem nieosi¡gania bezpo±rednich korzy±ci nansowych

z ich rozpowszechniania i z zachowaniem praw autorskich. W szczególno±ci dodatko-

we egzemplarze mog¡ by¢ sprzedawane przez osoby trzecie jedynie po cenie uzyskania

kopii (druku, wydruku, kserografowania itp.)

Skªad w L A T E X 2 " : autor i studenci

Korekta: autor i studenci

Niniejsza monograa jest zapisem jedno semestralnego wykªadu z Sieci

Neuronowych prowadzonego przez prof. Ann¦ Bartkowiak w Instytucie

Informatyki na Uniwersytecie Wrocªawskim w latach 2001/2002.

Zebrane tu materiaªy pojawiaªy si¦ stopniowo | ka»dy rozdziaª odpowiada

kolejnemu wykªadowi | b¦d¡c jednocze±nie w sposób praktyczny wykorzy-

stywane przez studentów na zaj¦ciach w laboratoriach komputerowych.

Spis tre±ci

Podstawowe Oznaczenia

1. Wst¦p 1

1.1. Plan zaj¦¢ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2. Linki do plików z danymi: . . . . . . . . . . . . . . . . . . . . . . . . . 2

2. Od biologicznego neuronu do perceptronu i madaline 3

2.1. Elementy neurobiologii. Komórka nerwowa i jej struktura . . . . . . . 3

2.2. Matematyczny model neuronu wg McCullocha i Pittsa . . . . . . . . . 5

2.3. Perceptrony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.4. Perceptron prosty | Klasykacja do dwóch klas . . . . . . . . . . . . 10

2.5. Uczenie (trenowanie) perceptronu | reguªa perceptronu . . . . . . . . 11

2.6. Kiedy model perceptronowy daje dobre wyniki . . . . . . . . . . . . . 13

2.7. Moduªy MatLaba demonstruj¡ce dziaªanie perceptronu . . . . . . . . . 14

2.8. Adaline i Madaline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.9. Typologia sieci ze wzgl¦du na pewne jej wªasno±ci formalne . . . . . . 15

2.9.1. Podstawowe architektury sieci neuronowych . . . . . . . . . . . 15

2.9.2. Metody uczenia sieci . . . . . . . . . . . . . . . . . . . . . . . . 17

2.9.3. Zdolno±ci do uogólnienia . . . . . . . . . . . . . . . . . . . . . . 19

3. Sieci neuronowe jednokierunkowe dwuwarstwowe 21

3.1. Okre±lanie architektury sieci . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2. Funkcjonowanie sieci po wytrenowaniu jej . . . . . . . . . . . . . . . . 23

3.3. Uczenie adaline | reguªa delta Widrowa-Hoa . . . . . . . . . . . . . 24

3.3.1. Odltrowywanie szumów z blokiem Tapped Delay Line . . . . . 27

3.3.2. Uczenie Madaline . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.4. Jak okre±la¢ funkcj¦ bª¦du . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.5. Moduªy demonstruj¡ce dziaªanie sieci typu ÿAdaline" . . . . . . . . . 29

3.5.1. Diagramy Hintona { proc. DEMHINT z Netlaba . . . . . . . . 33

3.5.2. Przykªady graki z moduªów demonstracyjnych: . . . . . . . . 35

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: