Математические модели машинного обучения на языках MATLAB PYTHON

Spis treści

1. Pojęcia wstępne uczenia maszynowego ................................................................................. 9

2. Modele regresji liniowej ......................................................................................................... 12

2.1. Wprowadzenie .................................................................................................................. 12

2.2. Ogólny model regresji liniowej ........................................................................................ 13

2.3. Zastosowanie dekompozycji SVD w regresji liniowej ..................................................... 16

2.4. Implementacja regresji liniowej ....................................................................................... 21

3. Klasyfi katory KNN ................................................................................................................. 25

4. Klasyfi katory probabilistyczne Bayesa ................................................................................. 32

4.1. Wprowadzenie .................................................................................................................. 32

4.2. Pełny klasyfi kator Bayesa ................................................................................................. 32

4.3. Naiwny klasyfi kator Bayesa ............................................................................................. 38

4.4. Implementacja naiwnego klasyfi katora Bayesa w Matlabie ............................................. 43

5. Drzewa decyzyjne ................................................................................................................... 48

5.1. Wprowadzenie .................................................................................................................. 48

5.2. Struktura drzewa decyzyjnego .......................................................................................... 49

5.3. Algorytm tworzenia drzewa decyzyjnego ........................................................................ 51

5.4. Implementacja modelu drzewa decyzyjnego .................................................................... 58

5.5. Las losowy drzew decyzyjnych ........................................................................................ 64

5.5.1. Opis metody ........................................................................................................... 64

5.5.2. Implementacja lasu losowego ................................................................................ 67

6. Sieć neuronowa MLP ............................................................................................................. 73

6.1. Wprowadzenie .................................................................................................................. 73

6.2. Struktura sieci ................................................................................................................... 73

6.3. Algorytmy uczące sieci MLP ........................................................................................... 76

6.3.1. Wyznaczanie gradintu metodą propagacji wstecznej ............................................ 77

6.3.2. Algorytmy gradientowe uczenia sieci .................................................................... 80

6.3.3. Program komputerowy do uczenia sieci MLP w Matlabie .................................... 87

6.4. Przykłady użycia sieci MLP w aproksymacji danych ...................................................... 90

6.5. Praktyczne wskazówki doboru struktury sieci MLP ........................................................ 94

6 SPIS TREŚCI

7. Sieć radialna RBF ................................................................................................................. 97

7.1. Struktura sieci RBF ......................................................................................................... 97

7.2. Algorytmy uczące sieci RBF .......................................................................................... 98

7.2.1. Zastosowanie algorytmu samoorganizacji i dekompozycji SVD ........................ 99

7.2.2. Algorytm OLS ...................................................................................................... 101

7.3. Program komputerowy do uczenia sieci radialnej w Matlabie ....................................... 104

7.4. Przykłady zastosowania sieci RBF ................................................................................. 106

7.4.1. Aproksymacja funkcji nieliniowych .................................................................... 106

7.4.2. Problem 2 spiral ................................................................................................... 109

7.4.3. Sieć RBF w kalibracji sztucznego nosa ............................................................... 110

8. Sieć wektorów nośnych SVM ............................................................................................... 112

8.1. Wprowadzenie ................................................................................................................ 112

8.2. Sieć liniowa SVM w zadaniu klasyfi kacji ...................................................................... 113

8.3. Sieć nieliniowa SVM w zadaniu klasyfi kacji ................................................................. 119

8.3.1. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci .................................. 125

8.3.2. Problem klasyfi kacji przy wielu klasach .............................................................. 126

8.4. Sieci SVM do zadań regresji .......................................................................................... 127

8.5. Przegląd algorytmów rozwiązania zadania dualnego ..................................................... 130

8.6. Program komputerowy uczenia sieci SVM w Matlabie ................................................. 133

8.7. Przykłady implementacji uczenia sieci SVM ................................................................. 134

8.8. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi .................................... 137

9. Sieci głębokie ......................................................................................................................... 141

9.1. Wprowadzenie ............................................................................................................... 141

9.2. Sieć konwolucyjna CNN ............................................................................................... 142

9.2.1. Struktura sieci CNN .......................................................................................... 142

9.2.2. Podstawowe operacje w sieci CNN .................................................................. 144

9.2.3. Uczenie sieci CNN ............................................................................................ 150

9.3. Transfer Learning .......................................................................................................... 154

9.4. Przykład użycia sieci ALEXNET w trybie transfer learning ........................................ 157

9.5. Inne rozwiązania pre-trenowanej architektury sieci CNN ............................................ 167

9.6. Sieci CNN do detekcji obiektów w obrazie .................................................................. 175

9.6.1. Sieć YOLO ........................................................................................................ 175

9.6.2. Sieć R-CNN ...................................................................................................... 177

9.6.3. Sieć U-NET w segmentacji obrazów biomedycznych ...................................... 181

9.7. Autoenkoder .................................................................................................................. 182

9.7.1. Struktura autoenkodera ..................................................................................... 182

9.7.2. Funkcja celu ...................................................................................................... 183

9.7.3. Proces uczenia ................................................................................................... 186

9.7.4. Przykład zastosowania autoenkodera w kodowaniu danych ............................ 188

9.8. Podstawy działania autoenkodera wariacyjnego ........................................................... 192

9.9. Sieci generatywne GAN ................................................................................................ 195

9.10. Głębokie sieci rekurencyjne LSTM .............................................................................. 198

9.10.1. Wprowadzenie .................................................................................................. 198

9.10.2. Zasada działania sieci LSTM ............................................................................ 200