![\"Ryc.](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2021\/11\/Ryc.-1-Zestaw-uruchomieniowy-STM32F429I-DISC1-uzyty-w-przykladzie.png\")
<\/a>Model<\/h3>\n\n\n\n
Do uzyskania modelu sieci potrzebujemy zestawu danych treningowych, walidacyjnych i testowych. Aby zaopiekowa\u0107 przedstawiony problem powinna wystarczy\u0107 w zupe\u0142no\u015bci baza odr\u0119cznie zapisanych cyfr bazy MNIST<\/a>. Ka\u017cdy rekord w bazie zawiera zestaw sk\u0142adaj\u0105cy si\u0119 z obrazu przedstawiaj\u0105cego cyfr\u0119 oraz etykiety oznaczaj\u0105cej kategori\u0119, do kt\u00f3rej nale\u017cy obraz. W przypadku MNIST mamy 10 kategorii, kt\u00f3re odpowiadaj\u0105 cyfrom 0-9.<\/p>\n\n\n\n Proces tworzenia, uczenia i przygotowania modelu do wdro\u017cenia na mikrokontroler przeprowadzimy przy pomocy frameworku TensorFlow Lite<\/a>. Framework ten posiada zestaw narz\u0119dzi, kt\u00f3re umo\u017cliwiaj\u0105 uruchamianie modeli na urz\u0105dzeniach mobilnych, wbudowanych oraz IoT. Aktualn\u0105 list\u0119 wspieranych platform sprz\u0119towych<\/a> mo\u017cna znale\u017a\u0107 na stronie.<\/p>\n\n\n\n W przypadku mikrokontroler\u00f3w opartych na procesorze Cortex-M (jak w przypadku u\u017cytej tu platformy sprz\u0119towej), TensorFlow Lite wykorzystuje bibliotek\u0119 CMSIS NN<\/a>. Biblioteka ta zawiera list\u0119 operacji wykorzystywanych w sieciach neuronowych zoptymalizowanych pod Cortex-M. Dzi\u0119ki temu dzia\u0142anie modelu mo\u017ce by\u0107 efektywniejsze.<\/p>\n\n\n\n Model mo\u017cemy utworzy\u0107 samodzielnie, b\u0105d\u017a zaimportowa\u0107 z formatu TensorFlow<\/a> (gotowych modeli w tym formacie jest znacznie wi\u0119cej) i dokona\u0107 konwersji z wykorzystaniem narz\u0119dzia TensorFlow Lite Converter<\/a>. Podczas konwersji mo\u017cna u\u017cy\u0107 szeregu optymalizacji pozwalaj\u0105cych przyk\u0142adowo na zmniejszenie rozmiaru modelu czy ilo\u015bci wykorzystywanej pami\u0119ci podczas dzia\u0142ania. Po konwersji, za pomoc\u0105 narz\u0119dzia TensorFlow Lite Interpreter<\/a>, gotowy model zostanie za\u0142adowany do pami\u0119ci mikrokontrolera.<\/p>\n\n\n\n Uproszczony schemat dzia\u0142ania TensorFlow Lite zosta\u0142 zaprezentowany poni\u017cej.<\/p>\n\n\n\n W przypadku treningu tak prostego modelu, jak w tym przyk\u0142adzie, kompilacja TensorFlow Lite ze \u017ar\u00f3de\u0142 i implementacja z u\u017cyciem C++ nie b\u0119d\u0105 nam potrzebne. Tworzenie modelu oraz trening przeprowadzimy z u\u017cyciem tzw. Google Colab, kt\u00f3ry w odr\u00f3\u017cnieniu od Jupyter notebook<\/a>, dzia\u0142a z wykorzystaniem serwer\u00f3w Google\u2019a oferuj\u0105c darmowy dost\u0119p do GPU oraz TPU. Dzi\u0119ki temu proces uczenia mo\u017ce trwa\u0107 kr\u00f3cej.<\/p>\n\n\n\n Model utworzymy od podstaw, wykorzystuj\u0105c format TensorFlow. Nast\u0119pnie wykonamy konwersj\u0119 na format TensorFlow Lite. W ramach optymalizacji model mo\u017ce zosta\u0107 dodatkowo poddany kwantyzacji. W takim przypadku, po kwantyzacji ka\u017cda operacja, kt\u00f3ra oryginalnie bazowa\u0142a na zapisie zmiennoprzecinkowym zostanie zmieniona na zapis sta\u0142oprzecinkowy. Ma to dodatkow\u0105 zalet\u0119 w przypadku, gdy docelowa architektura nie wspiera operacji zmiennoprzecinkowych. Instrukcje do tworzenia modelu i jego uczenia mo\u017cna znale\u017a\u0107 na stronie.<\/p>\n\n\n\n Do utworzenia modelu potrzebujemy TensorFlow przynajmniej w wersji 2.3. Opr\u00f3cz importu samego TensorFlow, zaimportujmy bibliotek\u0119 NumPy, zaprojektowan\u0105 do wykonywania oblicze\u0144 na wielowymiarowych macierzach. Dodajmy te\u017c logowanie, kt\u00f3re mo\u017ce przyda\u0107 si\u0119 podczas treningu:<\/p>\n\n\n\n Kolejnym krokiem b\u0119dzie utworzenie samego modelu. Nie ma potrzeby, aby samodzielnie pobiera\u0107 i manipulowa\u0107 baz\u0105 MNIST. TensorFlow umo\u017cliwia wygodny dost\u0119p zar\u00f3wno do zestawu danych treningowych, jak i testowych.<\/p>\n\n\n\n Zanim przyst\u0105pimy do projektowania warstw sieci, zajmijmy si\u0119 obr\u00f3bk\u0105 danych wej\u015bciowych, tzw. feature preprocessing. Pozwala ona na przekszta\u0142cenie danych wej\u015bciowych w taki spos\u00f3b, aby by\u0142y dopasowane do architektury sieci np. poprzez redukcj\u0119 wymiar\u00f3w.<\/p>\n\n\n\n W ramach obr\u00f3bki danych zostanie przeprowadzony tzw. feature scaling, kt\u00f3ry polega na normalizacji danych wej\u015bciowych. Powinno to przyspieszy\u0107 proces uczenia. Obrazy zawieraj\u0105ce cyfry s\u0105 reprezentowane w 8-bitowej skali odcieni szaro\u015bci o wymiarach 28×28. Minimaln\u0105 warto\u015bci\u0105 jest 0, za\u015b maksymaln\u0105 255, do uzyskania zakresu [0,1] wystarczy wi\u0119c, \u017ce dane podzielimy przez 255.<\/p>\n\n\n\n Kolejny krok to okre\u015blenie architektury sieci. W tym przypadku problem rozpoznawania cyfr jest problemem z dziedziny klasyfikacji, zatem architektur\u0119 mo\u017cna podzieli\u0107 na dwie cz\u0119\u015bci:<\/p>\n\n\n\n W przypadku ekstrakcji cech algorytmy pr\u00f3buj\u0105 wydoby\u0107 charakterystyczne cechy jak np. ilo\u015b\u0107 linii czy ich nachylenie. W przyk\u0142adzie wej\u015bciem s\u0105 obrazy, wi\u0119c efektywnym sposobem wydobycia cech jest stosowanie m.in. naprzemiennie warstw konwolucyjnej i warstwy zbiorczej (tzw. pooling).<\/p>\n\n\n\n Pierwsza z nich stosuje operacj\u0119 konwolucji<\/strong>. Zapewnia ona kompozycyjno\u015b\u0107 (tzw. compositionality). Kompozycyjno\u015b\u0107 pozwala sieci na rozpoznawanie coraz bardziej z\u0142o\u017conych kszta\u0142t\u00f3w. Przyk\u0142adowo, pierwsza warstwa konwolucyjna pozwala wydoby\u0107 kraw\u0119dzie z pikseli, kolejna warstwa konwolucyjna kszta\u0142ty a kolejna obiekty na podstawie kszta\u0142t\u00f3w. Klasyfikacj\u0119 obiektu niezale\u017cnie od miejsca (tzw. local invariance) zapewnia nam warstwa zbiorcza.<\/p>\n\n\n\n W analizowanym przyk\u0142adzie potrzebujemy 10 wyj\u015b\u0107. Ka\u017cde z nich odpowiada\u0107 b\u0119dzie prawdopodobie\u0144stwu, z jakim dana cyfra wyst\u0105pi\u0142a na obrazie. Aby uzyska\u0107 10-elementowe wyj\u015bcie potrzebujemy warstwy, kt\u00f3ra po\u0142\u0105czy nasz\u0105 ostatni\u0105 warstw\u0119 zbiorcz\u0105 z wyj\u015bciow\u0105.<\/p>\n\n\n\n Metryk\u0105, pozwalaj\u0105c\u0105 okre\u015bli\u0107 jako\u015b\u0107 procesu uczenia, b\u0119dzie dok\u0142adno\u015b\u0107 pomi\u0119dzy prawdziwym rezultatem a rezultatem uzyskanym na wyj\u015bciu sieci. Nast\u0119pnie wykorzystamy funkcj\u0119 b\u0142\u0119du (tzw. error function) oraz algorytm pr\u00f3buj\u0105cy ten b\u0142\u0105d zminimalizowa\u0107 (tzw. optimizer). Jako funkcji b\u0142\u0119du u\u017cyjemy entropii krzy\u017cowej przeznaczonej dla problemu klasyfikacji. Jako algorytmu optymalizacji u\u017cyjemy algorytmu Adam (tzw. Adaptive Moment Estimation). Wyniki procesu uczenia mo\u017cna zobaczy\u0107 na poni\u017cszym rysunku.<\/p>\n\n\n\n Kolejny etap to konwersja modelu na format wykorzystywany przez TensorFlow Lite. W tym celu dodamy nast\u0119puj\u0105ce instrukcje:<\/p>\n\n\n\n Ostatnim krokiem przed wdro\u017ceniem jest pobranie utworzonego modelu. W tym celu najpierw zapiszemy model w formacie .tflite:<\/p>\n\n\n\n Niestety, w przypadku u\u017cytej platformy sprz\u0119towej, sam plik nie wystarczy. Standardowo, TensorFlow Lite Interpreter dzia\u0142a na modelu, kt\u00f3ry dostarczany jest przy u\u017cyciu okre\u015blonego systemu plik\u00f3w. Aby za\u0142adowa\u0107 model do pami\u0119ci mikrokontrolera, dokonamy konwersji modelu na posta\u0107 pliku \u017ar\u00f3d\u0142owego. Plik ten potem do\u0142\u0105czymy do aplikacji, a nast\u0119pnie skompilujemy dla docelowej platformy. Do konwersji mnist_model.tflite<\/strong> do mnist_model.cc<\/strong> wykorzystamy program xxd<\/strong>: Po utworzeniu pliku mnist_model.cc<\/strong> mo\u017cna go pobra\u0107 na lokalny komputer. B\u0119dzie on nam p\u00f3\u017aniej potrzebny.<\/p>\n\n\n\n Po utworzeniu modelu przejdziemy do przygotowania aplikacji. B\u0119dzie ona pobiera\u0142a dane wej\u015bciowe od u\u017cytkownika, dokonywa\u0142a predykcji za pomoc\u0105 zintegrowanego modelu a nast\u0119pnie prezentowa\u0142a uzyskany rezultat.<\/p>\n\n\n\n Pierwszy krok to przygotowanie aplikacji, kt\u00f3ra umo\u017cliwi u\u017cytkownikowi rysowanie. Aby nie odkrywa\u0107 ko\u0142a na nowo, w ramach artyku\u0142u, jako podstaw\u0119 wykorzystamy gotowy przyk\u0142ad. W kolejnych etapach b\u0119dziemy go przerabia\u0107 do naszych potrzeb.<\/p>\n\n\n\n Nasz\u0105 baz\u0119, przyk\u0142ad LTDC_Paint<\/strong> (Ryc. 4), wygenerujemy za pomoc\u0105 STM32CubeMX. Po konfiguracji z domy\u015blnymi opcjami, przyst\u0105pimy do kompilacji jego pierwszego uruchomienia, w moim przypadku, za pomoc\u0105 STM32CubeIDE.<\/p>\n\n\n\n Kolejnym krokiem jest import do projektu TensorFlow Lite jako niezb\u0119dnej biblioteki. Niestety, tw\u00f3rcy TensorFlow Lite nie oferuj\u0105 bezpo\u015brednio dost\u0119pu do binarnej wersji pod mikrokontrolery. W dokumentacji mo\u017cna jedynie znale\u017a\u0107 instrukcj\u0119 jak wygenerowa\u0107 za pomoc\u0105 narz\u0119dzia Make<\/strong> szereg przyk\u0142adowych projekt\u00f3w i na ich podstawie rozwija\u0107 swoje w\u0142asne.<\/p>\n\n\n\n To podej\u015bcie nie sprawdzi si\u0119 w naszym przypadku, poniewa\u017c bazowy projekt, LTDC_Paint, ju\u017c istnieje. Najlepszym wi\u0119c wyj\u015bciem wydaje si\u0119 r\u0119czny import wszystkich niezb\u0119dnych plik\u00f3w do projektu i kompilacja TensorFlow Lite ze \u017ar\u00f3de\u0142. Pomocn\u0105 instrukcj\u0119 do importu TensorFlow Lite<\/a> mo\u017cna znale\u017a\u0107 na stronie. Przed przyst\u0105pieniem do budowania i kompilacji projektu z TensorFlow Lite warto upewni\u0107 si\u0119, \u017ce:<\/p>\n\n\n\n W ramach modelu wymagane jest przygotowanie obraz\u00f3w wej\u015bciowych, w skali odcieni szaro\u015bci, o rozmiarach 28×28. Nale\u017cy dokona\u0107 obr\u00f3bki danych przed dostarczeniem ich do sieci. W ramach przetwarzania danych wykorzystamy trzy operacje:<\/p>\n\n\n\n Pierwsza konwersja b\u0119dzie polega\u0107 na zamianie kolorowych obraz\u00f3w na obrazy w skali odcieni szaro\u015bci. Ka\u017cdy 32-bitowy piksel formacie ARGB zostanie zamieniony na 8-bitowy pixel:<\/p>\n\n\n\n Nast\u0119pnie obraz nale\u017cy przeskalowa\u0107 do rozmiaru 28×28. W ramach przekszta\u0142cenia rozmiaru wykonamy interpolacj\u0119 dwuliniow\u0105:<\/p>\n\n\n\n Ostatnia operacja polega na znormalizowaniu danych do warto\u015bci z zakresu [0,1]:<\/p>\n\n\n\n Ostatnim etapem jest dostarczenie przerobionych danych do modelu. Do uruchomienia modelu do\u0142\u0105czymy niezb\u0119dne nag\u0142\u00f3wki oraz zmienne, kt\u00f3re b\u0119d\u0105 przechowywa\u0107 potrzebne obiekty TensorFlow Lite. Klasa MicroErrorReporter<\/strong> udost\u0119pnia mechanizm rejestrowania informacji podczas inferencji. Klasa ta przyda si\u0119 do raportowania napotkanych b\u0142\u0119d\u00f3w.<\/p>\n\n\n\n Po dodaniu wska\u017anik\u00f3w na model, interpreter oraz tensory wej\u015bciowe i wyj\u015bciowe, nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 nale\u017cy zrobi\u0107, jest przydzielenie obszaru pami\u0119ci roboczej, kt\u00f3rego model b\u0119dzie potrzebowa\u0142 podczas dzia\u0142ania (tzw. arena tensorowa). Ten obszar pami\u0119ci b\u0119dzie u\u017cywany do przechowywania tensor\u00f3w wej\u015bciowych, wyj\u015bciowych i po\u015brednich modelu.<\/p>\n\n\n\n Jak du\u017ca powinna by\u0107 arena tensorowa? Niestety, nie ma konkretnej odpowiedzi, gdy\u017c wszystko zale\u017cy od architektury modelu. Warto\u015b\u0107 mo\u017cna ustali\u0107 metod\u0105 pr\u00f3b i b\u0142\u0119d\u00f3w, rozpoczynaj\u0105c od takiej, kt\u00f3ra pozwala na uruchomienie modelu, a nast\u0119pnie stopniowo j\u0105 redukuj\u0105c.<\/p>\n\n\n\n W funkcji setup()<\/strong> uruchomimy logowanie, za\u0142adujemy model, skonfigurujemy interpreter i zaalokujemy pami\u0119\u0107. Zamiast klasy AllOpsResolver<\/strong>, ograniczymy si\u0119 do u\u017cycia klasy MicroMutableOpResolver<\/strong>, gdy\u017c potrzeba tylko czterech operacji:<\/p>\n\n\n\n Nast\u0119pnie wype\u0142nimy tensor wej\u015bciowy danymi uzyskanymi po przeskalowaniu obrazu wej\u015bciowego i uruchomimy model:<\/p>\n\n\n\n Do uzyskania cyfry, dla kt\u00f3rej prawdopodobie\u0144stwo jest najwi\u0119ksze skorzystamy z:<\/p>\n\n\n\n Z przyk\u0142adowym dzia\u0142aniem aplikacji mo\u017cecie zapozna\u0107 si\u0119 na przygotowanym przeze mnie filmie<\/a>.<\/p>\n\n\n\n Powy\u017cszy przyk\u0142ad przedstawi\u0142 kroki, za pomoc\u0105 kt\u00f3rych mo\u017cna stworzy\u0107 od podstaw sw\u00f3j w\u0142asny model sieci neuronowej i dostarczy\u0107 go do aplikacji przeznaczonej na platform\u0119 wbudowan\u0105. Raz wdro\u017cony model mo\u017ce dzia\u0142a\u0107 samodzielnie, bez dost\u0119pu do sieci. Dzi\u0119ki temu podobne podej\u015bcie mo\u017cna zastosowa\u0107 dodatkowo w przypadku, kiedy istotne jest zachowanie prywatno\u015bci danych.<\/p>\n\n\n\n \u0179r\u00f3d\u0142a<\/strong><\/p>\n\n\n\n<\/a>Tworzenie modelu, trening i konwersja<\/h2>\n\n\n\n
Tworzenie modelu<\/h3>\n\n\n\n
<\/a><\/figure><\/div>\n\n\n\nArchitektura sieci<\/h3>\n\n\n\n
<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n
<\/p>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\nAplikacja i wdro\u017cenie modelu<\/h2>\n\n\n\n
Przygotowanie aplikacji<\/h3>\n\n\n\n
<\/a>Przetwarzanie danych<\/h3>\n\n\n\n
<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\nSie\u0107<\/h3>\n\n\n\n
<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\n<\/a><\/figure><\/div>\n\n\n\nUruchomienie<\/h2>\n\n\n\n
<\/a>Podsumowanie<\/h2>\n\n\n\n