Nast\u0119pnie om\u00f3wi\u0119:<\/p>\n\n\n\n
- metody pozwalaj\u0105ce na ewaluacj\u0119 uzyskanych wynik\u00f3w,<\/li>
- jak zoptymalizowa\u0107 stworzony model,<\/li>
- a tak\u017ce przyjrz\u0119 si\u0119 aspektowi wydajno\u015bciowemu biblioteki.<\/li><\/ul>\n\n\n\n
Zbi\u00f3r danych i problem dziedzinowy<\/h2>\n\n\n\n
Zbi\u00f3r danych<\/strong><\/p>\n\n\n\n
Aby w pe\u0142ni pozna\u0107 mo\u017cliwo\u015bci ML.NET, przyjrzymy si\u0119 konkretnemu zbiorowi danych dost\u0119pnemu
w Internecie i spr\u00f3bujemy rozwi\u0105za\u0107 zadany problem z wykorzystaniem narz\u0119dzia do uczenia maszynowego od firmy Microsoft.<\/p>\n\n\n\nW tym celu u\u017cy\u0142em zbioru danych AVONET: morphological, ecological and geographical data for all birds<\/a> zawieraj\u0105cego dane zebrane w wyniku katalogowania osobnik\u00f3w ptak\u00f3w r\u00f3\u017cnych gatunk\u00f3w<\/strong>. Mo\u017cna go pobra\u0107 pod tym adresem: zbi\u00f3r do pobrania.<\/a><\/p>\n\n\n\n
![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/Dataset-1024x237-1.png\")
<\/a>Ryc. 1 Przyk\u0142adowy wycinek zbioru danych<\/figcaption><\/figure><\/div>\n\n\n\n Dane zawieraj\u0105 90 020 rekord\u00f3w dotycz\u0105cych 11 009 gatunk\u00f3w ptak\u00f3w zebranych w 181 krajach. Niekt\u00f3re z zawartych w nich p\u00f3l to:<\/p>\n\n\n\n
- gatunek ptaka (nazwa systematyczna),<\/li>
- jego p\u0142e\u0107,<\/li>
- wiek,<\/li>
- kraj, w kt\u00f3rym zosta\u0142 od\u0142owiony,<\/li>
- a tak\u017ce szereg atrybut\u00f3w numerycznych, dotycz\u0105cych cho\u0107by d\u0142ugo\u015bci<\/li>
- i szeroko\u015bci dzioba czy te\u017c d\u0142ugo\u015bci skrzyde\u0142.<\/li><\/ul>\n\n\n\n
Problem dziedzinowy<\/strong><\/p>\n\n\n\n
Problemem, nad kt\u00f3rym b\u0119dziemy pracowa\u0107 w ramach eksploracji ML.NET, jest klasyfikacja binarna, czyli przyporz\u0105dkowanie dla danego rekordu jednej z dw\u00f3ch warto\u015bci atrybutu etykiety. W naszym przypadku b\u0119dzie to p\u0142e\u0107 \u2013 naszym celem jest predykcja p\u0142ci ptaka na podstawie innych dost\u0119pnych atrybut\u00f3w.<\/p>\n\n\n\n
Okre\u015blenie p\u0142ci u ptak\u00f3w jest rzeczywistym problemem, z kt\u00f3rym mierz\u0105 si\u0119 naukowcy, ornitolodzy czy te\u017c posiadacze ptak\u00f3w w charakterze zwierz\u0105t domowych. Wynika to z faktu, i\u017c nie u ka\u017cdego
z gatunk\u00f3w wyst\u0119puje dymorfizm p\u0142ciowy, pozwalaj\u0105cy na jednoznaczne przyporz\u0105dkowane osobnika do p\u0142ci. Zagadnienie te jest zg\u0142\u0119biane w licznych pracach naukowych, opracowywane s\u0105 ro\u017cne metody na radzenie sobie z tym problemem. Naszym zadaniem jest pr\u00f3ba wykorzystania do tego celu uczenia maszynowego.<\/p>\n\n\n\nInstalacja i przygotowanie \u015brodowiska<\/h2>\n\n\n\n
Aby rozpocz\u0105\u0107 tworzenie kodu, musimy posiada\u0107 wspierany system operacyjny oraz architektur\u0119 procesora (lista wspieranych \u015brodowisk<\/a>) wraz z zainstalowan\u0105 odpowiedni\u0105 wersj\u0105 platformy .NET.<\/p>\n\n\n\n
W moim przypadku b\u0119dzie to system Windows 10 z zainstalowanym .NET Framework SDK w wersji 6.0.301 (dost\u0119pny do pobrania na oficjalnej stronie<\/a>). Naszym IDE b\u0119dzie Visual Studio 2022
w darmowej wersji Community<\/a>.<\/p>\n\n\n\nPo zainstalowaniu wszystkich niezb\u0119dnych komponent\u00f3w oraz uruchomieniu VS2022, nale\u017cy utworzy\u0107 nowy projekt (w naszym przypadku b\u0119dzie to aplikacja konsolowa) i post\u0119powa\u0107 wed\u0142ug wskaz\u00f3wek kreatora.<\/p>\n\n\n\n
![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/Project.png\")
<\/a>Ryc. 2 Wyb\u00f3r projektu aplikacji konsolowej w Visual Studio 2022<\/figcaption><\/figure><\/div>\n\n\n\n Aby m\u00f3c korzysta\u0107 z narz\u0119dzia ML.NET w nowym projekcie, musimy pobra\u0107 odpowiedni\u0105 paczk\u0119 z menad\u017cera paczek NuGet. W tym celu, w widoku drzewa projektu, wybieramy w\u0119ze\u0142 g\u0142\u00f3wny (Solution), klikamy PPM i wskazujemy \u201eManage NuGet Packages for Solution\u2026\u201d.<\/p>\n\n\n\n
![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/Packages.png\")
<\/a>Ryc. 3 Menu kontekstowe dla solucji<\/figcaption><\/figure><\/div>\n\n\n\n Nast\u0119pnym krokiem jest pobrane odpowiedniego pakietu. Aby to zrobi\u0107, wpisujemy w polu wyszukiwania nazw\u0119 \u201eML.NET\u201d i gdy interesuj\u0105cy nas wpis pojawi si\u0119 na ekranie, klikamy przycisk Install.<\/p>\n\n\n\n
![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/Nuget-1024x306-1.png\")
<\/a>Ryc. 4 NuGet Package Manager<\/figcaption><\/figure><\/div>\n\n\n\n Po poprawnie wykonanej instalacji mo\u017cemy przyst\u0105pi\u0107 do tworzenia rozwi\u0105zania uczenia maszynowego.<\/p>\n\n\n\n
\u0141adowanie danych<\/h2>\n\n\n\n
Pierwszym krokiem, kt\u00f3ry musimy wykona\u0107, jest za\u0142adowanie naszego zbioru danych do pami\u0119ci, aby m\u00f3c dalej przetwarza\u0107 zawarte w nim dane, a nast\u0119pnie wytrenowa\u0107 oraz wykorzysta\u0107 model klasyfikatora.<\/p>\n\n\n\n
Aby operowa\u0107 na rekordach naszego zbioru, musimy stworzy\u0107 klas\u0119, kt\u00f3ra odzwierciedla wszystkie jego atrybuty. W tym celu nale\u017cy utworzy\u0107 klas\u0119 Bird, zawieraj\u0105c\u0105 jako w\u0142a\u015bciwo\u015bci interesuj\u0105ce nas kolumny.<\/p>\n\n\n
\nusing Microsoft.ML.Data;\n\nnamespace ML.NET.Models\n{\n public class Bird\n {\n [LoadColumn(8), ColumnName(\"Label\")]\n public string Sex { get; set; }\n\n [LoadColumn(1)]\n public string Species { get; set; }\n [LoadColumn(11)]\n public string Country { get; set; }\n [LoadColumn(13)]\n public float BeakLengthCulmen { get; set; }\n [LoadColumn(14)]\n public float BeakLengthNares { get; set; }\n [LoadColumn(15)]\n public float BeakWidth { get; set; }\n [LoadColumn(16)]\n public float BeakDepth { get; set; }\n [LoadColumn(17)]\n public float TarsusLength { get; set; }\n [LoadColumn(18)]\n public float WingLength { get; set; }\n [LoadColumn(19)]\n public float KippsDistance { get; set; }\n [LoadColumn(20)]\n public float SecondaryLength { get; set; }\n [LoadColumn(21)]\n public float HandWingIndex { get; set; }\n [LoadColumn(22)]\n public float TailLength { get; set; }\n }\n}\n<\/pre><\/div>\n\n\nNast\u0119pnie tworzymy obiekt klasy MLContext, jako parametr podaj\u0105c ziarno, czyli dowoln\u0105 liczb\u0119, kt\u00f3ra zostanie wykorzystana przez generator liczb pseudolosowych. Zapewnia to powtarzalno\u015b\u0107 wynik\u00f3w naszych eksperyment\u00f3w na przestrzeni r\u00f3\u017cnych wywo\u0142a\u0144. Wywo\u0142ujemy nast\u0119pnie jedn\u0105 z dost\u0119pnych w obiekcie mlContext.Data metod na wczytanie danych \u2013 w tym przypadku b\u0119dzie to odczyt pliku .csv z dysku. Podajemy r\u00f3wnie\u017c parametry dotycz\u0105ce separatora warto\u015bci oraz flag\u0119 informuj\u0105c\u0105 o obecno\u015bci nag\u0142\u00f3wk\u00f3w kolumn w pliku.<\/p>\n\n\n
\n\/\/\u0141adowanie danych\nvar mlContext = new MLContext(42);\nvar data = mlContext.Data.LoadFromTextFile<Bird>(filePath, separatorChar: ',', hasHeader: true);\nvar splitDataView = mlContext.Data.TrainTestSplit(data, testFraction: 0.2);\n<\/pre><\/div>\n\n\n
Tak wczytany zbi\u00f3r mo\u017cemy od razu podzieli\u0107 na zbiory treningowe i testowe za pomoc\u0105 metody TrainTestSplit. Zbi\u00f3r treningowy b\u0119dziemy wykorzystywa\u0107 do trenowania naszego modelu uczenia maszynowego, natomiast testowy pos\u0142u\u017cy do ewaluacji jego wynik\u00f3w.<\/p>\n\n\n\n
Transformacja danych<\/h2>\n\n\n\n
Kolejnym krokiem jest transformacja wczytanych danych tak, aby mog\u0142y by\u0107 one wykorzystane do trenowania modeli uczenia maszynowego. Podejmiemy si\u0119 w tym celu transformacji kilku z kolumn do odpowiedniego formatu.<\/p>\n\n\n
\n\/\/Transformacja danych\nvar map = new Dictionary<string, bool> { { "M", true }, { "F", false } };\nvar pipeline = mlContext.Transforms.Conversion.MapValue("Label", map)\n .Append(mlContext.Transforms.Text.FeaturizeText(inputColumnName: "Species", outputColumnName: "SpeciesFeaturized"))\n .Append(mlContext.Transforms.Text.FeaturizeText(inputColumnName: "Country", outputColumnName: "CountryFeaturized"))\n .Append(mlContext.Transforms.Concatenate("Features", "SpeciesFeaturized", "CountryFeaturized", "BeakLengthCulmen","BeakLengthNares","BeakWidth", "BeakDepth", "TarsusLength", "WingLength", "KippsDistance", "SecondaryLength", "HandWingIndex", "TailLength"))\n .Append(mlContext.BinaryClassification.Trainers.LightGbm(labelColumnName: "Label", featureColumnName: "Features"));\n<\/pre><\/div>\n\n\nPierwsz\u0105 z operacji jest mapowanie warto\u015bci okre\u015blaj\u0105cych p\u0142e\u0107 ptaka z \u0142a\u0144cuch\u00f3w znak\u00f3w na warto\u015bci logiczne. W tym celu tworzymy s\u0142ownik, kt\u00f3ry pos\u0142u\u017cy nam jako parametr metody MapValue z obiektu mlContext.Transforms.Conversion.<\/p>\n\n\n\n
Musimy dokona\u0107 tej transformacji, aby nasz klasyfikator m\u00f3g\u0142 poprawnie operowa\u0107 na danych. Po wykonaniu tego fragmentu kodu mo\u017cemy dalej operowa\u0107 na uzyskanym wyniku, dodaj\u0105c dalsze kroki transformacji i tworz\u0105c \u0142a\u0144cuch kolejnych wywo\u0142a\u0144.<\/p>\n\n\n\n
Kolejne dwie operacje dotycz\u0105 zamiany warto\u015bci tekstowych z kolumn odnosz\u0105cych si\u0119 do kraju oraz gatunku ptaka na warto\u015bci numeryczne. Jest to standardowa praktyka przy budowaniu modeli uczenia maszynowego, gdy\u017c wymagaj\u0105 one warto\u015bci liczbowych do poprawnego przetwarzania.<\/p>\n\n\n\n
W tym celu wykorzystujemy metod\u0119 FeaturizeText, jako argumenty podaj\u0105c nazw\u0119 kolumny, kt\u00f3r\u0105 chcemy transformowa\u0107 oraz jej now\u0105 nazw\u0119 po wykonaniu tej operacji.<\/p>\n\n\n\n
Nast\u0119pnym krokiem jest wywo\u0142anie metody Concatenate, w celu z\u0142\u0105czenia wszystkich kolumn dotycz\u0105cych cech naszego zbioru w jedn\u0105 o nazwie Features, kt\u00f3rej obecno\u015b\u0107 jest wymagana poprzez modele w ML.NET<\/p>\n\n\n\n
Ostatnim etapem przygotowania danych jest wskazanie klasyfikatora, kt\u00f3ry chcemy wykorzysta\u0107. Na potrzeby rozwi\u0105zania naszego problemu klasyfikacji wybierzmy klasyfikator LightGbm<\/a>, korzystaj\u0105cy z metody binary boosted decision tree. <\/em>Jako parametry dla metody wskazujemy nazw\u0119 kolumny danych zawieraj\u0105cej etykiety (warto\u015b\u0107, kt\u00f3r\u0105 chcemy szacowa\u0107) oraz cechy (warto\u015bci, na podstawie kt\u00f3rych algorytm b\u0119dzie dokonywa\u0107 predykcji).<\/p>\n\n\n\n
W tym momencie nasz przep\u0142yw transformacji danych jest gotowy. Warto wiedzie\u0107, i\u017c do tego momentu podczas uruchomienia kodu nie zostanie wykonany \u017caden z tych krok\u00f3w, przep\u0142yw danych zostanie uruchomiony dopiero przy wywo\u0142aniu operacji trenowania zbioru danych \u2013 realizowane jest tu op\u00f3\u017anione wykonanie.<\/p>\n\n\n\n
Uczenie zbioru<\/h2>\n\n\n\n
Mo\u017cemy teraz przyst\u0105pi\u0107 do trenowania naszego klasyfikatora. Wykorzystamy w tym celu wydzielony wcze\u015bniej ze zbioru g\u0142\u00f3wnego zbi\u00f3r treningowy.<\/p>\n\n\n
\n\/\/Trenowanie modelu\nvar model = pipeline.Fit(splitDataView.TrainSet);\n<\/pre><\/div>\n\n\n
Po wykonaniu metody Fit na obiekcie reprezentuj\u0105cym stworzony przez nas przep\u0142yw transformacji danych, uzyskujemy wytrenowany model, kt\u00f3ry mo\u017cna wykorzysta\u0107 w dzia\u0142aniu. Warto w tym miejscu zwr\u00f3ci\u0107 uwag\u0119, i\u017c trenowanie mo\u017ce by\u0107 w niekt\u00f3rych przypadkach bardzo czasoch\u0142onne. Zale\u017cy to od wielu czynnik\u00f3w, takich jak:<\/p>\n\n\n\n
- rozmiar zbioru,<\/li>
- liczba jego cech<\/li>
- czy te\u017c wykorzystanego algorytmu uczenia maszynowego.<\/li><\/ul>\n\n\n\n
Istnieje mo\u017cliwo\u015b\u0107 zapisu gotowego modelu do pliku i \u0142atwego wczytania go p\u00f3\u017aniej, tak, aby nie wykonywa\u0107 czynno\u015bci trenowania za ka\u017cdym razem.<\/p>\n\n\n\n
Klasyfikacja<\/h2>\n\n\n\n
Pierwszym krokiem w uzyskaniu wyniku klasyfikacji jest stworzenie prostej klasy, kt\u00f3ra przechowywa\u0107 b\u0119dzie wynik wraz z polami pomocniczymi, kt\u00f3re b\u0119d\u0105 przydatne przy ewaluacji efektywno\u015bci modelu. Do tego celu wykorzystamy klas\u0119 BirdPrediction.<\/p>\n\n\n
\nusing Microsoft.ML.Data;\n\nnamespace ML.NET.Models\n{\n public class BirdPrediction\n {\n [ColumnName(\"PredictedLabel\")]\n public bool IsMale { get; set; }\n public float Probability { get; set; }\n public float Score { get; set; }\n }\n}\n<\/pre><\/div>\n\n\nWynik klasyfikacji b\u0119dzie warto\u015bci\u0105 logiczn\u0105, kt\u00f3ra znajdzie si\u0119 we w\u0142a\u015bciwo\u015bci IsMale (musimy j\u0105 oznaczy\u0107 za pomoc\u0105 atrybutu [ColumnName(„PredictedLabel”)] w celu poprawnego dzia\u0142ania).<\/p>\n\n\n\n
Gdy odpowiednia klasa jest gotowa, mo\u017cemy przyst\u0105pi\u0107 do klasyfikacji. Stw\u00f3rzmy przyk\u0142adowy obiekt klasy Bird, zawieraj\u0105cy dane na temat konkretnego ptaka (w tym przypadku jest to puchacz plamisty ze zbioru danych).<\/p>\n\n\n\n
Pami\u0119tajmy, aby nie przypisywa\u0107 warto\u015bci atrybutowi etykiety \u2013 jest to zadanie klasyfikatora, aby oszacowa\u0107 t\u0119 warto\u015b\u0107. Nast\u0119pnie wywo\u0142ujemy metod\u0119 CreatePredictionEngine wraz ze wskazaniem parametr\u00f3w klas uog\u00f3lnionych, aby uzyska\u0107 obiekt, na kt\u00f3rym wywo\u0142ujemy metod\u0119 Predict, podaj\u0105c jako parametr stworzony wcze\u015bniej rekord do klasyfikacji. <\/p>\n\n\n
\n\/\/Sprawdzenie klasyfikacji\nvar testBird = new Bird \n{ \n Species = "Bubo africanus", \n Country = "Kenya",\n BeakLengthCulmen = 38.9f,\n BeakLengthNares = 19.1f,\n BeakWidth = 10.7f,\n BeakDepth = 17.2f,\n TarsusLength = 53.5f,\n WingLength = 320f,\n KippsDistance = 98.2f,\n SecondaryLength = 221.8f,\n HandWingIndex = 30.7f,\n TailLength = 162f\n \n};\nvar predictedBirdSex = mlContext.Model.CreatePredictionEngine<Bird, BirdPrediction>(model).Predict(testBird).IsMale;\n<\/pre><\/div>\n\n\nPo wykonaniu powy\u017cszego fragment kodu mo\u017cemy zauwa\u017cy\u0107, i\u017c pole IsMale ma warto\u015b\u0107 logiczn\u0105 \u201efa\u0142sz\u201d, oznacza to, i\u017c model zaklasyfikowa\u0142 okaz ptaka jako samic\u0119. W tym przypadku predykcja jest zgodna ze stanem faktycznym, jednak aby realnie oceni\u0107 przydatno\u015b\u0107 stworzonego przez nas modelu, musimy przeprowadzi\u0107 rzeteln\u0105 ewaluacj\u0119 wynik\u00f3w, wykorzystuj\u0105c w tym celu wszystkie dost\u0119pne dane wraz z szeregiem odpowiednich metryk.<\/p>\n\n\n\n
Ewaluacja wynik\u00f3w<\/h2>\n\n\n\n
Dokonamy teraz oceny przydatno\u015bci naszego wytrenowanego modelu, korzystaj\u0105c z powszechnie wykorzystywanych metryk<\/a>:<\/p>\n\n\n\n
- Accuracy,<\/li>
- F1Score,<\/li>
- AuROC (Area under Receiver Operating Characteristic),<\/li>
- Precision<\/li>
- oraz Recall.<\/li><\/ul>\n\n\n\n
Pozwol\u0105 nam one na ro\u017cne sposoby oceni\u0107, jak dobrze radzi sobie nasz klasyfikator.<\/p>\n\n\n\n
Technik\u0105, kt\u00f3r\u0105 wykorzystamy w celu lepszego sprawdzenia wiarygodno\u015bci wynik\u00f3w, jest tzw. walidacja krzy\u017cowa (cross-validation). <\/em>Polega ona na powtarzanym podziale zbioru na zbi\u00f3r testowy i treningowy tak, aby za ka\u017cdym razem model nie by\u0142 wyuczony na innej cz\u0119\u015bci danych.<\/p>\n\n\n\n
Powszechnie wykorzystywana jest pi\u0119ciokrotna walidacja krzy\u017cowa, w kt\u00f3rej pi\u0119\u0107 razy wy\u0142\u0105czamy inny podzbi\u00f3r testowy ze zbioru i sprawdzamy na nim efektywno\u015b\u0107 modelu. Poni\u017cszy kod prezentuje ewaluacj\u0119 modelu z wykorzystaniem tego schematu walidacji.<\/p>\n\n\n
\n\/\/Ewaluacja wynik\u00f3w\nvar testDataView = model.Transform(splitDataView.TestSet);\nvar cvResults = mlContext.BinaryClassification.CrossValidate(testDataView, mlContext.BinaryClassification.Trainers.LightGbm(), numberOfFolds: 5);\n<\/pre><\/div>\n\n\n
ML.NET zawiera gotowe metody do wykonania walidacji krzy\u017cowej, kt\u00f3re zwracaj\u0105 wyniki interesuj\u0105cych nas metryk dla ka\u017cdej iteracji tego procesu. W celu obliczenia ich warto\u015bci dla ca\u0142o\u015bci procesu, dokonamy obliczenia \u015bredniej arytmetycznej ka\u017cdej z nich.<\/p>\n\n\n
\n\/\/Obliczenie metryk\nvar accuracy = cvResults.Select(f => f.Metrics.Accuracy).Average();\nvar f1 = cvResults.Select(f => f.Metrics.F1Score).Average();\nvar auroc = cvResults.Select(f => f.Metrics.AreaUnderRocCurve).Average();\nvar precision = cvResults.Select(f => f.Metrics.PositivePrecision).Average();\nvar recall = cvResults.Select(f => f.Metrics.PositiveRecall).Average();\n<\/pre><\/div>\n\n\n
Poni\u017cej prezentuj\u0105 si\u0119 uzyskane wyniki efektywno\u015bci naszego modelu dla klasyfikacji binarnej:<\/p>\n\n\n\n
![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/Performance-1024x336-1.png\")
<\/a>![\"\"](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/01\/PerformanceChart.png\")
<\/a>