Podczas gdy wspomniane narz\u0119dzia s\u0105 w stanie pobiera\u0107 informacje z dokument\u00f3w, to niestety, potrzebne s\u0105 nam jeszcze odpowiednie narz\u0119dzia, aby te informacje wykorzysta\u0107. Cho\u0107by dlatego, \u017ce nie wszystkie aplikacje posiadaj\u0105 API.<\/p>\n\n\n\n
Nale\u017cy pami\u0119ta\u0107 o tym, \u017ce zwr\u00f3cone informacje mog\u0105 zawiera\u0107 b\u0142\u0119dy. Niestety, AI wci\u0105\u017c pope\u0142nia du\u017co b\u0142\u0119d\u00f3w w tym aspekcie.<\/p>\n\n\n\n Problem ten rozwi\u0105za\u0107 pr\u00f3buje r\u00f3wnie\u017c UiPath, kt\u00f3ry ju\u017c od kilku lat stara si\u0119 dostarczy\u0107 kompleksowe rozwi\u0105zania do automatyzacji proces\u00f3w, wykraczaj\u0105ce poza same roboty RPA. Jednym z takich rozwi\u0105za\u0144 jest Document Understanding<\/strong>, kt\u00f3rego rozw\u00f3j obserwuj\u0119 z zainteresowaniem od 2020 roku i jestem przekonany, \u017ce jest to rozwi\u0105zanie zas\u0142uguj\u0105ce na uwag\u0119.<\/p>\n\n\n\n Document Understanding jest frameworkiem UiPath s\u0142u\u017c\u0105cym do procesowania dokument\u00f3w i sam w sobie nie jest w \u017cadnym stopniu inteligentny. Co najwy\u017cej udost\u0119pnia metody<\/strong> (nazwa\u0142bym je klasycznymi) przetwarzania ustrukturyzowanych i powtarzalnych dokument\u00f3w z wykorzystaniem wyra\u017ce\u0144 regularnych<\/strong>.<\/p>\n\n\n\n Aby odkry\u0107 jego pe\u0142en potencja\u0142, nale\u017cy wyposa\u017cy\u0107 si\u0119 w AI Center oraz Action Center.<\/p>\n\n\n\n Obie us\u0142ugi s\u0105 dost\u0119pne jako osobne produkty UiPath i mog\u0105 by\u0107 wykorzystywane zar\u00f3wno w instalacji po stronie klienta, jak i us\u0142udze chmurowej.<\/p>\n\n\n\n Wyposa\u017ceni w te elementy i wiedz\u0119 o ich przeznaczeniu, mo\u017cemy przyjrze\u0107 si\u0119 samemu procesowi przetwarzania dokumentu:<\/p>\n\n\n\n Z powy\u017cszego diagramu wy\u0142aniaj\u0105 si\u0119 dwa kluczowe elementy z perspektywy dostosowywania narz\u0119dzia do naszych potrzeb: etapy klasyfikacji i ekstrakcji.<\/p>\n\n\n\n Etap klasyfikacji i ekstrakcji opiera si\u0119 na poziomie pewno\u015bci wyra\u017conym w procentach. Je\u015bli poziom pewno\u015bci wobec przetworzonego dokumentu nie spe\u0142nia okre\u015blonych wymaga\u0144, taki dokument zostaje oddelegowany do ludzkiej weryfikacji. U\u017cytkownik<\/strong>, wykorzystuj\u0105c stacj\u0119 walidacyjn\u0105 dost\u0119pn\u0105 w Action Center, potwierdza lub poprawia dane wydobyte przez robota<\/strong>. Zweryfikowane dane s\u0105 dost\u0119pne w dalszej cz\u0119\u015bci procesu, za\u015b dane pochodz\u0105ce z procesu ludzkiej walidacji mog\u0105 zosta\u0107 u\u017cyte w AI Center do trenowania modelu w celu poprawienia sprawno\u015bci modelu.<\/strong><\/p>\n\n\n\n Po kilku sesjach trenowania modelu da si\u0119 zauwa\u017cy\u0107 popraw\u0119 dzia\u0142ania modelu, ale nale\u017cy pami\u0119ta\u0107, \u017ce sam proces uczenia modelu mo\u017ce wymaga\u0107 wielu przyk\u0142adowych dokument\u00f3w. Zdarza si\u0119, \u017ce up\u0142ynie du\u017co czasu zanim osi\u0105gniemy satysfakcjonuj\u0105cy efekt<\/strong>. Liczby te zapewne mog\u0105 i\u015b\u0107 w dziesi\u0105tki lub setki, je\u015bli nie tysi\u0105ce.<\/p>\n\n\n\n Jak ju\u017c wspomnia\u0142em, AI Center jest sercem ca\u0142ego przedsi\u0119wzi\u0119cia. Udost\u0119pnia modele uczenia maszynowego, przechowuje dane wykorzystywane do trenowania i ewaluacji modeli, umo\u017cliwia definiowanie i planowanie uczenia.<\/p>\n\n\n\n To wszystko brzmi tak wspaniale, \u017ce chcia\u0142oby si\u0119 powiedzie\u0107, \u017ce UiPath znalaz\u0142 rozwi\u0105zanie wszystkich problem\u00f3w zwi\u0105zanych z przetwarzaniem dokument\u00f3w. Niestety, jest pewien haczyk. Ot\u00f3\u017c: o tym, czy dany dokument mo\u017cemy poddawa\u0107 ekstrakcji danych, decyduje dost\u0119pno\u015b\u0107 modelu uczenia maszynowego.<\/p>\n\n\n\n UiPath przygotowa\u0142 kilka domy\u015blnie dost\u0119pnych modeli dla najpopularniejszych dokument\u00f3w:<\/p>\n\n\n\n Je\u015bli jednak nasz dokument nie wpisuje si\u0119 w ramy gotowych modeli, istnieje mo\u017cliwo\u015b\u0107 tworzenia w\u0142asnych specjalistycznych modeli. Wymaga to jednak zaanga\u017cowania osoby zaznajomionej z Data Science<\/strong>, uczeniu maszynowym, oraz Pythonem.<\/strong><\/p>\n\n\n\n Warto wspomnie\u0107, \u017ce AI Center, opr\u00f3cz modeli dost\u0119pnych domy\u015blnie, zawiera r\u00f3wnie\u017c modele open-source do analizy obrazu, j\u0119zyka, czy te\u017c emocji w tek\u015bcie pisanym. Tak wi\u0119c, AI Center rozszerza mo\u017cliwo\u015bci u\u017cycia robot\u00f3w poza procesowaniem dokument\u00f3w do cho\u0107by klasyfikatora email czy recenzji produkt\u00f3w.<\/p>\n\n\n\n Jedn\u0105 z niew\u0105tpliwych zalet robot\u00f3w RPA<\/strong>, tu\u017c obok tego, \u017ce mog\u0105 pracowa\u0107 dzie\u0144 i noc, jest to, \u017ce szansa na pope\u0142nienie ludzkich b\u0142\u0119d\u00f3w, typu liter\u00f3wka czy odst\u0119pstwo od procesu, jest znikoma. Niestety, sytuacja ma si\u0119 inaczej, je\u015bli chodzi o inteligentne przetwarzanie dokument\u00f3w.<\/p>\n\n\n\n Modele dzia\u0142aj\u0105 na podstawie danych dostarczanych przez silniki OCR, za\u015b wyniki przetwarzania OCR s\u0105 bezpo\u015brednio uzale\u017cnione od jako\u015bci samego dokumentu, dlatego przy tworzeniu robota nale\u017cy bezwzgl\u0119dnie bra\u0107 pod uwag\u0119 poziom pewno\u015bci silnika OCR<\/strong>.<\/p>\n\n\n\n Idealnym zobrazowaniem tej sytuacji jest poni\u017cszy przyk\u0142ad:<\/p>\n\n\n\n Powy\u017cszy obraz przedstawia stacj\u0119 walidacyjn\u0105 UiPath, wykorzystywan\u0105 do potwierdzania lub poprawiania danych wyodr\u0119bnionych z dokumentu. Jak mo\u017cna zauwa\u017cy\u0107, pomimo tego, \u017ce pole \u201eInvoice Number\u201d zosta\u0142o rozpoznane poprawnie, poziom pewno\u015bci co do numeru faktury jest bardzo wysoki i akceptowalny (99%), to warto\u015b\u0107 jest b\u0142\u0119dna.<\/strong><\/p>\n\n\n\n Jest to bezpo\u015brednia wina silnika OCR. Mo\u017ce by\u0107 to spowodowane przez ma\u0142\u0105 czcionk\u0119 oraz przeci\u0119tn\u0105 jako\u015b\u0107 dokumentu (obraz jpg 750×1000). Niestety, obecnie stacja walidacji UiPath nie wy\u015bwietla poziom\u00f3w pewno\u015bci odno\u015bnie rezultat\u00f3w przetwarzania OCR. Dane te s\u0105 dost\u0119pne po stronie kodu robota i na ich podstawie mo\u017cna delegowa\u0107 dokument do walidacji przez cz\u0142owieka.<\/strong><\/p>\n\n\n\n Oto dane dost\u0119pne po stronie robota:<\/p>\n\n\n\n Jako ciekawostk\u0119 nale\u017cy wskaza\u0107 poprawnie rozpoznane pole DateDue o niskim poziomie OCR confidence. OCR Confidence dla warto\u015bci tabelarycznych przyjmuje -1, a warto\u015b\u0107 poszczeg\u00f3lnych wierszy jest dost\u0119pna w osobnym zestawie danych.<\/p>\n\n\n\n Naturalnym wnioskiem jest to, \u017ce pomini\u0119cie sprawdzenia pewno\u015bci silnika OCR mo\u017ce prowadzi\u0107 do wprowadzania niepoprawnych danych do systemu<\/strong>, co stanowi powa\u017cny problem. Wystarczy wyobrazi\u0107 sobie sytuacj\u0119, w kt\u00f3rej robot ksi\u0119guje do zap\u0142aty faktur\u0119 opiewaj\u0105c\u0105 na 180 tys. PLN, zamiast na 100 tys. PLN.<\/p>\n\n\n\n Czy to zupe\u0142nie dyskwalifikuje narz\u0119dzie? Moim zdaniem \u2013 nie. Z ca\u0142\u0105 pewno\u015bci\u0105 nale\u017cy sprawdza\u0107 wsp\u00f3\u0142czynniki pewno\u015bci silnika OCR i modelu. W razie jakichkolwiek odchyle\u0144 od przyj\u0119tych poziom\u00f3w pewno\u015bci bezwzgl\u0119dnie delegowa\u0107 taki dokument do ludzkiej walidacji, nawet je\u015bli wszystko oka\u017ce si\u0119 by\u0107 poprawnie rozpoznane.<\/p>\n\n\n\n Przy procesowaniu dokument\u00f3w zwi\u0105zanych bezpo\u015brednio z finansami sugerowa\u0142bym ustalenie prog\u00f3w kwot, kt\u00f3re podlegaj\u0105 bezwzgl\u0119dnie ludzkiej walidacji<\/strong>. Dodatkowym zabezpieczeniem mo\u017ce by\u0107 u\u017cywanie drugiego silnika OCR i por\u00f3wnywanie wynik\u00f3w<\/strong>.<\/p>\n\n\n\n Narz\u0119dzia do inteligentnego procesowania dokument\u00f3w towarzysz\u0105 nam ju\u017c od d\u0142u\u017cszego czasu i z ca\u0142\u0105 pewno\u015bci\u0105 stanowi\u0105 wsparcie dla codziennej pracy tysi\u0119cy pracownik\u00f3w biurowych w ich nieustannej walce z przetwarzaniem setek dokument\u00f3w dziennie. Wci\u0105\u017c otwartym zagadnieniem jest zaufanie jakim mo\u017cemy obdarzy\u0107 te narz\u0119dzia.<\/p>\n\n\n\n Kto wie \u2013 by\u0107 mo\u017ce w niedalekiej przysz\u0142o\u015bci poziom ich zaawansowania zniweluje problem zaufania.<\/p>\n\n\n\n ***<\/p>\n\n\n\n Je\u015bli temat sztucznej inteligencji jest Ci bliski, zach\u0119camy do lektury artyku\u0142\u00f3w dotycz\u0105cych: AI w testowaniu<\/a>, w silnikach wyszukiwania<\/a> i we wsparciu biznesu.<\/a><\/p>\n\n\n![\"Rysunek](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2022\/04\/Ryc1.jpg\")
<\/a>UiPath i Document Understanding \u2013 Elementy rozwi\u0105zania<\/h2>\n\n\n\n
\n
Proces przetwarzania dokument\u00f3w<\/h2>\n\n\n\n
<\/a>\n
AI Center \u2013 centrum obs\u0142ugi modeli uczenia maszynowego
<\/strong><\/h2>\n\n\n\n\n
To ja, Tw\u00f3j robot\u2026 Ufasz mi, prawda?
<\/strong><\/h2>\n\n\n\nB\u0142\u0119dy silnika OCR<\/h3>\n\n\n\n
<\/a><\/a>Kilka s\u0142\u00f3w podsumowania<\/h2>\n\n\n\n