{"id":8576,"date":"2019-12-19T09:06:40","date_gmt":"2019-12-19T08:06:40","guid":{"rendered":"https:\/\/sii.pl\/blog\/?p=8576"},"modified":"2025-05-07T11:19:25","modified_gmt":"2025-05-07T09:19:25","slug":"sciaganie-danych-o-planszowkach-z-internetu-czyli-web-scraping-w-praktyce","status":"publish","type":"post","link":"https:\/\/sii.pl\/blog\/sciaganie-danych-o-planszowkach-z-internetu-czyli-web-scraping-w-praktyce\/","title":{"rendered":"\u015aci\u0105ganie danych o plansz\u00f3wkach z Internetu, czyli web scraping w praktyce"},"content":{"rendered":"\n

Wiele os\u00f3b narzeka na brak ciekawych zbior\u00f3w danych, na kt\u00f3rych mogliby po\u0107wiczy\u0107 swoje zdolno\u015bci analizy danych. Cz\u0119sto te\u017c s\u0142ysz\u0119, \u017ce\u00a0szkoda, \u017ce dana strona nie udost\u0119pnia jakich\u015b danych w prostej formie<\/em>. Ale to, \u017ce kto\u015b nie udost\u0119pnia jakich\u015b danych wprost nie znaczy, \u017ce nie da si\u0119 ich zdoby\u0107 inaczej.<\/p>\n\n\n\n

\"przyklad<\/a><\/figure><\/div>\n\n\n\n

Czasem dane udost\u0119pniane s\u0105 w inny spos\u00f3b, np. za pomoc\u0105 API. Ale nawet je\u015bli serwis nie wystawia \u017cadnego, nie stoimy na straconej pozycji, bo mamy do dyspozycji jeszcze web scraping, czyli pisanie paj\u0105czk\u00f3w internetowych. Co to s\u0105 te paj\u0105czki i czemu tak si\u0119 nazywaj\u0105? S\u0105 to programy, kt\u00f3re chodz\u0105 po Sieci (crawl the net) i gromadz\u0105 dane poprzez parsowanie kodu html. No bo je\u015bli macie serwis internetowy, w kt\u00f3rym tysi\u0105ce stron ma tak\u0105 sam\u0105 struktur\u0119, to mo\u017ce da si\u0119 z nich wyci\u0105gn\u0105\u0107 informacje w jaki\u015b zorganizowany spos\u00f3b? Da si\u0119\u00a0\ud83d\ude42\u00a0I mo\u017ce nawet nie zdajecie sobie sprawy z tego, jakie to proste!<\/p>\n\n\n\n

Korzysta\u0142em z Anacondy zainstalowanej pod Windowsem i bior\u0105c pod uwag\u0119, \u017ce wi\u0119kszo\u015b\u0107 tutoriali pisanych jest z perspektywy linuxa, gdzie instalowanie pakiet\u00f3w i praca w konsoli jest zdecydowanie \u0142atwiejsza, to my\u015bl\u0119, \u017ce ten artyku\u0142 mo\u017ce przyda\u0107 si\u0119 osobom, kt\u00f3re czu\u0142y si\u0119 odstraszone pisaniem w shellu. Scrapy jeszcze jaki\u015b czas temu nie dzia\u0142a\u0142 pod pythonem 2, tak\u017ce je\u015bli zamierzacie dopiero zainstalowa\u0107 Anacond\u0119 b\u0105d\u017a samego pythona, zdecydujcie si\u0119 na wersj\u0119 opatrzon\u0105 numerkiem 3.<\/p>\n\n\n\n

Scrapy \u2013 podstawy<\/h3>\n\n\n\n

Po zainstalowaniu pakietu Scrapy, czy to przez mened\u017cera Anacondy czy przez pipa, mo\u017cemy uruchomi\u0107 interaktywny shell, w kt\u00f3rym b\u0119dziemy mogli spr\u00f3bowa\u0107 podstawowych funkcjonalno\u015bci pakietu. Aby to zrobi\u0107, w Anaconda prompt wpiszmy:<\/p>\n\n\n

\npython \u2013m scrapy shell\n<\/pre><\/div>\n\n\n
I na pr\u00f3b\u0119 \u015bci\u0105gnijmy sobie jak\u0105\u015b stron\u0119 internetow\u0105, np.:<\/p>\n\n\n
\nfetch(\"https:\/\/boardgamegeek.com\/boardgame\/242639\/treasure-island\")\n<\/pre><\/div>\n\n\n
Je\u015bli jeszcze tego nie m\u00f3wi\u0142em ani nie zorientowali\u015bcie si\u0119 \u2013 b\u0119dziemy \u015bci\u0105gali dane o plansz\u00f3wkach\u00a0\ud83d\ude09\u00a0Dlaczego? Bo plansz\u00f3wki s\u0105 super, a boardgamegeek jest por\u00f3wnywalnie dobrym (je\u015bli nie lepszym) \u017ar\u00f3d\u0142em danych o grach jak imdb o filmach.<\/p>\n\n\n\n
Po wykonaniu instrukcji:<\/p>\n\n\n
\nprint(response.text)\n<\/pre><\/div>\n\n\n
uka\u017ce nam si\u0119 kod html \u015bci\u0105gni\u0119tej strony. Od teraz b\u0119dziemy mogli \u201edobra\u0107 si\u0119\u201d do poszczeg\u00f3lnych element\u00f3w strony na dwa sposoby: za pomoc\u0105 selektor\u00f3w css b\u0105d\u017a xpath. W og\u00f3lno\u015bci pierwszy pozwala nam na odwo\u0142ywanie si\u0119 do takich element\u00f3w jak atrybut class kodu CSS, a drugi pozwala na budow\u0119 hierarchicznej \u015bcie\u017cki, kt\u00f3ra identyfikuje konkretne elementy kodu xml. Brzmi \u015bwietnie, ale powinni\u015bmy zacz\u0105\u0107 od jednej wa\u017cnej informacji: w dzisiejszych czasach strony internetowe s\u0105 cz\u0119sto generowane dynamicznie i to, co widzimy w przegl\u0105darce niekoniecznie jest tym samym, co b\u0119dziemy widzieli \u015bci\u0105gaj\u0105c kod tej strony<\/strong>. \u017beby to zobrazowa\u0107 na stronie powy\u017cej kliknijmy w przegl\u0105darce prawym przyciskiem gdzie\u015b w okolicach Description i wybierzmy Zbadaj\/Inspect. Otworzy nam si\u0119 konsola developera z zaznaczonym fragmentem kodu odpowiadaj\u0105cym elementowi, na kt\u00f3ry klikn\u0119li\u015bmy. Ale wy\u015bwietlaj\u0105c \u017ar\u00f3d\u0142o strony spr\u00f3bujmy znale\u017a\u0107 ten sam fragment kodu\u2026 Mo\u017ce by\u0107 ci\u0119\u017cko. A to dlatego, \u017ce du\u017ca cz\u0119\u015b\u0107 znacznik\u00f3w html generowana jest skryptem napisanym w Java Script. Wiele informacji, kt\u00f3re b\u0119dziemy chcieli wydoby\u0107 jest przekazywanych jako argumenty tego\u017c skryptu, natomiast znacznik\u00f3w html widocznych z poziomu narz\u0119dzi przegl\u0105darki tutaj nie u\u015bwiadczymy.<\/p>\n\n\n\n
Maj\u0105c to na uwadze spr\u00f3bujmy zobaczy\u0107 jak dzia\u0142aj\u0105 te dwa selektory. Najpierw css, kt\u00f3ry wygl\u0105da przyk\u0142adowo tak:<\/p>\n\n\n
\nresponse.css(\"meta\")\n<\/pre><\/div>\n\n\n
To zwr\u00f3ci nam d\u0142ug\u0105 list\u0119 r\u00f3\u017cnych rzeczy. Dlaczego? Ano dlatego, \u017ce znacznik\u00f3w meta mamy ca\u0142kiem sporo w kodzie strony\u2026 no to mo\u017ce spr\u00f3bujmy wyci\u0105gn\u0105\u0107 tylko jeden, najlepiej pierwszy? Prosz\u0119 bardzo:<\/p>\n\n\n
\nresponse.css(\"meta\").extract_first()\n<\/pre><\/div>\n\n\n
Co powinno nam da\u0107:<\/p>\n\n\n\n
<meta charset=\u2019utf-8\u2032<\/strong>><\/p>\n\n\n\n
Rzeczywi\u015bcie, to jest pierwszy znacznik meta wyst\u0119puj\u0105cy na tej stronie. Super, w takim razie teraz zauwa\u017cmy, \u017ce w g\u00f3rnej cz\u0119\u015bci kodu, w sekcji <head> mamy kilka informacji, kt\u00f3re da\u0142oby si\u0119 \u0142atwo wydoby\u0107. W tym skr\u00f3cony opis gry, do kt\u00f3rego odwo\u0142ujemy si\u0119 dzi\u0119ki znacznikowi o atrybucie property=\u201eog:description\u201d:<\/p>\n\n\n\n
<meta property=\u201eog:description\u201d<\/strong> content=\u201eLong John Silver\u2019s crew has committed mutiny and has him cornered and tied up! Round after round, they question him about the location of his treasure and explore the island following his directions &amp;mdash; or perhaps his misdirections? Who knows\u2026 The old sea dog is surely planning an escape, after all, after which he will definitely try to get his treasure back.<\/strong><\/p>\n\n\n\n
Treasure Island is a game of bluffing and adventure in which one player embodies Long John, trying to mislead the others in their search for his treasure. The hunt reaches its climax with Long John\u2019s escape, when he will make a final run to get the booty for himself!\u201d<\/strong> \/><\/p>\n\n\n\n
Selektor css pozwoli nam \u0142atwo opisa\u0107 taki znacznik:<\/p>\n\n\n
\nresponse.css(\"meta[property='og:description']\").extract_first()\n<\/pre><\/div>\n\n\n
No ale to pokazuje nam opis gry razem z ca\u0142ym znacznikiem\u2026 Aha, no tak, bo przecie\u017c opis kryje si\u0119 w atrybucie content. Jak dosta\u0107 si\u0119 do warto\u015bci atrybutu? Tak:<\/p>\n\n\n
\nresponse.css(\"meta[property='og:description']::attr(content)\").get()\n<\/pre><\/div>\n\n\n
Widzimy te\u017c, \u017ce zamiast extract_first() mo\u017cemy u\u017cy\u0107 funkcji get().<\/p>\n\n\n\n
A teraz\u00a0 dla odmiany zobaczmy jak dzia\u0142a selektor xpath:<\/p>\n\n\n
\nresponse.xpath(\"\/\/html\/body\").get()\n<\/pre><\/div>\n\n\n
Ok, czyli tutaj te\u017c w \u0142atwy spos\u00f3b dostali\u015bmy si\u0119 do ca\u0142ej sekcji body. A spr\u00f3bujmy czego\u015b innego:<\/p>\n\n\n
\nresponse.xpath(\"\/\/html\/head\/script\/text()\").extract_first()\n<\/pre><\/div>\n\n\n
Whoa! Co tu si\u0119 wydarzy\u0142o\u2026 ot\u00f3\u017c jak widzimy w kodzie strony du\u017ca cz\u0119\u015b\u0107 informacji jest przekazywana jako argumenty skryptu Java Script. Chc\u0105c si\u0119 dosta\u0107 do tych informacji konstruujemy selektor przechodz\u0105c przez cz\u0119\u015b\u0107 html, sekcj\u0119 head, nast\u0119pnie znacznik script, a potem korzystaj\u0105c z funkcji text(), aby zobaczy\u0107 co jest wewn\u0105trz znacznika script. Du\u017co tekstu, ale wszystko da si\u0119 sparsowa\u0107. Oczywi\u015bcie znacznik\u00f3w script wewn\u0105trz <html> mo\u017ce by\u0107 du\u017co, dlatego xpath() zwraca nam list\u0119 wszystkich fragment\u00f3w kodu pasuj\u0105cych do tego schematu, a nast\u0119pnie funkcj\u0105 extract_first() wybieramy tylko pierwszy z nich, bo akurat w tym przypadku mamy pewno\u015b\u0107, \u017ce chodzi nam o pierwszy skrypt wyst\u0119puj\u0105cy w kodzie\u2026 Pierwszy, kt\u00f3ry ma tekst\u00a0\ud83d\ude09\u00a0Bo tak naprawd\u0119 to drugi znacznik script, ale pierwszy nie ma \u017cadnego tekstu. Xpath() pomija wi\u0119c pusty script, bo nie pasuje on do wzorca.<\/p>\n\n\n\n
Pisanie paj\u0105czk\u00f3w<\/h3>\n\n\n\n
Teraz kiedy ju\u017c wiemy jakie mo\u017cliwo\u015bci z grubsza posiada Scrapy, mo\u017cemy napisa\u0107 prostego paj\u0105czka, kt\u00f3ry sam przepe\u0142znie przez kilka stron internetowych. W dedykowanym folderze utw\u00f3rzmy plik SiiSpider.py, a w nim umie\u015b\u0107my nast\u0119puj\u0105cych kilka linijek kodu:<\/p>\n\n\n
\nimport scrapy  \n   \nclass SiiSpider(scrapy.Spider):  \n    name = \"planszoPajak\" \n    start_urls = ['https:\/\/boardgamegeek.com\/browse\/boardgame?sort=rank&rankobjecttype=subtype&rankobjectid=1']  \n    download_delay = 5 \n    def parse(self, response):  \n        zestaw=response.css(\".collection_table\").xpath(\".\/\/tr\")  \n        for item in zestaw:  \n            i = {}  \n            i['tytul'] = item.css(\".collection_objectname a::text\").extract_first()  \n            i['url'] = item.css(\".collection_objectname a::attr(href)\").extract_first()  \n            yield i\n<\/pre><\/div>\n\n\n
Oczywi\u015bcie importujemy pakiet scrapy, a nast\u0119pnie tworzymy klas\u0119 SiiSpider, kt\u00f3ra dziedziczy po klasie scrapy.Spider. Nast\u0119pnie ustalamy trzy wa\u017cne parametry:<\/p>\n\n\n\n