Na potrzeby swojej analizy pos\u0142u\u017c\u0119 si\u0119 przyk\u0142adem komentarzy, kt\u00f3re pojawi\u0142y si\u0119 na Twitterze po naszym mundialowym meczu o wszystko z Kolumbi\u0105. Warto podkre\u015bli\u0107, \u017ce tak\u0105 analiz\u0119 mo\u017cna przeprowadzi\u0107 za pomoc\u0105 Pythona nie tylko w odniesieniu do komentarzy o wyczynach sportowych, ale tak\u017ce wy\u0142oni\u0107 najlepiej oceniony zesp\u00f3\u0142 na Openerze czy najbardziej popularn\u0105 pla\u017c\u0119 nad Ba\u0142tykiem oraz stwierdzi\u0107, kt\u00f3ry kandydat w wyborach samorz\u0105dowych by\u0142 najcz\u0119\u015bciej wymieniany.<\/p>\n\n\n\n
Przewodnik krok po kroku<\/h2>\n\n\n\n
Na pocz\u0105tek potrzebne nam b\u0119dzie \u015brodowisko do pracy. Instalacja wszystkiego, co b\u0119dzie potrzebne nam poni\u017cej jest stosunkowo prosta, dlatego nie b\u0119d\u0119 opisywa\u0107 po kolei instrukcji instalacji. Niezb\u0119dne nam b\u0119d\u0105:<\/p>\n\n\n\n
- \n
- Python 3.6<\/li>\n\n\n\n
- Biblioteka tweepy (pip install tweepy<\/em>)<\/li>\n\n\n\n
- Biblioteka pandas (pip install pandas<\/em>)<\/li>\n\n\n\n
- Edytor kodu (np. PyCharm)<\/li>\n<\/ul>\n\n\n\n
Dodatkowo do zbierania wpis\u00f3w z serwisu Twitter niezb\u0119dne b\u0119dzie nam zarejestrowane tam konto.<\/p>\n\n\n\n
Zanim zaczniemy pisa\u0107 pierwsze linijki kodu, przejdziemy do wygenerowania danych, kt\u00f3re uwierzytelni\u0105 nas i pozwol\u0105 korzysta\u0107 z twitterowego API. Jako zalogowany u\u017cytkownik Twittera przechodz\u0119 zatem do strony: https:\/\/apps.twitter.com<\/a><\/p>\n\n\n\n
Rozpoczynam proces tworzenia nowej aplikacji:<\/p>\n\n\n\n
![\"Widok](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app-1024x511.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nW kolejnym kroku wype\u0142niam wszystkie niezb\u0119dne pola, zaznaczam checkbox z potwierdzeniem zapoznania si\u0119 z regulaminem i klikam na przycisk Create your Twitter application<\/strong>, \u017ceby przej\u015b\u0107 dalej.<\/p>\n\n\n\n
![\"Create](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app_step2-1024x793.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nJe\u015bli wszystkie wymagane pola zosta\u0142y wype\u0142nione prawid\u0142owo, to pojawi si\u0119 nast\u0119pny ekran \u2013 aplikacji, z kt\u00f3rego b\u0119dzie nas interesowa\u0107 przede wszystkim API key:<\/p>\n\n\n\n
![\"Application](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app_step3-1024x545.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nkt\u00f3rego jeszcze nie kopiuj\u0119, bo musz\u0119 przej\u015b\u0107 do ekranu docelowego przez klikni\u0119cie na niebieski link manage keys and access tokens<\/strong>.<\/p>\n\n\n\n
Po klikni\u0119ciu na niego pojawia si\u0119 ostatni ekran, kt\u00f3ry b\u0119dzie potrzebny do zbudowania prostej aplikacji agreguj\u0105cej tweety.<\/p>\n\n\n\n
Teraz nadszed\u0142 moment, w kt\u00f3rym kopiuj\u0119 do notatnika dwie warto\u015bci:<\/p>\n\n\n\n
- \n
- Consumer Key<\/li>\n\n\n\n
- Consumer Secret<\/li>\n<\/ul>\n\n\n\n
zaznaczone na screenie poni\u017cej.<\/p>\n\n\n\n
![\"Application](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app_step4-1024x539.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nZ tego samego ekranu potrzebne b\u0119d\u0105 mi jeszcze 2 warto\u015bci, kt\u00f3re musz\u0119 wygenerowa\u0107 sobie samodzielnie. \u017beby to zrobi\u0107, scrolluj\u0119 na koniec strony i klikam na Create my access token<\/strong>.<\/p>\n\n\n\n
![\"Create](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app_step5-1024x342.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nPo klikni\u0119ciu pojawi\u0105 mi si\u0119 w tym samym miejscu na stronie ostatnie ju\u017c dane, kt\u00f3re musz\u0119 skopiowa\u0107 do notatnika (zaznaczone na screenie poni\u017cej):<\/p>\n\n\n\n
![\"Your](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2018\/07\/apps_twitter_com_create_new_app_step6-1024x359.png\" "\\"Python")
<\/a><\/figure>\n\n\n\nCzas na kodowanie!<\/h2>\n\n\n\n
Dane skompletowane. Nadszed\u0142 czas, aby przej\u015b\u0107 w ko\u0144cu do cz\u0119\u015bci pythonowej.
To r\u00f3wnie\u017c dobry moment na zadanie sobie pytania \u2013 \u201eCo musz\u0119 zrobi\u0107, \u017ceby otrzyma\u0107 oczekiwany efekt?<\/em>\u201d.<\/p>\n\n\n\nPo pierwsze m\u00f3j program musi uwierzytelni\u0107 si\u0119<\/strong> w aplikacji twitterowej za pomoc\u0105 danych, kt\u00f3re mam zapisane w notatniku.
Po drugie, dobrze by\u0142oby narzuci\u0107 odg\u00f3rny limit<\/strong> na zaci\u0105gni\u0119te tweety, aby pobieranie nowych tweet\u00f3w nie trwa\u0142o w niesko\u0144czono\u015b\u0107.
Po trzecie, potrzebna mi jest klasa<\/strong>, kt\u00f3ra zagreguje tweety.
Na koniec warto by\u0142oby doda\u0107 filtr, kt\u00f3ry zbierze mi tweety z hashtagami, po kt\u00f3rych chc\u0119 odszuka\u0107 wpisy ze streamu, w przypadku meczu Polska \u2013 Kolumbia b\u0119d\u0105 to #POL-COL<\/a><\/strong> i #POLCOL<\/strong><\/a>.<\/p>\n\n\n\nZatem, do dzie\u0142a!<\/p>\n\n\n\n
W pierwszej kolejno\u015bci dokonuj\u0119 niezb\u0119dnych import\u00f3w z biblioteki tweepy:<\/p>\n\n\n
\nfrom tweepy import OAuthHandler, Stream\nfrom tweepy.streaming import StreamListener\n<\/pre><\/div>\n\n\n
W kolejnym kroku podaje\u0328 dane z notatnika, kto\u0301rymi be\u0328de\u0328 si\u0119 uwierzytelniac\u0301:<\/p>\n\n\n
\nCONSUMER_KEY = "TU_WKLEJ_SWOJE_DANE" \nCONSUMER_SECRET = "TU_WKLEJ_SWOJE_DANE" \nACCESS_TOKEN = "TU_WKLEJ_SWOJE_DANE" \nACCESS_TOKEN_SECRET = "TU_WKLEJ_SWOJE_DANE"\n<\/pre><\/div>\n\n\n
Narzucam odg\u00f3rny limit, po kt\u00f3rym program przestanie zbiera\u0107 tweety:<\/p>\n\n\n
\nLIMIT = 50\n<\/pre><\/div>\n\n\n
Jak wida\u0107, limit to zaledwie 50 tweet\u00f3w, ale chodzi o to, \u017ceby przetestowa\u0107 wykonywanie kodu na mniejszej pr\u00f3bie, co znacznie oszcz\u0119dzi czas. Oczywi\u015bcie narzucony limit mo\u017cna p\u00f3\u017aniej zwi\u0119kszy\u0107 i nic nie stoi na przeszkodzie, aby poda\u0107 tam np. 50000.<\/p>\n\n\n\n
Czas przej\u015b\u0107 do\u00a0clou<\/em>\u00a0programu. Definiuj\u0119 klas\u0119\u00a0Listener<\/strong>, kt\u00f3ra dziedziczy z klasy\u00a0StreamListener<\/em>\u00a0z biblioteki\u00a0tweepy<\/em>.<\/p>\n\n\n
\nclass Listener(StreamListener):\n<\/pre><\/div>\n\n\n
Nast\u0119pnie definiuj\u0119 sobie atrybut klasy niezb\u0119dny w dalszej cz\u0119\u015bci programu.<\/p>\n\n\n
\ncount = 0\n<\/pre><\/div>\n\n\n
Teraz kolej na funkcj\u0119, kt\u00f3ra b\u0119dzie agregowa\u0107 \u201esp\u0142ywaj\u0105ce\u201d dane:<\/p>\n\n\n
\ndef on_data(self, data):\n self.count += 1\n print(data)\n if self.count > LIMIT:\n return False\n return True\n<\/pre><\/div>\n\n\n
a w razie b\u0142\u0119du, np. przy uwierzytelnianiu wy\u015bwietl\u0119 b\u0142\u0105d i jego numer:<\/p>\n\n\n
\ndef on_error(self, status):\n print(status)\n<\/pre><\/div>\n\n\n
Agregowane dane dobrze by\u0142oby zapisac\u0301 do pliku, kto\u0301ry pos\u0142u\u017cy mi do dalszego przetworzenia s\u0301cia\u0328gnie\u0328tych danych. Rozszerzam wie\u0328c funkcje\u0328 def on_data<\/strong> o zapis do pliku:<\/p>\n\n\n
\ndef on_data(self, data):\n self.count += 1\n print(data)\n\n with open(POLCOL.txt', 'a', encoding='utf-8') as ts:\n for text in data:\n ts.write(text)\n\n if self.count > LIMIT: \n return False \n return True\n<\/pre><\/div>\n\n\n
Ostatnia cz\u0119\u015b\u0107 programu to instrukcja specjalna, kt\u00f3ra przed wykonaniem cz\u0119\u015bci zbieraj\u0105cej dane uwierzytelni nas za pomoc\u0105 kluczy z pocz\u0105tku kodu w serwisie Twitter:<\/p>\n\n\n
\nif __name__ == '__main__':\n<\/pre><\/div>\n\n\n
Tworze\u0328 obiekty na podstawie klas doste\u0328pnych w bibliotece tweepy (OAuthHandler do autoryzacji i Stream do ustawienia klasy Listener dla streamu danych z Twittera):<\/p>\n\n\n
\nstart_stream = Listener()\nauth = OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET) \nauth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET) \nstream = Stream(auth, start_stream)\n<\/pre><\/div>\n\n\n
Na koniec pozostaje mi do ustawienia filtr z j\u0119zykiem dla kt\u00f3rego chc\u0119 zebra\u0107 wpisy oraz hashtagami dla pobieranych danych:<\/p>\n\n\n
\nstream.filter(languages=["pl"], track=['#POLCOL','#POL-COL'])\n<\/pre><\/div>\n\n\n
Najwy\u017csza pora na przetestowanie dzia\u0142ania programu:<\/p>\n\n\n\n
![\"przetestowanie](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/09\/pycharm_screenshot_test-1024x123-1.png\")
<\/a><\/figure>\n\n\n\nDzia\u0142a! Dla stuprocentowej pewnos\u0301ci sprawdzam jeszcze plik \u2019twitter_dane.txt\u2019 do kto\u0301rego zapisywane s\u0105 agregowane dane. UWAGA! Twitter API zwraca dane w formacie JSON i tak te\u017c zapisze je w naszym pliku txt.<\/p>\n\n\n\n
Co dalej?<\/h2>\n\n\n\n
Chc\u0119 odczyta\u0107 interesuj\u0105ce mnie dane z zebranych tweet\u00f3w. Tworz\u0119 zatem drugi pythonowy plik, ja nada\u0142em mu nazw\u0119 counter.py<\/em> i planuj\u0119, co policz\u0119 oraz jakie kroki b\u0119d\u0105 do tego potrzebne.<\/p>\n\n\n\n
Po pierwsze musz\u0119 otworzy\u0107 plik z danymi<\/strong>, a same dane sprowadzi\u0107 do formy, z kt\u00f3rej \u0142atwiej i szybciej b\u0119dzie mi je odczyta\u0107. Po drugie potrzebuj\u0119 te dane przeszuka\u0107 i obliczy\u0107<\/strong> np. liczb\u0119 wyst\u0105pie\u0144 szukanego przeze mnie s\u0142owa.<\/p>\n\n\n\n
Do obr\u00f3bki danych niezb\u0119dne s\u0105 mi biblioteki:<\/p>\n\n\n
\nimport json\nimport re\nimport pandas as pd\n<\/pre><\/div>\n\n\n
Tworze\u0328 pusta\u0328 liste\u0328, do kto\u0301rej przy pomocy pe\u0328tli for dodam dane z pliku:<\/p>\n\n\n
\ntweets_data = []\ntweets_file = open('POLCOL.txt', 'r') for line in tweets_file:\n try:\n tweet = json.loads(line)\n tweets_data.append(tweet)\n\n except:\n continue\n<\/pre><\/div>\n\n\nSprawdz\u0119 jeszcze, czy kod wykonywany jest poprawnie za pomoca\u0328 \u2026 funkcji print, kto\u0301ra wys\u0301wietli mi policzona\u0328 liczbe\u0328 s\u0301cia\u0328gnie\u0328tych wpiso\u0301w:<\/p>\n\n\n
\nprint('\\n Total scraped tweets count: {}' .format(len(tweets_data)))\n<\/pre><\/div>\n\n\nW moim kodzie wszystko dzia\u0142a jak powinno, dlatego nadszed\u0142 moment na skorzystanie z biblioteki\u00a0pandas<\/em>\u00a0i utworzenie\u00a0DataFrame<\/em>\u00a0(w du\u017cym skr\u00f3cie \u2013 to taka struktura danych), kt\u00f3ry pos\u0142u\u017cy mi dalej np. do przeszukiwania tekstu i liczenia wyst\u0105pie\u0144 wg narzuconych przeze mnie kryteri\u00f3w.<\/p>\n\n\n
\ntweets = pd.DataFrame()\ntweets['text'] = [*map(lambda tweet:tweet['text'] if 'text' in tweet else ' ', tweets_data)]\n<\/pre><\/div>\n\n\n
Ja dla przyk\u0142adu na potrzeby tego artyku\u0142u \u201ezmierz\u0119 popularnos\u0301c\u0301\u201d odwo\u0142an\u0301 do nazwiska naszego selekcjonera i kapitana naszej reprezentacji w konteks\u0301cie w\u0142as\u0301nie meczu z Kolumbia\u0328 ?<\/p>\n\n\n\n
Aby to zrobic\u0301, tworze\u0328 prosta\u0328 funkcj\u0119, kto\u0301ra\u0328 wywo\u0142am przy licznikach do nazwisk (funkcja policzy mi liczbe\u0328 wysta\u0328pien\u0301 s\u0142owa w teks\u0301cie przy okazji ujednolicaja\u0328c je) i narzucam w kodzie kryteria wyszukiwania:<\/p>\n\n\n
\ndef word_in_text(word, text):\n word = word.lower()\n text = text.lower()\n match = re.search(word, text)\n if match:\n\n return True\n return False\n\ntweets['Nawa\u0142ka'] = tweets['text'].apply(lambda tweet: word_in_text('Nawa\u0142ka', tweet)) \ntweets['Lewandowski'] = tweets['text'].apply(lambda tweet: word_in_text('Lewandowski', tweet))\n<\/pre><\/div>\n\n\nTeraz pozostaje ju\u017c tylko liczyc\u0301?<\/p>\n\n\n
\nkeywords = ['Nawa\u0142ka', 'Lewandowski']\ntweets_by_keywords = [tweets['Nawa\u0142ka'].value_counts()[True], tweets['Lewandowski'].value_counts()[True]]\n<\/pre><\/div>\n\n\n
I sprawdzic\u0301 dzia\u0142anie kodu:<\/p>\n\n\n
\nfor i in range(0, len(keywords)):\n try:\n print(keywords[i] + ": " + str(tweets_by_keywords[i]))\n except:\n continue\n<\/pre><\/div>\n\n\n
Prezentacj\u0119 danych w wygodnym dla siebie formacie pozostawiam jako zadanie do samodzielnej realizacji wszystkim \u015bmia\u0142kom, kt\u00f3rzy dotarli do ko\u0144ca tego wpisu. Poka\u017c\u0119 te\u017c przyk\u0142ad i zarazem odpowied\u017a na tytu\u0142owe pytanie:<\/p>\n\n\n\n
![\"Wykres](\"https:\/\/sii.pl\/blog\/wp-content\/uploads\/2023\/09\/najwiecej_wzmianek_o_pilkarzu.png\")
<\/a><\/figure>\n\n\n\nNa koniec dodam tylko, \u017ce zaprezentowane tutaj obliczenie jest najprostszym jakie przysz\u0142o mi do g\u0142owy, ale nic nie stoi na przeszkodzie, \u017ceby z zebranych tweet\u00f3w zebra\u0107 np. informacje o geolokalizacji wpis\u00f3w, urz\u0105dzeniach z kt\u00f3rych Twitterowicze publikowali swoje wpisy, najpopularniejszych wpisach i wielu, wielu innych, na kt\u00f3re pozwala nam API serwisu Twitter.<\/p>\n\n\n\n
Wszystko zale\u017cy od Twojej fantazji?<\/p>\n\n\n
- Biblioteka pandas (pip install pandas<\/em>)<\/li>\n\n\n\n