파이썬과 트위터 API를 통해 워드클라우드 만들기 : 써브웨이 분석 보고서

https://hleecaster.com/python-twitter-api/

파이썬과 트위터 API를 활용한 트위터 크롤링 (코드 예제) - 아무튼 워라밸

위의 블로그를 참고했다.

파이썬과 트위터 API를 활용한 트위터 크롤링 (코드 예제) - 아무튼 워라밸

트위터 API를 신청하면 키를 받을 수 있다

Python 파일 이름을 무심결에 twitter로 지었다가 오류가 나왔다. 검색해보니 이름이 겹치면 안 된다고 해서 twitter_wordcloud로 변경 후 RUN했더니...

 

짠!

Hello world만큼 벅찬 첫 시도의 감동

지금은 RT를 어떻게 지우는지 몰라 끙끙대고 있다.

 

---

2021.10.09.토 update

스타벅스에서 3시간째 씨름하고 있다. 

API DOC을 읽어도 무슨 말인지 통 모르겠다.

영어 독해능력도 부족할 뿐더러 관련 지식이 없으니 답답하다

 

api.search가 안 된다. 왠지 모르겠지만 api.search_tweets()로 해야 된다.

 

도움이 될 블로그를 계속 찾아보자

 

https://stackoverflow.com/questions/38872195/tweepy-exclude-retweets

정확한 질문이 정말 중요하다. 아 다르고 어 다르네. 스택오버플로우 만세

RT를 지웠다. 이제 다음 단계는 csv 파일로 저장하고 KoNLPy? 형태소 단위로 쪼개는 라이브러리를 연습해보자

 

---

 

2021.10.10.일

https://business-analytics.tistory.com/3

Python 한글워드클라우드 만들기

https://korbillgates.tistory.com/85

[IPython] %matplotlib inline 의 의미

https://githubmemory.com/repo/tweepy/tweepy/issues/1531

AttributeError: module 'tweepy' has no attribute 'StreamListener' - githubmemory

 

 

종국에는 Sentiment Analysis까지 다루는 것이 목표

현실적으로 언제까지 아래 내용을 실습해볼 수 있을까?

https://www.youtube.com/watch?v=7GUoDHxN5NM&ab_channel=%EC%9D%B4%EC%88%98%EC%95%88%EC%BB%B4%ED%93%A8%ED%84%B0%EC%97%B0%EA%B5%AC%EC%86%8C 

 

 

---

2021.10.11.월

https://mjking.tistory.com/5

[ERROR] SystemError: java.nio.file.InvalidPathException: Illegal char <*> at index 54: C:\Users\user\anaconda3\Lib\site-packages

https://stricky.tistory.com/398

파이썬 No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 에러 해결

https://kibua20.tistory.com/198

Python KoNLPy와 WordCloud를 활용하여 WordCloud 생성하기 (Sample code 포함)

https://zephyrus1111.tistory.com/39

[오류 해결] UnicodeDecodeError : 'utf-8' codec can't decode byte 0xbc in position 0: invalid start byte

jvm이 가장 골치를 썩혔다. 

가장 큰 문제는 내가 JAVA_HOME의 디렉토리를 엉뚱하게 잡아놓은 것이였다. 

상위 폴더를 잡았어야 했는데 jvm.dll이 있는 데까지 잡아서 이것 때문에 3시간 동안 머리를 잡아뜯었다.

 

tweepy의 한계에 부딪힌 게 아닐까 생각했다.

검색 기간이 일주일 밖에 되지 않는 데다가, 정교하게 상세조건 검색을 하기가 어렵다.(내 능력이 부족해서일 수도 있겠지만)

snscrape을 이용해볼 수도 있겠지만, 차라리 트위터 본문만 필요하다면 다른 방식을 해보자. 굳이 트위터 API에 구애받지 말고 웹크롤링을 하는 게 어떨까. 

 

물론 처음부터 많은 걸 바랄 수는 없다. 워드클라우드를 만드는 것부터 사흘이 꼬박 걸렸다. 불완전하지만 그래도 작동하는 트위터 API 검색.py과 Konlpy 정리와 워드클라우드 생성하는 스크립트.py이다. 인사이트를 얻기 위해 데이터 시각화하는 것과 통계 작업을 하는 것이 다음 목표이다. 

 

 

 

 

추후 수정할 예정