웹스크래핑3 셀레니움 2 구글무비
휴... 꾸역꾸역 여기까지 왔다. ㅠㅠ 와웃... 결국, 이게 거의 결정판인데, 아쉽게도 페이지가 업데이트돼서 제대로 실습을 못했다. 하지만, 이제 웹상에 있는 다른 크롤 예제들을 봐도, 이해하고 사용할 수 있겠다. 주로 표형태를 추출, 재가공(db 저장포함) 하고 싶으니, 다른 예제들로 더 공부해가야겠다. 나도코딩님 리스펙~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 후기 : 하루이틀이면 끝날 줄 알았는데, 실습하는데 하루 3-4시간씩 약 일주일 걸렸다. 흑. 삽질 2020 강의라서, 2022 년엔 ui가 태블릿 친화적으로 바껴버렸다. 빨리 했어야해.. 흑 1독 (포인트만 기록하며, 가급적 끊지 않고 보기) 보면서, 따라치면서 하니 ... 진도도 안나가고, 너무 힘들었다 ㅠ 먼저 1회 시청을 똑바..
활용3. 웹스크래핑(0825-0829)/selenium
2022. 8. 29.
웹스크래핑3 셀레니움 1 네이버 항공권 WebDriverWait(browser, 30).until(EC.presence_of_element_located((By.XPATH, xpath_str)))
삽질 기존 강의로 꾸역꾸역 따라하다가, 변화된 것이 많아서 울고 있다가, 2022버전으로 업데이트 강좌가 있어서 진행할 수 있었다. 하기 예제에서 xpath 추출 시, find_element"s" 로 배열로 추출할 경우, 배열값이 [0] 이 아닌, [1]도 있을 수 있으므로, xpath 절대경로를 사용하는 것이 좋겠다. 단, 예제대로 따라하면, xpath 경로 추출시, text 포함, 일치의 조건 사용방법을 익힐 수 있었다. 나도코딩님은 강의 천재야... 난이도가 분명히 올라갔는데, 슬쩍슬쩍 할 수 있을만큼 올라간다. +_+ 키포인트 클릭 후, 로딩되기 전까지 기다리기 find_element(By.XPATH, '//button[text() = "가는 날"]') # (By.XPATH, '//button[ ..
활용3. 웹스크래핑(0825-0829)/selenium
2022. 8. 29.
스크래핑 0. 기초 requests, headers , re, BeautifulSoup
HTML, XPath, 정규식 BeautifulSoup4 : 네이버 웹툰, 가우스 전자, 쿠팡, 다음 CSV : 네이버 금융 Selenium 네이버 로그인, 네이버 항공권, 구글무비 Headless 크롬, Wrap Up 웹사이트 접속 후, 전체 text 읽어오기 import requests res = requests.get("http://google.com") res.raise_for_status() print("응답코드 :", res.status_code) #200이면 정상 # print(len(res.text)) # print(res.text) with open("mygoogle.html", "w", encoding="utf8") as f: f.write(res.text) # if res.status..
활용3. 웹스크래핑(0825-0829)/requests
2022. 8. 25.
