활용3. 웹스크래핑(0825-0829)/selenium5 웹스크래핑3 셀레니움 2 구글무비 휴... 꾸역꾸역 여기까지 왔다. ㅠㅠ 와웃... 결국, 이게 거의 결정판인데, 아쉽게도 페이지가 업데이트돼서 제대로 실습을 못했다. 하지만, 이제 웹상에 있는 다른 크롤 예제들을 봐도, 이해하고 사용할 수 있겠다. 주로 표형태를 추출, 재가공(db 저장포함) 하고 싶으니, 다른 예제들로 더 공부해가야겠다. 나도코딩님 리스펙~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 후기 : 하루이틀이면 끝날 줄 알았는데, 실습하는데 하루 3-4시간씩 약 일주일 걸렸다. 흑. 삽질 2020 강의라서, 2022 년엔 ui가 태블릿 친화적으로 바껴버렸다. 빨리 했어야해.. 흑 1독 (포인트만 기록하며, 가급적 끊지 않고 보기) 보면서, 따라치면서 하니 ... 진도도 안나가고, 너무 힘들었다 ㅠ 먼저 1회 시청을 똑바.. 활용3. 웹스크래핑(0825-0829)/selenium 2022. 8. 29. 웹스크래핑3 셀레니움 1 네이버 항공권 WebDriverWait(browser, 30).until(EC.presence_of_element_located((By.XPATH, xpath_str))) 삽질 기존 강의로 꾸역꾸역 따라하다가, 변화된 것이 많아서 울고 있다가, 2022버전으로 업데이트 강좌가 있어서 진행할 수 있었다. 하기 예제에서 xpath 추출 시, find_element"s" 로 배열로 추출할 경우, 배열값이 [0] 이 아닌, [1]도 있을 수 있으므로, xpath 절대경로를 사용하는 것이 좋겠다. 단, 예제대로 따라하면, xpath 경로 추출시, text 포함, 일치의 조건 사용방법을 익힐 수 있었다. 나도코딩님은 강의 천재야... 난이도가 분명히 올라갔는데, 슬쩍슬쩍 할 수 있을만큼 올라간다. +_+ 키포인트 클릭 후, 로딩되기 전까지 기다리기 find_element(By.XPATH, '//button[text() = "가는 날"]') # (By.XPATH, '//button[ .. 활용3. 웹스크래핑(0825-0829)/selenium 2022. 8. 29. 웹스크래핑3 셀레니움 기초: 네이버 로그인 send_keys("키") 이 예제만으로는 네이버에 로그인할 수 없다. 나도코딩님이 고정댓글로 안내해주신 주소를 참조해서 실습만 해봤음. capcha 가 나타나서 제길! 2. 네이버 로그인 import time from selenium import webdriver from selenium.common.by import By from selenium.common.keys import Keys browser = webdriver.Chrome() # "./chromedriver.exe" # 1. 네이버 이동 browser.get("http://naver.com") # 2. 로그인 버튼 클릭 elem = browser.find_element_by_class_name("link_login") elem.click() # 3. id, pw .. 활용3. 웹스크래핑(0825-0829)/selenium 2022. 8. 29. 스크래핑 iframe 처리 (네이버 홈: 우측 쇼핑몰) selenium 셀레니움 접속 후, 엘리먼트를 찾아도 안되는 경우들이 있다. 네이버 홈화면 우측에 보이는 쇼핑몰들이 대표적인데, 이럴 때는 iframe 이동처리를 해야함 네이버 쇼핑 https://jaeseokim.dev/Python/python-Selenium%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-%EA%B0%84%EB%8B%A8-%EC%82%AC%EC%9A%A9%EB%B2%95-%EB%B0%8F-%EC%98%88%EC%A0%9C/ from selenium import webdriver import time import random # 다운받은 webdriver의 경로설정 driver = webdriver.Firefox(e.. 활용3. 웹스크래핑(0825-0829)/selenium 2022. 8. 29. ★스크래핑 3-1 : 셀레니움 기초 실습 (ver. 4.2 이하) DeprecationWarning: executable_path has been deprecated, please pass in a Service object 오류 해결 앞서 배운 beautifulsoup 으로만 안되는 사이트들이 있어서, (브라우저로 접속해서 로그인이나 클릭 등이 필요한 사이트들) 셀레니움을 학습 무작정 따라하다 발생하는 대표적 오류 (셀레니움 버전 문제) DeprecationWarning: executable_path has been deprecated, please pass in a Service object 오류 해결 pip install selenium==4.2.0 pip install selenium==4.2.0 Selenium 4.x : OS 별 Broswer 버전을 자동 감지하여 Web Driver 설치를 자동으로 할 수 있습니다.Selenium 4.0부터는 OS와 Web Broswer에 맞는 Web Driver를 자동으로 다운로드하고 로딩.. 활용3. 웹스크래핑(0825-0829)/selenium 2022. 8. 28. 이전 1 다음
