Selenium2 파이선 크롤링 - 동적 페이지 크롤링 파이선(Python) 으로 크롤링을 자주 하는데.. 대부분 사용자 엑션이 동반되기때문에 selenium 을 이용한다 하지만, 동적으로 생성되고 변경되는 페이지의 경우(인스타그램, 트위터 등등) 셀레니움이 잘 안된다 그럴때는 BeautifulSoup(bs) 를 사용하면 좋다 선언은 아래와 같이 하고 from bs4 import BeautifulSoup 사용은 아래와 같이 ㅋ strHtml = driver.page_source #드라이버의 현재 전체 소스를 변수에 넣고 bs = BeautifulSoup(strHtml, 'lxml') #파싱 고고 dataDiv = bs.select('div.Table-bodyWrapper') #select 또는 find 로 원하는 부분(?) 을 가져와서 헨들링한다 strNam.. 2022. 5. 3. python selenium hidden 텍스트 가져오기 까먹지 말자... ㅡ_ㅡ;; 간혹 크롤링을 하다보면... 감추인 text 가 크롤링이 안되는 경우가 있는데.. 이럴때 사용하는 것이 ".get_attribute('textContent')" srcText = eachBanner.find_element_by_id("배너ID").get_attribute('textContent').replace('\n'," ").lstrip().rstrip() 요렇게 하면 깔~~~ 끔 하게 가져온다.. 까먹지 말자.. 2021. 7. 8. 이전 1 다음