BeautifulSoup2 python 브라우저 없이 크롤링 하는 방법 파이썬 셀레니움을 이용해 크롤링을 자주하는데... 브라우저(웹 드라이버) 없이 크롤링하는 방법이 있다 ㅎ 버전 안맞춰주고 하니 편한듯 테스트 해보니 잘됨 2022. 11. 24. 파이선 크롤링 - 동적 페이지 크롤링 파이선(Python) 으로 크롤링을 자주 하는데.. 대부분 사용자 엑션이 동반되기때문에 selenium 을 이용한다 하지만, 동적으로 생성되고 변경되는 페이지의 경우(인스타그램, 트위터 등등) 셀레니움이 잘 안된다 그럴때는 BeautifulSoup(bs) 를 사용하면 좋다 선언은 아래와 같이 하고 from bs4 import BeautifulSoup 사용은 아래와 같이 ㅋ strHtml = driver.page_source #드라이버의 현재 전체 소스를 변수에 넣고 bs = BeautifulSoup(strHtml, 'lxml') #파싱 고고 dataDiv = bs.select('div.Table-bodyWrapper') #select 또는 find 로 원하는 부분(?) 을 가져와서 헨들링한다 strNam.. 2022. 5. 3. 이전 1 다음
