반응형

크롤링 2

[Python] Selenium으로 사이트 브라우징하기

1. Selenium 우선 크롤링을 하려면 Selenium 이라는 도구가 필요합니다 Selenium은 원래 웹 브라우저 테스트 용으로 사용합니다. 이때 버튼을 누르거나 텍스트 링크를 누르고 아이디, 비밀번호를 입력하고 로그인하는 일련의 행위를 합니다. 크롤링에서도 이런 과정을 사용하기 때문에 Selenium 툴을 사용합니다 우리는 Selenium을 통해 웹 브라우저를 제어해서 크롤링을 진행할 예정이므로 Selenium이 사용할 크롬 드라이버를 설치해야합니다 2. Python 본 예제는 파이썬으로 크롤링하는 예제로 파이썬이 필요힙니다. Mac OS 에는 기본적으로 파이썬 설치가 되어있긴 하지만 버전이 2.x로 3.x 버전을 추가로 다운로드 해야합니디. 현재 파이썬은 3.7.x 버전까지 출시되어 있지만 완전..

Programming/기타 2019.09.08

Web 소스에서 XPath 경로 복사는 방법 (크롤링할 때 유용)

파이썬 크롤링 스터디를 하면서 class 이름 등의 정보가 없을 때 XPath를 사용해야 하는 데 이것을 일일이 만들기는 힘들다 개발자 도구에서 선택한 개체?의 XPath를 복사할 수 있는 기능이 있다 원하는 Element의 코드를 선택하여 Copy > Copy XPath 를 누르면 내가 원하는 Elemet의 XPath를 가져올 수 있다 지난번에 카페 크롤링할 때 XPath 를 만들어야 하는 것 때문에 수정을 엄청 했었는데.. 결론적으론 다른 메소드를 썼지만 여튼 간단한 방법으로 XPath를 가져올 수 있다니!!!

Programming/기타 2019.07.01
728x90
반응형