YSCEC 크롤러

YSCEC-CRAWLER /와이섹 크롤러/ 와이섹 크롤/ 크롤링/ 와이섹

---

연세대학교 지식창조 커뮤니티라는 거창한 이름의 사이트가 있다.

이 사이트는 연세대학교 재학생들의 강의 공지와 강의 자료들이 올라오는 사이트인데,

매일매일 로그인하고 수강하는 과목의 자료들이 업로드 되었는지 확인하는 작업이 여간 귀찮은게 아니다.

그래서 매일매일 나 대신 체크를 해주는 스크립트를 개발해보았다.

---

개발환경

NodeJS

ES7 문법으로 작성되었다.

소스코드

https://github.com/pfldy2850/YSCEC-CRAWLER

설명

selenium을 사용한 webdriverio라는 모듈을 사용하였다.

이 모듈은 가상 웹 드라이버를 조작하여, 웹 브라우저를 자동으로 실시하는데 쓰이는데,

주로 개발 과정에서 테스트를 목적으로 많이 사용된다고 한다.

개발한 스크립트를 실행하기 위해선 웹드라이버가 실행되고 있어야한다.

1. 최신 standalone selenium server를 설치한다

curl -O http://selenium-release.storage.googleapis.com/3.0/selenium-server-standalone-3.0.1.jar

2. 최신 버전의 geckdriver를 설치한다.

Linux 64bit

curl -L https://github.com/mozilla/geckodriver/releases/download/v0.11.1/geckodriver-v0.11.1-linux64.tar.gz | tar xz

MacOS

curl -L https://github.com/mozilla/geckodriver/releases/download/v0.11.1/geckodriver-v0.11.1-macos.tar.gz | tar xz

3. standalone selenium server를 실행한다.

java -jar -Dwebdriver.gecko.driver=./geckodriver selenium-server-standalone-3.0.1.jar

4. 스크립트를 실행하면, 처음엔 id와 password를 입력하고, 그 다음부턴 입력된 값으로 실행한다.

---

현재 올려진 스크립트는 다른 분들이 유틸성있게 사용할 수 있도록 메일 전송이나 스케쥴러같은 기능은 구현하지 않았다.

필요하신 분들은 이 스크립트를 참조하여, 자신에게 맞게 크롤러를 구현해 쓰었으면 한다.