YSCEC-CRAWLER /와이섹 크롤러/ 와이섹 크롤/ 크롤링/ 와이섹 연세대학교 지식창조 커뮤니티라는 거창한 이름의 사이트가 있다. 이 사이트는 연세대학교 재학생들의 강의 공지와 강의 자료들이 올라오는 사이트인데, 매일매일 로그인하고 수강하는 과목의 자료들이 업로드 되었는지 확인하는 작업이 여간 귀찮은게 아니다. 그래서 매일매일 나 대신 체크를 해주는 스크립트를 개발해보았다. 개발환경NodeJSES7 문법으로 작성되었다. 소스코드https://github.com/pfldy2850/YSCEC-CRAWLER 설명selenium을 사용한 webdriverio라는 모듈을 사용하였다.이 모듈은 가상 웹 드라이버를 조작하여, 웹 브라우저를 자동으로 실시하는데 쓰이는데,주로 개발 과정에서 테스트를 목적으로 많이 ..

이 포스트에는 내가 git pull을 진행하면서 겪은 문제들의 원인들과 해결방법에 대해서 정리하고자 한다.(git pull해서 안되면 너무 짜증나) 문제 1.- 에러 메세지error: The following untracked working tree files would be overwritten by merge:- 원인 The problem is that you are not tracking the files locally but identical files are tracked remotely so in order to "pull" your system would be forced to overwrite the local files which are not version controlled. - 해결..

데이터 분석을 하기 위해 데이터 파일을 구했다. 그런데 이 데이터 파일이 .data 형식 파일이라 json으로 변환을 하기위해서 만들어보았다. - 소스코드import json print('Directory : ') file_dir = input(); input_file = open(file_dir + ".data", 'r') output_file = open(file_dir + ".json", 'w') data = {} data['dataset'] = []; print('start converting') while True: line = input_file.readline()[:-1] if not line: break row = line.split(',') tmpData = {} for i in rang..