반응형

Programming/Lesson Learned 4

파이썬 크롤링할때 생기는 에러 [Connection Error]

파이썬으로 대량의 데이터를 크롤링할때 이런 에러가 생겼었다. HTTPSConnectionPool(host='크롤링 홈페이지 주소', port=443): Max retries exceeded with url: /api/company.json?crtfc_key=ab851319407812ac10d593dcb2fef51d0c944b66&corp_code=00434003 이러면서 Errno 60이라는 문구도 같이 떴다. 대충 최대 크롤링 횟수를 초과했다고 뜨는것같은데, 사이트엔 일 10000건이 기준이었고 난 9000건을 시도했으니 이상했다. 몇시간동안 구글링을 했고 이런 저런 방법들을 시도했다. 다른 api키로도 해봤고, time.sleep으로 크롤링하는 반복이 돌때마다 프로세스를 잠시 멈추기도 했다. 하지만 ..

맥 cmd를 이용해 git에 commit, push, pull 하기!

맥 커멘드 창에서부터 git으로 명령어를 사용하여 깃 repository에 commit, push와 같은 작업들을 해줘보자. 커멘드창 자체에 그리 익숙해져있지 않았기 때문에 꽤 어려웠지만, 한번 터득하니 할만했다. Git 기본 명령어 실습 명령어 cd : 원하는 디렉토리로 이동시켜준다. 명령어 cd .. : 현재 있는 디렉토리의 상위 디렉토리로 빠져나간다. 우선, 원격 저장소를 만들고자 하는 로컬 저장소의 주소를 찾아간다. 명령어 git status : 현재 깃이 연동되있는 상태를 보여준다. 해당 디렉토리에 repository가 없어서 not a git repository라고 뜬다. 명령어 git init : 해당 디렉토리에 git repository를 생성한다. empty git repository를 ..

git hub repository(저장소), branch, commit에 대하여

[20200406 과제] Github의 개념 설명 repository(저장소) repository란? 저장소(Git repository)란 말그대로 파일이나 폴더를 저장해 두는 곳입니다. 그런데 Git 저장소가 제공하는 좋은 점 중 하나는 파일이 변경 이력 별로 구분되어 저장된다는 점입니다. 비슷한 파일이라도 실제 내용 일부 문구가 서로 다르면 다른 파일로 인식하기 때문에 파일을 변경 사항 별로 구분해 저장할 수 있습니다. 원격 저장소와 로컬 저장소 - 원격 저장소(Remote Repository): 파일이 원격 저장소 전용 서버에서 관리되며 여러 사람이 함께 공유하기 위한 저장소입니다. - 로컬 저장소(Local Repository): 내 PC에 파일이 저장되는 개인 전용 저장소입니다. branch b..

반응형