[Crawling] 크롤링하기 전에 확인해야 할 것!

웹사이트에서 크롤링을 하기 전에는 해당 사이트의 데이터들을 크롤링하는 것을 허용하는지 불허 하는지를 먼저 확인해야한다.

 

[웹사이트의 URL]+ robots.txt 를 브라우저 창에 입력하면 확인 할 수 있다.

 

Ex) www.youtube.com/robots.txt

www.youtube.com/robots.txt