구글검색로봇 접근 차단법
1. 웹 페이지 전체 삭제 Google 색인에서 웹사이트 전체를 제거하시려면 서버의 루트에 robots.txt라는 파일을 추가하십시오. 이것은 대부분의 웹 크롤러가 색인에서 웹 서버나 디렉터리를 삭제하기 사용하는 표준 프로토콜입니다. robots.txt에 대한 자세한 내용은 여기서 보실 수 있습니다. http://www.robotstxt.org/wc/norobots.html [새창에서 열기] , Googlebot은 robots.txt 가져오기에 대한 401/403 응답("비인증"/"금지")을 사이트의 페이지를 크롤링하지 말라는 요청으로 해석하지 않습니다. 검색 엔진에서 사이트를 제거하고 향후 어떤 로봇도 사이트를 크롤링하지 못하게 하시려면 서버 루트에 다음 robots.txt 파일을 추가하십시오. Use..