디렉토리의 최상위(/)에 "robots.txt" 라는 문서가 있는지 점검 User-agent:* User-agent:Googlebot Disallow:/selected Disallow:/ Allow:/selected/books Disallow:/reports/stat 위 내용이 robots.txt에 있을 경우 disallow(승인하지않음)를 해석하고 바로 끝낸다. > date content 속성값 : 'YYYY-MM-DDThh:mm:ss.sTZD' '2009-04-23T09:02:20.s+9:00' GMT(그리니치 표준시)로 한국, '-05:00'(서머타임 '-04:00') 미국동부 'TZD'는 협정 세계시(coordinated Universal Time: UTC), 즉 그리니치 표준시(GMT)로 부터의..