北京(DELL)戴尔服务器/工作站和存储的厂家正规授权代理经销商-北京汇志友和科技发展有限公司

Robots.txt是一个小文本文件，位于网站的根目次中。它告诉抓取工具是否要抓取网站的某些部门。该文件使用简朴的语法，以便爬虫可以放置到位。写得好，你将在索引天国。写得欠好，终极可能会从搜刮引擎中埋没整个网站,该文件没有官方尺度。但你可以使用robots.txt做更多的工作，而不是网站大纲，好比使用通配符，站点舆图链接，和“Allow”...