如何不让百度抓取收录和展现-网络推广专员-专员-网络推广-学习网-SEO

1.概述  在阐明这个问题之前，实在要先大白一个事变：  我们为啥要研究若何节制百度抓取和揭示的问题？  缘故原由在于：一个网站有成千上万的网页；并不需要每一个页面都揭示给客户；也就是说不需要每一个页面都需要百度去抓取；同时天天百度来抓取我们网站的力度是有限的，我们要包管百度抓取的效率；把一些不干系的，混乱的因素帮百度蜘蛛清算掉；让百度蜘蛛用心抓取我们认为可以或许对访客有效的网页。  日记阐明完之后，相识了今朝蜘蛛爬行的状态，重点就一些列表页，不但愿蜘蛛对它举行爬行,同时有一些列表页已经被索引，要从索引中将这些列表页删除;下面将阐述若何来处置惩罚这些页面。  2.若何不让蜘蛛爬行和抓取列表页    对于不但愿蜘蛛爬行和索引的列表页，可举行以下处置惩罚:  1．在robots.txt文件中，将不但愿访问的页面举行Disallow，如下图所示：  对于:User-agent的处置惩罚，使用的是*；是针对全部的搜刮引擎蜘蛛；  在此robots.txt中，颠末持久的日记阐明，已经去除了许多不相关的爬行目的，好比：图片类，样式表类，JS等剧本文件类等；  2．对于详细的产物的供应商列表页，这类页面想索引，可是分页页面不但愿被索引。  这内里的分页部分，对于链接Url举行nofollow，如下图所示：  3．对于图片类的，我不但愿举行索引，并同样通过robots.txt举行节制，如下图所示：  3.若何将已经索引的列表页从百度索引中删除  1．对于已经收录的列表页，出格是一些但愿客户会见的产物供应商页的分页列表；可举行noindex，nofollow如下处置惩罚:  2．对于一些今朝已经被百度索引，可是确实已经不存在的页面，可直接编写一个sitemap文件，到百度站长平台举行死链提交；  固然，假如但愿百度继续索引你的网页，可是不在快照中显示，那么我们可以通过在网页中增长meta标签的方式来处置惩罚设置：  这个是针对全部搜刮引擎的；  假如想仅针对百度，可以这么写：    不外一般不发起这么做。  以上是我今朝对于本身网站不让百度收录的一些做法。