网站办事器日记,完备记载了蜘蛛在本网站的爬行环境和页面会见状况,特别是当网站一些SEO参数呈现异常的时辰,通过日志阐明来查找问题地点,就显得尤为紧张。大都环境下,需要阐明以下几方面的数据。 统计差别搜刮引擎蜘蛛的会见状况,出格是对网站页面的抓取数量和停顿时间。并且可以阐明蜘蛛的IP分布以及来访时间,假如在一天24小时蜘蛛对网站上的页面举行不中断的抓取,申明蜘蛛认为这个网站上有价值的内容比力多,这点对网站的收录和快照更新频率影响比力明明。 搜刮引擎会依附本身的技术能力来不停的抓取网站信息。许多情况下,我们可以通过日记发现蜘蛛在不停的抓取相同的URL地址,并且频率较高,假如呈现这种环境,我们就需要思索是否需要从头对网站链接布局举行调解了。 通过度析日记,还可以快速相识蜘蛛都对哪个类型的页面感乐趣,以及哪个搜刮引擎的蜘蛛抓取频率最高。假如蜘蛛对一些数据量比力大的页面,抓取频率和数量都很是低,就申明我们需要对这类页面举行须要的SEO调解了。 搜刮引擎蜘蛛在抓取页面的时辰,同时会返回抓取状况码。我们需要注重返回码是301、404、和5开头的页面,此中以5开头的页面最为严重,可以直接导致此类页面流量急剧降落,呈现大量404页面,要实时通过百度站长平台向搜刮引擎递交。日记阐明工具-外贸收集推广
我要评论