很多站长都会遇到这个问题,网站开发完成上线后,百度一直不收录。
即使收录也只是收录个首页,内页很难快速被收录。这样
网站优化
工作是难以开展的,如何解决这个问题?
搜索引擎的进化
互联网早期,网站数量有限,所以人工整理是可行的,比如就有dmoz这样的人工编辑的网站数据库,分门别类的整理好各种网址。
后来全球网站数量爆炸性增长,人工整理就不现实了,于是有了网络爬虫(也叫蜘蛛)代替人工去访问抓取网站,这就是最原始的搜索引擎。
虽然互联网是一个网状结构,但是抓取整个互联网上的所有网站还是有难度的,首先要解决的问题就是如何发现这些网站。
为了解决这个问题,搜索引擎都会有一个基础的网站数据库,从这里的网站开始爬取,希望能抓取整个互联网上的信息。而且依靠链接之间的引用关系和使用的链接文本来计算网页的权重,从而能对搜索结果排序。比如google的pagerank算法。
yahoo算是非常早的搜索引擎,它就使用dmoz的网站作为爬虫的抓取起点,而且我怀疑google也使用dmoz数据,因为10多年前做网站时,大家都希望自己的网站能被dmoz收录,甚至贿赂dmoz的编辑人员。
还有那时候大家都拼命交换友情链接,pr值高的网站就是大爷。这背后对应着网站的收录速度和排名高低。
一个新网站,如果有pr值高的网站给你加友情链接,很快网站就可以被抓取收录。
早期互联网内容贫乏,随便做个网站,找有权重的网站交换友情链接,这些搜索引擎爬虫都如饥似渴的抓取收录。
可现在互联网上的内容太多了(google的总索引页面数477亿左右)),搜索引擎也变得越来越挑剔,所以新站起流量越来越难了。
免责申明:问答内容为用户发布,不代表云媒派的立场,如果侵犯了您的权益,请联系我们,我们在核实后24小时内删除内容。