所谓爬虫，就是一种□□□□程序，其可以按□□照一定的□□规则自动□□提取和收□□□□集网页中□□□□的信息。“再形象一♦点说，爬虫就是□□□一种网络□□智能机器□□□□人，其模仿人□□□的行为，去众多的□□网站上溜□□达，提取对自◥己来说有□□□□用的信息。”OETY欧亿□□□□一位建站□□□□工程师解□□释说。OETY欧亿□□□是深圳地区一流□□□□的建站服□□□务商，从事网站▽建设、APP开发有十□□年之久。
对于一名□□□建站工程◈师来说，或者程序□□□员来说，在建设网◤站的时候，是否也需□□要考虑到“爬虫”呢？在OETY欧亿该工程□□□师看来，这是肯定□□的。

考虑百度爬虫
百度爬虫□□□□被称之为“百度蜘蛛”，其会对网□□□□站的内容□□进行提取、建库，建站公司□□□在为企业◉建站之前，需要对百□□□度蜘蛛的□□□抓取规则□□□□有一些了□□□□解。例如，百度蜘蛛□□□更喜欢怎□□么构架的□□□□网站？百度蜘蛛□□更倾向于□□□□抓取那些□□□□内容？对那些网□□□□站和内容，百度蜘蛛□□□是抗拒的？例如一些□□□□灰色行业□□和违法行□□业网站。
“这些因素□□□需要在网□□□站策划阶□□段就考虑□□清楚，如果将如□□□□上问题均□□□□想清楚了，网站建成□□□之后，百度蜘蛛□□□□会不断从□□网站抓取★信息，网站的排△名也会获◢得快速的□□□□提升。”OETY欧亿△一位程序★员认为。

考虑同行的爬虫
爬虫是一□□□□种程序，所以，竞争网站□□□□也会使用。例如，OETY欧亿□□就发现，有多家建□□□□站公司从□□□OETY欧亿◢官网抓取□□信息。如何应对◉竞争对手□□□□的“爬虫”呢？这就是网◆站建设中□□□□的“反爬虫技□□术”。
在OETY欧亿看来，在网站不□□□□同的阶段，如何应对□□□竞争对手□□的“爬虫”，态度应该✦是不同的？
如果是新□□□站，竞争对手△的爬虫，对网站来□□说是利大□□□于弊。因为是新□□□站，百度的爬◥虫的网站□□□的兴趣并△不是很大，此时，如果竞争□□对手将网▲站原创文□□□章转载和□□抓取，是扩大了□□网站的传□□□播范围，反而有利□□于百度识□□□□别公司网☆站的独特◣性，有助于网□□□站权重的□□□提升和收□□录的加快。
如果是老□□站，竞争对手□□的爬虫，对网站来□□□说是弊大□□于利。这是因为□□□□如果是老□□站，百度的收□□录可能很□□高效，而竞争对□□□手的爬虫□□抓取效率□□□□很慢，百度爬虫□□□□优于竞争❖对手爬虫，竞争对手□□□□对网站内□□□容的抓取，网站不但□□□不能获得◆好处，反而，部分原创□□内容免费❖为对手所□□□□用。
OETY欧亿□□建议，如果不想▽要竞争对□□□□手爬虫光□□顾网站，一是可以□□在文章随□□□机加入网□□站信息。二是可以□□从程序方□□□□面着手，禁止对手□□□拷贝和复□□□制。

考虑自己的爬虫
企业自身□□的网站，是否要考□□□虑爬虫呢？OETY欧亿○认为，也应该分□□□□情况视之。
如果是大□□□型网站，并且是新□□□□站，网站的容□□量还非常□□□□有限，就需要设·立爬虫，从同行业□□□的知名网□□□□站抓取一□□□□定的信息。例如，新成立的B2B网站，需要从成※立时间较□□□久的B2B网站抓取□□一定量的✦信息。
而对于一□□□般的企业□□□站来说，OETY欧亿□□□□认为是无□□□需设立爬□□虫的，当然一些□□□竞争激烈◣的行业除□□□外。
即使是设◤立爬虫的□□□□网站，对于爬虫□□抓取的信□□□□息，也应该有□□□□人工进行□□□一定的编□□□□辑和审核，因为爬虫□□□□抓取的信□□□□息可能存□□在乱码、带链接文□□□□本、图片等信□□□□息。
总之，在OETY欧亿看来，爬虫是建站服务商必须要考虑的问题。

一个制作□□□成功的网□□□站，不光有漂◈亮的页面·设计，还要方便◈营销，需要考虑□□□□很多细节□□□的因素。