对于一个网站而言，我们是希望网站被各大搜索引擎抓取和蜘蛛的造访的。但是，有些非真实蜘蛛和搜索引擎的爬行会占用网站和服务器的资源，导致服务器不稳定，这里我们就...