神马蜘蛛(YisouSpider)

搜索引擎爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法

神马蜘蛛 搜索引擎
开发商
UC / 阿里巴巴
用户代理
YisouSpiderYisouSpider-image
通过 Robots.txt 拦截
User-agent: YisouSpider
User-agent: YisouSpider-image
Disallow: /
把以上片段加入网站根目录的 robots.txt 即可要求该蜘蛛停止抓取全部页面(需改为只拦某个目录,把 Disallow: / 换成对应路径)。 注意:神马蜘蛛 属于搜索引擎爬虫,拦截后该引擎将无法收录你的页面,请谨慎使用。

详细介绍

神马蜘蛛(YisouSpider)来自 UC 浏览器与阿里体系,面向移动端搜索(uc、夸克等),移动端抓取占比高,建议对移动页面保持良好体验。
💡 本篇收录于搜索引擎蜘蛛大全」, 配合「网站日志分析工具」可自动识别该蜘蛛在日志中的访问与抓取页面。

同类蜘蛛推荐