搜索引擎爬虫 —— 开发商、用户代理 UA 与 robots.txt 拦截方法
User-agent: YisouSpider User-agent: YisouSpider-image Disallow: /
robots.txt
Disallow: /