星尘博客站-岁月静好,淡定安然

Robots使用技巧_蜘蛛访问统计插件 / 易优CMS

2021-06-03 阅读 / 作者 /

1、如何拒绝搜索引擎爬取不相关的JS接口URL;如下图所示:JS接口URL都有一个特性,前缀是 /index.php?m=api&c=Ajax&a=可以编辑网站的根目录下robots.txt文件,追加一条如下代码:Disallow: /index.p

1、如何拒绝搜索引擎爬取不相关的JS接口URL;


如下图所示:JS接口URL都有一个特性,前缀是 /index.php?m=api&c=Ajax&a=


Robots使用技巧_蜘蛛访问统计插件(图1)


可以编辑网站的根目录下robots.txt文件,追加一条如下代码:
Disallow: /index.php?m=api&c=Ajax&a=*


2、如何拒绝搜索引擎爬取不想被收录的插件URL;


如下图所示:每个插件URL都有一个特性,前缀是 /index.php?m=plugins&c=插件标识



Robots使用技巧_蜘蛛访问统计插件(图2)


红色圈住的是一个微信分享插件,如果这个URL在浏览器上打开是无效页面,可以通过如下robots.txt规则进行屏蔽,拒绝搜索引擎爬取。


编辑网站的根目录下robots.txt文件,追加一条如下代码:

Disallow: /index.php?m=plugins&c=WeixinShare&a=*


加载中~

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.dwt.cool/eyoucms/150.html