机器人禁止抓取php的方法

这篇文章将为大家详细讲解有关机器人禁止抓取php的方法,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

机器人禁止抓取php的方法:1,在机器人。txt文件里写入“不允许:/* ? *”;2,在机器人。txt文件里添加规则“用户代理:*允许:. html不允许美元:/奔纯伞?/p>

<强>机器人禁止搜索引擎抓取php动态网址

所谓的动态网址也就是指URL中包括吗?,,等字符类的网址,如:<代码> news.php ? lang=cn&类=1,id=2>

为什么要这么做?因为搜索引擎在对相同的页面抓取两次之后但最后判定为同一个页面的时候会而对网站做些触发的,具体是怎么处罚的,这个不太清,楚总之是不利于整个网站的SEO的。那么该如何禁止搜索引擎抓取我们网站的动态网址呢?

利用robots . txt文件即可解决这个问题,请看下面的详细操作。

我们知道动态页面都有一个共同的特征,就是在链接里会带有“?“这个问号的符号,因此我们可以在机器人。txt文件里写入如下这样的规则:

用户代理:* 　　不允许:/* ? *

这样即可禁止搜索引擎抓取整个网站的动态链接了。另外如果我们只想让搜索引擎抓取指定类型文件,如html格式的静态页面,可在机器人。txt里面加入如下这样的规则:

用户代理:* 　　允许:美元. html 　　不允许:/

另外记得一定要将写好的robots . txt文件放在你网站的根目录中哦,不然是不起作用的。另外写入规则有一个简便的捷径,登陆谷歌网站管理员工具,只接在里面写入规则后,生成机器人。txt文件即可。

关于“机器人禁止抓取php的方法”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看的到。

机器人禁止抓取php的方法