怎么禁止网站内容被搜索引擎收录的几种方法

这篇文章给大家分享的是有关怎么禁止网站内容被搜索引擎收录的几种方法的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

通常做网站的目标就是让搜索引擎收录,扩大推广面,但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话,该如何操作呢?比如淘宝网就是禁止搜索引擎收录的一个例子,本文将教你几种做法来实现屏蔽或禁止搜索引擎收录抓取网站的内容。

搜索引擎蜘蛛不断爬行互联网,如果我们网站没有做出禁止搜索引擎收录的操作,很容易就会被搜索引擎收录。那么下面介绍一下怎么样禁止搜索引擎收录网站内容。

<强>第一种,robots . txt方法

搜索引擎默认的遵守robots . txt协议(不排除某些耍流氓的引擎),创建机器人。txt文本文件放至网站根目录下,编辑代码如下:

user - agent: *
禁止:/

通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。

<>强如果只禁止百度搜索引擎收录抓取网页

1,编辑机器人。txt文件,设计标记为:

user - agent: Baiduspider
禁止:/

<强>以上机器人文件将实现禁止所有来自百度的抓取。

这里说一下百度的用户代理,Baiduspider的用户代理是什么?

百度各个产品使用不同的用户代理:

<李>

产品名称对应用户代理

<李>

无线搜索Baiduspider

<李>

图片搜索Baiduspider-image

<李>

视频搜索Baiduspider-video

<李>

新闻搜索Baiduspider-news

<李>

百度搜藏Baiduspider-favo

<李>

百度联盟Baiduspider-cpro

<李>

商务搜索Baiduspider-ads

<李>

网页以及其他搜索Baiduspider

你可以根据各产品不同的用户代理设置不同的抓取规则,以下机器人实现禁止所有来自百度的抓取但允许图片搜索抓?图像/目录:

user - agent: Baiduspider
禁止:/

user - agent: Baiduspider-image
允许:/图像/

请注意:Baiduspider-cpro和Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守机器人协议,这个就需要和百度的人联系才能解决了。

<>强如何只禁止谷歌搜索引擎收录抓取网页,方法如下:

编辑机器人。txt文件,设计标记为:

user - agent:广告的
禁止:/

<强>第二种,网页代码方法

在网站首页代码& lt; head>与& lt;/head>之间,加入& lt;元name=皉obots"内容=皀oarchive"祝辞代码,此标记禁止搜索引擎抓取网站并显示网页快照。

在网站首页代码& lt; head>与& lt;/head>之间,加入& lt;元name=癇aiduspider"内容=皀oarchive"祝辞即可禁止百度搜索引擎抓取网站并显示网页快照。

在网站首页代码& lt; head>与& lt;/head>之间,加入& lt;元name=癵ooglebot"内容=皀oarchive"祝辞即可禁止谷歌搜索引擎抓取网站并显示网页快照。

另外当我们的需求很怪异的时候,比如下面这几种情况:

<强> 1。网站已经加了robots . txt,还能在百度搜索出来?

因为搜索引擎索引数据库的更新需要时间,虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的机器人配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过投诉平台反馈请求处理。

<强> 2。希望网站内容被百度索引但不被保存快照,我该怎么做?

Baiduspider遵守互联网元机器人协议。您可以利用网元的页设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和机器人的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过元禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

<强> 3。希望被百度索引,但是不保存网站快照,如下代码解决:

怎么禁止网站内容被搜索引擎收录的几种方法