介绍 & lt; PHP ?/* Bloom 过滤算法来去重过滤。
介绍下Bloom 滤波器的基本处理思路:申请一批空间用于保存0,1信息,再根据一批哈希函数确定元素对应的位置,如果每个哈希函数对应位置的值为全部1,说明此元素存在。相反,如果为0,则要把对应位置的值设置为1,由于不同的元素可能会有相同的哈希值,即同一个位置有可能保存了多个元素的信息,从而导致存在一定的误判率。
如果申请空间太小,随着元素的增多,1会越来越多,各个元素冲突的机会越来越来大,导致误判率会越来越大。另外哈希函数的选择及个数上也要平衡好,多个哈希函数虽然可以提供判断的准确性,但是会降低程序的处理速度,而哈希函数的增加又要求有更多的空间来存储位置信息。
布隆过滤器的应用。
布隆过滤器才能一般用于在大数据量的集合中判定某元素是否存在。例如邮件服务器中的垃圾邮件过滤器。在搜索引擎领域,布隆过滤器最常用于网络蜘蛛(蜘蛛)的URL过滤,网络蜘蛛通常有一个,URL列表,保存着将要下载和已经下载的网页的URL,网络蜘蛛下载了一个网页,从网页中提取到新的URL后,需要判断该URL是否已经存在于列表中。此时,布隆过滤器算法是最好的选择又是;
比才能如说,一个象,雅虎,Hotmail 和,Gmai 那样的公众电子邮件(电子邮件)提供商,总是需要过滤来自发送垃圾邮件的人(垃圾邮件)的垃圾邮件。一个办法就是记录下那些发垃圾邮件的,email 地址。由于那些发送者不停地在注册新的地址,全世界少说也有几十亿个发垃圾邮件的地址,将他们都存起来则需要大量的网络服务器只
,,布隆过滤器是由巴顿。布隆于一九七零年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。我们通过上面的例子来说明起工作原理。
假才能定我们存储一亿个电子邮件地址,我们先建立一个十六亿二进制(比特),即两亿字节的向量,然后将这十六亿个二进制位全部设置为零。对于每一个电子邮件地址,X,我们用八个不同的随机数产生器(F1、F2,…, F8),产生八个信息指纹(F1, F2,,…,, F8)。再用一个随机数产生器,G 把这八个信息指纹映射到,1,到十六亿中的八个自然数,g1, g2,,,…, g8。现在我们把这八个位置的二进制位全部设置为一。当我们对这一亿个,email 地址都进行这样的处理后。一个针对这些,email 地址的布隆过滤器就建成了。(见下图),现在,让我们看看如何用布隆过滤器来检测一个可疑的电子邮件地址,Y 是否在黑名单中。我们用相同的八个随机数产生器(F1, F2,,…,, F8)对这个地址产生八个信息指纹,s1, s2,…, s8,然后将这八个指纹对应到布隆过滤器的八个二进制位,分别是,t1, t2,…, t8。如果,Y 在黑名单中,显然,t1, t2, . ., t8 对应的八个二进制一定是一。这样在遇到任何在黑名单中的电子邮件地址,我们都能准确地发现只
,,布隆过滤器决不会漏掉任何一个在黑名单中的可疑地址。但是,它有一条不足之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中,因为有可能某个好的邮件地址正巧对应八个都被设置成一的二进制位。好在这种可能性很小。我们把它称为误识概率。在上面的例子中,误识概率在万分之一以下只
,,布隆过滤器的好处在于快速,省空间。但是有一定的误识别率。常见的补救办法是在建立一个小的白名单,存储那些可能别误判的邮件地址。
,
,
*///,使用php程序来描述上面的算法,
$ set =,阵列(1、2、3、4、5、6);//,判断5是否在set 美元;中,
$ bloomFiter =,阵列(0,0,0,0,0,0,0,0,0,0);//,通过某种算法改变bloomFiter 美元;中位数组表示集合,这里我们使用简单的算法,把集合中对应的value 对应到中绽放的位置变成1,//,算法如下,
foreach (set 美元;as 关键美元){
bloomFiter美元(美元关键),=,1,;
}
bloomFiter美元var_dump (),,,//此时,bloomFiter 美元;=,数组(1,1,1,1,1,1);//判断是否在集合中
,如果($ bloomFiter [9],==1) {
,echo & # 39;在set 中& # 39;,,
,其他}{
,echo & # 39;不在set 中& # 39;,;
,}
,
,
,//上面只是一个简单的例子,实际上哈希算法需要好几个,但另一方面,如果哈希函数的个数少,那么位数组中的0就多
,
,
,class bloom_filter {
,function __construct (hash_func_num=1美元,美元space_group_num=1), {
时间=美元才能max_length 战俘(2,25);
时间=美元才能binary 包(& # 39;c # 39;,, 0);//1字才能节占用8位
这个美元才能→one_num =, 8;//才能默认32 m * 1
这个美元才能→space_group_num =, space_group_num美元;
这个美元才能→hash_space_assoc =,数组();//分才能配空间
,,(i=0美元;,i<美元;$ this→space_group_num;,我+ +美元){
,,这→美元hash_space_assoc [$ i],=,函数(二元美元,,max_length美元);
,,}
这个美元才能→pow_array =,阵列(
,,0,=祝辞,1,
,,1,=祝辞,2,
,,,2,=祝辞,4,
,,3,=祝辞,8日
,,4,=祝辞,16日
5,,,=祝辞,32岁
6,,,=祝辞,64年,
7,,,=祝辞,128年,
,,);
这个美元才能→chr_array =,数组();
这个美元才能→ord_array =,数组();
,,(i=0美元;,i<美元;256;,我+ +美元){
,,chr 美元;=,空空的(我);
,,这→美元chr_array [$ i],=,空空的美元;
,,这→美元ord_array[空空的美元],=,我美元;
,,}
这个美元才能→hash_func_pos =,阵列(
,,0,=祝辞,数组(0,,7日,1),
,,1,=祝辞,数组(7日,7日,1),
,,,2,=祝辞,数组(14日,7日,1),
,,3,=祝辞,数组(21日,7日,1),
,,4,=祝辞,数组(28日,7日,1),
5,,,=祝辞,数组(33岁,7日,1),
6,,,=祝辞,数组(17日,7日,1),
,,);
这个美元才能→write_num =, 0;
这个美元才能→ext_num =, 0;
如果才能(! $ hash_func_num) {
,,这→美元hash_func_num =,计数($ this→hash_func_pos);
,,}
其他{才能
,,这→美元hash_func_num =, hash_func_num美元;
,,}
,}
,function 添加(美元键),{
时间=美元才能hash_bit_set_num 0;//,离散的关键
时间=美元才能hash_basic sha1(关键);//,,截取前4位,然后十六进制转换为十进制
时间=美元才能hash_space 函数(substr (hash_basic美元,,0,,4));//,,取模
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
这篇文章将为大家详细讲解有关布隆过滤器算法如何在PHP中运用,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
