皮皮网

皮皮网

【捏脸软件源码】【航天项目源码】【dbscan c源码】isset函数源码分析_isset()

时间:2024-12-28 20:37:56 分类:百科

1.php及数据库
2.详解布隆过滤器的数源原理和实现

isset函数源码分析_isset()

php及数据库

       PHP调用三种数据库的方法

       本文比较详细的介绍PHP调用MySQL、ODBC以及ORACLE数据库。码分

       MySQL是数源一个小巧灵珑的数据库服务器软件,对于中、码分小型应用系统是数源非常理想的。除了支持标准的码分捏脸软件源码ANSI SQL语句外,最重要的数源是,它还支持多种平台,码分而在Unix/Linux系统上,数源MySQL支持多线程运行方式,码分从而能获得相当好的数源性能。它和PHP、码分 Apache一样,数源是码分属于开放源代码软件。其官方网站是数源:,上面提供Windows,Linux,Unix版本的源代码的下载。

       注意,MySQL访问函数都需要有相应的权限才能运行。常用的相关函数介绍如下:

       (1)integer mysql_connect(主机,用户名,口令);

       此函数开始一个对指定主机上的MySQL数据库的连接。若该数据库位于一个不同地端口,则在主机名后加上冒号和端口号。所有参数均为可选的,缺省情况下分别对应为本地主机、航天项目源码用户正在执行的脚本名和空。主机可以是IP地址或域名。

       在脚本执行结束时,连接被自动关闭,也可以用mysql_close提前关闭。

       (2)boolean mysql_create_db(数据库名);

       创建一个数据库。注意必须用一个带有创建数据库许可权的帐号打开连接。

       (3)boolean mysql_select_db(数据库名,连接号);

       选择缺省数据库。

       (4)integer mysql_query(SQL语句,连接号);

       对指定数据库进行查询。如果SQL语句是select,则返回一个结果号,否则返回的值可以不理会。如果失败,返回false.。

       (5)array mysql_fetch_array(结果号);

       取出下一行,返回一个数组.可以用数字下标访问(第一个字段是下标 0),也可以用字符串下标访问(即使用各字段名)。如已取了最后一行,返回 false.。

       (6)mysql_fetch_row(结果号);

       返回一个矩阵代表结果集中一行的所有域。每次调用都会产生下一行,直到没有行剩下时返回false。每个域值都由一个从零开始的偏移量索引。这是dbscan c源码从查询中获取结果的最快方法。

       (7)integer mysql_num_rows(结果号);

       返回结果集中行的数目

       (8)integer mysql_num_fields(结果号);

       返回结果集中域的数目。

       (9)integer mysql_list_dbs();

       向服务器查询数据库列表。它返回一个结果指针,该指针可用于mysql_fetch_row函数及类似函数。

       ()mysql_list_tables(数据库名);

       获取一个指向指定数据库的表单列表的结果指针。该结果指针可用于任何从结果集中获取行的函数。

       ()mysql_close(连接号);

       关闭对数据库的连接。连接必须是由mysql_connect打开的。该函数的使用不是严格必需的,因为在脚本结束时,所有非永久链路都会被自动关闭。

       ()mysql_pconnect(主机,用户名,口令);

       与mysql_connect完全相似,但建立一个"永久连接",该连接一经建立永不关闭,即使使用mysql_close函数或程序执行完毕也不关闭.下一次试图建立永久连接时,系统如发现已存在一个永久连接,则直接返回该连接号而不重新创建。

       下面是一个调用MYSQL数据库并分页显示的例子。

       <?

       $pagesize = 5; //每页显示5条记录

       $host="localhost";

       $user="user";

       $password="psw";

       $dbname="book"; //所查询的库表名;

       //连接MySQL数据库

       mysql_connect("$host","$user","$password") or die("无法连接MySQL数据库服务器!");

       $db = mysql_select_db("$dbname") or die("无法连接数据库!");

       $sql = "select count(*) as total from pagetest";//生成查询记录数的SQL语句

       $rst = mysql_query($sql) or die("无法执行SQL语句:$sql !"); //查询记录数

       $row = mysql_fetch_array($rst) or die("没有更多的记录!"); /取出一条记录

       $rowcount = $row["total"];//取出记录数

       mysql_free_result($rst) or die("无法释放result资源!"); //释放result资源

       $pagecount = bcdiv($rowcount+$pagesize-1,$pagesize,0);//算出总共有几页

       if(!isset($pageno)) {

       $pageno = 1; //在没有设置pageno时,缺省为显示第1页

       }

       if($pageno<1) {

       $pageno = 1; //若pageno比1小,则把它设置为1

       }

       if($pageno>$pagecount) {

       $pageno = $pagecount; //若pageno比总共的页数大,则把它设置为最后一页

       }

       if($pageno>0) {

       $href = eregi_replace("%2f",pentaho 源码下载"/",urlencode($PHP_SELF));//把$PHP_SELF转换为可以在URL上使用的字符串,这样的话就可以处理中文目录或中文文件名

       if($pageno>1){ //显示上一页的裢接

       echo "<a href="" . $href . "?pageno=" . ($pageno-1) . "">上一页</a> ";

       }

       else{

       echo "上一页";

       }

       for($i=1;$i<$pageno;$i++){

       echo "<a href="" . $href . "?pageno=" . $i . "">" . $i . "</a> ";

       }

       echo $pageno . " ";

       for($i++;$i<=$pagecount;$i++){

       echo "<a href="" . $href . "?pageno=" . $i . "">" . $i . "</a> ";

       }

       if($pageno<$pagecount){ //显示下一页的裢接

       echo "<a href="" . $href . "?pageno=" . ($pageno+1) . "">下一页</a> ";

       }

       else{

       echo "下一页 ";

       }

       $offset = ($pageno-1) * $pagesize;//算出本页第一条记录在整个表中的位置(第一条记录为0)

       $sql = "select * from pagetest LIMIT $offset,$pagesize";//生成查询本页数据的SQL语句

       $rst = mysql_query($sql);//查询本页数据

       $num_fields = mysql_num_fields($rst);//取得字段总数

       $i = 0;

       while($i<$num_fields){ //取得所有字段的名字

       $fields[$i] = mysql_field_name($rst,$i);//取得第i+1个字段的名字

       $i++;

       }

       echo "<table border="1" cellspacing="0" cellpadding="0">";//开始输出表格

       echo "<tr>";

       reset($fields);

       while(list(,$field_name)=each($fields)){ //显示字段名称

       echo "<th>$field_name</th>";

       }

       echo "</tr>";

       while($row=mysql_fetch_array($rst)){ //显示本页数据

       echo "<tr>";

       reset($fields);

       while(list(,$field_name)=each($fields)){ //显示每个字段的值

       $field_value = $row[$field_name];

       if($field_value==""){

       echo "<td> </td>";

       }

       else{

       echo "<td>$field_value</td>";

       }

       }

       echo "</tr>";

       }

       echo "</table>";//表格输出结束

       mysql_free_result($rst) or die("无法释放result资源!");//释放result资源

       }

       else{

       echo "目前该表中没有任何数据!";

       }

       mysql_close($server) or die("无法与服务器断开连接!");//断开连接并释放资源

>

       开放数据库连接(ODBC)已成为一种与数据库进行通信的工业标准。PHP也提供了标准的接口,使得PHP能调用Access,SQL SERVER等数据库。其相关函数是:

       (1)integer odbc_connect(string dsn, string user, string password)

       连接到一个ODBC数据库源名字上。

       (2)integer odbc_exec(integer connection, string query)或 odbc_do(integer connection, string query)

       在一个连接上执行查询。

       (3)boolean odbc_fetch_row(integer result, integer row)

       从一个结果集中获取一行数据。Row参数是可选的,若为空缺,则返回下一个有效行。在结果集中不再剩余行时返回false。

       (4)boolean odbc_close(integer connection)

       关闭一个数据库的连接。若在该连接上有打开的事务,则返回一个错误,而且连接不会被关闭。

       最后,还是看个分页的例子:

       <?

       //设定每页显示条数

       $show_num = ;

       $spages = $pages;//避免$pages后期被改变

       //定义连接

       $dsn = "localhost";

       $user = "sa";

       $password = "";

       //计算总记录数

       $rs_num = "select count(*) as id from bbs where zu='0' and lei='".$lei."'";

       $conn_id = odbc_connect($dsn,$user,$password);

       $rnum = odbc_exec($conn_id,$rs_num);

       while(odbc_fetch_row($rnum)){

       $total_rs = odbc_result($rnum,"id");//将总记录数放入$total_rs变量

       }

       //计算与页有关的条数

       $nnn = $total_rs / $show_num;//计算总页数

       $hnnn = intval($nnn);//将总页数取整

       $cnnnn = $nnn - $hnnn;

       //计算所需总页数

       switch ($cnnn){

       case "0":

       $hnnn++;

       $nnn = $hnnn;//总页数

       break;

       default :

       $nnn = $hnnn;//总页数

       break;

       };

       if ($nnn == 0)$nnn++;

       //计算页面改变所需的条件

       $fore = $pages;

       $next = $pages;

       $fore -= 1;

       $next += 1;

       if ($fore > 0) {

       echo "<a>首页</a>";

       echo "<a>前页</a>";

       };

       if ($pages < $nnn) {

       echo "<a>后页</a>";

       echo "<a>尾页</a>";

       };

       echo "共".$nnn."页";

       $query_string = "SELECT * FROM table where condition order by you wanted order";

       $cur = odbc_exec($conn_id,$query_string);

       //取到循环的顶部

       $cnum = ($pages-1) * $show_num;//计算当前的记录游标的位置

       //空循环到显示记录游标处

       if ($cnum != 0){

       for ($i=0;$i<=$cnum;odbc_fetch_row($cur));

       };

       $i=1;

       //显示记录

       while(odbc_fetch_row($cur)){

       echo ;

       if ($i == $show_num){ //在不满页数时跳出程序

       break;

       };

       $i++;

       };

       //关闭连接

       odbc_close($conn_id);

>

       Oracle(甲骨文)是世界上最为流行的关系数据库。它是大公司推崇的工业化的强有力的引擎。我们先看看其相关的识图插件源码函数:

       (1)integer ora_logon(string user , string password)

       开始对一个Oracle数据库服务器的连接。

       (2)integer ora_open(integer connection)

       打开给出的连接的游标。

       (3)integer ora_do(integer connection, string query)

       在给出的连接上执行查询。PHP生成一个指示器,解析查询,并执行之。

       (4)integer ora_parse(integer cursor, string query)

       解析一个查询并准备好执行。

       (5)boolean ora_exec(integer cursor)

       执行一个先前由ora_parse函数解析过的查询。

       (6)boolean ora_fetch(integer cursor)

       此函数会使得一个执行过的查询中的行被取到指示器中。这使得您可以调用ora_getcolumn函数。

       (7)string ora_getcolumn(integer cursor, integer column)

       返回当前的值。列由零开始的数字索引。

       (8)boolean ora_logoff(integer connection)

       断开对数据库服务器的链接。

       以下是向ORACLE数据库插入数据的示例程序:

       <html>

       <head><title>向ORACLE数据库中插入数据</title></head>

       <body>

       <form action="<?echo $PHP_SELF;?>" method="post">

       <table border="1" cellspacing="0" cellpadding="0">

       <tr>

       <th>ID</th>

       <th>name</th>

       <th>Description</th>

       </tr>

       <tr>

       <td><input type="text" name="name" maxlength="" size=""></td>

       <td><input type="text" name="email" maxlength="" size=""></td>

       <td><input type="text" name="Description" maxlength="" size=""></td>

       </tr>

       <tr align="center">

       <td colspan="3"><input type="submit" value="提交">  <input type="reset" value="重写"></td>

       </tr>

       </table>

       </form>

       <?

       //先设置两个环境变量ORACLE_HOME,ORACLE_SID

       putenv("ORACLE_HOME=/oracle/app/oracle/product/8.0.4");

       putenv("ORACLE_SID=ora8");

       //设置网页显示中文

       putenv("NLS_LANG=Simplified_Chinese.zhscgb");

       if($connection=ora_logon("scott","tiger")) {

       //库表test有ID,name,Description三项

       $sql = 'insert into test(ID,name,Description) values ';

       $sql .= '('' . $ID . '','' . $name . '',''. $Description . '')';

       if($cursor=ora_do($connect,$sql)) {

       print("insert finished!");

       }

       $query = 'select * from test';

       if($cursor=ora_do($connect,$query)) {

       ora_fetch($cursor);

       $content0=ora_getcolumn($cursor,0);

       $content1=ora_getcolumn($cursor,1);

       $content2=ora_getcolumn($cursor,2);

       print("$content0");

       print("$content1");

       print("$content2");

       ora_close($cursor);

       }

       ora_logoff($connection);

       }

>

       </body>

       </html>

       通过PHP你可以轻松的连接到数据库,请求数据并将其显示在你的web站点中,甚至修改数据库中的数据。 MySQL是一种很流行的数据库,并且在互联网中有许多有关PHP与MySQL的教程。MySQL是免费的,这一点也许就吸引了不少人。由于其广泛应用, 我就不想在这里赘述MySQL的使用方法了。Oracle被大量在企业应用中采用,因此我们就利用Oracle来介绍PHP与数据库的连接。我们当然不会 提及Oracle数据库的设计原理,原因是这已经超出了我们的讨论范围。

       PHP提供了两套函数与Oracle连接,分别是ORA_和OCI函数。其中ORA_函数略显陈旧。OCI函数更新据说更好一些。两者的使用语法几乎相差无几。如前所述,你的PHP安装选项应该可以支持两者的使用。

       想获得更多有关在Microsoft Windows平台上安装支持PHP3的Apache服务器的知识以及更多有关Oracle数据库的知识,请查阅以下URL:。

       4.1 连接

       if ($conn=Ora_Logon("user@TNSNAME","password"))

       {

       echo "SUCCESS ! Connected to database\n";

       }

       else

       {

       echo "Failed :-( Could not connect to database\n";

       }

       Ora_Logoff($conn);

       phpinfo();

>

       以上代码使用TNSNAME(在你的tnsnames.ora文件中指明)定义的Oracle数据库名称、用户名称和密码连接数据库。在成功连接的基础上,ora_logon函数返回一个非零的连接ID并储存在变量$conn中。

       4.2 查询

       假设与数据库已经连接就绪,下面我们就来实际的应用对数据库的查询。下面的代码演示了一个连接并查询的典型例子:

       /*

       * 连接数据库并执行查询

       */

       function printoraerr($in_cur)

       {

       // 检查Oracle是否出错

       // 如果存在错误则显示

       // 当指针被激活时每次请求Oracle后调用该函数

       if(ora_errorcode($in_cur))

       echo "Oracle code - ".ora_error($in_cur)."\n";

       return;

       }

       /** 主程序 */

       if (!($conn=ora_logon("user@TNSNAME","password")))

       {

       echo "Connection to database failed\n";

       exit;

       }

       echo "Connected as connection - $conn

       \n";

       echo "Opening cursor ...

       \n";

       $cursor=ora_open($conn); printoraerr($cursor);

       echo "Opened cursor - $cursor

       \n";

       $qry="select user,sysdate from dual";

       echo "Parsing the query $qry ...

       \n";

       ora_parse($cursor,$qry,0); printoraerr($cursor);

       echo "Query parsed

       \n";

       echo "Executing cursor ...

       \n";

       ora_exec($cursor); printoraerr($cursor);

       echo "Executed cursor

       \n";

       echo "Fetching cursor ...

       \n";

       while(ora_fetch($cursor))

       {

       $user=ora_getcolumn($cursor,0); printoraerr($cursor);

       $sysdate=ora_getcolumn($cursor,1); printoraerr($cursor);

       echo " row = $user, $sysdate

       \n";

       }

       echo "Fetched all records

       \n";

       echo "Closing cursor ...

       \n";

       ora_close($cursor);

       echo "Closed cursor

       \n";

       echo "Logging off from oracle...

       \n";

       ora_logoff($conn);

       echo "Logged off from oracle

       \n";

>

       (译者注:以上代码段缺少注释,请读者参考PHP Manual的Oracle数据库函数部分)

       4.3 显示结果

       以下代码演示了怎样查询数据库并将结果输出:

       function printoraerr($in_cur, $conn)

       {

       // 检查Oracle是否出错

       // 如果存在错误则显示

       // 当指针被激活时每次请求Oracle后调用该函数

       // If it encountered an error, we exit immediately

       if(ora_errorcode($in_cur))

       {

       echo "Oracle code - ".ora_error($in_cur)."

       n";

       ora_logoff($conn);

       exit;

       }

       return;

       }

       function exequery($w_qry,$conn)

       {

       $cursor=ora_open($conn); printoraerr($cursor,$conn);

       ora_parse($cursor,$w_qry,0); printoraerr($cursor,$conn);

       ora_exec($cursor); printoraerr($cursor,$conn);

       $numrows=0;

       $w_numcols=ora_numcols($cursor);

       // 显示头部

       echo "

       \n";

       for ($i=0;$i<$w_numcols;$i++)

       {

       $align=(ora_columntype($cursor,$i)=="NUMBER")?"RIGHT":"LEFT";

       echo "\t ".ora_columnname($cursor,$i)." \n";

       }

       echo "

       \n";

       while(ora_fetch($cursor))

       {

       echo " \n";

       for ($i=0;$i<$w_numcols;$i++)

       {

       $align=(ora_columntype($cursor,$i)=="NUMBER")?"RIGHT":"LEFT";

       if(ora_columntype($cursor,$i)=="LONG")

       echo " ".

       ora_getcolumn($cursor,$i)."

       \n";

       else

       echo " ".ora_getcolumn($cursor,$i)." \n";

       printoraerr($cursor,$conn);

       }

       $numrows++;

       echo "

       \n";

       }

       if ($numrows==0)

       echo " Query returned no records

       \n";

       else

       {

       echo " \n";

       echo " Count \n";

       echo " $numrows \n";

       echo "

       \n";

       }

       echo " \n";

       ora_close($cursor);

       return;

       }

       // 主程序

       if(!($conn=ora_logon("user@SID","password")))

       {

       echo "Error: Cannot connect to database\n";

       exit;

       }

       $qry="SELECT

       deptno \"Dept\"

       ,empno \"Emp\"

       ,empnm \"Name\"

       ,salary \"Salary\"

       FROM

       employee

       ORDER BY 1,2";

       exequery($qry);

       ora_logoff($conn);

>

       (译者注:以上代码段缺少注释,请读者参考PHP Manual的Oracle数据库函数部分)

       4.4 基于HTTP的Oracle登录

       将以下代码加在PHP页面代码之前以确认Oracle登录。注意你必须正确设定$ SID。

       if(!isset($PHP_AUTH_USER))

       {

       Header("WWW-authenticate: basic realm=\"$SID\"");

       Header("HTTP/1.0 Unauthorized");

       $title="Login Instructions";

       echo "

       You are not authorized to enter the site

       \n";

       exit;

       }

       else

       {

       if (!($conn=ora_logon("$PHP_AUTH_USER@$SID",$PHP_AUTH_PW)))

       {

       Header("WWW-authenticate: basic realm=\"$SID\"");

       Header("HTTP/1.0 Unauthorized");

       $title="Login Instructions";

       echo "

       You are not authorised to enter the site

       \n";

       exit;

       }

       }

>

详解布隆过滤器的原理和实现

       为什么需要布隆过滤器

       想象一下遇到下面的场景你会如何处理:

       手机号是否重复注册

       用户是否参与过某秒杀活动

       伪造请求大量 id 查询不存在的记录,此时缓存未命中,如何避免缓存穿透

       针对以上问题常规做法是:查询数据库,数据库硬扛,如果压力并不大可以使用此方法,保持简单即可。

       改进做法:用 list/set/tree 维护一个元素集合,判断元素是否在集合内,时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 redis 中的 list/set 数据结构, 数据规模非常大此方案的内存容量要求可能会非常高。

       这些场景有个共同点,可以将问题抽象为:如何高效判断一个元素不在集合中? 那么有没有一种更好方案能达到时间复杂度和空间复杂双优呢?

       有!布隆过滤器。

什么是布隆过滤器

       布隆过滤器(英语:Bloom Filter)是 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中,它的优点是空间效率和查询时间都远远超过一般的算法。

       工作原理

       布隆过滤器的原理是,当一个元素被加入集合时,通过 K 个散列函数将这个元素映射成一个位数组中的 K 个点(offset),把它们置为 1。检索时,我们只要看看这些点是不是都是 1 就(大约)知道集合中有没有它了:如果这些点有任何一个 0,则被检元素一定不在;如果都是 1,则被检元素很可能在。这就是布隆过滤器的基本思想。

       简单来说就是准备一个长度为 m 的位数组并初始化所有元素为 0,用 k 个散列函数对元素进行 k 次散列运算跟 len(m)取余得到 k 个位置并将 m 中对应位置设置为 1。

布隆过滤器优缺点

       优点:

       空间占用极小,因为本身不存储数据而是用比特位表示数据是否存在,某种程度有保密的效果。

       插入与查询时间复杂度均为 O(k),常数级别,k 表示散列函数执行次数。

       散列函数之间可以相互独立,可以在硬件指令层加速计算。

       缺点:

       误差(假阳性率)。

       无法删除。

       误差(假阳性率)

       布隆过滤器可以 % 判断元素不在集合中,但是当元素在集合中时可能存在误判,因为当元素非常多时散列函数产生的 k 位点可能会重复。 维基百科有关于假阳性率的数学推导(见文末链接)这里我们直接给结论(实际上是我没看懂...),假设:

       位数组长度 m

       散列函数个数 k

       预期元素数量 n

       期望误差ε

       在创建布隆过滤器时我们为了找到合适的 m 和 k ,可以根据预期元素数量 n 与 ε 来推导出最合适的 m 与 k 。

       java 中 Guava, Redisson 实现布隆过滤器估算最优 m 和 k 采用的就是此算法:

//计算哈希次数@VisibleForTestingstaticintoptimalNumOfHashFunctions(longn,longm){ //(m/n)*log(2),butavoidtruncationduetodivision!returnMath.max(1,(int)Math.round((double)m/n*Math.log(2)));}//计算位数组长度@VisibleForTestingstaticlongoptimalNumOfBits(longn,doublep){ if(p==0){ p=Double.MIN_VALUE;}return(long)(-n*Math.log(p)/(Math.log(2)*Math.log(2)));}

       无法删除

       位数组中的某些 k 点是多个元素重复使用的,假如我们将其中一个元素的 k 点全部置为 0 则直接就会影响其他元素。 这导致我们在使用布隆过滤器时无法处理元素被删除的场景。

       可以通过定时重建的方式清除脏数据。假如是通过 redis 来实现的话重建时不要直接删除原有的 key,而是先生成好新的再通过 rename 命令即可,再删除旧数据即可。

go-zero 中的 bloom filter 源码分析

       core/bloom/bloom.go 一个布隆过滤器具备两个核心属性:

       位数组:

       散列函数

       go-zero实现的bloom filter中位数组采用的是Redis.bitmap,既然采用的是 redis 自然就支持分布式场景,散列函数采用的是MurmurHash3

       Redis.bitmap 为什么可以作为位数组呢?

       Redis 中的并没有单独的 bitmap 数据结构,底层使用的是动态字符串(SDS)实现,而 Redis 中的字符串实际都是以二进制存储的。 a 的ASCII码是 ,转换为二进制是:,如果我们要将其转换为b只需要进一位即可:。下面通过Redis.setbit实现这个操作:

       set foo a \ OK \ get foo \ "a" \ setbit foo 6 1 \ 0 \ setbit foo 7 0 \ 1 \ get foo \ "b"

       bitmap 底层使用的动态字符串可以实现动态扩容,当 offset 到高位时其他位置 bitmap 将会自动补 0,最大支持 2^-1 长度的位数组(占用内存 M),需要注意的是分配大内存会阻塞Redis进程。 根据上面的算法原理可以知道实现布隆过滤器主要做三件事情:

       k 次散列函数计算出 k 个位点。

       插入时将位数组中 k 个位点的值设置为 1。

       查询时根据 1 的计算结果判断 k 位点是否全部为 1,否则表示该元素一定不存在。

       下面来看看go-zero 是如何实现的:

       对象定义

//表示经过多少散列函数计算//固定次maps=type(//定义布隆过滤器结构体Filterstruct{ bitsuintbitSetbitSetProvider}//位数组操作接口定义bitSetProviderinterface{ check([]uint)(bool,error)set([]uint)error})

       位数组操作接口实现

       首先需要理解两段 lua 脚本:

//ARGV:偏移量offset数组//KYES[1]:setbit操作的key//全部设置为1setScript=`for_,offsetinipairs(ARGV)doredis.call("setbit",KEYS[1],offset,1)end`//ARGV:偏移量offset数组//KYES[1]:setbit操作的key//检查是否全部为1testScript=`for_,offsetinipairs(ARGV)doiftonumber(redis.call("getbit",KEYS[1],offset))==0thenreturnfalseendendreturntrue`

       为什么一定要用 lua 脚本呢? 因为需要保证整个操作是原子性执行的。

//redis位数组typeredisBitSetstruct{ store*redis.Clientkeystringbitsuint}//检查偏移量offset数组是否全部为1//是:元素可能存在//否:元素一定不存在func(r*redisBitSet)check(offsets[]uint)(bool,error){ args,err:=r.buildOffsetArgs(offsets)iferr!=nil{ returnfalse,err}//执行脚本resp,err:=r.store.Eval(testScript,[]string{ r.key},args)//这里需要注意一下,底层使用的go-redis//redis.Nil表示key不存在的情况需特殊判断iferr==redis.Nil{ returnfalse,nil}elseiferr!=nil{ returnfalse,err}exists,ok:=resp.(int)if!ok{ returnfalse,nil}returnexists==1,nil}//将k位点全部设置为1func(r*redisBitSet)set(offsets[]uint)error{ args,err:=r.buildOffsetArgs(offsets)iferr!=nil{ returnerr}_,err=r.store.Eval(setScript,[]string{ r.key},args)//底层使用的是go-redis,redis.Nil表示操作的key不存在//需要针对key不存在的情况特殊判断iferr==redis.Nil{ returnnil}elseiferr!=nil{ returnerr}returnnil}//构建偏移量offset字符串数组,因为go-redis执行lua脚本时参数定义为[]stringy//因此需要转换一下func(r*redisBitSet)buildOffsetArgs(offsets[]uint)([]string,error){ varargs[]stringfor_,offset:=rangeoffsets{ ifoffset>=r.bits{ returnnil,ErrTooLargeOffset}args=append(args,strconv.FormatUint(uint(offset),))}returnargs,nil}//删除func(r*redisBitSet)del()error{ _,err:=r.store.Del(r.key)returnerr}//自动过期func(r*redisBitSet)expire(secondsint)error{ returnr.store.Expire(r.key,seconds)}funcnewRedisBitSet(store*redis.Client,keystring,bitsuint)*redisBitSet{ return&redisBitSet{ store:store,key:key,bits:bits,}}

       到这里位数组操作就全部实现了,接下来看下如何通过 k 个散列函数计算出 k 个位点

       k 次散列计算出 k 个位点

//k次散列计算出k个offsetfunc(f*Filter)getLocations(data[]byte)[]uint{ //创建指定容量的切片locations:=make([]uint,maps)//maps表示k值,作者定义为了常量:fori:=uint(0);i<maps;i++{ //哈希计算,使用的是"MurmurHash3"算法,并每次追加一个固定的i字节进行计算hashValue:=hash.Hash(append(data,byte(i)))//取下标offsetlocations[i]=uint(hashValue%uint(f.bits))}returnlocations}

       插入与查询

       添加与查询实现就非常简单了,组合一下上面的函数就行。

//添加元素func(f*Filter)Add(data[]byte)error{ locations:=f.getLocations(data)returnf.bitSet.set(locations)}//检查是否存在func(f*Filter)Exists(data[]byte)(bool,error){ locations:=f.getLocations(data)isSet,err:=f.bitSet.check(locations)iferr!=nil{ returnfalse,err}if!isSet{ returnfalse,nil}returntrue,nil}改进建议

       整体实现非常简洁高效,那么有没有改进的空间呢?

       个人认为还是有的,上面提到过自动计算最优 m 与 k 的数学公式,如果创建参数改为:

       预期总数量expectedInsertions

       期望误差falseProbability

       就更好了,虽然作者注释里特别提到了误差说明,但是实际上作为很多开发者对位数组长度并不敏感,无法直观知道 bits 传多少预期误差会是多少。

//NewcreateaFilter,storeisthebackedredis,keyisthekeyforthebloomfilter,//bitsishowmanybitswillbeused,mapsishowmanyhashesforeachaddition.//bestpractices://elements-meanshowmanyactualelements//whenmaps=,formula:0.7*(bits/maps),bits=*elements,theerrorrateis0.<1e-4//fordetailederrorratetable,see/zeromicro/go-zero

       欢迎使用 go-zero 并 star 支持我们!

微信交流群

       关注『微服务实践』公众号并点击 交流群 获取社区群二维码。