当业务需要大量去连接复述,或者hbase的时候,大量的连接会造成的套接字的大量占用,导致的结果就是服务器没有更多的端口去分配,这种情况下的最好解决方案就是实现客户端连接的单例模式,保持连接永远是同一个。说到这,可能大家没有经历过,如果在每秒钟插入4000条数据的话,这个现象就非常明显了。下面就实现下python实现操作复述+ hbase单例模式,有很多改进之处,根据自己业务进行调整,可以通过打印实例的ID进行验证:
import happybase
import 复述,
class _RedisMgrSingleton(类型):
,,,“复述的单例”
,,,def __init__(自我,,名字,,,,dict类型):
,,,,,,,超级(_RedisMgrSingleton,,自我). __init__(名字,,,,dict)
,,,,,,,self._instance =, {}
,,,def __call__(自我,,主机、端口、db):
,,,,,,,if not self._instance.has_key((主机、端口、db)):
,,,,,,,,,,,self._instance[(主机、端口、db)],=,超级(_RedisMgrSingleton,,自我).__call__(主机、端口、数据库)
,,,,,,,return self._instance[(主机、端口db )]
class HbaseSingleton(类型):
,,,“‘hbase的单例”
,,,def __init__(自我,,名字,,,,dict类型):
,,,,,,,超级(HbaseSingleton,,自我). __init__(名字,,,,dict)
,,,,,,,self._instance =, {}
,,,def __call__(自我,,主机、表):
,,,,,,,if not self._instance.has_key((主机、表)):
,,,,,,,,,,,self._instance[(主机、表)],=,超级(HbaseSingleton,,自我).__call__(主机、表)
,,,,,,,return self._instance[(主机、表)]
class RedisMgr:
,,,“复述,操作专用类”
,,,def , __init__(自我、主机、端口、db, max_connections=3):
,,,,,,,”例如:,,host ,,,“192.168.2.184”,,, port , 6379,,,, db ,, 14”
,,,,,,,self.host=主机
,,,,,,,self.port=端口
,,,,,,,self.db=db
,,,,,,,self.conn=redis.Redis (connection_pool=, redis.ConnectionPool(主机=主机、端口=港口,db=db, max_connections=max_connections))
,,,def run_redis_fun(自我、funname * args):
,,,,,,,快乐=getattr (self.conn funname)
,,,,,,,print 参数
,,,,,,,return ,乐趣(* args)
,,,def 管(自我):
,,,,,,,return self.conn.pipeline(事务=False)
,,,__metaclass__ =, _RedisMgrSingleton ,,,,, #元类实现单例
class HbaseOperate(对象):
,,,def __init__(自我、主机表):
,,,,,,,self.host =,主机
,,,,,,,self.table =表
,,,,,,,self.conn =, happybase.Connection (self.host)
,,,,,,,self.table =, self.conn.table (self.table)
,,,def 运行(自我,有趣,* args):
,,,,,,,#,result =self.table.row (* args)
,,,,,,,funname =, getattr (self.table、有趣)
,,,,,,,return funname (* args)
,,,def 细胞(自我、列、信息、版本):
,,,,,,,return self.table.cells(列,信息,版本=版本)
,,,__metaclass__ =, HbaseSingleton ,,,,, #元类实现单例
时间=conn HbaseOperate (“xxx.xx.11.8”、“history_visitor_product”)
时间=result conn.cells (“chenhuachao”、“信息:visiotr”, 3)
print 结果
print “第一次”,id(康涅狄格州)
时间=conn1 HbaseOperate (“xxx.xxx.11.8”、“history_visitor_product”)
result1=编写此表达式,conn1.cells (“chenhuachao”、“信息:visiotr”, 6)
print result1
print “第二次”,id (conn1)
#输出
(“test10”,“test9”,,“test97”)
第一次,38014896
(“test10”,“test9”,,“test97”,,“test17”,,“test1345 \ n”)
第二次,38014896
