最近参与公司一个项目,计划对在线平台的大规模查询做到快速响应,预估数据总量大概在2 - 3个亿,条数据库并发量大概每1500秒,一年后并发大概每3000秒,经过在复述和mongodb之间艰难的选择之后,决定使用mongodb,主要看中其平行扩展能力和GridFS上的Map/Reduce。预估项目完成上线后,高峰时段每秒并发查询在1500 - 3000年之间。
其实我个人是比较喜欢复述的,其并发查询能力和超越memcached的速度都很令人心动,不过其持久化和集群扩展性不太适合业务需要,所以最后还是选择了mongodb。
下面是对mongodb测试的代码和结果。虽然公司用的一水的CentOS,但是由于我是FreeBSD的支持者,所以在FreeBSD和CentOS上都测试了一下结果。
写库程序是网上抄来的,查询程序是自己写的。
写库程序
#设定循环500年万次
查询程序
# !/usr/bin/env python
from pymongo import Connection
import time,datetime
import random
connection=Connection('127.0.0.1', 27017)
db=connection['hawaii']
def func_time(func):
def _wrapper(*args,**kwargs):
start=time.time()
func(*args,**kwargs)
print func.__name__,'run:',time.time()-start
return _wrapper
#@func_time
def randy():
rand=random.randint(1,5000000)
return rand
@func_time
def mread(num):
find=db.用户信息
,,,,,,,,,,,,,,,,因为我在范围(num):
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,兰德=兰迪()
#随机数查询
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,。找到({“作者”:str (rand) +“迈克”})
if __name__==癬_main__”:
#设定循环100年万次
,,,,,,,,,,,,,,,, num=1000000
,,,,,,,,mread (num)
删除程序
# !/usr/bin/env python
从pymongo进口连接
导入时间,datetime
连接=连接(127.0.0.1,27017)
db连接(“夏威夷”)=
def func_time(函数):
,,,,,,,, def _wrapper (* args, * * kwargs):
,,,,,,,,,,,,,,,,开始=time.time ()
,,,,,,,,,,,,,,,, func (* args, * * kwargs)
,,,,,,,,,,,,,,,,印刷func.__name__,运行:,time.time()实体法
,,,,,,,,返回_wrapper
@func_time
def删除():
,,,,,,,,的帖子=db。用户信息
,,,,,,,,打印“删除前数:”,posts.count ();
,,,,,,,, posts.remove ({});
,,,,,,,,打印“删除后数:”,posts.count ();
if __name__==癬_main__”:
,,,,,,,,删除()
结果集
指定表格中<坳宽度=" 72 ">
<坳宽度=" 97 ">
<坳宽度=" 148 ">
<坳宽度=" 96 ">
<坳宽度=" 72 ">
指定表格中
插入500年万随机数查询100年万删除500年万CPU占用
centos394s28s224s25 - 30%
freebsd431s18s278s20 - 22%
CentOS插入和删除胜出;FreeBSD发挥了UFS2的优势,读取胜出。由于是作为查询服务器使用,所以读取速度快是个优势,不过我不是领导,我说了不算,最终还是得CentOS。
在测试中,一直使用mongostat监控,从并发数量上,两个系统差不多。还测试了插入并发查询,不过结果差不多,大概并发的相加和都是15000 - 25000每秒。性能还是很不错的。
不过确实大数据量下插入性能下降比较严重,CentOS测试了5000年万数据插入,耗时接近2小时。大概是6300多秒。比500年起万数据插入速度,差不多慢了50%。不过查询速度还算差不多。
测试结果供需要者做个参考。
不过,这个测试不是太公平。 FreeBSD配置要差一点。
CentOS 16 g内存,Xeon5606两颗8核.Dell品牌机。
其实我个人是比较喜欢复述的,其并发查询能力和超越memcached的速度都很令人心动,不过其持久化和集群扩展性不太适合业务需要,所以最后还是选择了mongodb。
下面是对mongodb测试的代码和结果。虽然公司用的一水的CentOS,但是由于我是FreeBSD的支持者,所以在FreeBSD和CentOS上都测试了一下结果。
写库程序是网上抄来的,查询程序是自己写的。
写库程序
#设定循环500年万次
查询程序
# !/usr/bin/env python
from pymongo import Connection
import time,datetime
import random
connection=Connection('127.0.0.1', 27017)
db=connection['hawaii']
def func_time(func):
def _wrapper(*args,**kwargs):
start=time.time()
func(*args,**kwargs)
print func.__name__,'run:',time.time()-start
return _wrapper
#@func_time
def randy():
rand=random.randint(1,5000000)
return rand
@func_time
def mread(num):
find=db.用户信息
,,,,,,,,,,,,,,,,因为我在范围(num):
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,兰德=兰迪()
#随机数查询
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,。找到({“作者”:str (rand) +“迈克”})
if __name__==癬_main__”:
#设定循环100年万次
,,,,,,,,,,,,,,,, num=1000000
,,,,,,,,mread (num)
删除程序
# !/usr/bin/env python
从pymongo进口连接
导入时间,datetime
连接=连接(127.0.0.1,27017)
db连接(“夏威夷”)=
def func_time(函数):
,,,,,,,, def _wrapper (* args, * * kwargs):
,,,,,,,,,,,,,,,,开始=time.time ()
,,,,,,,,,,,,,,,, func (* args, * * kwargs)
,,,,,,,,,,,,,,,,印刷func.__name__,运行:,time.time()实体法
,,,,,,,,返回_wrapper
@func_time
def删除():
,,,,,,,,的帖子=db。用户信息
,,,,,,,,打印“删除前数:”,posts.count ();
,,,,,,,, posts.remove ({});
,,,,,,,,打印“删除后数:”,posts.count ();
if __name__==癬_main__”:
,,,,,,,,删除()
结果集
CentOS插入和删除胜出;FreeBSD发挥了UFS2的优势,读取胜出。由于是作为查询服务器使用,所以读取速度快是个优势,不过我不是领导,我说了不算,最终还是得CentOS。
在测试中,一直使用mongostat监控,从并发数量上,两个系统差不多。还测试了插入并发查询,不过结果差不多,大概并发的相加和都是15000 - 25000每秒。性能还是很不错的。
不过确实大数据量下插入性能下降比较严重,CentOS测试了5000年万数据插入,耗时接近2小时。大概是6300多秒。比500年起万数据插入速度,差不多慢了50%。不过查询速度还算差不多。
测试结果供需要者做个参考。
不过,这个测试不是太公平。 FreeBSD配置要差一点。
CentOS 16 g内存,Xeon5606两颗8核.Dell品牌机。
