网站首页 > 技术教程 正文
梧桐数据库大数据实时查询场景性能测试报告
测试目标和范围
测试 magma 引擎下,梧桐数据库实时查询性能指标。
测试环境
操作系统
BigCloud Enterprise Linux release 8.2.2107 (Core)
软件版本
WuTongDB 1.x,HDFS 3.1.0-bc3.0.1,Hive 3.1.0-bc3.0.1
硬件配置
采用 3 存储节点、3 计算节点部署测试,配置如下
CPU:Intel(R) Xeon(R) Gold 5218R CPU @ 2.10GHz CPU 架构:x86_64 是否支持 avx:支持 CPU 颗数:2 每颗 CPU 物理核数:20 每颗 CPU 超线程核数:2 内存:376G 系统盘:446.6 GiB 数据盘:12.2T 网络宽带:万兆
CPU:Intel(R) Xeon(R) Gold 6248R CPU @ 3.00GHz CPU 架构:x86_64 是否支持 avx:支持 CPU颗数:2 每颗 CPU 物理核数:24 每颗 CPU 超线程核数:2 内存:376G 系统盘:446.6 GiB 数据盘:14.6 TiB * 10 网络宽带:万兆
其他相关信息
使用 31 列,约 12 亿行数据的 magma 表进行测试。
测试模拟业务通过 JDBC 进行正常调用场景,同时采用 20w 不同 id 进行请求,避免缓存影响。
测试表 DDL 如下(已脱敏处理):
CREATE TABLE test_table(
m_id text ,
d2 text,
d3 text,
d4 text,
d5 text,
d_type text,
d7 text,
d8 text,
d9 text,
is1 text,
is2 text,
is3 text,
is4 text,
is5 text,
d10 text,
is6 text,
d11 text,
is7 text,
is8 text,
is9 text,
is10 text,
d12 text,
is11 text,
d13 text,
d14 text,
d15 text,
d16 text,
d17 text,
d18 text,
d19 text,
time text )
FORMAT 'MAGMAAP' TABLESPACE magma_default01;
测试查询 SQL 如下(已脱敏处理):
select * from test_namespace.test_table where m_id='12300010001' and time='20240101' and d_type=1 ;
其中对 id,type,time 建立联合唯一索引,加快查询速度。
CREATE INDEX idx_mid__time_dtype_magma_test_table ON magma.ads_rh_user_terminal_info_scd (m_id,time,d_type);
测试用例及测试结果
测试使用 JMeter,采用不同线程数(10、30、60、100、200)对接口进行压力测试,每次采用不同 id 压力测试 300 秒,观察响应成功率与时延表现情况。
接口采用 SpringBoot 构建,示例如下:
10 并发线程
30 并发线程
60 并发线程
100 并发线程
200 并发线程
结论
将本次压测的线程数与TPS对应关系进行画图:
总结:3 个节点的magma集群,在并发线程数到达75时性能达到最佳,TPS可达到2400左右。
结论:梧桐数据库 magma 表在 3 节点实时查询场景下可基本满足 2500tps 左右的并发需求,最佳并发线程在 60~100 之间,查询时延稳定在 50ms 内。后续增大线程数,时延将逐步上升,经监控定位,此时磁盘 IOPS 存在瓶颈,可考虑增加存储节点数量。
- 上一篇: 移动端性能测试中的图片加载优化之旅
- 下一篇: App性能测试重要指标之存储优化 存储性能调优
猜你喜欢
- 2024-10-17 性能测试常见的误区有哪些? 性能测试常见问题
- 2024-10-17 AMD锐龙9 9950X处理器6大Linux发行版测试,性能最高提升16%
- 2024-10-17 反应速度测试,益智24点(561期) 反应速度测试百科
- 2024-10-17 如何快速测出你的固态硬盘性能? 如何快速测出你的固态硬盘性能状况
- 2024-10-17 房屋检测新速度:湖南中飞检测,最快一天出报告
- 2024-10-17 [性能优化]使用FrameTimeline进行Android卡顿检测
- 2024-10-17 《黑神话:悟空》性能测试工具登场!优化得当核显都能玩!
- 2024-10-17 测试中发生性能问题,如何进行排查?
- 2024-10-17 《黑神话:悟空 性能测试工具》Steam页面上线 测试PC性能
- 2024-10-17 《黑神话:悟空》测试工具使用方法分享
你 发表评论:
欢迎- 07-03收到“老板”QQ指令转账,厦门多名财务人员被骗!
- 07-03手机QQ红包BUG 发送不能被领取的口令红包方法
- 07-03“老板”发QQ指令要求转账 财务被骗42万……最后民警出手了!
- 07-03微信推广引流108式:利用QQ自动强制加好友代码从网站导流
- 07-03围观!有人发现QQ新玩法,一天进账近百万!
- 07-03“领导”QQ发来指令 她就转出16万元
- 07-03如何自定义样式营销qq在线咨询代码
- 07-03利用代码发QQ空消息 只闪动没有消息内容
- 最近发表
- 标签列表
-
- sd分区 (65)
- raid5数据恢复 (81)
- 地址转换 (73)
- 手机存储卡根目录 (55)
- tcp端口 (74)
- project server (59)
- 双击ctrl (55)
- 鼠标 单击变双击 (67)
- debugview (59)
- 字符动画 (65)
- flushdns (57)
- ps复制快捷键 (57)
- 清除系统垃圾代码 (58)
- web服务器的架设 (67)
- 16进制转换 (69)
- xclient (55)
- ps源文件 (67)
- filezilla server (59)
- 句柄无效 (56)
- word页眉页脚设置 (59)
- ansys实例 (56)
- 6 1 3固件 (59)
- sqlserver2000挂起 (59)
- vm虚拟主机 (55)
- config (61)
本文暂时没有评论,来添加一个吧(●'◡'●)