DB2数据仓库性能经验.ppt
- 文档编号:1389658
- 上传时间:2022-10-21
- 格式:PPT
- 页数:20
- 大小:4.37MB
DB2数据仓库性能经验.ppt
《DB2数据仓库性能经验.ppt》由会员分享,可在线阅读,更多相关《DB2数据仓库性能经验.ppt(20页珍藏版)》请在冰豆网上搜索。
DB2数据仓库性能经验,2007年08月,电信行业数据仓库应用,1,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计分区的使用及优化数据仓库的空间管理应用设计优化,1,2,总体技术架构,2,3,DB2中数据应用举例,3,4,软硬件配置,4,5,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计分区的使用及优化数据仓库的空间管理应用设计优化,5,6,项目中数据仓库的主要性能要素,架构与分区单事例模式数据分层多节点分区,存储结构数据空间索引空间日志空间应用数据空间合理的分区,应用设计表的分区键表的索引SQL优化数据类型的优化物理分表,6,7,数据库架构设计-初版,使用别名跨库访问速度慢,(Db27.2)并行load导致锁表空间,大数据量时日志空间报错,资源分散利用率低,IO差,7,8,数据库架构设计-优化版,DSS数据仓库,表空间调整后并行load,提高IO、CPU等资源利用率,模式实现虚拟的数据应用层,8,9,分区的使用及优化,系统性能的提高CPU/IO,优化后帐单表29830644条数据232设备表10997977条数据16,优化前帐单表29830644条数据102设备表10997977条数据431,9,10,数据仓库的空间管理,1.数据、索引、日志分开减少应用IO冲突2.数据库使用的日志表空间=ETL最大事务日志空间3.采用合理的分区键,使数据分布均匀,Cust.customer_detail中有cust_id和cert_no最初采用cert_no做分区键INSERT遇到的问题?
IO性能提高,合理日志空间,考虑到空间利用率,最后改变分区键,旧分区键建立索引,selectcount(cert_no),dbpartitionnum(cert_no)fromCust.customer_detail_200708groupbydbpartitionnum(cert_no)cert_no有部分默认值Cust_id是唯一标识,独立的数据空间,10,11,建表语句中分区与空间管理,CREATETABLESPACEMID_DATAINDATABASEPARTITIONGROUPNODEGROUP11PAGESIZE32KMANAGEDBYDATABASEUSING(Device/dev/rmid1_data_lv1491520)ONDBPARTITIONNUM
(1)USING(Device/dev/rmid1_data_lv2491520)ONDBPARTITIONNUM
(2)USING(Device/dev/rmid1_data_lv3491520)ONDBPARTITIONNUM(3)USING(Device/dev/rmid1_data_lv4491520)ONDBPARTITIONNUM(4)EXTENTSIZE64PREFETCHSIZE256BUFFERPOOLIBMDEFAULTBPOVERHEAD12.67TRANSFERRATE0.18DROPPEDTABLERECOVERYOFF;,CREATETABLEMID.TB_CUST_DETAIL_200708(BILL_MONTHINTEGERNOTNULL,CUST_IDDECIMAL(16,0)NOTNULL,CUST_SEQDECIMAL(20,0),CERT_NOINTEGER,BIRTHDAYINTEGER)DATACAPTURENONEINMID_DATAINDEXINMID_INDEXPARTITIONINGKEY(CUST_ID)USINGHASHINGNOTLOGGEDINITIALLY;,比目录方式性能好,11,12,应用的优化-SQL,配置MAXLOCKS列表的百分比,LOCKLIST锁资资源大小LOCKTIMEOUT,锁等待超时时间,锁过多、等待时间过长,则产生雪崩效应,升级锁,表锁代替行锁SQL0911N死锁或超时数据库和应用上如何解决呢?
行锁表锁,优化项目强制规定所有事务及时COMMIT,FORCEAPPLICATION(ID),12,13,应用的优化-索引,Insertintocust_billSelecta.*,b.*Fromcusta,billbWherea.cust_id=b.cust_id注:
7百万*3亿的接口数据关联,如何从建模和应用上实现优化呢?
Cust和Bill表建模时候是否考虑到主键和外键?
多表关联时候如何确定COST最小?
存储过程和SQL执行比较慢如何定位原因?
应用中复杂的语句是否考虑过执行计划?
reorg修改表的很多信息runstats更新统计信息,一般晚上空闲时候执行REORGCHK根据统计公式计算表是否需要重整,优化器分析SQL基于成本的优化器如:
关联时索引扫描而不是使用表扫描,优化要点建立合适的索引避免表扫描,13,14,数据类型的优化(OLAP),14,15,大数据量的应用优化,7百万/月的客户资料,3亿条/月详单数据。
采用分区技术之外,如何提高应用系统性能呢?
应用上如何实现?
根据时间或地域来进行物理分表如:
表名_200708表名_20070828表名_010表名_地区_年月使用动态SQL,采用4节点,每个节点多大数据量?
175万客户资料关联7500万的数据,15,16,大数据量分表,1.单个事务数据量小,提高应用执行速度,系统资源压力小。
2.如果ETCL整个过程REDO,避免使用DELETE产生大量日志,影响系统性能。
IMPORTFROM/dev/nullOFDELREPLACEINTOMID.tb_cdr_long_detail_|v_bill_month|_|v_city_idLOADFROM/dev/nullOFDELREPLACEINTOMID.tb_cdr_long_detail_|v_bill_month|_|v_city_id|NONRECOVERABLE,16,17,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计分区的使用及优化数据仓库的空间管理应用设计优化,17,18,基于DB2的数据仓库应用和展现,18,19,完毕,谢谢!
19,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB2 数据仓库 性能 经验