达梦数据库

English

大规模并行处理集群组件

       为了支持海量数据存储和处理、高并发处理、高性价比、高可用性等方面的需求,提供高端数据仓库解决方案,达梦数据库提供了大规模并行处理(MPP)架构,以极低的成本代价,为客户提供业界领先的计算性能。

       达梦大规模并行处理集群组件(DM Massively Paralleling Processing Cluster Component,缩写DMMPP)是基于达梦数据库管理系统研发的完全对等无共享式的并行集群组件,支持将多个DM7节点组织为一个并行计算网络,对外提供统一的数据库服务。DMMPP采用完全对等无共享架构,最多可支持1024个节点,支持TB到PB级的数据存储与分析,并提供高可用性和动态扩展能力,是超大型数据应用的高性价比通用解决方案。该架构同样适用于OLTP业务。

产品特点

系统架构

系统架构示意图DMMP

系统架构先进性

架构名称

特点

完全共享

局限于单节点服务器,价格昂贵,扩展性差。

共享磁盘

允许多个服务器实例共享存储设备,有效均衡单实例负载,具有一定的扩展性,节点规模扩大时,对I/O、锁资源等的竞争加剧,可能导致性能的下降。

硬件成本昂贵。

完全不共享

部署在高速网络,各节点相对独立,无共享I/O,扩展性和性能良好,缺点是此类架构的系统基于专用硬件,价格昂贵,成本高;存在主控节点,系统规模扩大时可能成为系统瓶。

完全对等不共享

继承了完全不共享架构的优点,且各节点完全对等,不需要专用硬件,不存在主控节点,消除了潜在瓶颈以及单节点故障问题。

数据分布

  • DMMPP支持多种数据分布,包括HASH分布、范围分布和随机分布;支持表的水平分区、垂直分区和多级混合分区,并提供了数据分布和数据分区的组合支持,提供了极高的灵活性。

高速邮件通信系统

  • DMMPP各节点之间的消息通信和数据移动都是通过嵌入在DM数据库系统内部的MAL通信系统完成,MAL系统负责在执行查询计划的过程中在协调任务相关的节点之间高效驱动数据流,完成发送消息、移动数据、收集操作结果等功能。

  • 每个消息相当于一封邮件投递到对应的邮箱中,一旦收到信件,立刻通知系统从邮箱中取出信件,对信件进行处理,完成数据的整合。这种高效的通信机制有利于提高并行查询的效率,充分发挥高速网络的优势。

多级并行技术

  • DMMPP的并行执行计划在各个EP上并行执行的同时,单个EP上的计划执行还可利用DM7的并行查询特性,实现节点间并行与节点内并行的完美结合。

复杂查询支持

  • DMMPP系统内每个站点只负责自身部分数据的读写,执行计划是完全并行执行的,完全无I/O冲突,充分利用硬件资源,只是额外增加了数据在节点间移动的通信时间,在高速局域网内,通信时间大大缩短,更能体现大规模并行处理的优势,随着系统规模的扩大,并行支路越多,优势越明显。

高可用

  • DMMPP与DM7数据守护高级功能的结合使用,可为每个EP配置交叉数据守护,提供数据镜像保护功能。配置了交叉数据守护的DMMPP即使出现单机故障,也不会影响整个系统的正常运行。一旦主机出现故障,对应备机会自动切换为主机继续提供服务。

管理与监控

  • DM7提供了图形界面性能监控工具,可以监控DMMPP的站点分布、数据分布、消息分发等,并能对DMMPP系统中各节点运行时的线程、会话、事务、SQL、内存等情况进行统计分析,并用直观的数据表或图表方式进行展现。

并行高速数据加载

  • DMMPP的快速数据装载工具DMFLDR为DMMPP提供并行高速数据装载支持,用户只要登录DMMPP的任意一个EP就可以进行数据装载, 无需额外的数据分发服务器。DMFLDR为DMMPP提供了本地加载、客户端分发和服务器端分发三种数据加载模式,用户可根据实际情况选择适用的装载模式。