中国产经网

产经行业的
探索与发现
更多行业干货分享,关注中国产经网Www.chinaice.cN

专访胡书能:解读达梦大数据平台

更新时间:2015-04-28 16:13点击:

  一场由阿里巴巴率先发起的“去IOE”运动引发了业界广泛讨论,到了2013 年“棱镜门”事件爆发,中国银监会发布39号文,“去IOE”更被推至风口浪尖,从目前的政策趋势来看,推动相关信息产品的国产化已经是大势所趋,国产数据库代替国外数据库只是早晚的问题。

  在国产数据库阵营中,有这样一家厂商,宣传力度最大,DBA群体中知名度最高,2014年其数据库产品已经在国家财政支付、社保核心应用、大型央企如中铁建的财务系统等这些关键行业的核心领域得到了应用,同时在大数据分析领域有多个MPP分布式集群的上线系统。他们的产品率先走出国门,开拓了东南亚、非洲、俄罗斯等海外市场,它就是“达梦”。

  在刚结束的2015年中国数据库技术大会上,来自达梦云平台软件事业部副总经理、总设计师胡书能发表了《电子政务领域的大数据解决思路》主题演讲,分享了“达梦大数据平台”在针对电子政务领域的业务背景及特殊需求下,不断总结、提炼出的总体架构设计理念和技术实现过程。

  

 

  电子政务领域大数据项目难点是什么?与互联网行业有什么不同?达梦今年的重点如何?阿里OceanBase数据库不久将投入商用,是否会导致国产数据库市场格局重新洗牌?为什么我们很少看到国产数据库在中小企业市场的应用案例?为什么国产数据库案例都是政府项目?带着这些较为尖锐的问题,IT168的老鱼专访了达梦数据平台产品总设计师胡书能,就以上问题进行了深入探讨。

  老鱼:胡总,您好!先请您给我们的网友打声招呼,简单介绍下自己。

  胡书能:大家好,我是胡书能,担任达梦公司云平台软件事业部副总经理、数据平台产品总设计师,自2006年开始承担众多政府领域数据中心项目总架构师、技术顾问,在政府领域数据中心建设方面有丰富的实践经验。

  老鱼:电子政务领域大数据项目难点是什么?与互联网行业大数据实施有什么不同?

  胡书能:电子政务领域最大的问题是多部门之间信息共享难,即“纵强横弱”,尤其是横向部门的互通难,这与互联网行业有明显区别。互联网数据主要从业务系统和各终端采集而来,而电子政务领域数据则分散在众多的“信息孤岛”里,因此数据的采集和整合难度相当大。

  达梦这些年接触了大量政府数据中心的项目,发现很多共性的问题,总结下来主要有以下4点:

  1、缺少总体顶层规划:标准不同一、重复建设、粗放型建设

  2、条块分割纵强横弱:各自为政、信息共享难、业务协同更难

  3、IT资源利用率低:基础设施利用率低、数据价值没有被发挥

  4、项目建设运维成本高:投资成本高、缺乏专业运维团队、运维成本高、时间成本高。

  老鱼:达梦大数据解决方案与其它国产数据库厂商有什么不同?特色在哪里?

  胡书能:达梦最大的特色是我们提出了大数据平台概念,达梦大数据平台支持海量数据处理与分析,提供基于分布式存储、大规模并行计算、多源数据融合等技术的数据全生命周期管理工具,可实现数据的存储、交换、管理、分析与服务,为传统业务应用、资源交换共享、大数据分析等应用场景提供透明、高效、安全、统一的服务与支撑。

  

 

  

 

  在大数据存储方面达梦的DM7在结构化存储远远超过了对手,同时我们还增加了非结构化数据存储MGBase数据库(自主研发)来支持NoSQL的需求,在数据交换层,我们有异构数据实时同步技术(DMHS),从生产库把数据向数据中心同步时,可以采用Goldengate技术,只分析数据库预置,而不需要通过各种接口去查询数据,这样不仅提升效率,对资源占用也较小。

  

 

  我们最新研发的分布式数据查询引擎,开发人员只需要通过接口即可查询后台分散的数据。数据可以是异构的,我们正在考虑与NoSQL融合。对上层工具而言,不用考虑存在一个数据库或多个数据库,也不用考虑结构化或非结构化数据,有个统一的数据源来访问,这是我们的特色。

  

 

  另外我们提出的大数据平台,是个开放性的平台,我们希望跟其它厂商合作,如国产服务器,中间件等,通过深度的优化,使得各家产品能高度适配,让用户选型变得更简单。目前达梦公司已经准备在北京、成都、武汉、上海等地建起大数据平台基地及体验中心,到时候会联络业界的厂商一起做。

  老鱼:大数据持续发热和“棱镜门”事件的双重推动下,“去IOE”呼声高涨,2014年不能不说是国产数据库利好的一年,过去的一年,达梦过的怎样?今年达梦将会在那些地方发力?重点是什么?

  胡书能:大数据持续的发热,市场环境更好了,这对我们确实是利好。斯诺登事件后,国家对自主可控的要求更高。 2014年达梦已经在国家财政支付、社保核心应用、大型央企如中铁建的财务系统这些关键行业的核心领域取得了应用,同时在大数据分析领域有多个MPP分布式集群的上线系统,我们还开拓了东南亚、非洲、俄罗斯等海外市场,达梦数据库的市场已经取得了长足的进步。去年达梦在数据库和数据中心业务领域取得了不错的营收,实现了连续盈利。最关键的是,去年达梦并没有依靠国家政府资金支持,完全靠市场竞争养活了自己。

  今年我们将进一步加强在数据库自主可控市场的跟进和推广,我认为在国产数据库厂商中达梦产品是最优的,我们希望在自主可控的市场份额中能占到85%。

  另外,围绕大数据解决方案而推出的达梦大数据平台,我们也将大力发展大数据全生命周期管理的一系列基础软件工具,加大研发与市场投入,打造一套专业化整体解决方案,当然这是开放的,我们希望联合国内的优秀厂商一起来做,形成对用户来说一站式的解决方案。

  老鱼:今天大会有嘉宾谈到了一个观点,随着SQL在性能上及安全容错上的不断提升,Hadoop会取代MPP,混合架构会消失!您对这观点怎么看?

  胡书能:Hadoop替代MPP,我认为将来是有可能实现的,但目前还不成熟,我们可以看到这种案例还很少,说明Hadoop还存在某些局限,在这种局面下,各种技术都会共存很长一段时间,不要说MPP,就是传统的关系型数据库都会长期存在,所以我认为MPP不会在短期内消亡。

  Hadoop替代MPP,在互联网行业新上线的业务系统当中,或许是一种很好的技术选型方案。但是在电子政务领域还不行,因为政府部门有各种系统,这些系统建 于不同的年代,彼此需要相互集成,不可能全部废弃,至少短期内不会被替换。从个人意愿说,我希望全部被替换,特别是那些运行在IOE的环境下的系统,替换对基础软件国产化市场也是个很大的机会,事实上,不可能老的系统全部被废弃掉,这不现实,因此在新老替换过程中,异构数据的集成技术就显得非常重要。

  老鱼:去“IOE”的概念多年前就已提出,但像证券、银行等金融行业曾经也试图推进数据库的国产化,但很艰难。迟迟未有国产数据库进入金融行业核心业务,您怎么看?

  胡书能:数据是企业中最重要的资产,特别是金融行业,数据可以说就是钱,因此对待“去IOE”,银行的态度肯定会非常慎重。数据库是作为系统底层支撑,上面的应用软件也是基于数据库来开发的,如果要替换数据库,那么相应的应用软件也要全部替换,这个替换的代价是非常大的。

  目前,金融行业已经在逐步的推动“去IOE”。去年和今年,达梦受邀参与了中国工商银行、招商银行、中国证券等银行单位的系统测试工作,应该说替换工程已经启动并积极推进,但这项工作不是一下子就能解决,实际上,其它行业的国产化替换,也并不是一夜之间就完成的。我们国家电网项目替换掉Oracle,花了整整2年时间,耗费了很大的精力,我想在银行和证券领域,大家也都在积极努力,我们的产品技术也在进步,也许1-2年后这个进步会更大一些。

  老鱼:浙江获批的民营银行——网商银行的系统采用阿里的OceanBase数据库,号称首家“去IOE”的银行系统诞生,您怎么看?阿里OceanBase数据库也许在不久的将来会商用,国产数据库又将增加重量级的一员,这是否会对现有的国产数据库格局造成冲击,导致国产数据库市场份额重新洗牌?

  胡书能:首先阿里巴巴是国内企业的骄傲,能取得这样的成绩,表示祝贺。据我了解,OceanBase是分布式的数据库,诞生的目的首先是满足阿里巴巴的内需,然后逐步改造产品化而成,因此适用场景和业务领域跟传统数据库会有所不同,传统数据库在电子政务领域的应用范围非常广,目前占据主要的市场份额,不会一下子被取代、都转到新兴的数据库。传统数据库和新兴的数据库都会有各自的生存空间,有新生力量加入到数据库产业中来,我们非常欢迎,这样能促进国内数据库技术的进步和发展。

  老鱼:查看大部分国产数据库厂商官网,其中成功案例,绝大多数是在政府的,在中小企业市场案例少,为什么有这样的问题?

  胡书能:这跟国产数据库自身的发展历史是分不开的,国产数据库在早期,即上世纪90年代到2004年前,都是以科研项目的形式存在,那时候主要依靠国家扶持。而2005年往后,国家调整了产业政策,对国产数据库的支持转化为通过各种电子政务的试点,要求国产数据库参与市场竞争,这也就导致了国产数据库在发展过程中,基本都是为政府这个大客户来服务,所以相对来说政府是他们的客户来源、主要市场,因此在政府的案例比较多,企业的显得较少,这是主要原因。

  虽然我们拿的是政府单子,但并不是政府直接拨款,达梦也是在跟Oracle、SQL Server等国际厂商同台竞争的情况下,凭借自身优势和核心实力赢得竞争。 (来源:IT168 http://tech.it168.com/a2015/0423/1723/000001723061.shtml)