您好!吉林省益合数据资产鉴证评估院 联系我们 | 收藏本站 | 设为首页
网站首页 研究院简介 出版基地 创业板 知名专家 风险投资 行业研究 战略策划 全球财经 科研动态 企业评价
首页 - 科研动态 - 内容 打印】 字体大小:  
我们为什么需要图数据库?

发布日期:2020/4/14   发布人:管理员

01 图数据库具有天然可解释性

图数据库是基于图模型,对图数据进行存储、操作和访问的一项技术,即使没有专业的图论知识储备,也能轻松理解。它可以接受比实时查询更为复杂的分析需求,来挖掘图数据中的潜在价值。从分类上来说,图数据库属于 NoSQL 的一种。

图模型是图数据库中的重要概念。图模型由两个要素组成:节点和边。每个节点代表一个实体(一个人,地方,事物或其他数据),每条边代表两个节点之间的连接,这种通用结构可以对各种场景进行建模,如社交网络以及由关系定义的任何其他事物。

02 图数据库在处理关联数据时的优势

与关系型数据库相比,图数据库在处理关联数据时有三个非常突出的技术优势:

高性能:随着数据量的增多和关联深度的增加,传统关系型数据库受制于检索时需要多个表之间连接操作,数据写入时也需考虑外键约束,从而导致较大的额外开销,产生严重的性能问题。而图模型固有的数据索引结构,使得它的数据查询与分析速度更快。

灵活:图数据库有非常灵活的数据模型,使用者可以根据业务变化随时调整数据模型,比如任意添加或删除顶点、边,扩充或者缩小图模型这些都可以轻松实现,这种频繁的 Schema 更改在关系型数据库上不能到很好的支持。

敏捷:图数据库的图模型非常直观,支持测试驱动开发模式,每次构建时可进行功能测试和性能测试,符合当今最流行的敏捷开发需求,对于提高生产和交付效率也有一定帮助。

03 图数据库的应用场景

图数据库技术已经应用于现实生活中的方方面面,诸如 Google、Facebook 等科技巨头已经开始使用图数据库的力量来蓬勃发展业务。据 Gartner 在《十大数据分析技术趋势》预测,2012 年至 2022 年,全球图处理及图数据库的应用都将以每年 100% 的速度迅猛增长。如果说知识图谱是图数据库的底层应用场景,充分利用了图模型在存储和查询的优势为多行业提供知识服务。那么金融风控则是具有行业特点的高阶应用场景。

1. 知识图谱

知识图谱作为图数据库的底层应用,已服务于多种行业,包括:智能问答、搜索、个性化推荐等。以智能问答为例,产品主要分为聊天机器人、行业智能问答系统两种。开放领域的知识图谱能为聊天机器人提供广泛知识,机器不仅能和使用者聊天还能提供日常知识。行业智能问答系统则使用行业知识图谱,能够为用户有针对性的提供专业领域知识,在法律、医疗行业已得到运用。

在知识图谱的应用落地上,主要有两点因素影响着知识图谱的质量和实现——NLP 自然语言处理引擎、算法库。NLP 自然语言处理引擎决定了 NLP 爬虫平台获取数据的质量和数量,而这些原始数据作为知识图谱的知识原料又决定了知识图谱的水平。算法库中的图算法决定了图构建、图存储和图操作的能力,知识原料丰富而图算法落后,依然不能构建出强大的知识图谱。

2. 金融反欺诈

图数据库通过利用多维交叉关联信息深度刻画申请和交易行为,可以有效识别规模化、隐蔽性的欺诈网络和洗钱网络;结合机器学习、聚类分析、风险传播等相关算法,可以实时计算用户的风险评分,在风险行为发生前预先识别,有效帮助金融机构提升效率、降低风险。应用图数据库的金融风控场景很多,例如个人信贷、洗钱路径追踪、个人 / 企业征信等。

基于图数据库在金融风控的优异表现,很多企业表示对这项技术的看好,在这之中也有一些前瞻性的企业已率先使用此技术并取得竞争性优势。图技术发展多年,这项技术仍然有很多企业没有使用,是什么原因阻碍了技术的推进?

首先是数据存储的问题,在反洗钱的场景中,需对用户的借记卡和信用卡数据存储分析。在存储时发现,仅 10 个月借记卡数据 +1 个月信用卡数据规模就有 5 个 T,这样的数据量是过去图数据库无法支持的。

第二点是多步分析问题。在反洗钱应用场景中需要做到 3-10 步以上的分析,而目前的图数据库在企业级场景下,2 度到 3 度查询时就会出现超时或者内存溢出的问题。这样的性能对于欺诈甄别的帮助很小。

针对这些问题,图数据库厂商正在积极构建成熟的解决方案来满足这两点要求,市面上有越来越多高性能图数据库出现。目前,部分企业采取的替代方案是通过图数据库 + 大数据平台的方式实现大数据量的效果,但是这样的解决方案由于技术门槛较高无法轻易掌握。

3. 工业领域

图模型具有强大的表现力对于快速更新的事物有很强的适应性,在工业领域用来管理快速变化的库存、供应链关系。目前已有沃尔沃等汽车制造商,依靠图数据库优化生产流程和供应链管理。

在制造业,供应链的管理涉及到多人协作和实时库存信息的反馈,包括汇总后的信息和明细数据的查询,查询过程涉及实体很多且关系复杂。

时图数据库在面对这类深度关联的场景时,优势就显现出来了,因为只需要通过边的查询就能找到相关联的数据,而无需对某一顶点做全局扫描,图数据库能够做到对于流入数据的实时更新和数据深度遍历。

04 图数据库技术的架构

图数据库的技术架构如下图所示,整体上采用分层架构的模式,由上至下分别是:接口层、计算层、存储层。

1. 接口层

       接口层对外提供服务,有如下几种方式:

       查询语言接口:提供除该图数据库原有查询语言之外的语言查询,例如 Cypher、Gremlin 等主流图查询语言接口。

       API:提供 ODBC、JDBC、RPC、RESTful 等接口与应用端交互。

       SDK:在 Python、Java、C++ 等编程语言中通过库函数的方式调用图数据库的接口。

       可视化组件:通过图形化界面的形式展示和实现用户的交互。

2. 计算层

       提供对操作的处理和计算,包括语法解析、查询引擎、优化器、事务管理、任务调度和图算法实现等。其中,图算法可能是由图数据库本身提供,也可能是提供接口与图处理引擎对接。

3. 存储层

      图数据库有原生和非原生存储两种存储方式,图存储引擎提供了图数据结构、索引逻辑上的管理。

05 图查询语言标准统一代表市场认可度提升

与关系型数据库不同,图数据库领域目前没有统一的查询语言,大多数查询语言与产品紧密关联。当企业需要使用新的图数据时需要重新学习语法,这带来了不必要的学习成本。是否拥有一个统一的查询语言标准,也标志着图数据库市场的成熟度。

2019 年 9 月 17 日,SQL 标准国际委员会投票决定,将 GQL 作为一种新的图数据查询标准语言。目前还无法确定 GQL 的第一个可实现版本,但很有可能在 2020 下半年会推出 GQL 图查询语言的完备草案。

查询语言统一带来的好处:降低企业学习成本—前期的学习成果是能够积累在将来发挥作用的。新的查询语言不只是简单的语法,还是一种新的语言使用思考方式。统一语言后,使用不同的图数据库将只意味工具不同,但是语言基础是相通的。

提升技术成熟度—企业不只担心学习成本,更担心的是整个技术的成熟程度。如果业界有一门统一的查询语言,也就是当企业认为这种分析方式是稳定而成熟的,才会认可它。云让数据查询和分析变得简单易用

目前将图数据库上云的厂商并不多,少数图数据库厂商提供云上图数据库部署,供数据科学家,开发人员,业务分析师,学生和其他爱好者使用。开发者可以在短时间里通过简单的步骤开启基于图的解决方案配置。
       大数据时代时代的业务增长带来了数据量的剧增和数据关联的复杂化,与此同时企业对数据价值的期望也越来越高。根据 DB Engines 近 7 年数据库流行趋势显示,图数据库相较其他主流数据库受欢迎程度遥遥领先,目前,国内越来越多的厂商进入图数据库领域,开始构建自己的图数据库,图数据库的建设既需要全面的大数据技术又需要图数据库工程师和业务专家的持续协作,是一项长期持续的工作,未来,图数据库技术必将成为最为热点的技术之一。

 

 


阅读上一篇: 园区与产业并行发展案例:杭州数字经济园区与数字经济核心产业

阅读下一篇: “十四五”系列研究之一|“十四五”时期经济社会发展基本思路

               版权所有:吉林省益合数据资产鉴证评估院   

网站备案号:吉ICP备16004330号- 1      电话:18844086688             联系人:陈老师

 传真:0431-85833647     地 址:长春市建设街199号工信厅    mail:jccjyjy@sina.com