▌区块链与大数据的发展差距
大数据,需要应对海量化和快增长的存储,这要求底层硬件架构和文件系统在性价比上要大大高于传统技术,能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外,大数据对存储技术提出的另一个挑战是多种数据格式的适应能力,因此现在大数据底层的存储层不只是HDFS,还有HBase和Kudu等存储架构。
区块链,是比特币的底层技术架构,它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构,通过网络中多个节点共同参与数据的计算和记录,并且互相验证其信息的有效性。从这一点来说,区块链技术也是一种特定的数据库技术。由于去中心化数据库在安全、便捷方面的特性,很多业内人士看好其发展,认为它是对现有互联网技术的升级与补充。
2011年,“大数据”第一次上榜,位于技术萌芽期的爬坡阶段,当时还统称为“‘Big Data’ and Extreme Information Processing and Management”(“大数据”和极端信息处理和管理)。
2012年更进一步,并在2013年几乎达到了过热期顶峰。经历了2014年的下滑,从2015年开始,“大数据”突然从曲线中消失,可解读为Gartner对大数据的定位已从“新兴”转为“主流”。当前,大数据对于企业的意义已从能力要素上升为战略核心。
相对而言,“区块链”直到2016年才第一次出现在《技术成熟度曲线》中,并直接进入“过热期”。总的来看,“大数据”和“区块链”所处的生命周期阶段大不相同,两者约有5年左右的差距。
▌区块链和大数据的相互差异
大数据通常用来描述数据集足够大,足够复杂,以致很难用传统的方式来处理。而区块链能承载的信息数据是有限的,离“大数据”标准还差得很远。区块链与大数据有几个显著差异:
结构化vs非结构化:区块链是结构定义严谨的块,通过指针组成的链,典型的结构化数据,而大数据需要处理的更多的是非结构化数据。
独立vs整合:区块链系统为保证安全性,信息是相对独立的,而大数据着重的是信息的整合分析。
直接vs间接:区块链系统本身就是一个数据库,而大数据指的是对数据的深度分析和挖掘,是一种间接的数据。
数学vs数据:区块链试图用数学说话,区块链主张“代码即法律”,而大数据试图用数据说话。
匿名vs个性:区块链是匿名的(公开账本,匿名拥有者,相对于传统金融机构的公开账号,账本保密),而大数据有意的是个性化。
▌区块链和大数据的融合关系
区块链是一种不可篡改的、全历史的分布式数据库存储技术,巨大的区块链数据集合包含着每一笔交易的全部历史,随着区块链技术的应用迅速发展,数据规模会越来越大,不同业务场景区块链的数据融合会进一步扩大数据规模和丰富性。
区块链以其可信任性、安全性和不可篡改性,让更多数据被解放出来,推进数据的海量增长。区块链的可追溯性使得数据从采集、交易、流通,以及计算分析的每一步记录都可以留存在区块链上,使得数据的质量获得前所未有的强信任背书,也保证了数据分析结果的正确性和数据挖掘的效果。
区块链能够进一步规范数据的使用,精细化授权范围。脱敏后的数据交易流通,则有利于突破信息孤岛,建立数据横向流通机制,形成“社会化大数据”。基于区块链的价值转移网络,逐步推动形成基于全球化的数据交易场景。 区块链提供的是账本的完整性,数据统计分析的能力较弱。大数据则具备海量数据存储技术和灵活高效的分析技术,极大提升区块链数据的价值和使用空间。
大数据的技术生态百花齐放,没有哪个软件能解决所有的问题,能解决问题也是在一个范围内,即使是Spark、Flink等。在强调透明性、安全性的场景下,区块链有其用武之地。在大数据的系统上使用区块链技术,可以使得数据不能被随意添加、修改和删除,当然其时间和数据量级是有限度的。通过把大数据与区块链相结合,能让区块链中的数据更有价值,也能让大数据的预测分析落实为行动,它们都将是数字经济时代的基石。
▌两者融合创新的消费积分链案例
基于区块链和大数据共同构建“全要素积分链”,跳出单一的追溯体系思维,将目标聚焦在建设“信用体系”和打造“数据智能”两个方面。
1 :建设“信用体系”
利用区块链去中心化或多中心化模式,对外形成政府部门、行业企业、相关服务机构之间跨组织的互信关系,以较低的“技术成本”解决了信任成本高企这一“管理难题”。
2 :打造“数据智能”
基于区块链、大数据技术,对内形成数据互通互联、共治共享的机制,以“数据智能”赋能企业,推动产品互联网运营能力的提升。要推动中国积分建设,单靠传统的追溯系统进行事后究责是远远不够的。我们需要更多真实的数据,并打通生产、流通、消费等全产业链环节,通过数据的整合分析,从被动监管,到主动帮助企业提升。
但将目标聚焦在建设“信用体系”和打造“数据智能”两个方面就需要解决两个核心问题:
一是企业自建或第三方平台公信力不足,部分企业参与力度不够等导致的无法确保数据的真实性和可靠性。
二是政府或企业建设标准不统一、政府部门分段监管等导致的数据难以流通和数据孤岛问题。
▌走向未来成为互联网的新基石
不完全统计,2015年我国大数据相关交易的市场规模为33.85亿元,2016年国内大数据交易市场规模达到62.12亿元,2020年将达到545亿元。
基于以上认知,创新性的将区块链的技术与跨界积分管理提升支撑体系结合,形成“全要素积分链”,其目的在于帮助企业提升产品积分,其核心是以产品为中心,形成积分闭环,纵向打通企业端到消费端的产品供应链,由原来只注重产品本身的积分管理,延伸至消费者的消费体验;横向则以产品标准和检验检测作为保障,围绕产品的生命周期,建立产品制造、流通、消费全产业链积分管理,形成全要素管控和发展。
针对大数据交易共性敏感问题,缺乏全面、权威、有公信力的解决方案。在中心化系统结构下,大数据交易存在成本、管理、安全性、灵活性等方面的问题难以突破,对大数据安全共享与交易形成了挑战。
利用区块链去中心化或多中心化模式,对外形成政府部门、行业企业、相关服务机构之间跨组织的互信关系,努力实现建平台、定标准、构生态三个方面。利用区块链技术将最终解决可追溯性、数据安全真实性、以及开放性、保密性、一致性等问题。
通过区块链过往数据不可篡改的特性,把数据变成受保护的虚拟资产,确保每笔交易和数据都有确权证书。保证数据真实性有效性;基于既有风控模有效降低欺诈风险;助力相关部门智慧决策。
想了解更多IT资讯,请访问中培教育官网:中培教育