• 正文
  • 相关内容
  • 电子产业图谱
申请入驻 产业图谱

这群人,破解了Web3的「存力」难题

11/11 13:04 作者:雷锋网
阅读需 14 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

2009年1月3日,位于芬兰赫尔辛基的一台小型服务器上,第一个序号为0的“创世区块”诞生。六天后,序号为1的区块出现,与前者相连形成链,区块链的序幕由此拉开。

十多年过去,幕后推手“中本聪”仍是互联网上的“神秘人”,而区块链技术早已风靡全球,走过疯狂造富、赤身狂奔、幻影泡沫的野蛮生长后,逐渐回归理性,在不同国度寻找最妥帖的叙事方式。

在我国,这一叙事体是赋能实体经济、提升公共服务、夯实产业基础、打造现代产业链、促进融通发展的产业化区块链。

云栖大会蚂蚁数字科技峰会现场,蚂蚁集团资深副总裁、数字科技事业群总裁蒋国飞阐述了这样一个观点,不管是从机构自身,还是到跨机构的产业链协作都有旺盛的数字化需求。

机构自身数字化解决了IT生产效率提升;产生了大量数据后,数据要素的流动使得更紧密的产业链协作成为可能。

“这两大阶段的交错演进正推动数字化朝着大规模的智能化、分布式发展。”

而在这个过程中,作为第五大生产要素,数据、流动的数据扮演着重要角色。

IDC对全球数据规模的预测显示,2025年,全球数据总规模将从现在的70多个ZB增长到175ZB。

大量数据和数字资产在数字化世界里流转,使得可信数据的“存力”就如同电力网络的承载力一样,承载着整个社会“数据价值互联”基石的重任。

“这对存储方案提出了更高、更新的要求。”蚂蚁集团区块链技术总监闫莺说道。

一个新的挑战和机遇正在产生。
 
01
膨胀的数据,虚弱的存储
11月3日,在云栖大会蚂蚁数字科技峰会上,蚂蚁链交出了其历经四年打磨的一份作业——自研区块链存储引擎LETUS。该产品主要用于可信数据在区块链上的存储。在很多业内从业者看来,这是面向Web3时代的重要基础设施。

一直以来,存储成本与性能是区块链行业中两大难以根除的顽疾。

一方面,随着时间的推移和链上交易数量的增加,存储容量要求不断提高,随之而来的是区块数据存储成本的大幅提升。

另一方面,链上状态数据规模不断扩大,可验证数据结构持续膨胀,导致交易性能随账户规模提升和历史状态数据增加而持续下降。

即便是当前最为主流的解决方案,如以太坊,针对这两点,也是无解。

蚂蚁链LETUS技术负责人田世坤认为,以太坊的存储性能会随着数据规模持续增加而快速衰减,面对Web3这样对数据规模和性能诉求越来越高的应用时,在性能(延时和吞吐)、成本等方面已经没有太大优势。

闫莺也表示,以太坊今天的存储空间是12TB,(数据)基本上每年以1.5倍速度增长,这意味着,如果一个云盘是16TB,到明年以太坊的数据可能就超过这块云盘的容量上限。

一边是不断增长的需求,一边是现有技术的瓶颈,想要在夹缝中获得生存,就要开辟一条新的道路。

自研区块链存储引擎,开始被蚂蚁链提上日程。

 
02
历时四年,自研一个存储引擎

时间回到2019年4月。

那时,蚂蚁链的供应链金融第一次“跑”成功,不仅是蚂蚁链的一个新版本,也是第一次全链路隐私保护也成功运行。

闫莺告诉雷峰网,当时她主要负责TEE隐私保护核心技术,因此“印象特别深,很兴奋。”

但是,这种兴奋并没有维持多久,随着程序跑的时间越来越长,问题慢慢暴露出来。供应链金融是面向ToB(企业端)的,不像ToC端随时都有数据,可能会在某个时刻,比如每天晚上有一笔状态数据非常大的交易进来,跑了一个星期后发现性能越来越慢。闫莺告诉雷峰网。

期间,团队也曾试过各种技术方法对它进行优化,就像挤牙膏一样,优化一次,情况就得到一些缓解。但反反复复的尝试之后,团队发现,随着数量增加而出现的性能,是一个绕不开的瓶颈,需要从本质上根本解决。”

于是,蚂蚁链开始进入第二阶段的正式研发阶段。

但第一阶段的优化并不是一无所获。

田世坤告诉雷峰网,经过在前期对底层技术问题的逐一剖析、深度对比测试之后,总结了区块链存储所面临的几大挑战性问题:

第一,区块链本身要实现可验证,它需要可验证的数据结构,而可验证数据结构会带来读写放大。

第二,数据局部性。大量哈希编码让数据在存储里的分布变更随机,如账户ID,而数据的局部性关乎整个存储性能的效率。如果数据分布随机,对于磁盘来说非常不友好,底层存储系统为了管理这些分散的数据,需要做更多额外的处理,比如数据排序等。

另外就是常见的成本、性能,以及规模瓶颈问题。

针对这些问题,不是没有人试图去解决。

田世坤介绍,业界做过很多尝试,大概可以概括为弱化可验证可追溯、优化kv数据库、优化Merkle树三条路线。但不管哪一路线,面对未来Web3应用发展所带来的量级数据规模扩张,都无法提供一个可以彻底解决所有问题的最佳路径。

而蚂蚁链推出的区块链存储引擎LETUS可以很好地解决这些问题。

一方面,LETUS通过可验证索引定制、分布式集群扩展、异步并行等技术全面优化存储性能、规模和成本,可稳定支持20亿账户规模。

另一方面,LETUS通过智能控温分层存储、边界扫描批量裁剪来进一步降低存储成本。

LETUS的可验证技术提供了链存储的数据完整性性保障,确保数据安全可靠。相同业务TPS下磁盘带宽可减少95%、空间占用减少60%、CPU消耗减少70%,区块冷热分层和历史状态裁剪生产可用,支撑进一步降低成本增效。

这是蚂蚁链用了四年的时间交出的一份区块链存储引擎答卷。

在闫莺看来,在四年的项目周期中,整个团队也面临着非常大的压力。“存储引擎不同于应用层重构或者简单性能优化,它就是一个完整的数据库。在完整性、性能、安全性生产方面要求非常高。”

与此同时,四年前,Web3、元宇宙的概念还处于混沌不清的状态,没人知道未来在哪里?机遇又在哪里?

“我们是朝着基础设施方向前进的,也在思考价值,要不要坚持做投入?”田世坤告诉雷峰网,中间也有过挣扎,但也确实不能“一口吃成胖子”,只能一步一步走下来。

好在,结果是好的。四年后,Web3、元宇宙、区块链成为新的“历史性机遇”,存储引擎LETUS的性能与“历史”的需求不谋而合。

而之所以在这个时候公开发布,是因为它已经在蚂蚁内部经过多场景的打磨,具备对外技术赋能的可能性。

2021年6月,基于LETUS存储引擎的状态数据,在支付宝付款码皮肤数字藏品灰度上线,有效地支撑秒杀场景。

2022年6月,存储引擎LETUS在蚂蚁数字藏品平台鲸探上全面落地,实现从灰度双写切为单写,并在性能水位提升200%的同时,将生产环境下存储成本降低75%。

 
03
在产业数字化的浪潮中修路

回顾2020年7月份,蚂蚁链品牌升级的的发布会上,蒋国飞曾经给蚂蚁链标注了一个定位:始于区块,链接产业。

如今,回过头来看,蚂蚁链一直在践行这一发展路径。

技术上,过去两年,蚂蚁链先后发布区块链一体机、新一代区块链高速通信网络BTN、可信上链MaaS模组、数据隐私协作平台FAIR、区块链安全芯片等创新技术产品。

在共识协议、智能合约、网络传输、存储引擎、跨链技术、隐私保护等领域坚持自研并一直处于全球领先水平。

产业上,落地国际贸易、港航物流、工业制造、食品溯源等实体场景,形成了成熟的解决方案。2020、2021年,蚂蚁链连续两年位居中国BaaS市场份额第一,并在今年成为唯一入选Forrester中国区块链平台领导者象限的企业。

为解决更多产业的实际问题,蚂蚁链正在不断把握“区块链”技术多带来的核心能力——即数字化世界中的价值确定和转移能力,来构建一个全面立体化的信任基础设施,承载数字化世界的价值流转体系。

首先,产业数字化的升级的第一步是要完成对资产的数字化改造。

蚂蚁链联合广和通、移远通信合作伙伴推出无线通信模组AntChain MaaS,通过基于设备唯一特征的可信根,让终端设备自动连接区块链,实现物联网数据可信上链。

这样一来,大量沉睡的物理设备资产被激活,通过一个小小的模组建立起物理世界到数字化世界的硬链接。

这好比移动支付时代的POS机一样,解决了顾客、店主、店员三者间的公平交易和委托代理难题,让本不能发生的资产交易得以发生,让本不能实现的合作得以合作。

华铁应急是工程设备租赁的龙头企业,在全国有180多个租赁服务中心,高空作业平台等设备资产规模超100亿。如何用“轻办法”管理好这些“重资产”,是华铁提高运营能力的关键。

华铁应急与蚂蚁联合研发工程机械可信终端T-box,实现高空作业设备自动连接区块链,实现设备运营数据源头“上链”。基于可信数据,可以将生产方、运营方、承租方和金融机构等关联方通过区块链连接起来,让资金方实时掌握设备运行情况,强化对设备资产的收益估算和风险控制。同时也让运营方可以根据数据来提升设备管理和运营效能。

其次,实现资产数字化与数据资产化流转。蚂蚁链深度融合隐私计算和区块链这两项技术的优势开发了隐私协作平台(FAIR),协作流程由智能合约驱动,数据流转由隐私计算引擎来解决,并通过区块链技术确权,登记和交易共识。在数据共享过程中有效保护个人信息,实现全流程可记录、可验证、可追溯、可审计。

在强调“数据流转”的数字经济时代,FAIR平台的重要性不言自明。

区块链技术是蚂蚁链的技术起点。

在蒋国飞看来,区块链技术发展的本质,就像铁路运输货物,我们不仅需要一个又一个的小车站,更需要铁轨、汽车、装卸、道路安全等要素,以保证流通,而区块链技术就是一条条交错复杂的铁轨。

铁路运输货物,是不会对货物“挑肥拣瘦”的。

未来,区块链的应用也应当是泛行业的,它将在全球范围内、各行各业中对现有生产力、生产资料与生产关系进行重塑,让信任像信息一样自由流转、高效、透明、对等协同。

而站在当下,那仍然是一个宏大的叙事,充满了迷人的未知。

作为“修路工”的蚂蚁链,如今在做的就是在基础技术和创新技术领域持续投入研发,踏踏实实把路修大、修好。

更多相关内容

电子产业图谱