首页 > Filecoin > 正文

全面解读DDS分布式存储白皮书之生态组成

作者:tzq14131966  时间:2020-03-06  分类:Filecoin新闻  
随着5G时代的到来,2025年全世界预计将会有270亿的5G终端用户,人类社会生活即将真正进入智能化储存的时代。而存储需求也是呈现海量的几何倍数爆发,甚至不夸张的说存储将是数字经济时代的核心战略资源。个人存储方式也将从现在的中心化云存储转为以个人为中心或者分布式的存储方式,企业的存储将从现在的中心化存储转为分布式存储。

DDS分布式存储生态是一个提供数据存储及处理全面解决方案和一站式应用开发服务的双底层智能生态。DDS 生态基于边缘计算和人工智能等领先的技术,在提升数据存储服务的基础上对数据进行分析和处理,发现数据价值。同时,DDS分布式存储将打造个人存储生态,让数据创造者,知识产权持有者,能够支配自身的数据和流量产生的价值,把利益回归本源,颠覆过去几十年的数据垄断局面。
 
DDS分布式存储生态生态主要由五个部分组成: IPFS分布式储存、OLAP数据分析处理系统、下载软件应用、第三方应用市场、DDS公链。DDS生态在存储与传输方面采用领先的内外网穿透技术, IPFS底层技术增加了安全性并加快了读写速度。OLAP 数据分析处理系统,专门设计用于支持复杂的分析操作,提供多维的业务视图,满足灵活的交互分析,提供高速的检索性能。建基于比特流协议,得益于分布式存储,而产生更高效率的下载应用。足够用户产生时搭建第三方应用下载市场,满足客户所需,完成自有公链。
DDS分布式存储生态组成
DDS分布式存储生态在现有分布式存储技术基础上结合了当前最新存储技术,使得分布式存储读取更快、存储量更大,进一步提升了用户体验。除了数据存储,DDS 的核心亮点在于其上所存储数据的价值实现,用户家庭数据资料及家庭物联网数据均可以加密并交易,使用户可获得贡献硬盘空间及带宽以外的价值回报。DDS公链则是为以存储类Dapp为主的多元化区块链应用提供底层服务,使得应用开发者部署智能合约和存储数据的两大需求可以得到一站式解决。
DDS分布式存储生态组成一:存储
1)储存原理
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。在数据存储方面,DDS存储针对分布式存储提出了独到的解决方案。此外,DDS存储采用领先的技术保证了数据安全性以及读写速度。

HTTP 协议使用的域名寻址,最终会映射到最底层,找到某个域名所对应的IP 地址下的某个主机,以及某个文件目录的某个文件。它不关心是否存在相同的文件,但内容寻址会通过唯一的标识去访问,并且提前检验这个标识是否已经被存储过。如果被存储过,直接从其它节点读取它,不需要重复存储,一定意义上节约了空间。
 
DDS 基于 IPFS 协议打造一个点对点的网络拓扑,相当于颠覆HTTP所代表的分布关系,它具有内容可寻址的特点,通过文件内容生成唯一的哈希标识,在一定程度上节约了空间开销成本。
 
DDS基于以上机制,让有闲置硬盘空间的人将其贡献出来,需要存储数据的人支付生态通证。以这样的方式把闲置的资源组合利用,从而让整个系统高效且去中心化的运行。在DDS生态中,用户将自己的硬盘贡献出来成为矿工,获取生态通证得到回报。存储文件的过程大约如下:
1) 用户发出订单(用生态通证出价,请求存储文件),系统撮合矿工和订单,一旦撮合成功,进入第二步。
2) 用户发送文件给矿工,矿工收到文件之后放到数据库里,进行加密,验证之后放到链上。
3) 矿工不断以复制证明的方式和规则来证明他们在工作,客户端支付的金额是分期付款进行的,随着出块进度,线性向矿工支付。
4) 文件索引:用户请求文件并支付生态通证到检索市场之后,响应
速度最快的矿工拿到这个文件的分发权。
 
2)物联网数据存储
众所周知,物联网时代所创造的数据将不是互联网时代数据所能比拟的,物联网时代一台电视甚至一个冰箱都有一个独立的ip地址,都能依照自己系数的改变生成数据。物联网的发展离不开大数据,大数据离不开存储。物联网终端数据是人工智能智慧和意识产生的基础。在万物互联的场景下,每天都会有大量的传感器终端在进行数据回传。包括温度、湿度、速度、位置、震动、压力、流量、气体等各种各样的传感器。
 
物联网的数据与传统数据有以下不同:
 
物联网中的数据量更大物联网的最主要特征之一是节点的海量性,除了人和服务器之外,物品、设备等都是物联网的组成节点,其数量规模远大于互联网。同时,物联网节点的数据生成频率远高于互联网,如传感节点多数处于全天候工作状态,数据流源源不断。
 
一方面物联网中数据海量性必然要求骨干网汇聚更多的数据,数据的传输速率要求更高;另一方面,由于物联网与真实物理世界直接关联,很多情况下需要实时访问、控制相应的节点和设备,因此需要高数据传输速率来支持相应的实时性。
物联网中的数据更加多样化,涉及的应用范围广泛,不同领域、不同行业,需要面对不同类型、不同格式的应用数据,因此物联网中数据多样性更为突出。
 
物联网对数据真实性的要求更高,物联网是真实物理世界与虚拟信息世界的结合,其对数据的处理以及基于此进行的决策将直接影响物理世界,数据的真实性显得尤为重要。
 
随着物联网技术的进一步发展以及应用规模的扩大,网络中的数据量呈几何级的疯狂增长,众多传感器终端的大量信息源势必呈海量趋势。面对不断增长的数据,海量数据的存储不均匀的问题将成为限制物联网充分发展的“瓶颈”。
 
由此可见,对于数据的存储,从数据收集的途径、分析开发实际需求以及安全性出发,分布式存储是最佳选择。
 
DDS 存储结合分布式云存储系统的架构性优势,在其基础上针对物联网异类数据实时存取特点,在多个数据中心对海量数据进行边缘化存储处理。DDS 存储提出了一种点对点的分布式存储方案,在方案中物联网各数据中心间采用云架构分级式存储,通过存储信息的交互推动,使各个存储节点协同工作,达到对物联网中原始数据流有序分散负载均衡。
 
在DDS生态中,拥有DDS硬件节点的家庭用户可以将家用电器如冰箱、洗衣机、空调等产生的物联网数据预存储在其节点中,经过人工智能和边缘计算的数据处理之后,有价值可交易的数据上传至分布式网络中进行价值发现。
 
3)监控内容存储
在家庭存储需求中,除了手机相册、家庭录像等资料外,家庭监控录像也是一项重要的存储需求。随着网络摄像机的普及,很多家庭配备了家庭监控,由此产生了海量的监控视频数据。当前存储条件下,监控视频存储时间较短,往往仅有几天保存时间,极大地影响了用户体验。
 
监控内容的边缘存储方案与区块链分布式存储思想高度契合,监控终端产生的视频内容直接在家庭局域网下通过分布式存储网络节点上传至分布式网络中,无需上传至中心化云端,可以大幅度提升监控视频存储效率。
 
DDS分布式存储生态组成二:数据处理
在数据分析处理方面,DDS 采用 Online Analytical Processing数据处理系统,专门设计用于支持复杂的分析操作,可以根据分析人员的要求快速灵活的进行大数据量的复杂查询处理,并且以直观易懂的形式将查询结果提供给决策人员。
 
DDS 数据处理系统对分布式网络中的数据进行一系列处理,包括拆分、加密、打散、封装等,使其变得可流通、可交易。存储在分布式网络中的数据可以分为两部分,一种是隐私性的,一种是非隐私性的。对于隐私性的数据,采用绝对的加密技术保证数据安全性。对于非隐私性的数据,DDS 数据处理系统将会进行文档分类,经用户授权后,数据可在DDS 生态的平台进行交易,数据贡献者获取生态通证奖励,而数据使用者将消耗生态通证。
 
单一的、零散的物联网数据没有价值,但是海量的、分布范围广泛的物联网数据将具有极大的价值。对于存储在分布式网络中的海量的物联网数据,DDS 生态将进行 OLAP 数据分析,进行精准广告推送。结合DDS经济模型,使得数据价值得到最优化体现,数据提供者可以享受价值回报。
 
利用边缘计算技术,DDS 公链在各个分布式存储节点直接处理和分析数据,这样能够在减少请求响应时间、减少网络带宽的同时保证数据的安全性和私密性。
 
边缘计算(Edge Computing)和云计算有着某种异曲同工之妙,它们都是处理大数据的计算运行方式。不同的是,在边缘计算的应用场景中,数据不用传输到遥远的云端进行集中处理,而是在边缘侧就能解决。
 
显然,边缘计算拥有更加丰富的数据生产和应用场景。与云计算相比,边缘计算能够基于联接,对本地贴近终端物的数据进行实时的预分析和处理,从而更好地支撑本地业务的实时智能化处理与执行。DDS 数据处理系统首次将人工智能技术融入分布式数据库的设计、开发、验证、调优、运维等全生命周期的各个环节,实现自运维、自管理、自调优、故障自诊断和自愈。在交易、分析和混合负载场景下,基于最优化理论,首创基于深度强化学习的自调优算法,调优性
能远高于业界平均水平。
 
DDS 数据处理系统在人工智能方面的技术创新突破主要有以下几个方面:
  1. 提前预测、按需调度,DDS的存储资源管理平台相对于传统产品扩展了其智能化能力,通过机器学习预测存储需求变化,提前调配存储资源。
  2. 全闪存阵列和混合块存储阵列功能包括采用流量模型模块(TMM)和弹性资源控制(ERC)技术进行智能缓存;对磁盘故障进行监测预警,并根据资源和业务负载状况规划提前修复数据;支持本地重复数据 删除和压缩技术。
3) 针对当下复杂多变的云化数据中心场景,面向业务需求的数据保护解决方案。主要功能包括可设置的自动数据保护,基于应用感知的数据保护,镜像磁盘容错和本地保护,无破坏性的灾难演练等。
4) 智能化的故障数据分析解决方案。功能为磁盘故障预测,也就是为磁盘“算命”,综合运用了大量机器学习和磁盘故障细节知识,旨在利用人工智能技术实现精准故障预测,消除因磁盘故障而出现不可预期的QoS波动,同时提升数据可靠性和资源效率。
 
DDS分布式存储生态组成三:下载软件
建基于比特流协议,得益于分布式存储,而产生更高效率。比特流(BitTorrent)的发展依赖于(Peer-to-Peer 简称P2P)技术。对等网络P2P的研究一直是国际知名学府和企业以及研发机构最关注的重点。它甚至被美国财富杂志称为改变因特网发展的四大新技术之一,被认为市代表无线宽带互联网未来的关键技术。现在广泛应用于新技术和软件等工程。
 

P2P是近年来互联网最热门的技术 ,在VoIP、下载、流媒体、协调技术等领域得到飞速发展 。P2P技术体现了互联网最根本的内涵——自由和免费,它的主要优点如下:和检索相关的节点上,存储有和该检索对等性高、非中心化、扩展性强、用户扩展与资源、服务、系统同步扩展 。健壮性高、服务分散和自适应、耐攻击、高容错性 。性价比高、存储和技术能力强,负载均衡。在P2P网络中,每个参与的节点既是服务器又是客户端, 既是信息的提供者又是信息的消费者。 P2P信息检索的目的就是网络中的任意节点都可以提交检索的请求,然后这些检索通过相关信息的节点将会回应请求,把本地相某种路由机制被路由到关的内容以对等的形式直接传送到请求节点上 。普通的HTTP/FTP下载使用TCP/IP协议,BitTorrent协议是架构于TCP/IP协议之上的一个P2P文件传输协议,处于TCP/IP结构的应用层。 BitTorrent协议本身也包含了很多具体的内容协议和扩展协议,并在不断扩充中。
 
根据BitTorrent协议及分布存储共通性,文件发布者会根据要发布的文件生成提供一个.torrent文件,即种子文件,也简称为“种子”。.torrent文件本质上是文本文件,包含Tracker信息和文件信息两部分。Tracker信息主要是BT下载中需要用到的Tracker服务器的地址和针对Tracker服务器的设置,文件信息是根据对目标文件的计算生成的,计算结果根据BitTorrent协议内的B编码规则进行编码。它的主要原理是需要把提供下载的文件虚拟分成大小相等的块,块大小必须为2k的整数次方(由于是虚拟分块,硬盘上并不产生各个块文件),并把每个块的索引信息和Hash验证码写入种子文件(.torrent)中。所以,种子文件(.torrent)就是被下载文件的“索引”。根据牵引,在自有的分布式网络内部生产大量的下载和上传点,将外部互联网的大体积档案备份下载产生缓存,相当于有千万台机器及系统协助下载工作,完成急速下载。
 
 DDS分布式存储生态组成四:应用市场
除 DDS 团队自研发的应用之外,兼备应用市场,与全球具有实力及影响力的应用服务提供商积极合作,引入最新的影视类,游戏类,音乐类,学习课程类,家庭百科 ... 等等实用的第三方应用,打造完整的应用生态圈。
 
     DDS分布式存储生态组成五:DDS公链
在公链性能方面,DDS 公链将摒除传统公链的单链串行模式,采用先进的分层多链并行模式极大提高 TPS,可满足百万级数字资产高频交易的需求。构建一站式的Dapp开发方案,为开发者们提供一个使用常用开发语言即可进行开发DAPP的区块链公链平台,开发者可以使用简化工具和套件,进行多元化的区块链应用开发,从技术开发、Token模型设计到运营支持等一站式全方位的孵化服务。
 
DDS 生态将为使用 DDS 公链和 DDS 存储的开发者提供全方位孵化支持,包括项目规划、通证设计、社群宣传等服务,并提供丰厚的生态通证支持。使用DDS 底层创建的DApps将获得DDS 生态永久性支持。
 
原创文章,转载/内容合作请联系DDS分布式存储生态社区客服pgyzny13未经许可,禁止转载
 
专注区块链数字货币、硬盘挖矿、IPFS分布式存储投资与分享,美国基金会DDS分布式存储携手深圳蒲公英智能云一起打造DDS生态应用建设,现空投期,下载注册APP即可免费获得空投币,欢迎广大币圈、矿圈志同道合爱好者积极参与,共同推动区块链分布式存储的应用落地,共享5G 时代分布式存储万亿市场带来的红利


 
 
 
版权信息
作者:tzq14131966
来源:tzq14131966

关于我们

联系我们

作者进驻

公众号

Copyright © 2013 比特巴 www.btb8.com
只为您提供客观公正有用的比特币 区块链 加密数字货币新闻、技术教程、行情分析、行业人物资讯
手机版