y7331757 -
关注数: 6 粉丝数: 53 发帖数: 5,067 关注贴吧数: 58
Filecoin v13 HyperDrive网络升级,存储效率可提高近10-25倍 来源 官网 日期 20210527 今天,我们很高兴地宣布 Filecoin v13 HyperDrive网络升级 将在接下来的几周内进行,存储效率将获得 10—25倍 的增长,这都要归功于Filecoin证明系统的创新! (*具体取决于存储提供者如何利用最新的集成限制) 在Filecoin主网启动周后短短7个月的时间里,已有超过2300名每周为Filecoin网络提供上千PiB的有效存储的活跃矿工。然而,这惊人的增长率对Filecoin矿工贡献的网络容量来说也只是 _沧海一粟_。 由于Filecoin网络提供的服务要满足大量需求,早在主网发布之前,存储增长速度就受限于Filecoin链容量。区块目前被新容量证明、存储交易和进行中的存储验证 (Window PoSts)所占用,限制了矿工可落地到Filecoin上的新存储以及由于此而导致影响其他所有链上其他交易,如发布存储交易的高昂Gas费!这就是为什么CryptoNetLab自网络发布后就在争分夺秒地增加链容量,提高Filecoin网络增长率。提高链容量有几大好处: 让现有矿工以更快速度更低成本封装额外存储容量💸 新矿工加入并扩大经营至PiB(甚至EiB)级别存储容量创造空间📈 为进行中的存储验证,交易,新存储交易等关键功能提高链带宽🔏 降低封装新存储交易的Gas费,用Filecoin存储有用数据会更加实惠🤝 Filecoin是有用的存储网络,其使命是为人类信息打造一个去中心化、高效、稳健的基础设施,这意味着存储容量需要以指数级增长才能跟上全球数据增长速度。相比并不实用的工作量证明区块链,Filecoin的存储证明包含复制证明和时空证明,通过大量的去中心化数据中心来存储人类数据,让挖矿过程为所有人产生价值。这也是Filecoin’s v13 HyperDrive网络升级的意义所在—— 人类宝贵信息的可验证存储容量将增长10—25倍🚀。 Filecoin v13 HyperDrive网络升级对矿工的意义 计划于六月中旬进行的HyperDrive升级与Filecoin网络所有参与者息息相关。存储用户以及应用开发者可以享受消息吞吐量提升带来的好处,进而提高整体网络效用,不过,Filecoin存储提供者会最明显地感到升级效果,从新的规模效应和更高的容量封装速率中获益。容量增长率的提高为新存储提供者加入并成为Filecoin网络的中坚力量创造了机会。💪 在此之前,大型存储提供者的资源和硬件或许已经可以实现每天封装100PiB存储容量到Filecoin,可因为链带宽限制只能遵循40PiB/天的总存储封装上限,与其他矿工争夺有限的链空间用于新存储证明。现在,有了HyperDrive的多项改进,这样的大型矿工可以集成存储承诺减少链上消息,既快速增加网络算力又节省链上空间。当所有矿工这样操作时,目前的存储封装速率(目前>100%链容量)将低于新链容量的5%!🎉 这对矿工来说意义重大:升级一方面是提高收益的机会,矿工能获得更多Fielcoin网络区块奖励,目前挖矿奖励铸币速度上限为约370,000 FIL/天;一方面是挑战,矿工要争取更有效地利用优化。无法快速适应新经营手段的矿工获得的奖励份额可能会落后于同伴,所以别💤错过这次机会! 为帮助矿工调整经营(并准备好快速封装潜在容量!)首个有证明集成容量的lotus RC将在2021-05-31这一周上线,届时还会有Calibration测试网更新,之后,矿工就可以测试新证明集成流程和加密经济效果。关注lotus v1.10.0 发布公告讨论获取发布时间最新消息,以及Filecoin v13 HyperDrive网络升级公告了解网络(校准网和主网)升级的区块高度。相关消息也会在Filecoin Project Slack的 #fil-announcements 和 #fil-lotus话题下发布。 通过SnarkPack提高Filecoin链容量 Filecoin v13 HyperDrive Network Upgrade的实现离不开Filecoin证明系统的创新。过去几个月里,CryptoNetLab 和 CyptoComputeLab对Filecoin证明机制进行了设计和实施以解锁更高的可扩展性和减轻网络拥堵。团队的努力促成了两项备受期待的FIP(Filecoin改进提案),Filecoin将获得显著可扩展性提升: FIP-0013: 增加ProveCommitAggregated方法以改善链上拥堵 FIP-0008: 增加矿工批量扇区pre-commit的方法 上述FIP的核心在于要求集成以及缩减多个证明验证(以SNARKs形式上链)以形成占用链带宽更少的集成消息,截至目前,Filecoin网络是最大的运行中的SNARK系统,每天可生成并验证(大约)超过1300万SNARK证明。为满足迫切的可扩展性需求,CryptoNetLab隆重推出SnarkPack,利用聚合扩容SNARK证明的新策略。SnarkPack基于Bünz et al的Inner Pairing Product,并迅速实现产品化以服务于Filecoin证明系统。除了明显的性能优化,SnarkPack还使用创新承诺方案,无需额外可信配置就可以实现集成——是可轻松部署在运行中的Filecoin网络上的更新!欲知更多SnarkPack相关信息,可访问SnarkPack deep dive或Cryptology ePrint!SnarkPack为FIP0013提供了一个解决方案——添加ProveCommitAggregate方法,让矿工将多个扇区ProveCommit收据集成为一条链上消息。新方法无需一些冗余且昂贵的检查,Gas费可由多个扇区摊销,显著减少每个扇区的证明大小和验证时间。为确保小型矿工也能从优化中受益,提交PreCommit和ProveCommit消息的窗口期将被延长 ,这样小型矿工可集成窗口期内所有证明,生成一条链上消息。 截至目前,性能指标表现良好——使用 32核和64线程AMD锐龙 Threadripper CPU运行时SnarkPack可在8秒内集成8192个SNARK证明,生成的证明大小是原来的1/38,验证只需33毫秒,包含反序列化在内!通过这个新功能,矿工可以为819个扇区的证明承诺提交一条ProveCommitAggregate消息。 除了FIP0013,FIP0008也会融入HyperDrive网络升级,矿工能够为多个扇区提交批量预承诺。这一新增PreCommitSectorBatch方法可省去一些冗余且昂贵的检查,让多个扇区分摊成本。 升级的时间线和其他特点 除了FIP0013和FIP0008, Actors v5(在HyperDrive网络升级中同时更新)还包括FIP-0012: DataCap Top up for FIL+ Client Addresses等有用的改进,这使得Filecoin Plus验证的用户可以继续申请DataCap。以前,每个新的DataCap分配请求都需要针对一个独特的地址,在更新该计划开始以来所服务的数百个DataCap分配请求时产生了操作费用。有了FIP0012,FIL+ clients将能够收到他们现有地址的额外DataCap,这将改善用户和矿工的交易体验。由于正在努力将FIL+的DataCap分配扩展到大规模的数据集——这些改进将会持续使Filecoin成为更有用的存储网络,来存储人类依赖的所有重要数据。 主网实施的核心开发人员- lotus(v1.10.0)、venus和forest都在全力冲刺HyperDrive网络的升级行动,目前计划在6月中旬进行(具体升级时间待定)。这是Filecoin网络的一次大规模(且高度令人期待)升级,需要彻底地进行端到端测试以确保平稳进行。 这里有最新消息和升级时间表。如有关于升级的问题,欢迎在社区讨论留言,或在讨论留下对新lotus版本的反馈。 未来工作 展望未来,为了让Filecoin成为存储供应者和用户的最佳存储网络,还有许多工作尚待完成。虽然HyperDrive是链容量的巨大飞跃,但CryptoNetLab 继续推动改进以达到完全指数级的扩展能力,并扩大Filecoin’s PoRep计划,以实现用用户提交的交易来升级承诺的容量扇区,而不需要重新封装!🤩 在短期内,网络级证明聚合器节点也有明显的机会,它将来自许多不同矿工的消息捆绑起来,以进一步提高吞吐量。这些聚合器可以在 不同 的矿工之间批量处理许多ProveCommit消息,加快聚合速度,确保封装资源有限的小矿工能够充分利用聚合优化。在随后的网络升级中,请注意类似这样的额外改进!
Filecoin 生产成本结构 作为矿工(miner) 在挖矿获取 FIL 的 过程中,除了计算服务器、存储系统、网络、机房、人力等成本外,FIL 本身也是一种成本。 那么单纯在挖矿活动中 FIL 的支出有哪些呢? 1. Sector 开销 质押 PreCommitSector ProveCommitSector WindowedPoSt:每次 WindowedPoSt 也需要费用 2. 罚金 PreCommit Expiry Penalty: Occurs if a Miner fails to ProveCommit a PreCommitted Sector in time. This happens the first time that a miner declares that it proves a sector and falls into the PoRep consensus. 当 Miner 未及时 ProveCommit 一个已经 PreCommitted Sector。这种情况往往发生在 Undeclared Fault Penalty: Occurs if a Miner fails to submit a PoSt for a Sector on time. Depending on whether the “Skipped Fault” option is implemented, this penalty applies to either a sector or a whole partition. Declared Fault Penalty: Occurs if a Miner fails to submit a PoSt for a Sector on time, but they declare the Sector faulty before the system finds out (in which case the fault falls in the “Undeclared Fault Penalty” above). This penalty fee should be lower than the undeclared fault penalty, in order to incentivize Miners to declare faults early. 从代码和日志看并未实施,唯一做这块的逻辑在wdpost_run.go中runPost()函数,下面的注释大概解释了为什么没有实施 // check faults / recoveries for the *next* deadline. It's already too // late to declare them for this deadline Ongoing Fault Penalty: Occurs every Proving Period a Miner fails to submit a PoSt for a Sector. 证明周期中 Miner 提交 Sector 的时空证明(PoSt)失败,例如 WindowedPoSt。 Termination Penalty: 在 Sector 租期结束之前销毁 Sector。 Consensus Fault Penalty: Occurs if a Miner commits a consensus fault and is reported. 注意最后一种是共识错误,这种情况会先在本地进行检查,如果发现就不会广播到主链上,就不会造成惩罚,但是本次出块无效了。 3. 研发 由于 Filecoin 的测试网络并不完善,程序也在不断改进中,所以当官方更新代码,或者我们调优的过程中需要做 很测试,例如: 调度优化 WindowedPoSt 效率,修正尝试 WinningPoSt 出块研究 4. 更新与切换 如果官方做了一些无法向后兼容的更新,或者其他原因导致需要重启 Miner,需要停止当前的封存任务。则会导致当前的调度必须要暂停,暂停生产本身就是一种浪费,还需要考虑那些已经做了抵押,但是无法继续封存的 Sector 费用。 5. 手续费 Filecoin 网络上的每个活动都是一种业务,每个业务,例如质押、转账等等,都需要手续费,单笔看似少,但量大了,也是一笔不小的开销。 6. 环境变化 不可抗力 lotus 程序有很多复杂的依赖条件:高性能的服务器、网络。稳定的区块链网络、相对平缓的 gas 费用等。环境的变化会导致 FIL 消耗风险。例如: 服务器不稳定或故障,更换 miner 导致的sectors 损失; base Fee 提高
Filecoin经济结构总览 Filecoin经济中有五大主要参与者: 用户,通过应用程序存储和检索数据的用户; 开发者,在协议上开发应用程序; 检索服务,可按需将文件传递至用户; 存储矿工,存储文件并帮助维护和更新Filecoin区块链; 代币持有者,通过将Filecoin作为一种价值的存储和交易的媒介使Filecoin成为有流通价值的代币。 用户在Filecoin经济中的作用很简单但又十分关键:他们使用Filecoin代币来支付文件存储和检索的费用。Filecoin的加密经济运行机制最终旨在满足用户的文件存储和检索需求。 开发者是用户与Filecoin网络之间的桥梁。他们构建应用程序以改善用户获取Filecoin存储和检索市场的体验。 检索服务用作内容交付网络层或缓存层以确保存储在Filecoin上的文件高效可用。用户可通过支付通道为检索服务支付费用。 存储矿工通过以下三种主要方式通过他们的服务来获取Filecoin: 交易费用,这是用户为存储数据支付的直接费用。 区块奖励,即Filecoin协议向存储矿工参与Filecoin共识算法(维护和更新区块链)并提供长期可靠的存储服务提供的补贴。 网络交易费用,用户为了鼓励矿工优先处理其交易而支付的费用。 Filecoin加密经济结构主要旨在确保存储矿工和Filecoin网络本身能够可靠、可持续地满足用户的需求。 代币持有者为Filecoin经济与其他市场架起了桥梁。他们为矿工和用户提供了流动性,并使在Filecoin上落地真实业务变得更加容易。 加密经济原则区块奖励 Filecoin存储矿工基于他们的 存储算力 获得区块奖励。存储算力是Filecoin存储矿工能为网络提供多少有效存储的度量。总体来讲,矿工通过接收用户的文件,公开承诺将其存储相应时间并反复证明他们的确存储了相应时间来获得存储算力。 从经济学上讲,您可以认为存储算力类似像比特币这样的工作量证明中的哈希率。一个矿工获得的区块奖励与在所有矿工提供的总存储算力中她的存储算力呈正比。例如,一个矿工在网络大小为100 PiB的情况下提供了1PiB的存储算力,那其将获得相应时间内区块奖励的百分之一。 Filecoin在区块奖励上的独特创新 Filecoin需要成为长期可靠且可持续的协议。在传统的工作量证明中,一个矿工是否短时间内(甚至永远)离线并不重要,因为其他任何矿工都可以添加新的区块到链上。在这之上Filecoin矿工还向用户提供不可随意替代的可用服务,所以用户需要每个存储矿工能够持续运行一段时间的有力保证。因此,Filecoin包含许多机制,使得提供优质服务对于存储矿工来说是一个经济上面理性的选择,并鼓励存储矿工促进网络的长期健康发展。 网络基准 许多区块奖励模型是基于简单的指数衰减模型。在这种模型中,刚开始区块奖励最高,但矿工参与度最低,因此在网络生命周期的早期单位工作量能够挖到的代币非常多,然后迅速衰减。 在许多加密经济模拟中,显然简单的指数衰减模型会鼓励网络启动时的短期不良行为。具体而言,它将促使存储矿工在 挖矿的封装阶段 过度投资硬件设备以尽快将其存储。由于Filecoin网络早期的单位存储空间奖励相对很多,因此我们预测,在消耗掉这些早期奖励后退出网络是有利可图的,即使这样做会导致用户数据的丢失。这将损害网络:用户丢失数据,并且无法进行长期存储,而矿工没那么强的激励来提高网络的服务。 为了鼓励存储落地和对长期存储的投入而不仅仅是快速封装,Filecoin引入了 网络基准 概念。用随着网络上总存储算力的提高而提高区块奖励来替代简单地基于时间来生成代币。这样既可以保留指数衰减模型的原型,但是在网络早期当总存储量过低的时候使其放缓。一旦网络达到基准,给出的总共的区块奖励与简单指数衰减模型的数量是一样的,但在网络的算力比较小时,部分区块奖励会延迟发出。总体结果是,Filecoin对矿工的奖励与他们以及整个网络提供给用户的效用和价值相匹配。 区块奖励作为抵押品 存储矿工通过扇区将固定数量的新数据添加到网络中。当矿工添加一个扇区时,她将承诺将其存储相应的时间,这样可以提高用户在相应的时间内存储数据可用的确定性。 在某些特定情况下,矿工可能先同意一个存储订单,然后由于成本的增加或市场的其他波动而放弃。用户需要可靠的存储,在系统中存储矿工如果可以随时任意或低成本地放弃存储文件,将导致严重的数据丢失和服务质量低下,引发用户离开Filecoin。 Filecoin矿工是用户在双向数据市场上的合作伙伴。为了确保合作中的激励机制能正确地执行,Filecoin会对未能完成存储承诺期限的矿工进行处罚。罚款来源于每个存储矿工在Filecoin的抵押品池中提供的 锁定代币。锁定代币包括少量前置抵押以及区块奖励中的一部分代币。 如果矿工离线一天,她将损失锁定代币中的一部分少量代币。如果矿工完全停止存储,她可能将失去所有锁定代币。如果该矿工在相应时间内完成了所有存储合约,则可以在短暂的锁定期过后收回全部锁定代币。 用区块链奖励来使矿工做抵押是我们加密经济模拟中的一项新的改进。早期结构要求矿工为其存储在前期提供大量抵押品,但是当代币的总供给量很低并且许多矿工打算加入网络的时候,这会造成在启动时Filecoin短缺。通过将一些前期成本转移到之后的区块奖励中,我们可以降低矿工的进入网络成本。 让存储有效数据成为理性选择 Filecoin用户和存储矿工在动态系统中运行。在任何既定的时间内,存储的供应和需求很难完全匹配。早期的Filecoin架构迫使矿工在两个并不好的选项之间选择:等待用户订单(意味着矿工的硬件设备处于闲置状态),或是存储无用的数据以获取区块奖励(降低了网络存储有效数据的能力)。Filecoin引入了多种机制以确保存储用户数据的矿工能最大化代币收益。 承诺容量 当矿工发现自己没有用户数据可以存储时,矿工不必让硬件设备闲置, 而是可以向网络提供 承诺容量扇区。这些是已经得到证明但却是空的扇区来表明矿工做好为用户提供存储的准备。承诺容量扇区可证明矿工具有能够存储用户数据的空间,但可以随时升级扇区来存储用户数据。这种机制消除了矿工在区块奖励和存储用户数据之间做选择的需要——她可以先存储承诺容量扇区以开始获取区块奖励,然后随后进行升级来存储用户数据来获得存储订单费用。 验证数据 承诺容量扇区可以提高矿工对存储用户数据的动力,但不能完全解决问题。存储真实的用户数据会增加矿工运营成本。在某些情况下,例如,当矿工觉得获得的区块奖励远远高于获得的存储订单费用时,那么矿工可能仍会选择忽略用户数据而选择只存储自己生成的数据,以尽快地的提高其存储算力而获得区块奖励。这将降低Filecoin的实用性,并影响用户在网络上存储数据的能力。 Filecoin通过引入 已验证数据 的概念来解决此类问题。与没有存已验证数据的扇区相比,含已验证数据的扇区将获得更多的存储算力,从而获得更多的区块奖励,这就为存储矿工存储用户数据提供了额外的动力。 已验证数据是由 已验证用户 存储的数据,这些用户通过一个去中心化网络的 验证者 的验证。获得验证 并不难 ——任何想在Filecoin上存真实数据的人都能非常容易获得。即使验证者放宽验证数据的门槛以简化流程可能会带来一定的滥用,但总体效果应当是显著增加了Filecoin上有效数据的比例。 需求推手 一个可以使世界上任何人都可以存储和检索文件的分布式存储网络是一个了不起的工具。但是,只有构建了应用程序的Filecoin网络才具有实用性。好消息是,目前已经有许多令人惊叹的应用程序在Filecoin上搭建,并且,从现在开始到主网启动,还会有跟多的应用程序加入。 可靠性 Filecoin从开始建立到现在一直致力于能够可靠、高效地存储世界上最重要的数据。为了提高可靠性,该协议为用户提供了无限的灵活性,能在不同矿工那里进行冗余存储,并验证每位矿工存储的副本是否唯一。与中心化云存储服务不同,中心化云存储服务的用户无法更改或验证备份数据,Filecoin允许用户在可靠性和成本间进行选择。 有效性 Filecoin的离线数据传输机制是协议可以支持不同用户需求的另一个例子。许多数据集非常庞大,因此通过互联网传输非常缓慢且昂贵。比如,如果你在中心化的云存储上存了2.5PB的Landsat 8 开源地理影像数据集,通过互联网并且是千兆级别的专线传输你需要花费超过7个月的时间,并且需要支付 $125,000。Filecoin的离线交易协议 允许您将庞大的数据存储在硬盘上并将硬盘运送给矿工,然后可以持续验证文件是否被安全地存储。 随着Filecoin主网启动临近,您可以听到更多有关已经使用该网络的独特功能来存储大量重要数据的应用程序的消息。 Filecoin主网启动的坚实基础 Filecoin的加密经济结构旨在确保网络能够满足用户的长期需求。经过数千小时的讨论、模拟和试验,我们相信这些机制将为Filecoin主网启动奠定坚实的基础。这些努力的成果与Filecoin研发团队其他优秀的的工作相结合,将打造一个由有效工作、可靠云存储和蓬勃发展的去中心化经济支持的公链。 在接下来的几周,我们将进行最后的模拟以确定最终的参数。我们期待来自其他团队的独立分析,以及来自社区的贡献来不断提高Filecoin网络的可用性和价值。
filecoin入门科普 1、Filecoin项目介绍1.1 Filecoin的商业背景随着计算机技术的不断发展,越来越多的数据被生产出来,据统计,每年新生成的数据正以几何级数增长。且随着未来物联网技术和5G技术的不断普及,数据的生产速度还将加快。因此,数据的存储和传输很可能成为制约技术发展的瓶颈,Filecoin技术方案就是为了解决数据的存储和传输问题。2017年,Filecoin项目在1小时内就募集到了1.86亿美元,最终总计募集到2.57亿美元,是区块链历史上最大规模的融资之一。值得一提的是,Filecoin此次得到了红杉资本、文克莱沃斯资本等多个知名机构的投资。Filecoin旨在基于P2P网络提供两个交易市场——数据存储市场和数据检索市场,来撮合不同用户对数据存储和检索的需求。直白来说,在存储市场,有存储资源的用户可以贡献自己的存储资源,给有存储需求的用户提供存储服务,双方通过Filecoin代币进行交易结算;而在检索市场,有带宽资源的用户可以提供对Filecoin市场的数据检索下载服务,同样交易双方以Filecoin代币进行交易结算。可见,Filecoin通过通证经济,激励更多的人拿出自己闲散的机器资源,通过完全对等的网络架构提供高效的数据存储与检索服务,降低数据的存储和使用成本。且这是一个去中心化的体系结构,这意味着数据不会被中心化机构所控制,数据的隐私也可以相应得到较好的保护。
1 下一页