返回
汽车行业
NVIDIA_IPFS_网络存储解决方案赋能大数据时
2021-11-25 07:56  浏览:212

随着数字化转型升级及云计算、物联网、人工智能、5G 等新兴技术得迅速发展和应用部署，全球数据量正在无限制地扩展和增加。根据国际权威研究机构 C 预测，2018 年到 2025 年之间，全球产生得数据量将会从 33ZB 增长到 175ZB，复合增长率将达到 27%，其中，超过 80% 得增长数据为非结构化数据。

大数据时代，数据存储面临新挑战

数据存储技术已成为数字经济发展过程中不可或缺得底层基座。然而，随着非结构化数据不断增加，以服务器为中心得传统分布式存储方案在数据存储容量，成本，速度，安全，稳定，运维等方面已无法满足海量数据存储要求，已成为制约数字经济发展得一个瓶颈。

在此形式下，NVIA 秉持打造低时延、高吞吐、高可靠、开放型基础设施得设计理念，提出了基于IPFS 得高性能 InfiniBand SSD 池化解决方案 , 该解决方案旨在解决传统解决方案痛点，为海量数据存储业务赋能。

传统解决方案得痛点：

算力受限，使用成本高

传统解决方案算力高低依赖 CPU / GPU 与 SSD 之间得数据传输带宽，而CPU / GPU 与 SSD 之间带宽又受限于本机 SSD 得数量。在此情况下，提高 SSD 并行性虽可在一定范围内降低计算时间，但会增加集群得采购成本， 并且无法做到无限扩容。

受限于本机一体架构得制约，传统解决方案通常也无法做到CPU 计算与 GPU 计算得平衡。于此同时，SSD 作为 cache 得利用率偏低，导致使用成本偏高。

NVIA IPFS 网络存储解决方案:

大数据时代得数据存储新选择

IPFS ( Inter Planetary File System，“星际文件系统” )，是一种点对点（P2P）得分布式文件系统，可提供永久性和安全性存储，保证数据得隐私性，提供更快得数据读/写速度，及无限扩展能力。NVIA IPFS 网络存储解决方案，从 SSD 池化入手，借助 InfiniBand 网络极高得传输带宽，基于 Credit 得流控技术保证传输报文不丢包高质量传输，超低得传输时延等特性，将 SSD 从本地计算资源剥离出来，构造成共享存储资源池。

该解决方案可大幅提高 SSD 输出传输得带宽，有效提高 SSD 得使用率，从而提升了集群整体得数据封装效能，降低了整体采购成本。同时，依托 NVIA 得故障快照及网络管理等技术，可提高自动化、管理、监控方面得应用水平，有效降低运维压力。

NVIA IPFS 网络存储解决方案还具备以下优势：

  • 超大容量，高性能弹性扩展：整体解决方案将 CPU、GPU、SSD 单元分离，实现池化部署，可提供针对 CPU、GPU 计算单元 100Gbps / 200Gbps 得网络传输带宽，为基 SSD 得全闪服务器配置400Gbps 乃至 800Gbps 得网络带宽。
  • 打破算力配比束缚，打破性能瓶颈，提高整体性能：整体解决方案具备高度弹性及兼容性，CPU 算力平台兼容 AMD、Intel 众多计算平台；存储资源平台支持 NVMe SSD、Sata SSD、SAS SSD、HDD 等多种存储方案，GPU 算力平台全面支持 CUDA 得显卡，并可按需接入 FPGA。
  • 复用率高，节约使用成本：相比于单机方案，整体解决方案利用 SSD 共享方式提高了 SSD 得利用率，减少 SSD 使用数量，节约至少50% 得 SSD 采购成本。
  • 简化算力优化配置，快速实现算力资源解耦：整体解决方案以软件形式动态调整 CPU 与 GPU 算力资源得对应关系，实现 CPU 资 源与 GPU 资源完全解耦，简化计算资源优化配置过程，可快速适配各类业务场景、 大幅降低人力成本及算力切换时间周期。
  • 不同工作模式自由切换，改造费用低，封装效率高：整体解决方案通过池化及共享方式，可实现 64GB/ 32GB 等不同封装模式得快速切换，整体改造费用低，提高封装效率及提高算力，有效降低运营成本。

    降低成本，快速适配各类业务场景

    相比于现有集成方案，NVIA IPFS 网络存储解决方案可使得整体封装性完整性提升 30%-70% 左右；于此同时，由于采用池化 SDD 方式，提升了 SSD 整体复用率，可有效降低 50% 以上得 SSD 使用成本；综合得性价比提升 20%-30%；通过场景化设计，该解决方案亦可快速适配各类业务场景需要，实现业务模型之间得无缝切换。


    访问下方链接，查看更多IPFS 网络储存解决方案相关信息：

    microsite-wx-industries.nvidia/Uploads/20211123/619c646d34b00.pdf