适配大模型训练,华为245TB SSD让“存储即算力”成为现实

图灵汇官网

在2000年左右,我还在上学的时候,大家常用的数据存储工具是U盘和移动硬盘。那时候,一块1TB容量的机械硬盘就已经非常厉害了,因为它相当于多台电脑的存储空间,可以保存大量文件、书籍和视频。谁能想到,现在我手里的同样尺寸的硬盘,容量已经达到了256TB。如果一部4K电影需要100GB的空间,这块硬盘可以存储大约5242部。而且,这款高性能的固态硬盘是完全国产的。

这也就是为什么华为在北京举办的第六届创新与知识产权论坛上,发布“十大发明”时,“新一代超高容量和性能SSD”能够入选的原因之一。这款产品凭借全面的技术突破,成为AI时代存储领域的重要成果。经过多年的研发,它通过封装技术、软硬件结合以及算法优化等三方面的改进,不仅提升了存储能力和速度,还改变了数据密集型应用的基础结构,为全球固态存储行业树立了新的标准。

信息存储方式一直在不断进步。从古代的甲骨文到纸张,再到硬盘和固态硬盘,每一次技术变革都推动了知识的积累和社会的发展。进入人工智能时代后,这种趋势更加明显。

据华为预测,到2030年,全球新增数据量将是2020年的23倍,通用存储需求增长10倍,而针对AI的专用存储需求则会增长500倍。在这种背景下,传统硬盘因为结构限制,容量和性能提升已经接近极限。现有的固态硬盘虽然读写速度快,但在大容量、高可靠性和成本之间难以兼顾。

华为推出的新一代超高容量和性能SSD,正是为了应对这些挑战。它从底层逻辑出发进行革新,解决了AI训练中的容量和内存问题。工程师团队采用先进的封装工艺、自主研发的主控芯片以及智能算法,实现了三大关键突破。

首先,它在容量方面取得重大进展。通过DOB封装技术,实现36层堆叠,单块硬盘最大容量达到245TB,比传统产品提高了四倍。这样,一台服务器就能轻松处理PB级的数据。

其次,它重新设计了系统预留空间。传统SSD为了保证稳定,需要预留一部分空间,导致用户实际可用容量减少。华为提出了一种新的算法,让系统和硬盘之间的空间可以动态调整,使用户可使用的空间增加了12.5%。这一想法曾被质疑,但最终通过跨领域合作和技术创新得以实现。

最值得关注的是“隔仓故障隔离”技术。这个设计灵感来自古代的造船方法,将船体分成多个独立舱室,即使部分损坏也不会沉没。华为将其应用到固态硬盘中,把存储介质分区域,并实现主板和存储颗粒的分离。当主板出现问题时,只需更换主板,数据颗粒仍然保留,数据恢复时间从平均15天缩短到1小时,替换成本降低90%以上。这项技术提高了设备的可靠性,也改变了大规模存储设备的维护方式。

在AI和大数据快速发展的今天,存储设备已经不仅仅是数据存放的地方,而是重要的生产力工具。如果说算力是AI的核心动力,那么存储就是承载和输送数据的关键。没有高效、稳定的存储系统,再强大的算力也无法发挥作用。

华为的这项技术,在支持AI基础设施方面具有重要意义。在训练大型模型时,需要频繁读取和写入大量数据;在推理阶段,也需要快速调用长期数据。新一代SSD通过软件、硬件和芯片的协同工作,显著提升了AI系统的整体效率,为各行业的智能化转型提供了基础保障。

更重要的是,它改变了存储的角色,使其从成本项转变为生产要素。过去,企业常常因为存储性能不足而不得不采取复杂的数据管理策略。现在,一块硬盘就可以满足热数据和温数据的需求,简化架构,降低成本。这种一体化的高性能存储理念,可能成为未来数据中心的标准。

长期以来,存储市场主要由国外企业主导,国内产品多集中在低端市场。华为的新一代SSD通过全产业链的创新,构建了从闪存、主控芯片到封装测试的完整国产化链条,实现了高端存储的历史性突破。

这项技术的价值在于,它重新定义了存储设备在数字经济中的作用。随着“以存代算”架构的成熟和AI算法的深入结合,SSD不再只是存储数据的工具,而是成为支持智能运算的中枢。这种变化,不仅缓解了当前AI产业对算力的需求,也为未来多模态大模型、元宇宙和量子计算等新技术提供了重要支持。

在数字经济日益成为全球发展核心的今天,数据存储能力已成为衡量国家科技实力的重要指标。华为新一代超高容量和性能SSD的出现,不仅推动了存储技术的升级,也通过开放合作的方式,带动了国产存储产业的整体发展。随着AI技术的持续进步,存储和计算之间的界限将越来越模糊,而华为的技术探索,正在为人类迈向更智能、更高效的数字世界铺平道路。

本文来源: 图灵汇 文章作者: BJYTRS