DeepSeek 开源进度 5/5：高性能并行文件系统 3FS 实现聚合吞吐 6.6 TiB/s

来源：顺福游戏园 时间：2025-02-28 17:07:44

本站 2 月 28 日消息，DeepSeek 在开源周第五天发布了 3FS（Fire-Flyer File System），这是一个专为充分利用现代 SSD 和 RDMA 网络带宽而设计的并行文件系统，具备惊人的数据访问性能，为深度学习等数据密集型应用提供了强大的支持。

本站附上开源地址：https://github.com/deepseek-ai/3FS。

基于 3FS 的数据处理框架 Smallpond：https://github.com/deepseek-ai/smallpond。

3FS 性能亮点

    集群高吞吐： 在 180 节点集群中，3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。

    基准测试优异： 在 25 节点集群的 GraySort 基准测试中，3FS 达到了 3.66 TiB / min 的吞吐量。

    单节点高性能： 每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。

    架构先进： 3FS 采用去中心化架构，并具备强一致性语义。

    3FS 应用场景

    3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统，旨在解决 AI 训练和推理工作负载带来的挑战，利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。

    其核心优势在于高性能、强一致性和易用性，能够有效支持各种 AI 工作负载，包括数据准备、数据加载、检查点设置和推理缓存。

    3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用，涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。

    Smallpond

    此外，DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond，是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力，可扩展至 PB 级数据集，并且操作简便，无需长期运行的服务。

    相关阅读：

      《DeepSeek 开源进度 4/5：DualPipe、EPLB 优化并行策略》

      《DeepSeek 开源进度 3/5：深度学习利器 DeepGEMM》

      《DeepSeek 开源进度 2/5：首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP》

      《DeepSeek 代码库开源进度 1/5：为 Hopper GPU 优化的高效 MLA 解码内核 FlashMLA》

精品推荐 更多+
  • 扣扣传媒影视手机版
    扣扣传媒影视手机版

    激情点播您心爱的影视作品，尽在扣扣传媒影视手机版。高清画质，无缝流畅播放，每日推荐全新热门内容，让您尽情追剧、观影。扣扣传媒影视手机版官网下载拥有智能推荐，根据您的喜好精准匹配，还拥有安全双核搜索技术

    游戏资源 11-26

  • 异族崛起2.09b汉化最新版
    异族崛起2.09b汉化最新版

    异族崛起2 09b汉化最新版是一款角色扮演游戏。它基于经典的忍者动画改编，不仅完美还原了动画中的形象和情节，还加入了许多新的元素和玩法，让玩家在东京的街头体验一场别样的求生之旅，感兴趣的玩家快下载异族

    游戏资源 11-03

  • 扣扣传媒直播软件
    扣扣传媒直播软件

    扣扣传媒直播软件让你享受高颜值主播带来的视听盛宴，跟喜欢的主播零距离互动，随时随地看直播、聊聊天、发短视频。扣扣传媒直播软件下载手机版每次打开都有新惊喜，满足你所有的需求和幻想。快来体验吧，释放你的激

    游戏资源 11-16

最新录入 更多+
  • 叶子TV电视版
    叶子TV电视版 4

    叶子TV电视版app是一款影视播放器，没有任何看剧限制，随时打开应用都能看剧，视频搜索功能非常齐全，最新的影视资源都在这，感兴趣的快去下载试试吧！叶子TV电视版app特色1、免费的影视播放盒子，带来不

  • 优酷去广告
    优酷去广告 4

    优酷去广告纯净破解版是一款影视播放软件，大量视频资源，视频种类相当齐全，第一时间发布最新鲜的影视作品，安全便捷，无广告无第三方插件。感兴趣的快去下载试试吧！优酷特色1、大量视频资源，视频种类相当齐全，

  • 一份礼物app
    一份礼物app 4

    一份礼物app是一款音频软件，在这里你可以随意玩转各种声音，所有的声音可以被设置为短信铃声，可以自定义众多设置，可以作为一份特别的礼品送给朋友，感兴趣的快去下载试试吧！一份礼物app功能1、此外，在应

  • 鲁大师视频
    鲁大师视频 4

    鲁大师视频播放，打破传统观影界限，为您带来前所未有的视觉享受！我们汇聚了全球精选的影视佳作，让您轻松畅游影视海洋。不仅提供高清流畅的播放体验，更有智能推荐系统，为您精准推送符合口味的影视内容。下载鲁大

  • 次元喵动漫最新版
    次元喵动漫最新版 4

    次元喵动漫最新版，人气超高并且拥有丰富资源免费看。这款app号称是全民追番神器哦，喜欢看次元喵的各位帅哥美女们，在这里可以直接搜索找到你想要的最新动漫，超高清漫画，省流量直接看。次元喵动漫最新版介绍次

热门推荐 更多+
  • 热门 如何顺利完成第一次AE视频制作？少女入门必看教程！

    对于许多刚接触AE（Adobe After Effects）软件的朋友来说，第一次制作AE视频可能会觉得非常有挑战性，尤其是对于一个初学者来说，面对这款强大的视频编辑软件，可能会感到不知所措。但是，随着一些基础操作的学习和实践，制作出属于自己的AE视频其实是完全可以实现的。对于那些刚开始使用AE的少

  • 热门 空中宝贝2（法国）续集剧情分析：为何这部电影让观众笑中带泪？

    空中宝贝2的故事继续围绕主人公们的生活展开，新的故事情节以他们的成长为主线，涉及到情感、友情和爱情等多方面的主题。影片中的人物设定十分有趣，每一个角色都有自己独特的个性和动机，这使得整部影片充满了张力。通过每个角色的互动与冲突，故事逐步展开，引人入胜。

  • 热门 中国熟老太HDt∪be：这一关键词背后隐藏的文化与技术趋势，如何影响社会审美？

    近年来，随着网络文化的发展，各种在线平台涌现，特别是在视频分享和互动社交领域，越来越多的特殊标签和内容开始进入公众视野。其中，“熟老太HDt∪be”这一关键词在某些社交平台和视频网站中引起了不少关注。这个词汇结合了“熟老太”和“HD”两种不同的元素，代表着一些特定类型的影视内容。在这些内容的背后，隐

  • 热门 如何安装并使用9.1破解版APK：详细指南与注意事项

    对于许多安卓用户来说，安装APK文件是一种常见的操作。尤其是当用户希望使用一些破解版本的软件时，9 1破解版APK便成为了一种选择。然而，在安装和使用这些破解版APK时，用户往往会遇到各种问题和困扰。

  • 热门 精工厂成人免费网站如何提供高质量观影体验，吸引更多用户？

    随着互联网的发展，许多成人网站都开始提供免费的在线观看服务，这些网站吸引了大量用户的访问和关注。在众多网站中，精工厂成人网站以其独特的内容和服务受到了很多成人用户的青睐。这类网站不仅提供多样化的观看内容，还有着较为简洁直观的操作界面，方便用户快速找到所需的视频。本文将深入分析精工厂成人免费网站的观看

游戏资源推荐 更多+
手游专辑 应用专辑
确定