Loading ...关于
我的项目
相关阅读
热度排行
- [转] 宫崎骏用动漫教给我们的人生哲理，每一句都能说到心里！ - (日期:[八月 24, 2013] 点击:[53,602])
- Google 网页爬虫报告无法连接站点解决办法 - (日期:[七月 20, 2014] 点击:[38,665])
- 架设Tiny Tiny RSS（TTRSS）阅读器，找回Google Reader！ - (日期:[九月 27, 2013] 点击:[27,806])
- SkyDrive、DropBox和Google Drive三大公有云存储服务对比 - (日期:[六月 25, 2013] 点击:[25,667])
- 升级到至强E5440后，与i5 CPU笔记本性能对比 - (日期:[二月 18, 2014] 点击:[23,841])
- 公钥私钥加密解密数字证书数字签名详解 - (日期:[四月 19, 2014] 点击:[22,976])
- 本站建站技术合集 - (日期:[九月 20, 2013] 点击:[22,556])
- 使用OpenerDNS解决无法访问Google的问题 - (日期:[七月 5, 2014] 点击:[21,857])
- WordPress博客添加“返回顶部”按钮 - (日期:[七月 14, 2013] 点击:[21,276])
- Linux文件系统基础之inode和dentry - (日期:[三月 13, 2015] 点击:[20,218])
- 云存储中的HTTP鉴权算法分析 - (日期:[二月 7, 2014] 点击:[18,654])
- 存储基础知识之——磁盘阵列原理及操作实战 - (日期:[二月 9, 2014] 点击:[17,543])
- 精选37条强大的常用linux shell命令组合 - (日期:[九月 4, 2013] 点击:[17,469])
- DNS原理、架构和配置详解 - (日期:[九月 6, 2013] 点击:[16,875])
- Netty和Jetty的Java NIO 网络框架模型分析 - (日期:[七月 13, 2013] 点击:[16,350])
- CoreOS 初识之安装 - (日期:[十一月 16, 2014] 点击:[16,220])
- Windows与Linux文件系统互访的几种方法 - (日期:[八月 21, 2014] 点击:[15,739])
- Dijkstra算法求解最短路径分析 - (日期:[七月 12, 2014] 点击:[14,942])
- NAS解决方案实现多媒体文件共享播放 - (日期:[十二月 21, 2014] 点击:[13,967])
- 简介 - (日期:[九月 1, 2012] 点击:[13,789])
- 如何编程实现 2 + 2 = 5？ - (日期:[六月 2, 2014] 点击:[13,278])
- 搭建了一个iNews程序 - (日期:[十月 15, 2013] 点击:[13,252])
- 2014年9月曝出的Bash ShellShock漏洞简析 - (日期:[九月 26, 2014] 点击:[13,170])
- 彻底解决WordPress博客垃圾评论的问题 - (日期:[八月 5, 2013] 点击:[13,163])
- 如何使用1M的内存排序100万个8位数 - (日期:[三月 27, 2014] 点击:[12,570])
- 全部日志列表 - (日期:[十一月 11, 2012] 点击:[12,425])
- 关于回调函数和this指针探讨 - (日期:[八月 24, 2014] 点击:[12,246])
- 开源好用的电子书管理服务Talebook（Calibre网络版）安装使用指南 - (日期:[四月 23, 2022] 点击:[11,847])
- 给定一个long型常量，其值为x，给定long型变量a，要求a & x 的取值集合 - (日期:[九月 8, 2012] 点击:[11,741])
- WordPress建站必备实用插件 - (日期:[八月 7, 2014] 点击:[11,388])
分类目录
文章归档
- 2025年四月 (3)
- 2025年一月 (1)
- 2024年十二月 (1)
- 2024年四月 (1)
- 2024年二月 (1)
- 2023年九月 (1)
- 2023年一月 (1)
- 2022年十月 (1)
- 2022年八月 (2)
- 2022年四月 (1)
- 2022年三月 (1)
- 2021年十二月 (2)
- 2021年十月 (2)
- 2021年九月 (1)
- 2021年八月 (1)
- 2021年五月 (1)
- 2021年三月 (2)
- 2021年一月 (2)
- 2020年十二月 (5)
- 2020年十一月 (2)
- 2020年十月 (2)
- 2020年九月 (1)
- 2020年八月 (5)
- 2020年七月 (2)
- 2019年九月 (1)
- 2018年八月 (1)
- 2018年七月 (1)
- 2018年六月 (1)
- 2018年五月 (1)
- 2018年三月 (1)
- 2018年二月 (1)
- 2018年一月 (2)
- 2017年十二月 (3)
- 2017年十月 (4)
- 2017年九月 (1)
- 2017年七月 (1)
- 2017年六月 (1)
- 2016年十二月 (1)
- 2016年十月 (1)
- 2016年九月 (1)
- 2016年七月 (2)
- 2016年六月 (1)
- 2016年二月 (3)
- 2015年十二月 (3)
- 2015年十一月 (2)
- 2015年十月 (1)
- 2015年八月 (2)
- 2015年七月 (4)
- 2015年六月 (1)
- 2015年三月 (2)
- 2015年二月 (1)
- 2015年一月 (4)
- 2014年十二月 (2)
- 2014年十一月 (2)
- 2014年十月 (5)
- 2014年九月 (8)
- 2014年八月 (11)
- 2014年七月 (17)
- 2014年六月 (7)
- 2014年五月 (15)
- 2014年四月 (16)
- 2014年三月 (14)
- 2014年二月 (5)
- 2013年十二月 (5)
- 2013年十一月 (3)
- 2013年十月 (13)
- 2013年九月 (13)
- 2013年八月 (13)
- 2013年七月 (9)
- 2013年六月 (8)
- 2013年五月 (1)
- 2013年三月 (3)
- 2013年一月 (1)
- 2012年十一月 (1)
- 2012年九月 (12)
- 2012年八月 (3)
- 2011年二月 (1)
- 2009年三月 (1)
- 2009年二月 (1)
- 2008年十一月 (1)
- 2008年六月 (1)
- 2008年四月 (1)
- 2008年三月 (1)
3FS Usrbio 简介
3FS 是一个为 AI 训练设计的分布式文件系统，USRBIO 是其原生客户端的关键功能。研究表明，usrbio 允许用户态应用程序直接提交 I/O 请求，绕过内核和 VFS，提升性能。它使用 Iov 作为大型共享内存进行零拷贝读写，Ior 则像 Linux 的 io-uring，处理批处理 I/O 请求。USRBIO 通过零拷贝和异步 I/O 减少开销，特别适合高吞吐量场景，如 AI 数据处理。
传统的FUSE客户端与服务端的数据交互流程为：
可以看到数据流在内核和用户态之间要反复拷贝才能传递到应用中。而3FS的USRBIO则卸载了数据流，直接通过3FS的SDK从远端拉取数据，结合RDMA等高效网络，做到了零拷贝。
总的来说，USRBIO 通过以下方式提升了 I/O 性能：
- 零拷贝 I/O：通过共享内存 Iov，数据无需在用户态和内核态之间拷贝，减少了内存拷贝开销。
- 批处理 I/O 请求：Ior 允许一次性提交多个 I/O 请求，减少系统调用次数。例如，设置 io_depth=1024 可以批处理 1024 个请求，显著降低上下文切换开销。
- 异步 I/O：应用程序可以继续执行其他任务，而不必等待 I/O 操作完成，提升了并发性能。
- 高性能网络支持：Iov 内存注册为 InfiniBand，支持 RDMA 等高性能网络传输，特别适合分布式 AI 训练场景。
这些特性使得 USRBIO 特别适合需要高吞吐量和低延迟的 AI 工作负载，例如处理 PB 级数据集的排序任务（如 GraySort 基准测试，3.66 TiB/分钟吞吐量）。
参考链接：
https://developer.volcengine.com/articles/7480397583173877797
https://zhuanlan.zhihu.com/p/30602759754
https://github.com/deepseek-ai/3FS/blob/main/docs/design_notes.md
https://github.com/deepseek-ai/3FS/blob/main/src/lib/api/UsrbIo.md
