—— 完 ——
龙蜥社区(OpenAnolis)(以下简称“龙蜥社区”)正式成立 DeepRec SIG,将携手龙蜥社区开发者一道,致力于维护 Anolis OS 上的 DeepRec 组件,并将稀疏模型深度学习引擎引入龙蜥社区。
稀疏模型 是指在模型结构中离散特征计算逻辑占比较高的一类深度学习模型的统称,其广泛应用于搜索、广告、推荐等高价值业务中。当下主流开源深度学习框架,对稀疏模型的支持不足。国内外公司在稀疏场景使用的方案在系统性和全面性上存在着问题,技术复用上的难度导致无法大面积推广,制约了不同场景下稀疏模型的探索和发展。
DeepRec SIG 作 为负责龙蜥操作系统上 DeepRec 相关开源软件包的维护,构建搜索、推荐、广告场景模型的训练及预测生态的利器, 现做如下介绍:
1、模型效果
DeepRec 对不同的分布式策略进行了深度的优化,包括异步训练、同步训练、半同步训练等
DeepRec提供了丰富的针对稀疏模型训练的图优化功能,包括自动流水线SmartStage、结构化特征、自动图 Fusion 等等
DeepRec 中优化了稀疏模型中数十个常见算子,并且提供了包括Embedding、Attention等通用子图的 Fusion 算子
DeepRec 计划每隔 1-2 个月进行版本更新,后续发布的重点功能包括:
Serving: 开源完整的 Online Deep Learning(ODL),并持续优化 DeepRec 的 Serving 性能。
Embedding: 优化各个 Embedding 功能的可用性,提供 Embedding 的各种调试工具,并持续优化 Embedding 多级混合存储的性能。
Runtime: 提供统一的调度框架,优化多场景下任务调度的性能。持续优化内存、显存、持久化内存分配器性能,并针对不同分配场景提供不同的内存分配器。
分布式: 持续优化异步训练、同步训练、半同步训练的性能。
硬件及算子加速: 结合编译优化、手动优化等手段优化计算性能;针对新的硬件进行持续优化,协同硬件团队推动新型硬件在 DeepRec 落地。
此外 DeepRec 正在和内核团队合作,针对稀疏模型的训练/预测任务的特点,在内核调度、内存管理上进行针对性的优化。
龙蜥社区希望通过这个开放平台,和外部开发者开展广泛合作,进一步推动稀疏模型训练/预测框架的发展,为不同业务场景中的搜推广模型训练和预测带来业务效果和性能提升。
今天 DeepRec 的开源只是我们迈出的一小步。我们非常期待得到您的反馈。最后,如果你对 DeepRec 感兴趣,欢迎你加入我们一起共建 ,为我们的框架贡献一点你的代码和意见,这将是我们莫大的荣幸。
欢迎更多开发者加入 DeepRec SIG!
—— 完 ——
加入龙蜥社群
龙蜥社区( OpenAnolis)是由 企事业单位、高等院校、科研单位、非营利性组织、个人等在自愿、平等、开源、协作的基础上组成的非盈利性开源社区。龙蜥社区成立于 2020 年 9 月,旨在构建一个开源、中立、开放的Linux 上游发行版社区及创新平台。
龙蜥社区成立的短期目标是开发龙蜥操作系统(Anolis OS)作为 CentOS 停服后的应对方案,构建一个兼容国际 Linux 主流厂商的社区发行版。中长期目标是探索打造一个面向未来的操作系统,建立统一的开源操作系统生态,孵化创新开源项目,繁荣开源生态。
目前, 龙蜥OS 8.4 已发布,支持 X86_64 、Arm64、LoongArch 架构,完善适配飞腾、海光、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持。
欢迎加入我们,一起打造面向未来的开源操作系统!