导读
始终以来，大模型在模型成果上被证实具备显著劣势。而 ChatGPT 的呈现，证实了其在工业生产工具方面具备微小后劲。毫无疑问，大模型的训练须要微小的算力，这对分布式并行框架是一项考验。现如今，业界越来越多的团队纷纷转向分布式框架的钻研与开发之中，既有针对特定场景特定模型的极致手工优化，也包含面向通用模型通用场景的主动分布式工作。然而，它们在理论生产场景依然有一些挑战。一方面，对于手工优化的框架，尽管其特定状况下的性能较为极致，但通用性存在限度。另一方面，现有的主动分布式框架可能在通用性和性能方面体现较好，但通常须要忍耐较长的策略搜寻工夫，进而对业务落地产生肯定的影响。为了应答以上问题，PAI 团队推出并开源了 TePDist（Tensor Program Distributed System），它通过在 HLO 上做分布式策略搜寻，实现与用户模型语言解耦。并且在放弃通用性的同时，在可承受的策略搜寻工夫内，谋求高性能分布式策略。
TePDist 背地的技术框架如何设计？将来有哪些布局？明天一起来深刻理解。
残缺内容请点击下方链接查看：
https://developer.aliyun.com/article/1196049?utm_content=g_10…
版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。