跟着OpenAI的视频生成模型Sora爆火，国内大模型同行正在铆足劲加快追逐，一起面对的
软件优化办法是破解算力瓶颈的一条捷径。本年3月，国内闻名AI公司潞晨科技开源的Sora复现架构计划Open-Sora，据称可下降46%复现本钱，背面就得益于潞晨科技的Colossal-AI软件体系。
Colossal-AI是潞晨科技自研的面向大模型的通用深度学习体系，可用于大模型练习、微调、推理布置的全流程。该体系在圈内与微软DeepSpeed和英伟达的Megatron平起平坐，并凭仗GitHub上三万六千多颗星，被一众开发者视为细分赛道世界第一。
本年2月，潞晨科技更进一步联合华为推出Colossal-AI云渠道——ColossalAI Platform，以此处理大模型从业者国产化搬迁难问题，为用户更好的供给开箱即用的高功能算力及开发布置全流程东西。与此一起，潞晨昇腾训推一体机现已上线，据称功能最高可达对应A800机器功能的92%。
当下正值AI成两会热门话题，高层初次将展开“人工智能+（AI+）”举动写进政府工作报告，AI算力瓶颈问题十分重视。那么合适我国的AI算力处理计划应该是怎样的？
“进入2024年，咱们观察到大模型相关算力需求明显添加。”潞晨相关负责人告知智东西，“特别是视频生成大模型如Sora的迸发，以及对话机器人的广泛使用，推动了大模型在不相同的职业的落地使用。”
在这种布景下，客户的需求特征改变大多数体现在对更大规划、更高功能的核算资源的火急需求，以满意杂乱使命的练习和推理。各地算力中心如漫山遍野般完工，一方面有望在启用后接受许多AI算力需求，另一方面则在落地场景中面对严峻的使用应战。
业内人士称，不少算力中心有硬件却很难卖出去，由于没有办法帮客户真实把算力用起来。算力中心的客户在大模型开发进程中面对重重应战，触及多样化的⼯具和结构、杂乱的开发和布置进程、资源办理和调度、数据办理、扩展、监控和调试、安全性和权限办理等多方面，成为传统职业“AI+”转型的路障。
潞晨科技与华为最新的协作，为算力中心及传统职业“AI+”转型供给了新解法。本年2月，潞晨科技与华为推出了两类联合处理计划：
一是ColossalAI Platform独立布置版，这是个⼀体化的AI开发和布置渠道，能够助用户在昇腾上像做PPT相同练习/微调/布置大模型。用户可经过华为如此商铺下单，进行ColossalAI Platform私有化布置，从而在本地以更低门槛、更低本钱、更高速度经过私有数据练习/微调出作用更好的私有垂类大模型。
二是潞晨昇腾训推一体机，也便是潞晨昇腾超级工作站，用户购买机器后可零本钱搬迁，开箱即用地取得与英伟达机器比美的高功能算力，用上与ColossalAI Platform相似的功能及服务。
潞晨相关负责人告知智东西，关于自有昇腾硬件算力的客户或算力中心来说，他们只需要在华为如此商铺下单Colossal-AI Platform独立布置版，就能轻松的取得相似“千元半日训出70亿参数大模型”、“万元训出比美GPT大模型”的体会。
几个月前，Colossal-AI团队仅使用8.5B tokens数据、15小时、数千元的练习本钱，成功构建了功能杰出的70亿参数中文Llama 2版别模型，在多个评测榜单功能优越。
在此基础上，1月，Colossal-AI再次迭代，使用25B tokens数据，仅花费数万元本钱，打造了作用更佳的130亿参数的Llama 2模型，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上体现优异，比肩花费上千万元的干流大模型。这些大模型在许多场景中能比美OpenAI的GPT-3.5乃至是GPT-4模型。
关于用户来说，ColossalAI Platform上手简略。渠道供给统⼀的接⼝和⼯具，底层技能难题现已被屏蔽了，使得开发大模型变得像做PPT相同简单。
依据潞晨官方测验，经过灵敏的核算资源、可扩展性和高度可定制的环境，ColossalAI Platform能助大模型预练习本钱下降50%，大模型基础设施本钱下降10倍，大模型硬件需求本钱下降10倍，大模型项目上线倍。
从功能模块来看，ColossalAI Platform最重要的包含基础设施层、服务层-AI服务中台、应⽤层-AI处理⽅案三层架构。
基础设施层包含核算节点、存储和⽹络几个模块，供给硬件与结构⽀持、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码结构版别的定时更新、AI算⼒资源办理等功能。
服务层-AI服务中台首要供给AI算⼒资源办理、AI云主机、模型练习、练习使命模版、模型布置、模型办理、数据集办理、算法办理等功能。
网站首页
产品中心
返回顶部
联系我们