共计 7948 个字符，预计需要花费 20 分钟才能阅读完成。
再过俩月，ChatGPT 行将迎来推出一周年纪念日。作为开历史先河的 AI 大模型，ChatGPT 像一针猛戳进千行百业中枢神经的兴奋剂，在寰球掀起旷古绝伦的 AI 军备竞赛热潮。
近一年来，咱们看到 GPT-3.5 实现向多模态的 GPT-4 进化，号称 5620 亿参数的 Google PaLM 迈向参数规模更小、更高效的 PaLM 2；咱们看到 Meta 开源其 Llama 大模型，并催生囊括 Alpaca、Vicuna、Koala、Falcon 等一众老本更低、规模更小的 「羊驼家族」 ……
短短数月，开源大模型社区百花齐放，大有与闭源分庭抗礼之势，甚至触动谷歌，引发其「没有护城河」的担心。而 7 月 Meta 公布性能堪比 GPT-3.5、可收费商用的开源版本 Llama 2，更是间接颠覆大模型格局， 革了一些自研程度不迭 Llama 2 的闭源大模型的命。
于是，不少人高呼「人手一个大模型的安卓时刻即将来临」。可咱们还应看到，在开源大模型光明的图景下，还摆着一系列人才、组织、数据、商用限度等挑战； 放眼国外，开源大模型有强如 Llama 2 之流，而国产开源大模型何时能与其并驾齐驱？开源与闭源的之争，最终会将大模型导向何方？
作者 | 铁塔
编辑 | 三羊
9 月 21 日，由中国信息通信研究院和中国通信标准化协会联结主办的 「2023 OSCAR 开源产业大会」 在北京顺利召开，由 Segmentfault 思否、HyperAl 超神经联结承办的「开源大模型」分论坛上，来自科研界、产业界、投资界专家就 「开源大模型倒退的时机与挑战」 开展了全方位、多角度的交换与探讨。
本场圆桌对话的三位嘉宾： 华东师范⼤学数据迷信与⼯程学院传授、开源社理事王伟；蚂蚁团体⾼级技术专家沙剑；出名投资机构副总经理徐开勇；主持人是 OpenBayes 贝式计算创始人兼 CEO 王臣汉。
圆桌论坛：「开源大模型倒退的时机与挑战」
从左至右顺次为：
主持人：OpenBayes 贝式计算创始人兼 CEO 王臣汉
华东师范⼤学数据迷信与⼯程学院传授、开源社理事 王伟
蚂蚁团体⾼级技术专家 沙剑
出名投资机构副总经理 徐开勇
点击下方链接中转论坛现场☟
【2023 OSCAR 开源产业大会】「开源大模型倒退的时机与挑战」圆桌论坛
咱们在不违反原意的前提下将本场对话的精髓局部汇总列示如下，接下来请大伙跟咱们一起听听各位专家的精彩见解吧。
开源大模型最新进展探讨
主持人：OpenBayes 贝式计算创始人兼 CEO 王臣汉
从去年 ChatGPT 推出到当初，咱们看到国内上 GPT-4 公布、Claude Anthropic 跟进、开源社区里 Llama 家族的迅速更新，中国国内涌现出一批本土化模型公司，开源社区也争妍斗艳，这些都表明大模型的倒退相当之快。在场的三位老师别离来自科研界、产业界和投资界，想请大家从不同角度评估一下大模型畛域的现状及将来发展趋势。
Q1：目前整体开源社区和 GPT-4 还有多大差距？是否存在一个临界点，使得开源界的总和成绩超过任意商业公司的最领先水平？
王伟： 人们常常把开源和闭源作为两种对抗的形式，但我集体感觉这两种形式其实代表不同的商业策略。 即使是开源的企业也须要投入微小的资源，落后的企业能够通过开源来追赶领头者，而当先的企业同样能通过开源获取多方面的观点。
从长期倒退的角度来看，商业化非常重要。商业化之外，如果咱们心愿在短期内扩充生态或开发者社区，开源提供了微小的劣势。2023 年 Llama 2 开源以来，不仅吸引了大量的开发者，还吸引了很多做工具链、产业、评测的专业人士，这给 OpenAI 造成了肯定压力。
开源最大的益处是能够让所有人看到它想做的事件以及打算如何去做。 从学校的角度看，开源为高校学者们提供了一个便捷的钻研渠道，进而生成有价值的研究成果，这些成绩反过来会促成开源技术的倒退，所以我始终认为开源是个很好的商业策略。
沙剑： 从工业界角度观察，大模型这两年倒退很快，如果没有大的技术浪潮或技术冲破的话，其实模型构造自身曾经趋于归一。
对于商业公司而言，一方面模型开源是有利于进步本身影响力，减速技术迭代；另一方面从模型成果来看，模型更多跟训练数据和训练方法无关，而闭源公司可能在这些方面有许多独到之处。
然而回顾漫长历史，咱们始终置信任何技术的关闭都不会妨碍历史的过程。 闭源公司的技术也终将再无暗藏的必要。
徐开勇： 在投资界看来，开源肯定会追赶上闭源的后果，但具体工夫不好预估。 但我集体认为开源可能在将来 2 到 3 年内追赶上闭源，因为就模型自身来讲，闭源的先发劣势并不多。
先发劣势个别分为两大类： 比方芯片制作从 7 纳米到 3 纳米，后来者也须要按照固定门路倒退；但大模式自身并不遵循这个门路，大模型蕴含两个重要方面，一是数据，二是训练方法。
尽管当初训练方法把握在像 OpenAI 这样先进的闭源公司中，然而一旦社区发现更优解，或者闭源的公司有员工到职投入到了开源社区，那么开源的办法就会迅速加强。因而大模型自身不具备太多先发壁垒，这是第一点。
第二点是网络效应， 比方团购 APP 有很多商家和用户，这样就具备了网络效应。但大模型的模型自身没有这样的个性，因此闭源大模型公司也不存在网络效应这一点的壁垒劣势。
因而，我感觉开源肯定可能超过闭源，只是工夫点还要看目前的现状及停顿。
能够看到，中国外乡开源大模型畛域呈现出两种倒退方向，一种是追寻国内先进大模型的脚步，比方有些人在发展 Llama 的本土化工作，另一种是像百川智能这样的当先团队，公布本人的中文大模型。整体来看，中文畛域大模型是蓬勃发展的，但从数据评测角度看，中文的社区活跃度和国内上还存在肯定差距。
Q2：在各位专家眼里，目前中文大模型畛域开源的停顿如何，是追赶闭源还是有原创性的奉献？各自比例别离是多少？中国在大模型畛域的开源气氛如何？
王伟： 咱们潜意识里常常把中国的开源环境、气氛同东方做比拟，其实开源自身是一个全球性景象， 它意味着世界上任何一个中央都能够获取、流传及批改。
开源起源于欧美，从开始构建 Linux 和 Apache 的基金会到当初曾经有几十年工夫。相比之下，像 OSCAR 这样的大型开源会议在中国才刚刚衰亡，但即便如此咱们曾经有很大倒退了，从每年分会场公布的各种成绩可见一斑。另外国家层面对于开源的器重水平也一劳永逸，目前国内有越来越多的人在为寰球开源做奉献。
再者，中文大模型对寰球是个十分独特的翻新点， 因为中文是一门十分独特且丰盛的语言，具备宽泛的应用群体。咱们做中文大模型并非是反抗或竞争，而是文化多样性的体现。在国内上也有很多多语言的评测和利用，咱们也会有国内汉语这样的课程以及我的项目，这些在大模型下都有宽泛的利用价值。
如果要评估中文大模型具体做到了什么水平，我集体感觉要从最初的利用成果来看。 ChatGPT 引发的这一轮 AIGC 之所以受大家欢送，是因为它在文字和图形的生成下面具备显著劣势。如果中文大模型能在像教育、国际交流等比拟好的利用场景落地，那么它的影响力和先进性天然能够体现进去。
沙剑： 首先从评测来说，晚期 ChatGPT-4 中就有多语言评测，其实它是能够跨语言的，只是可能用支流语言体现比拟好，冷门语言体现差一些。
现阶段很多中国机构开发中文模型的必要性在于，无论从国家还是企业的角度，都心愿本人把握核心技术， 即使与间接调用人家的服务相比，老本更高成果临时也不肯定更好。
其次从社区角度，整个中国社区包含开源社区的气氛的确不如东方，但其实当初很多东方的基金会，包含 Apache、Linux Foundation 都在建中国分会，这些外国出名基金会及中国分会无望把中文社区带动起来。咱们其实更心愿看到外乡有影响力的基金会倒退起来本人的社区。
徐开勇： 我认为中文大模型跟国外的大模型还是有些差距的，国外大模型反对多语言，国内则倒退较慢，而且在中国外乡也很少有学生用中文大语言模型来做作业、写作文或者解数学题，但在国外这种景象其实很常见。
这一方面是因为国产大模型有时候会出错，用户更多是来调戏它。所以我感觉中文大模型还有一段路要走，不过中文有本人的语言特色，国产大模型的生存和倒退还有很多机会。
当初除了大模型自身，大家开始越来越多地关注整个大模型构建生态链上的其余我的项目，包含数据集、训练方法、芯片基座、芯片集群相干的软件以及推理相干的软件生态等。
Q3：请问各位老师，在开源大模型畛域是否有关注其余的工具构件或商业公司？
王伟： 除了生态，我还关注法律法规和合规相干的问题。
从学校角度来看，一个企业的社会影响比它的倒退更为重要。特地针对大模型，咱们常常谈到无关治理、合规性以及伦理等问题。大模型曾经不是一种简略的独属于产业的技术，每个人都能够利用它生成文字和图片，在其微小的影响力之下，也存在潜在的平安问题。
这些问题会映射到数据及技术工具上，比方你训练模型的数据品质、隐衷性、安全性如何，这部分不仅须要工程师致力，也少不了律师等专业人士的大力支持， 大家一起打造这个基座。在此基础上，咱们再关注下面的芯片层、软件等内容。
技术层面我比拟关注根底的工具链， 这些工具链可能不会像商业公司那样间接有商业价值，高校会更有机会去做这些事件。目前很多高校例如复旦都会进行一些根底软件的构建，而这也是咱们国家目前比拟欠缺的货色，尽管这些工具链自身没有多大商业价值，但自身是外围要害的基础性货色。因而站在学校的角度，咱们对这些及之前提到的道德合规问题更加关注。
沙剑： 我从软件硬件角度聊一下其对大模型上下游的生态及影响。
大模型有多种解释，在算法开发人员眼里，大模型是个解决通用工作的算法模型；而从工程的角度，大模型就是大，算力、数据和参数量决定了模型的能力下限。但当初很多钻研又开始关注大模型的轻量化，并非是不须要那么多参数，而是因为当初软件层和硬件层跟不上。
软件、硬件和算法的整个历史周期其实是一个螺旋式、互相促进的倒退过程，而当初大模型把球抛了进来，它的软件尤其是硬件的老本很高。
以后影响大模型商业落地的最大问题是推理老本， 尽管训练老本是第一方面，但即便训练慢点也行得通，毕竟这个过程是离线的，训练一个月也能进去千亿大模型。但推理不一样，比方说 QPS 做到几秒钟一个或者一分钟一个，如果向全国十几亿人收费提供，老本太高，若是免费又可能散失用户，这是最大的问题。
目前全国各方都在致力应答这些问题。从硬件层来看， 因为美国打压，咱们买到的卡根本是阉割版，各大公司也在摸索国产卡的利用。就我察看而言，目前国产卡算力各种指标都不错。
软件方面， NVIDIA 基于 CUDA 构建的基于 GPU 生态的软件栈仍旧有很强的护城河，从下层训练框架到底层算子库都笼罩，也是国产硬件厂商不得不翻越的一座大山。而各大硬件公司都在搞本人的软件栈，采纳不同的策略。
但站在使用者和开发者角度，还是更心愿他们能多在编译器层适配本人的生态，在用户层收敛到支流开源框架，让用户只能感知到性能的晋升。 目前看来支流有这种趋势，但各大公司出于本身商业策略必定不能齐全达成统一。
所以从软件和硬件层看，咱们须要肯定工夫和技术冲破来追上当初的需要。这是挑战，同时也是很大的时机。
徐开勇： 投资界很关注模型上下游及其关联产业。
比方 模型底层， 咱们会看一些 3D 网络、RDBMS 等基础设施层的机会；而应用层则会关注一些垂直行业的机会，比方金融行业主动读财报、布告，或主动做演绎，工业界做故障检测，企业领有独家数据库，守业公司提供公有大模型或者大模型蒸馏进去的小模型，只解决这一个或者这一系列问题。
除了大模型上下游，投资人也会看一些大模型或人工智能新的可能性。 比方我最近也在看开源畛域、量子计算相干畛域，因为传统的人工智能包含大模型，其性能是随老本线性增长的，但量子计算却是指数级增长。
过来 10-12 年里，美国纳斯达克有相当多基于开源技术诞生的上市公司（或者基于上市公司母体），比方 Apache、Mongo DB 等，能够看到这些投入开源的公司都实现了不错的商业价值和回报。但反观中国，鲜少有华人公司投入开源生态，而走到上市或领头这一步的更是百里挑一。
Q4：请问各位老师，中国开源生态的商业模式真正走通了吗？是否有胜利的商业案例？如果有，大模型是否会促成这个趋势？如果没有，大模型是否有机会成为这个趋势的一部分？
徐开勇： 国内根本没有开源的上市公司，但国外开源的上市公司数量泛滥，我认为中美两国开源上市成绩的次要区别在于人才因素， 美国吸引了寰球人才，具备开放性理念、独到的见解，大部分开源我的项目的发起人都来自硅谷。
国内参加开源的开发者 / 意见首领也很多，尽管目前还没有造就一家开源上市公司，但我认为将来是有可能的，尤其在大模型畛域。
目前放眼寰球，根本只有中美两国能做大模型，在国内咱们面临的竞争更加间接，但多年来咱们也造就了大量计算机人才，开源的参与者也越来越多，因而依然有机会造就开源畛域的上市公司。
沙剑： 国内如同的确没有很胜利的上市开源我的项目，但出名的开源我的项目和守业公司必定是有的。
硅谷的确气氛会更好，毕竟也倒退了很多年，而且国外的开源基金会和投资机构对于有后劲的开源我的项目有一套良好的孵化领导机制，包含社区合作和商业化造就，很多优良我的项目可能并不是横蛮成长进去的。咱们还须要一个追赶的过程，另外国家在这些方面包含教育领域也须要继续投入。
在中国这个蓬勃发展的产业中，如果要上市，首先公司的技术积攒要比拟深厚，其次须要一个经得起测验的商业模式。 我发现很多优良的开源我的项目都没有想好本人的货色到底怎么赚钱，但其实这才最重要的。
王伟： 我想说三点，第一是商业化胜利。我始终认为商业化胜利和开源与否没有必然关系， 商业化层面更多的看你是否被市场须要、是否满足客户需要，而开源当初更多是作为一个宣传的噱头。
第二点，大模型开源到底意味着什么。模型开源不同于软件代码开源， 模型开源后开发者和用户能在此基础上做些什么，这对咱们来说都是新体验。模型开源尽管是一个可下载、可应用的一个形式，但它也带来了一些新的问题，很难实用传统开源的定义或框架。因而如何针对模型建设社区和生态是一个全新的问题。
我集体最关怀的是人才培养，我认为开源非常有利于培养人才。
首先，它能够让高校的学生更快的接触最前沿的技术。 很多大学在 Llama 进去后，马上做一些部署、微调以及把与本人畛域相干的内容退出进去，这些都得益于开源。
其次，开源的合作模式对于学生的造就比单纯技术层面的造就更有用。 它大大提高了学生的沟通能力，教会咱们怎么和搭档去做竞合关系，而这恰好是中国学生所欠缺的。中国不足像国外那么成熟的开源我的项目，一方面是语言的起因，另一方面可能和中国人的习惯有关系——咱们不太善于在公开场合表白本人的观点，但在社区里须要基于一些事实表白本人的观点。因而开源十分锤炼学生这方面的能力。
我十分激励学生们加入开源我的项目以及社区，特地是中国的开源我的项目，同时也心愿更多企业能给踊跃为社区做奉献的学生们多多提供机会。
科研、产业、投资视角下的开源大模型
以后大模型具备代码生成能力，甚至能提供工程架构倡议，人们都说未来 AI 会取代很多岗位，尤其在计算机领域，工作范式可能会因为大模型的呈现而产生一些改革。
Q1：请问王伟老师，作为华东师范大学的开源先锋和学术带头人，您在造就计算机领域人才的过程中对 AI 带来的改革有何思考？面对将来大模型越来越强的趋势，您在造就学生和人才方面，会重视他们哪些技能的晋升？
华东师范⼤学数据迷信与⼯程学院传授、开源社理事 王伟
王伟： 咱们目前正在踊跃拥抱开源，很多我的项目、课题、课程上的问答交互等都是用 GitHub 仓库的形式执行的，当初大模型来了，咱们态度也同样如此。只有能用大模型做的事，咱们都激励学生尽量用大模型去做， 另外咱们也激励老师退出这些实际。
对于计算机专业的学生和老师来说，仅仅会应用大模型是不够的，而且还要懂得背地的原理，这样才更好地做一些利用和工具。大模型当前肯定会取代一些岗位和职业，但就像工业革命一样，尽管很多工人失业了，但也催生了更多新产业和职业。因而咱们通知学生当前肯定会有更多新的产业和职业呈现，在校期间就须要为此做好筹备，而筹备就从拥抱它开始。
第二，企业家的角色也十分重要，你们是发明岗位的组织。大模型进去之后，Prompt 工程师、调优工程师等新岗位也随之呈现，当前也会有越来越多的新岗位， 这些都是企业家发明进去的机会。
蚂蚁在开源生态中做过很多工作，比方 SOFA，以及云原生中间件的一系列开源工作，这些工作能够说对业界整个云原生化的反对提供了十分好的生态基座。
Q2：沙剑老师是否介绍一下蚂蚁将来在开源大模型畛域有哪些方向？同时作为技术专家，您如何评估蚂蚁在开源畛域的工作成果，以及这些工作对整个蚂蚁公司来说价值几何？
蚂蚁团体⾼级技术专家 沙剑
沙剑： 蚂蚁是拥抱开源的， 外部我的项目孵化好的话公司也会激励大家开源，公司对此并没有商业化的指标，更多是为了晋升技术影响力、打造科技公司形象。
AI 或者大模型畛域的阵容能够分为几局部：
首先最根底的是 infra，相当于生产工具，整体会开源。当初第一步训练的 AI 基建在 DLRover 就齐全能放进去，后续整个推理局部，还有 GPU 虚拟化、GPU 集群、AIDC 也会逐步放进去。
应用层的话，有一些曾经官宣的大模型可能因为数据问题没有齐全凋谢，但一些垂类的大模型，比方 CodeFuse 也是在逐步开源，当初有很多团队逐步地向开源方向倒退。
从咱们本人的 DLRover 我的项目来讲，咱们也在思考为什么要开源？这个我的项目有哪些潜在应用场景？
有些云厂商像阿里云和百度云须要卖本人的服务，所以利用和硬件都本人开发。然而还有很多机构，领有大量硬件和钻研人员，却不足业余的 infra 团队来高效地应用这些硬件，而这正是 DLRover 心愿帮忙的对象，相当于帮他们赋能或提供一套欠缺的、在蚂蚁外部通过验证的计划， 这是一种潜在的可能；还有就是终端用户，比方集体开发者能够把咱们某一个部件独自拿去运行。所以受众还是比拟宽泛的。
咱们是想面向这些用户来打造咱们这个我的项目，但后续怎么商业化或是否商业化，目前还没有这种指标。
依据察看，很少有中国人民币基金投资开源我的项目，之前在中国之前加注开源的主力也是一些美元基金。徐总所在的投资机构作为中国比拟有代表性的人民币基金，曾间接或间接地投资了多个 AI 芯片 / 大模型公司。
Q3：作为一家退出业绩不错的基金，请问您所在机构及集体对投资开源有哪些思考？当前是否会对投资开源我的项目持积极态度，起因是什么？
出名投资机构副总经理 徐开勇
徐开勇： 开源是软件赛道中一股不容忽视的力量， 咱们公司在开源畛域也有布局，曾投过技术软件 Infra、数据库、数据治理等相干企业。我集体对信息技术、软件以及开源是有信奉的，从大学写代码起我就是开源的受益者和推动者。
咱们整个基金的管理层也十分 open，大力支持开源畛域的投资，也在继续关注和推动优质开源我的项目的挖掘。不过不是所有投资机构都这么凋谢，有些投资人不太了解开源，认为开源等于收费，这也加大了投资开源的门槛。
以前的开源的确是以美元基金投资为主，不过当初美元基金曾经褪去了大潮，那么人民币基金也要接起开源软件投资的旗号来。
将来瞻望
开源在 2021 年被首次写入国家「十四五布局」，凭借平等、凋谢、合作、共享的优良创作模式，正继续成为推动数字技术创新、优化软件生产模式、赋能传统行业转型降级、助力企业降本增效的重要引擎。
大模型作为尖端新兴技术的代表，正处于向前倒退的探索期。 开源社区能够汇聚天下英才，合众人之力减速大模型的迭代、优化以及落地，从而以高质量的产品及服务推动各行各业的数字化转型及业务胜利。
整体而言，开源大模型时机有限，同时也面临不少挑战，当下国产大模型争相入场，谁将从硝烟四起的千模大战中怀才不遇？ 欢送在留言区发表你的观点~
