原文链接：https://tecdat.cn/?p=33624

原文出处：拓端数据部落公众号

自2022年年末以来，人工智能大模型已成为技术畛域甚至寰球翻新畛域最受关注的话题。以ChatGPT为代表的大模型产品倒退迅速，预测数据显示，到2030年，AIGC市场规模无望超过万亿元。2023年，国内次要厂商也相继推出自研的大语言模型产品，同时，国内也推出了大量的大语言模型利用，逐渐构建了基于中文语言特色的大语言模型生态。浏览原文，获取专题报告合集全文，解锁文末140份大模型相干行业钻研报告。

本合集集中钻研大语言模型产品的研发因素和外围特色，并从语言模型准确性、数据根底、模型和算法能力、平安和隐衷四个维度动手，拆分出12个细分维度，别离是语义了解、语法结构、常识问答、逻辑推理、代码能力、上下文了解、语境感知、多语言能力、多模态能力、数据根底、模型和算法能力、平安和隐衷。针对ChatGPT、Claude、Sage、天工3.5、文心一言、通义千问、讯飞星火、Moss、ChatGLM、vicuna-13B等十款大模型产品，咱们设计了超过3000个问题的评测。

此外，本合集特地关注了大模型产品在编程能力方面的体现，进步了这部分问题的权重和比例。同时，咱们还专门设置了测试中文语境特色的问题，例如方言测试、中文特色推理、对对联等。咱们心愿通过本次评测来帮忙更多技术畛域的同行取得对于中外大模型产品能力的意识，以帮忙大家在AGI守业方向抉择和工作理论利用方面取得最新的认知。

国内产品编程能力显著高于国内产品

  • 编程题目次要反映大语言模型产品进阶的逻辑推理能力。
  • 在十个模型中编程得分最高的为Claude，得分率73.47%，国内产品体现最好的为文心一言，得分率为68.37%。
  • 在四个题目分类中，大语言模型体现最好的题目分类为谬误提醒和修复，整体得分率为82.5%，而体现最差的是难度绝对较高的代码主动补全类题目，整体得分率为41.67%。

国内产品编程能力显著高于国内产品

  • 常识题目次要反映大语言模型产品对文字的根底认知和学习能力。
  • 在十个模型中常识得分最高的为文心一言，得分率73.33%，得分第二的为ChatGPT，得分率为72.67%。
  • 在九个题目分类中，大语言模型出现很大的差异化散布，即医学常识取得最高分率86%，而娱乐明星类常识仅取得24%。
  • 除IT常识问答题目外，其余八个题目分类中国内的大模型产品在中文常识环境中会的问答体现整体靠近或优于国内大模型产品。

本专题内的参考报告（PDF）目录

  1. 清华大学：2023大语言模型综合性能评估报告 报告2023-08-23
  2. BDS国家工程核心：2023大语言模型提醒注入攻打平安危险剖析报告 报告2023-07-31
  3. InfoQ：大语言模型综合评测报告2023 报告2023-05-30
  4. 艾瑞征询：ChatGPT浪潮下，看中国大语言模型产业倒退 报告2023-04-12
  5. 微软：微软GPT钻研报告 报告2023-09-07
  6. 前瞻产业研究院：ChatGPT开启AlGC产业生态新时代 新风口 新生... 报告2023-08-25
  7. MarketUP：ChatGPT prompt指令模型大全 报告2023-08-15
  8. 混沌学园：解锁新的生产力：如何用ChatGPT晋升业务能力 报告2023-08-09
  9. 智能小伟人俱乐部：ChatGPT还须要逾越几道鸿沟-生成式AI工具应用... 报告2023-07-20
  10. 高力国内：ChatGPT引发的AI人工智能产业利用前景剖析与行业新机遇 报告2023-07-04
  11. Microsoft Azure：Azure OpenAI案例集-GPT... 报告2023-06-20
  12. 曲直：错过AI错过将来-如何利用chatGPT赋能国内货代 报告2023-06-06
  13. Microsoft Azure：如何借GPT疾速建构利用？把握9大通用... 报告2023-06-03
  14. CSA GCR：ChatGPT的平安影响 报告2023-05-31
  15. 众安科技：2023 AIGC&ChatGPT保险行业利用白皮书 报告2023-05-26
  16. 美通社：ChatGPT，AGI与营销 报告2023-05-25
  17. OpenMediation：2023年ChatGPT Plus 80+... 报告2023-05-22
  18. 美通社：GPT+AI期间公关的流传时机与挑战 报告2023-05-21
  19. 美通社：ChatGPT赋能品牌内容 报告2023-05-20
  20. 美通社：ChatGPT在商业内容中的作用价值 报告2023-05-19
  21. 法国里昂商学院&HRflag：ChatGPT对人力资源管理的影响剖析报... 报告2023-05-17
  22. 奇绩论坛：ChatGPT新机遇分享 报告2023-04-26
  23. 量子论：ChatGPT 实用指南（精编版）（2023） 报告2023-04-17
  24. 南京航空航天大学：ChatGPT的前世今生（2023） 报告2023-04-16
  25. Ibrahim John：如何向ChatGPT发问以取得高质量答案：提... 报告2023-04-14
  26. 艾瑞征询：ChatGPT浪潮下，看中国大语言模型产业倒退 报告2023-04-12
  27. 猎豹挪动：为什么ChatGPT是生产力反动（2023） 报告2023-04-09
  28. 中国科学院：ChatGPT对文献情报工作的影响 报告2023-04-06
  29. 工业4.0俱乐部：ChatGPT认知白皮书 报告2023-04-06
  30. 安信：ChatGPT挪动应用程序威逼剖析报告（2023） 报告2023-04-04
  31. 微软研究院：人工通用智能的星星之火-GPT-4的晚期试验 报告2023-03-30
  32. 工业4.0产业联盟：ChatGPT对企业与集体的时机与挑战 报告2023-03-30
  33. 亚信科技&清华大学：2023年AIGC（GPT-4）赋能通信行业利用白... 报告2023-03-29
  34. 浙商证券：AI行业深度报告-ChatGPT-AI模型框架钻研 报告2023-03-28
  35. 中信建投：GPT4及ChatGPT相干利用梳理 报告2023-03-23
  36. 熊鹏：ChatGPT4.0在投资中的使用初探 报告2023-03-21
  37. 中兴新云：ChatGPT解读及财务利用摸索 报告2023-03-19
  38. OpenAI：GPT-4 技术报告（中文版） 报告2023-03-18
  39. OpenAI：GPT-4 技术报告（英文版） 报告2023-03-18
  40. 工业4.0研究院：ChatGPT对数字孪生体倒退的启发 报告2023-03-12
  41. 华东政法大学：人工智能通用大模型（ChatGPT）的停顿、危险与应答 报告2023-03-09
  42. 哈尔滨工业大学：ChatGPT调研报告 报告2023-03-07
  43. 智谱钻研：ChatGPT团队背景钻研报告 报告2023-03-04
  44. 甲子光年：2023AIGC市场钻研报告及ChatGPT推动的改革趋势与... 报告2023-02-28
  45. 浙商证券：ChatGPT钻研框架 报告2023-02-15
  46. 国泰君安：ChatGPT或引领游戏产业革命 报告2023-02-15
  47. 国泰君安：ChatGPT钻研框架（2023） 报告2023-02-10
  48. 真格基金：ChatGPT 报告2023-02-09
  49. 华西证券：ChatGPT-从新定义搜寻“入口” 报告2023-02-09
  50. 量子位智库：三分钟看懂ChatGPT 报告2023-02-08
  51. 中信建投：从CHAT_GPT到生成式AI（Generative AI）... 报告2023-02-01
  52. 中伦：2023公司控制权抢夺钻研报告：法律大模型剖析与数据挖掘 报告2023-09-01
  53. 红餐品牌研究院：小吃店模型翻新剖析报告2023 报告2023-09-01
  54. 海尔智家：2023智能家电与生成式人工智能大模型-翻新与倒退白皮书 报告2023-09-01
  55. 和而泰：2023基于家电大模型的产业利用白皮书 报告2023-08-30
  56. InfoQ钻研核心：2023中国人工智能成熟度模型报告 报告2023-08-28
  57. 浪潮信息：AIGC大模型算力平台参考设计 报告2023-08-27
  58. 头豹：2023年中国3D建模行业-3D建模-虚构模型制作过程（摘要版） 报告2023-08-26
  59. 清华大学：2023大语言模型综合性能评估报告 报告2023-08-23
  60. 中国移动研究院：体系化人工智能与大模型 报告2023-08-22
  61. 中国移动研究院：6G内生AI架构及AI大模型 报告2023-08-21
  62. 中国电子技术标准化研究院：常识图谱与大模型交融实际钻研报告 报告2023-08-16
  63. 新华社研究院中国企业倒退钻研核心：人工智能大模型体验报告2.0 报告2023-08-16
  64. MarketUP：ChatGPT prompt指令模型大全 报告2023-08-15
  65. 中国移动：2023“弈衡”通用大模型评测体系白皮书 报告2023-08-12
  66. 商汤：2023大模型伦理准则与实际白皮书-日日新思无邪 报告2023-08-01
  67. 爱剖析：中国市场大模型落地停顿与趋势洞察 报告2023-07-31
  68. 安世亚太：数字孪生是基于模型的体系工程 报告2023-07-31
  69. BDS国家工程核心：2023大语言模型提醒注入攻打平安危险剖析报告 报告2023-07-31
  70. 速途网&大模型之家：人工智能大模型产业翻新价值钻研报告 报告2023-07-27
  71. 甲子光年：AIGC通用大模型产品测评篇 报告2023-07-25
  72. 工业互联网产业联盟：工业互联网标识解析-标识数据模型白皮书 报告2023-07-25
  73. TE智库：2023中国通用大模型内容生成及安全性能力评测报告 报告2023-07-23
  74. 易观剖析：大模型对企业数智化降级与业务经营的影响与应答 报告2023-07-20
  75. 浙江大学大模型时代：智能设计的时机和挑战 报告2023-07-20
  76. 中国工业互联网研究院：通用人工智能大模型工业畛域常识问答性能评估 报告2023-07-11
  77. 腾讯研究院：大模型时代的AI十大趋势察看-人机共生 报告2023-07-11
  78. 普华永道：气象数据价值系列白皮书之三：撬动气象数据价值新模型白皮书 报告2023-06-16
  79. 之江实验室：2023生成式大模型平安与隐衷白皮书 报告2023-06-11
  80. 中国移动研究院：面向AI大模型的智算核心网络演进白皮书 报告2023-06-03
  81. 新华社研究院：人工智能大模型体验报告 报告2023-06-02
  82. InfoQ：大语言模型综合评测报告2023 报告2023-05-30
  83. 中国移动：我国人工智能大模型倒退动静 报告2023-05-19
  84. 沙利文：AI大模型市场钻研报告（2023）-迈向通用人工智能，大模型拉... 报告2023-05-17
  85. 艾瑞征询：ChatGPT浪潮下，看中国大语言模型产业倒退 报告2023-04-12
  86. 浙商证券：AI行业深度报告-ChatGPT-AI模型框架钻研 报告2023-03-28
  87. 腾讯：2023全域用户经营白皮书：STAR模型，从用户经营到生意增长 报告2023-03-21
  88. 德勤：生产元宇宙塑造商业新模型 报告2023-03-13
  89. 百信银行：商业银行“Bank Digital Mesh”数字化成熟度评... 报告2023-03-13
  90. 华东政法大学：人工智能通用大模型（ChatGPT）的停顿、危险与应答 报告2023-03-09
  91. IDC：2022中国大模型倒退白皮书-元能力引擎筑基智能底座 报告2023-03-07
  92. 百信银行：商业银行“Bank Digital Mesh”数字化成熟度评... 报告2023-02-27
  93. IDC：2022中国大模型倒退白皮书⸺元能力引擎筑基智能底座 报告2023-02-21
  94. 微伴助手：私域商业模型剖析与案例解析 报告2022-09-01
  95. 智篆：数智化转型：钻石模型白皮书 报告2022-03-30
  96. 工业互联网产业联盟：工业互联网信息模型园区利用白皮书 报告2021-12-29
  97. 腾讯&智来时代：2021新职业教育机构数字化经营模型 报告2021-12-22
  98. 太平洋：传媒互联网行业专题-海内AIGC利用停顿之游戏篇 报告2023-09-07
  99. 甲子光年：2023年中国AIGC产业算力倒退报告 报告2023-09-05
  100. 浪潮信息：AIGC大模型算力平台参考设计 报告2023-08-27
  101. 艾瑞征询：2023年中国AIGC产业全景报告 报告2023-08-24
  102. 贝塔数据：2023 AIGC时代-手机银行财产治理能力建设白皮书 报告2023-08-18
  103. 灵汐科技：2023年AIGC行业调研报告 报告2023-08-03
  104. 无界AI：AIGC之AI绘画行业倒退钻研报告2023 报告2023-07-31
  105. 头豹：2023年中国AIGC细分赛道钻研报告（上）-文本和图像率先利用... 报告2023-07-31
  106. 软通智慧&人大：2023年AIGC赋能城市治理利用白皮书 报告2023-07-27
  107. 甲子光年：AIGC通用大模型产品测评篇 报告2023-07-25
  108. 量子位：2023 AIGC算力全景与趋势报告 报告2023-07-24
  109. TE智库：2023AIGC+营销价值与利用钻研报告 报告2023-07-21
  110. 亿欧智库：2023中国AIGC商业后劲钻研报告 报告2023-07-10
  111. 腾讯云：AI2.0时代如何通过AIGC打造爆款营销内容？ 报告2023-07-06
  112. 清华大学：从营销AIGC化到AIGC营销化0000 报告2023-07-05
  113. 阿里云：玩转AIGC与利用部署 报告2023-07-02
  114. 爱剖析：2023AIGC厂商全景报告 报告2023-07-01
  115. 亚洲数据团体：智能时代的生产力改革：AIGC产业利用实际 报告2023-06-28
  116. 猎聘：2023 AIGC人才趋势洞察报告 报告2023-06-20
  117. 中国文化产业协会：中国文化元宇宙AIGC倒退钻研报告 报告2023-06-18
  118. 亿欧智库：企业AIGC商业落地利用钻研报告 报告2023-06-07
  119. 众安科技：2023 AIGC&ChatGPT保险行业利用白皮书 报告2023-05-26
  120. 清华大学：AIGC倒退钻研1.0版0.91 报告2023-05-17
  121. 亿欧智库：中国AIGC商用场景趋势捕获指北 报告2023-05-16
  122. 复旦大学：AIGC时代的多模态常识工程思考与瞻望 报告2023-05-05
  123. 拉勾：2023第一季度AIGC人才供需报告 报告2023-04-30
  124. 华东师大：AIGC技术给教育数字化转型带来的时机与挑战 报告2023-04-28
  125. 创客贴：AIGC产业倒退及利用白皮书 报告2023-04-26
  126. ArchSummit：营销畛域AIGC前沿停顿与挑战 报告2023-04-24
  127. 复旦大学：AIGC时代的多模态常识工程思考与瞻望 报告2023-04-22
  128. 百度：百度AIGC翻新内容营销解决方案 报告2023-04-22
  129. 增长黑盒&黑盒点评：2023中国AIGC利用钻研报告 报告2023-04-18
  130. 头豹：2022年中国AIGC行业钻研报告- 蓄势待发-数字内容的工业革... 报告2023-04-07
  131. 甲子光年：2023AIGC利用与实际瞻望报告 报告2023-04-07
  132. 量子位智库：AIGC产业全景图报告 报告2023-03-31
  133. 亚信科技&清华大学：2023年AIGC（GPT-4）赋能通信行业利用白... 报告2023-03-29
  134. 百度：2023百度AIGC翻新营销解决方案V2.0 报告2023-03-26
  135. 脉脉：2023AIGC人才趋势报告 报告2023-03-26
  136. 爱剖析：2023AIGC市场厂商评估报告：拓尔思 报告2023-03-24
  137. 甲子光年：2023AIGC市场钻研报告及ChatGPT推动的改革趋势与... 报告2023-02-28
  138. 腾讯研究院：AIGC发展趋势报告2023 报告2023-02-01
  139. 中国信通院&京东：人工智能生成内容（AIGC）白皮书（2022年） 报告2022-09-07
  140. 中国信通院：2022年人工智能生成内容（AIGC）白皮书 报告2022-09-03