作者：寒斜
AIGC 继续火爆寰球，越来越多的场景开始接入并体现不凡的价值。其中利用宽泛的场景之一就是智能常识问答，它扭转了人们学习的形式，从浏览式到问答式，让常识的获取更加精准无效。开源软件领有着宽泛的求知群体，AIGC+ 社区的联合是学习型社区将来演进方向上的一个新鲜的尝试，明天咱们联合 RocketMQ 学习社区的实际来跟大家聊聊构建该类场景的教训以及遇到的一些挑战。
学习社区的新范式
学习社区自身的诉求是心愿可能疾速流传常识、晋升影响力，而社区开发者则是心愿更快、更及时、更精确的取得专业知识。
以往从社区获取常识的形式有两种：
- 翻阅社区的文档和社区提供的源代码进行自主学习；
- 和社区的技术大牛进行交换，获取答案。
两种形式都存在肯定的问题，第一种自学的老本较高，为了更好的了解相干的基本概念，须要依据疾速入门文档一步一步操作，而后持续深刻理解其余的知识点，想要获取更关注的常识老本较高，而且因个体了解的差别，社区流传常识的成果也不肯定可能令人满意；第二种尽管能够精确取得想要的常识，对个体常识的把握也好于第一种，然而社区专家的解答往往不是实时的，所以不论是对于开发者的学习，还是对社区常识的流传来说效率都不高。
当初有了第三种形式：基于大语言模型的专业知识问答，社区开发者能够随时随地进行专业知识发问，享受 24 小时专家服务，对于学习社区而言，流传本身常识的效率也变得更高了。
专有语料库的智能问答技术基本原理
如图所示，专有语料库的智能问答零碎分为两个局部：
- 语料库的录入，管理员将业余的社区材料进行上传，智能问答零碎会对文档进行切片，而后通过 embedding 算法将其转化为向量数据，存储下来期待检索；
- 问题解答，用户输出的问题通过向量转化后通过近似搜索算法跟向量数据库的内容做比对，失去近似值答案后，联合提醒词模版以及用户问题一起输出给大语言模型，大语言模型做演绎总结后返回给用户。所以零碎的残缺性能既蕴含间接的答案输入（依据大模型能力后果可能不精确，次要是“幻答”），也蕴含依据向量近似值检索进去的原文列表。后者作为辅证，帮忙学习者判断答案的正确与否。
生产的挑战
相较于技术计划的论证，真正想把智能问答能力公布到生产有着十分多的挑战，上面来跟大家独特探讨一下。
平安
平安始终是 AIGC 类服务最须要关怀的问题，没有之一。次要蕴含以下几点：
- 数据安全
- 内容平安，蕴含输入和输入
- 系统安全
数据安全次要是指应用大模型服务，尤其是境外服务会导致数据跨境，这是不能被容许的；
内容平安次要是用户输出以及后果输入不能蕴含涉黄涉恐的内容；
系统安全则是攻击者能够通过提醒词诱导导致一些机密信息的泄露。以上的平安问题都是须要被重大关切。
平安问题解决方案
数据安全的解法就是应用齐全合规的大模型服务或者齐全托管开源的模型实现 100% 私有化，RocketMQ 学习社区是基于开源的 chatlm6b 问答零碎计划并且应用阿里云多款产品组合，从而实现模型服务和业务逻辑一体化的 AI 利用。
chatlm6b 问答零碎计划：
https://github.com/imClumsyPanda/langchain-ChatGLM
内容平安，针对输出内容做平安算法过滤，阿里云的绿网服务可能很好的撑持这一点，躲避使用者输出不合规的问题，输入后果的约束则是通过提醒词工程实现 - 仅容许答复畛域内的问题。
系统安全，应答提醒词注入 (PI) 的危险，则能够思考采纳启发式办法，在歹意输出达到前将其过滤或者应用专用 LLM 来剖析传入的提醒并辨认潜在的攻打。
相干的解决方案能够参考：https://rebuff.ai/
服务高可用
社区的智能问答零碎上线之后，必然要面对更多的拜访申请。模型推理自身无奈并行，象征进入模型推理的申请须要排队解决，如何疾速拉起更多的模型服务，应答并发申请，是线上生产面临的事实问题；此外如何应答单点服务故障以及如何对数据进行容灾备份，都是生产服务必须思考的问题。
老本 / 效率 / 体验的均衡
如何更快的交付业务服务，如何实现体验和老本的均衡，也是摆在理论生产中的问题。
如果你抉择了模型自托管，有两种应用 GPU 的计划，第一种是本人买卡搭建服务，第二种是租赁云厂商的服务器。第一种须要很强的技术背景，并且须要解决好服务的高可用，第二种则须要对 GPU 的耗费进行精打细算，任何一家云厂商提供的 GPU 服务费用都不低。除此之外随着业务交付工夫的邻近，解决非业务的技术问题也会减少业务交付的危险，业务研发投入的缩小也会影响服务的应用体验。
一句话总结就是，实现老本、效率、体验三者的均衡绝非易事。
RocketMQ 学习社区的摸索
RocketMQ 学习社区的构建，采纳的是阿里云 Serverless 架构，实现百分之百的私有化，并且尽最大可能得解决平安问题。通过 Serverless 实现老本 / 效率 / 体验的均衡以及服务的高可用。此外在网络层面应用了更平安的 vpn 内网服务，更大程度的杜绝零碎要害信息泄露，同时还保留了切换商业模型服务的能力，不便在后续切换时取得更加精准的问题答案。
RocketMQ 学习社区 Serverless 架构计划
业余平安团队平安水位评估后果
开源模型地址
https://github.com/imClumsyPanda/langchain-ChatGLM
总结
除了以上的生产挑战，咱们也遇到了十分多的工程化研发中的细节问题，比方 Serverless 架构的模型服务部署，端到端的性能调优，后续会跟大家一一拆解，做更具体的文章分享。
咱们置信，大模型的呈现在继续的扭转这个世界，随着基于业余语料库的智能问答技术的成熟，更宽泛的行业如教育，医疗，法律等也都会被惠及。开源社区也会迎来簇新的方向，明天把咱们的实际跟大家做分享，也心愿能有更多的同学参加其中，一起共创，将开源社区流传常识的能力放大，惠普更多的开发者。
RocketMQ 学习社区体验地址
RocketMQ 学习社区是国内首个基于 AIGC 提供的常识服务社区，欢送大家点击体验（倡议 PC 端体验残缺性能）：https://rocketmq-learning.com/**
PS：RocketMQ 社区以 RocketMQ 5.0 材料为次要训练内容，继续优化迭代中，答复内容均由人工智能模型生成，其准确性和完整性无奈保障，且不代表 RocketMQ 学习社区的态度或观点。
点击此处，立刻体验 RocketMQ 学习社区