共计 4128 个字符，预计需要花费 11 分钟才能阅读完成。
一、多模态 RAG
1.1 LLM 存在的问题
随着 LLM 的爆火，大模型在辅助咱们高效工作中的位置越来越高，也在越来越多的畛域中失去利用和推广。然而在具体利用场景中，仍旧发现通用大模型存在一些问题：- 幻觉问题
这个问题在晚期的 LLM 中尤为突出。比方咱们向大模型询问“你据说过林黛玉倒拔垂杨柳的故事吗？”此时大模型通过一番思考，讲的有条有理，搞得我认为真有此事。后果发现却是信口雌黄，不苟言笑的胡言乱语。当然像这个问题谬误很显著，要是一些你也不分明的内容，此时怕是要闹笑话了。究其原因，是因为数据收集和算法优化的问题。 - 常识的实时性
模型的规模越大，训练的老本就越高，而且训练的数据都是历史数据。像 ChatGPT 3.5 的数据更新到 2021 年，如果此时你询问之后的内容，他就无奈理解了。所以，比拟重视时效性的问题，没有方法失去很好的解决。 - 数据安全性
数据泄密和隐衷的问题始终也随同着大模型的产生和倒退，像 OpenAI 也是屡次受到相似的投诉。如果企业想要通过大模型做外部的决策，将企业的经营数据上传到大模型，显然是不平安的。如果想要保障平安的同时，应用大模型实现决策，就须要应用齐全本地化的部署。
1.2 RAG vs Fine-Tuning
为了解决大模型存在问题，能够有多种形式。
在已有的大模型根底上，如果想要解决特定畛域的问题，此时咱们能够引入特定数据即进行额定的训练来优化模型，以便更好的适应工作。这种形式也是罕用的伎俩之一，被称为微调(Fine-Tuning)。这种形式能够肯定水平上进步实时性，缩小幻觉问题，缺点在于须要反复的训练。
另一种形式是检索加强生成（Retrieval Augmented Generation），简称 RAG。RAG 通过引入内部常识起源，联合检索和生成两个步骤，来加强大模型的能力。比方引入向量数据库，连贯网络获取数据等形式，可能使大模型的数据实时性更好，也能缩小幻觉的问题。当然缺点也很显著，应用 RAG 须要解决检索和生成过程，比单纯微调更简单。
1.3 RAG 架构
在 RAG 的应用中，首先通过向量数据库对数据集进行收集和索引，借助于向量数据库弱小的检索能力，召回指标常识。而后将召回的常识交给 LLM 大模型进行排序、演绎等操作，失去最终的输入。RAG 在大模型的利用中有三种模式：根底 RAG(Naive RAG)、高级 RAG(Advanced RAG)和模块化 RAG(Modular RAG)。
根底 RAG 次要蕴含信息检索和文本生成两个阶段；
高级 RAG(Advanced RAG)在根底 RAG 的根底之上，引入了预检索 (pre-retrieval) 和后检索 (post-retrieval) 优化策略。在预检索阶段，会通过对查问的解决进步检索的相关性和准确性；在后检索阶段对检索信息进行排序、压缩等解决，以便更好的联合文本生成步骤。
模块化 RAG(Modular RAG)容许不同的检索和生成模块，依据不同的业务需要，进行自由组合，这种形式更加的灵便，也更容易适应多变的场景。
1.4RAG 组件
RAG 的流程蕴含数据提取、embedding（向量化）、创立索引、检索、主动排序（Rerank）、LLM 演绎生成。
1.4.1 索引
索引局部次要是将私域的数据向量化后进行索引并存储到向量数据库。 - 数据提取
数据提取蕴含数据加载、数据处理、元数据提取。
数据加载是将一些起源不同的异构数据进行对立格局的提取；获取到数据之后，接着就是对数据进行必要的剔除、格局替换、压缩等步骤；
元数据提取用于将数据的文件名称、title、工夫等信息提取。 - 文本宰割
通常大模型在解决数据过程中，都会对 token 进行肯定的长度限度。一方面在于解决老本的管制，另一方面过多过长的数据可能影响对整个语义的了解。因而通常都会进行宰割。 - 固定长度宰割
长度取决于 embedding 模型，个别为 256/512 个 tokens，这种宰割形式缺点很显著。比方“我只会抄袭他的想法”，有可能会被宰割成“我只会剽”和“窃他的想法”。这种状况下可能会损失很多语义，对检索不敌对，因此通常会通过减少冗余量来解决。 - 基于用意的宰割
句宰割：最简略的是通过句号和换行来做切分。当然也有通过业余的用意包来切分的。
递归宰割：通过分而治之的思维，用递归切分到最小单元的一种形式。 - 向量化
向量化是一个将文本数据转化为向量矩阵的过程，embedding 模型的好坏会间接影响到前面检索的品质。向量化实现当前就能够存入数据库期待检索。
1.4.2 检索
检索阶段，须要通过用户的拜访，从向量数据库中检索召回常识，而后交给 LLM 生成，因此检索的后果好坏，关系到 LLM 生成的后果。
通常为了晋升检索的效率，通过一些必要的解决。 - 元数据过滤
元数据中蕴含了向量的根本信息，蕴含名称、工夫、title 等。例如咱们想要检索 2023 年逝世的驰名的物理学家，如果首先对元数据筛选过滤“物理学家 +2023 年”失去相应的文件，再从这些文件中检索会更加高效。 - 图检索
对于关系比较复杂的数据，能够利用图的先天劣势，将每个节点看作为节点，他们之间的关系为 Relation。此时如果波及到多重跳点的关系，解决起来会更加不便。 - 相似性检索
计算查问向量与所有存储向量的相似性得分，返回得分高的记录。常见的有欧氏间隔、曼哈顿间隔等。 - 重排序
很多时候因为咱们检索的维度和相关度不是太现实，检索进去的数据不是太好。这时候能够通过对检索的后果做重排序，或者把组合相关度、匹配度等因素做一些从新调整，失去更合乎咱们业务场景的排序。
1.4.3 生成
通过检索失去必要的常识之后，就能够通过 LLM 实现生成。通常能够通过 Prompt(提醒工程) 实现对大模型的输出，蕴含工作、背景的形容等，由大模型进行解决并输入。
Prompt 能够帮忙模型更好地了解输出的用意，并作出相应的响应。然而不同品质的 Prompt 对后果的影响会比拟大，因而前面再实际阶段，咱们会专门解说如何写出高质量的 Prompt。
1.5 多模态 RAG
随着 RAG 的倒退，咱们可能不仅仅局限于对文本内容的加强检索，于是便呈现了多模态检索加强生成 (Multimodal Retrieving-Augmented Generation)。蕴含对图片解决生成、音频辨认、视频字幕解决、代码的检索和生成。
二、垂直畛域大模型
2.1 通用大模型的有余
大模型的火爆和无序之后，当人们冷静下来，可能会思考大模型如何扭转现有的工作形式, 毕竟不能总是闲聊吧。作为开发者可能想通过大模型编程，设计师心愿是实现设计图的生成，作家可能想用它来写作…
然而真正应用起来会发现，它可能没有你设想的那么弱小。貌似什么都懂，又如同什么都不怎么样。道歉，我不是在说你。
置信我，更多的时候，咱们可能不是须要懵懵懂懂的通用大模型。而是须要在某个畛域可能独挡一面、可信赖的垂直大模型。
2.2 常见垂直畛域大模型
垂直畛域的大模型通常是基于通用大模型的持续预训练，同时补充相干畛域的意料，缩小幻觉的产生。
垂直畛域大模型的构建，包含持续预训练，畛域数据集构建，减缓幻觉，常识召回等方面。
对于特定畛域的预训练，能够通过 RAG 实现实现相干畛域问题的疾速干涉，同时减少时效性和缩小幻觉。
除此之外，通过 SFT 激发大模型了解畛域内各种问题并进行答复的能力，通过 RLHF 能够让大模型的答复对齐人们的偏好，比方行文的格调。
目前，曾经有垂直畛域的大模型产品落地。
模型名称：BERT-Financial
畛域：金融
介绍：BERT-Financial 是一个用于金融畛域的预训练语言模型，基于 Transformer 架构，通过对大量金融文本数据进行训练，可能了解和生成金融畛域的文本内容，如新闻、报告、剖析等。
模型名称：AlphaFold
畛域：生物信息学
介绍：AlphaFold 是一个用于蛋白质构造预测的大规模深度学习模型。它通过对大量蛋白质序列数据进行训练，可能预测蛋白质的三维构造，为生物医学钻研提供重要的帮忙。
模型名称：GPT-News
畛域：新闻媒体
介绍：GPT-News 是一个用于新闻生成的大规模语言模型，基于 Transformer 架构。通过对大量新闻报道进行训练，可能生成高质量的新闻内容，为新闻媒体提供疾速、精确的报道服务。
模型名称：Clinc150
畛域：语音助手
介绍：Clinc150 是一个用于语音辨认和自然语言解决的大规模深度学习模型。它通过对大量语音数据进行训练，可能辨认和了解人类语音，为智能语音助手提供弱小的反对。
模型名称：Salesforce CTRL
畛域：客户关系治理
介绍：Salesforce CTRL 是一个用于客户关系治理的大规模深度学习模型，基于 Transformer 架构。通过对大量客户数据和业务数据进行训练，可能辨认客户需要和趋势，为企业提供智能化的客户关系治理服务。
2.3 垂直大模型的一点思考
垂直大模型在各个领域都展现出了弱小的能力，它们通过对大量数据进行训练，可能了解和生成各种业余畛域的文本、图像、语音等内容，为各个行业的智能化和自动化提供重要的反对。然而，垂直大模型也面临着一些挑战和问题。首先，因为模型的规模微小，须要大量的计算资源和存储空间，这导致了训练和部署老本的减少。其次，因为模型的复杂性，须要大量的数据进行训练，而数据的获取和解决也是一项简单的工作。此外，垂直大模型的泛化能力也须要进一步提高，以更好地适应各种理论利用场景。为了解决这些问题，能够思考采纳一些技术手段。例如，采纳模型压缩和剪枝技术，减小模型的规模，升高计算成本；采纳增量学习和微调技术，进步模型的泛化能力；采纳联邦学习和迁徙学习等技术，减小数据的需要和模型的复杂性。此外，垂直大模型的利用也须要思考隐衷和平安问题。在训练和应用垂直大模型时，须要爱护用户的隐衷和数据安全，防止数据泄露和滥用等问题。能够采纳加密技术和差分隐衷等技术来爱护用户隐衷和数据安全。三、结语
通过认知篇的内容，置信大家对大模型曾经有了初步的认知。多模态 RAG 和垂直大模型的倒退尽管面临一些挑战和问题，但随着技术的一直倒退和利用的不断深入，将会在各个领域施展更加重要的作用，也会为咱们的生产和生存带来更多的便当和价值。对大模型有了认知之后，前面咱们将带大家进入大模型的实际。See you later!