检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
检索增强生成技术（Retrieval-Augmented Generation）受到了广泛关注，并被应用于各种场景，如知识库问答、法律顾问、学习助手、网站机器人等。

RAG的优势

大模型面临的挑战

尽管ChatGPT和Claude等LLM展现了令人印象深刻的能力，但它们也面临着一些挑战：

产生臆想的答案（幻觉）：在没有确切答案的情况下，LLM可能会产生误导性信息。
知识更新慢：当用户需要基于最新情况的具体响应时，LLM可能提供过时或不具体的信息。
知识来源缺乏引用：LLM可能引用非权威来源的信息，影响回答的准确性。
术语混淆：不同训练数据中相同的术语可能指向不同概念，导致LLM产生混淆。
领域专业知识不足：尽管LLM拥有广泛的知识基础，但它们并不了解特定业务的细节，如公司的私有数据。

RAG 解决的问题:

避免“幻觉”问题：RAG 通过检索外部信息作为输入，获取领域特定的知识，辅助大型模型回答问题，这种方法能显著减少生成信息不准确的问题，。
信息的实时性： RAG 允许从外部数据源实时检索信息，RAG允许LLM访问最新的客户记录、产品规格和实时库存信息，解决知识时效性问题。
解决黑匣子问题：RAG技术使GenAI应用程序能够提供其使用的数据来源，增加透明度，类似于学术论文中的引用，增加回答的可追溯性。
数据隐私和安全： RAG 可以将知识库作为外部附件管理企业或机构的私有数据，避免数据在模型学习后以不可控的方式泄露。
降低应用成本：RAG提供了一种经济高效的方法，使得组织能够在不重新训练模型的情况下，提升LLM的输出质量。

RAG的关键优势：

白盒模型的透明度和可解释性：RAG的工作流程相对透明，模块之间的关系清晰，这为模型的效果调优和可解释性提供了优势。在检索召回的内容质量不高或置信度不足时，RAG系统有能力避免生成误导性信息，选择不生成回答而非提供错误的信息。
成本效益和响应速度：与微调模型相比，RAG的训练周期更短，成本更低。与长文本处理相比，RAG能够提供更快速的响应和更低的推理成本。在工业界和产业应用中，成本是一个至关重要的因素，而RAG在这一点上具有明显的优势。
私有数据管理与安全性：RAG通过将知识库与大型模型分离，为私有数据的管理提供了一个安全的实践基础。这种方法有助于企业更好地控制和管理其知识资产，同时解决了知识依赖问题。此外，RAG底座数据库的访问权限控制和数据管理相对容易实现，而这对于大模型来说则较为困难。
灵活性和适应性：RAG能够适应不同的数据源和检索需求，为特定领域或任务提供定制化的解决方案。这种灵活性使RAG在多种应用场景中都能找到其适用之处。
模块化和可扩展性：RAG的模块化设计允许它轻松集成新模块或调整现有模块之间的交互流程，以适应不断变化的任务需求和数据环境。

RAG和微调方法的异同

特征比较	RAG	微调
知识更新	直接更新检索知识库，无需重新训练。信息更新成本低，适合动态变化的数据。	通常需要重新训练来保持知识和数据的更新。更新成本高，适合静态数据。
外部知识	擅长利用外部资源，特别适合处理文档或其他结构化/非结构化数据库。	将外部知识学习到 LLM 内部。
数据处理	对数据的处理和操作要求极低。	依赖于构建高质量的数据集，有限的数据集可能无法显著提高性能。
模型定制	侧重于信息检索和融合外部知识，但可能无法充分定制模型行为或写作风格。	可以根据特定风格或术语调整 LLM 行为、写作风格或特定领域知识。
可解释性	可以追溯到具体的数据来源，有较好的可解释性和可追踪性。	黑盒子，可解释性相对较低。
计算资源	需要额外的资源来支持检索机制和数据库的维护。	依赖高质量的训练数据集和微调目标，对计算资源的要求较高。
推理延迟	增加了检索步骤的耗时	单纯 LLM 生成的耗时
降低幻觉	通过检索到的真实信息生成回答，降低了产生幻觉的概率。	模型学习特定领域的数据有助于减少幻觉，但面对未见过的输入时仍可能出现幻觉。
伦理隐私	检索和使用外部数据可能引发伦理和隐私方面的问题。	训练数据中的敏感信息需要妥善处理，以防泄露。

RAG 技术原理

幻觉现象在大型语言模型（LLM）中主要因其无法访问最新信息而产生，这一问题根源于模型对其训练数据集的严重依赖。为了解决这一局限，提出了一种名为RAG（Retrieval-Augmented Generation）的方法，该方法允许LLM通过外部信息源动态地补充训练数据，从而提高回答的准确性。
RAG通过结合传统的检索方法和预训练的语言模型，实现了对LLM输入信息的实时更新，避免了对模型进行昂贵且耗时的微调和再训练。这种方法增强了模型的灵活性和扩展性，使其可以轻松地应用于不同的LLM，满足多样化的需求。
在实际应用中，RAG通过引入人类编写的现实世界数据作为信息源，不仅简化了回答生成过程，还大幅提高了生成响应的可靠性。随着技术的进步，RAG不断发展，已经能够支持检索与生成组件之间的多轮交互，通过多次迭代检索提高信息准确性，同时逐步优化生成的输出质量。
平台如langchain和llamaindex已经对RAG方法进行了模块化处理，这些平台通过实现多轮搜索迭代到连续生成的不同策略，提高了方法的适应性，并扩展了其在实际应用中的范围。这些创新表明，尽管各平台对RAG的具体实施方法各不相同，但它们都遵循了基本的RAG工作流程，展示了这一技术在现代AI应用中的广泛适用性和有效性。

一个典型的RAG应用，主要包含两个部分： 1.索引； 2. 检索与生成。

索引

从源数据中加载数据并进行索引，通常离线进行，并且支持动态更新，分为：

加载：根据不同的数据源选择合适的加载器，加载数据得到文档。
切片：使用文本切分器将文档切分成更小的片段，使用小片段一方面可以更好地匹配用户问题，同时也可以适应模型的有限上下文窗口。
存储：存储和索引切片，以便在检索时能够快速找到相关的数据，通常使用 Embeddings 模型和向量数据库（VectorStore）来完成。

检索与生成

实际的 RAG 链，接收用户问题，从索引中检索相关数据，基于问题和这些数据生成结果，分为：

检索：给定用户输入，使用检索器从存储中检索相关的切片。
生成：使用包括问题和检索到的数据的提示调用 LLM 来生成答案。

RAG系统的主要组件和工作流程

RAG（Retrieval-Augmented Generation，检索增强生成）系统是一个将生成式AI的优势与搜索引擎的功能相结合的复杂系统。要深入理解RAG，关键在于剖析其核心组件以及这些组件是如何协同工作的，以提供无缝的AI体验。

检索引擎：数据的精准定位

RAG过程的首步是检索引擎的介入。这一环节涉及对庞大的信息库进行搜索，以定位与输入查询相匹配的相关数据。检索引擎运用精细的算法，确保所检索到的信息不仅相关性强，而且保持最新，为生成准确的响应打下坚实基础。

增强引擎：上下文的深度融合

检索得到的相关信息随后被送入增强引擎。这一引擎的职责是将检索到的数据与原始查询紧密结合，从而扩充上下文的深度，为生成过程奠定一个更加明智的基础。增强引擎的介入，使得生成的响应更加精准和全面。

生成引擎：智能响应的构建

最终，经过增强的输入信息被送入生成引擎。这里，通常是利用复杂的语言模型，基于扩充后的上下文创建出既连贯又紧密相关的响应。这种响应的生成，不仅依托于模型内部的先验知识，还通过检索引擎提供的外部数据得到了显著增强。

RAG工作流程的全景视图

RAG的基本工作流程始于创建一个包含外部信息源的索引库。这个索引库是检索器模型的基石，它根据特定查询检索出相关的信息。在这一过程的最后阶段，生成器模型将检索到的信息与原始查询融合，形成最终的输出结果。

RAG（Retrieval-Augmented Generation，检索增强生成）应用程序的成功依赖于一系列精心设计的步骤，确保了输出的准确性和相关性。以下是RAG系统关键步骤的深入分析。

第一步，数据索引：构建检索的基石

在RAG系统中，数据索引是基础。它涉及将文档分割成块，编码为向量，并存储于向量数据库中，为检索引擎提供参考点。文本规范化，包括标记化、词干提取和停用词去除，是增强文本适用性的重要步骤。深度学习技术的应用，特别是预训练的语言模型（LM），为文本生成语义向量表示，极大地提升了索引的效率和检索的精确度。

第二步，输入查询处理：理解并转化用户需求

用户的输入是RAG过程的起点。系统需要准确处理和理解这些输入，以形成检索引擎的搜索查询。这一步骤是确保检索结果与用户需求高度相关的关键。

第三步，搜索和排名：找到最相关的信息

检索引擎根据输入查询的相关性对索引数据进行搜索和排名。利用语义相似性，检索与问题最相关的前k个块，这一步骤是RAG系统的核心，它决定了后续生成响应的质量和相关性。

第四步，提示增强：丰富输入，提升输出

将检索到的最相关信息与原始查询结合，形成增强的提示。这一步骤为生成引擎提供了更丰富的信息源，有助于生成更准确和相关的响应。

第五步，响应生成：构建最终答案

生成引擎结合原始问题和检索到的信息，输入LLM生成最终答案。这一步骤需要在保持与检索内容一致性和准确性的同时，引入创造性，以生成既准确又具有洞察力的文本。

第六步，评估：持续优化的关键

评估是确保RAG应用成功的最后一步。它提供了关于系统输出准确性、忠实性和响应速度的客观衡量，是持续优化RAG策略的关键环节。我们仔细看看RAG内部从索引，检索，增强到最后生成每一步都是怎么运行的，以及使用RAG和不使用RAG对返回结果的效果影响如何。

RAG范式

RAG研究范式在不断发展，我们将其分为三个阶段：Naive RAG、Advanced RAG和Modular RAG。尽管 RAG 方法具有成本效益并且超越了LLM的性能，但它们也表现出一些局限性。 Advanced RAG 和 Modular RAG 的发展正是针对 Naive RAG 的这些具体缺点的回应。

第一阶段，朴素RAG

Naive RAG 研究范式代表了最早的方法，在 ChatGPT 广泛采用后不久就得到了重视。Naive RAG 遵循传统的过程，包括索引、检索和生成，也被称为“检索-生成”框架，前面讲的RAG是朴素RAG，它是最基础的，最核心的架构。随着大模型落地不断深化，朴素RAG也有一些缺点：

检索挑战——检索阶段经常在【精确度】和【召回率】方面遇到困难，导致选择错位或不相关的块，并丢失关键信息。
生成困难——在生成响应时，模型可能会面临幻觉问题，即生成【检索到的上下文不支持的内容】。此阶段还可能会受到输出的【不相关性、毒性或偏差】的影响，从而降低响应的质量和可靠性。
增强障碍——将检索到的信息与不同的任务集成可能具有挑战性，有时会导致【输出脱节或不连贯】。当从多个来源检索类似信息时，该过程还可能遇到【冗余，从而导致重复响应】。确定各个段落的重要性和相关性并确保风格和语气的一致性进一步增加了复杂性。面对复杂的问题，基于原始查询的【单一检索可能不足以获取足够的上下文信息】。

第二阶段，高级RAG

Advanced RAG 引入了特定的改进来克服 Naive RAG 的局限性。它着眼于提高检索质量，采用检索前和检索后策略。为了解决索引问题，Advanced RAG 通过使用【滑动窗口方法】、【细粒度分段】和【合并元数据】来改进其索引技术。此外，它还结合了多种优化方法来简化检索过程。

预检索过程——这一阶段的主要重点是【优化索引结构和原始查询】。优化索引的目标是提高索引内容的质量。这涉及到策略：增强数据粒度、优化索引结构、添加元数据、对齐优化、混合检索。而查询优化的目标是让用户的原始问题更清晰、更适合检索任务。常见的方法包括查询重写、查询变换、查询扩展等技术。
检索后过程——一旦检索到相关上下文，将其与查询有效集成就至关重要。检索后过程中的主要方法包括【重新排序块和上下文压缩】。重新排列检索到的信息以将最相关的内容重新定位到提示的上下文中是一个关键策略。

第三阶段，模块化RAG

模块化 RAG 架构超越了前两种 RAG 范例，提供了增强的适应性和多功能性。
它采用了多种策略来改进其组件，例如添加用于相似性搜索的搜索模块以及通过微调来改进检索器。重组 RAG 模块等创新并重新排列 RAG 管道的引入是为了应对特定的挑战。
向模块化 RAG 方法的转变正在变得普遍，支持跨其组件的顺序处理和集成的端到端训练。
尽管具有独特性，模块化 RAG 仍建立在高级 RAG 和朴素 RAG 的基本原则之上，展示了 RAG 系列的进步和完善。

新模块

模块化 RAG 框架引入了额外的专用组件来增强检索和处理能力。搜索模块适应特定场景，使用LLM生成的代码和查询语言，可以跨搜索引擎、数据库和知识图谱等各种数据源直接搜索。
RAG-Fusion 通过采用多查询策略将用户查询扩展到不同的视角，利用并行向量搜索和智能重新排序来揭示显式和变革性知识，从而解决了传统搜索的局限性。
内存模块利用LLM的内存来指导检索，创建一个无限的内存池，通过迭代的自我增强使文本与数据分布更紧密地对齐。
RAG系统中的路由可导航不同的数据源，为查询选择最佳路径，无论是涉及汇总、特定数据库搜索还是合并不同的信息流。
Predict模块旨在通过LLM直接生成上下文来减少冗余和噪音，确保相关性和准确性。
任务适配器模块根据各种下游任务定制 RAG，自动提示检索零样本输入，并通过少数样本查询生成创建特定于任务的检索器。这种综合方法不仅简化了检索过程，而且显着提高了检索信息的质量和相关性，以更高的精度和灵活性满足了广泛的任务和查询。

模块化 RAG 的优势

模块化 RAG 通过允许模块替换或重新配置来解决特定挑战，从而提供卓越的适应性。这超越了 Naive 和 Advanced RAG 的固定结构，其特点是简单的“检索”和“读取”机制。

此外，模块化 RAG 通过集成新模块或调整现有模块之间的交互流程来扩展这种灵活性，从而增强其在不同任务中的适用性。
重写-检索-读取等创新模型利用LLM的能力通过重写模块和LM反馈机制来细化检索查询来更新重写模型，从而提高任务性能。
类似地，像Generate-Read 用LLM生成的内容取代传统检索，而背诵阅读强调从模型权重中检索，增强模型处理知识密集型任务的能力。混合检索策略集成了关键字、语义和向量搜索来满足不同的查询。
此外，采用子查询和假设文档嵌入（HyDE）旨在通过关注生成的答案和真实文档之间嵌入相似性来提高检索相关性。
模块布局和交互的调整，例如演示-搜索-预测（DSP）框架和 ITER-RETGEN 的迭代检索-读取-检索-读取流程，展示了模块输出的动态使用来支持另一个模块的功能，说明了对增强模块协同作用的复杂理解。
Modular RAG Flow 的灵活编排展示了通过 FLARE 等技术进行自适应检索的优势和自我 RAG 。
该方法超越了固定的RAG检索过程，根据不同场景评估检索的必要性。
灵活架构的另一个好处是RAG系统可以更轻松地与其他技术（例如微调或强化学习）集成。

模块化RAG的核心在于将各种功能解耦，将其作为独立的模块进行处理。具体来说，模块化RAG包括了「搜索」、「预测」、「记忆」、「评估」、「验证」和「对齐」等外层模块，以及内层的「检索」、「重排序」、「重写」和「阅读」等RAG核心过程。
在处理信息和响应用户查询的过程中，模块化RAG采用了多种信息处理流程。
例如，传统的Navie RAG模式仅包括基本的「检索」和「阅读」步骤。
而在更复杂的Advanced RAG模式中，包括了「重写」→「检索」→「重排序」→「阅读」的路径，这在提高检索和生成内容的质量方面尤为有效。
DSP（Demonstrate-Search-Predict）模式则专注于验证、搜索和预测阶段，这些模块和模式的组合赋予了模块化RAG极大的灵活性和适应性，使其成为一种强大且可扩展的工具，能够有效地应对各种信息处理挑战，并在多样化的应用场景中提供高质量的回答。

RAG 场景对向量数据库的需求

而检索系统对向量数据库的需求可以抽象描述为：

高精度的召回：向量数据库需要能够准确召回与查询语义最相关的文档或信息片段。这要求数据库能够理解和处理高维向量空间中的复杂语义关系，确保召回内容与查询的高度相关性。这里的效果既包括向量检索的数学召回精度也包括嵌入模型的语义精度。
快速响应：为了不影响用户体验，召回操作需要在极短的时间内完成，通常是毫秒级别。这要求向量数据库具备高效的查询处理能力，以快速从大规模数据集中检索和召回信息。此外，随着数据量的增长和查询需求的变化，向量数据库需要能够灵活扩展，以支持更多的数据和更复杂的查询，同时保持召回效果的稳定性和可靠性。
处理多模态数据的能力：随着应用场景的多样化，向量数据库可能需要处理不仅仅是文本，还有图像、视频等多模态数据。这要求数据库能够支持不同种类数据的嵌入，并能根据不同模态的数据查询进行有效的召回。
可解释性和可调试性：在召回效果不理想时，能够提供足够的信息帮助开发者诊断和优化是非常有价值的。因此，向量数据库在设计时也应考虑到系统的可解释性和可调试性。
可选的向量数据库
 Pinecone

Weaviate

Qdrant

Milvus/Zilliz

Chroma

LanceDB

Vespa

什么是Embedding

矢量数据库不仅存储原始数据（可以是图像、音频或文本），还存储其编码形式：Embedding。
这些 Embedding 本质上是存储数据上下文表示的数字（即 vector ）列表。直观上，当我们提到 Embedding 时，我们谈论的是实际存在于更高维度的数据（图像、文本、音频）的压缩、低维表示。

Embedding基于一个技巧：获取一段内容（文字，图片，视频…..）并将该内容转换为浮点数数组。

Embedding的重要性

它建立了一座桥梁，连接了人类语言的丰富多彩与算法的冷冰冰的计算效率。
算法擅长数字游戏，却不通人情，而通过文本向量化，它们仿佛获得了解读和处理语言的新技能。其应用范围广泛，从推荐触动人心的内容，到让聊天机器人更具人情味，再到在浩瀚的文本海洋中寻找微妙的规律，文本向量化无处不在。
文本向量化让机器能够进行情感分析、语言转换等看似高深的任务，以一种越来越接近人类的方式来理解和处理语言。

这个图的左边，我们看的每一列（维)的数字代表一种特征，比如有代表是否是人类，年龄，性别等。

在二维平面里用图形化表示，我们可以理解Embeddings就是在x和y上的坐标，相同的类会聚集在一起，但是为什么又叫做向量或者矢量，矢量是代表有方向的。我们看的男人和女，与国王和女王线是平行的。
说明沿着这条线的方向就代表性别的强度。越往右上角越代表越女性化。当维度越多，表征就更多，代表的语义就更加丰富。
演示地址：https://projector.tensorflow.org/?ref=mlq.ai

向量之间的距离

向量可能非常长且复杂。例如，OpenAI 的向量大小通常为 1536，这意味着每个Embeddings都是 1536 个浮点数的数组。就其本身而言，这些数据并没有多大意义：它只是为了找到其他接近的Embeddings。

当我们将图像或文本片段表示为向量嵌入时，它们的语义相似性由它们的向量在向量空间中的接近程度来表示。

因此，我们想要查看的是对象向量之间的距离。这些向量表示（嵌入）通常是根据输入数据和任务通过训练模型创建的。

Word2Vec、GLoVE、USE 等是从文本数据生成嵌入的流行模型，而像 VGG 这样的 CNN 模型通常用于创建图像嵌入。

我们之前提到，我们通过计算对象向量之间的距离来发现对象之间的相似性。

我们可以根据最适合我们问题的距离度量来计算向量空间中这些向量之间的距离。
相关距离计算方式可以参考我们之前的文章《机器学习中的距离计算》，里面介绍了欧几里德距离度量、曼哈顿距离度量、余弦距离度量、切比雪夫距离度量等常用的距离计算方式。

如何选择嵌入模型

常见的类Embbedding模型

检索用Embbedding
重排序用Embbedding

Embbedding模型在RAG种的应用场景

知识库存入向量数据库之前，需要使用Embbedding模型
用户提问时的问题，需要使用使用Embbedding模型
检索完成之后重排序的时候，需要 Rank Embbedding模型

在哪里找到合适Embbedding模型？

MTEB 被公认为是目前业界最全面、最权威的中文语义向量评测基准之一，涵盖了分类、聚类、检索、排序、文本相似度、STS等6个经典任务，共计35个数据集，为深度测试中文语义向量的全面性和可靠性提供了可靠的实验平台。通过这个网站可以看到所有开源的语义向量模型：

Embbedding模型选型

说了那么多的模型，怎么选择一个好的Embbedding模型，它是由很多个维度可以选择的，首先要考虑几个公共的维度，然后还需要考虑场景，因为不同的Embbedding模型训练的语料不一样，业务数据与Embbedding模型训练的语料匹配度越高，效果越佳。

Retrieval Average： NDCG是衡量检索系统性能的常用指标。 NDCG 较高表示模型能够更好地在检索结果列表中将相关项目排名靠前。
模型大小：模型的大小（以 GB 为单位）。它给出了运行模型所需的计算资源的概念。虽然检索性能随模型大小而变化，但值得注意的是，模型大小也会对延迟产生直接影响。在生产设置中，延迟与性能的权衡变得尤为重要。
最大令牌数：可以压缩为单个嵌入的令牌数。您通常不想放置超过一个文本段落（~100 个代币) 到单个嵌入中。因此，即使模型的最大令牌数为 512，也应该绰绰有余。
Embbedding维度：嵌入向量的长度。较小的嵌入可提供更快的推理，并且存储效率更高，而更多的维度可以捕获数据中的细微细节和关系。最终，我们希望在捕获数据的复杂性和运营效率之间取得良好的权衡。
支持的语言 (Languages): 中文 (zh)，英文 (en) 等

嵌入是如何生成的

方式一：模型托管方式生成嵌入：比如一些MaaS(模型即服务)服务厂商会提供嵌入模型的API，比如OpenAI的text-embedding-3-large

方式二：自己部署模型生成嵌入：另外一种是使用开源的嵌入模型，然后通过使用GPU服务器运行起来，自己封装接口。

references

LangChain+RAG—构建知识库（一）
LangChain+RAG—构建知识库（二）