RAG-本地部署时间

tinyRAG 一个手搓实现项目,使用代码,从底层实现了一个 RAG 框架,包含如何进行文档的分块,向量化,建库,基于提问如何在向量库中检索相关的文本块,然后将文本块作为上下文嵌入到prompt中,然后更新问题(加入参考信息)给LLM进行回答。其中的不管是文本导入,文档分块,向量化,数据库中知识块的检索肯定是有一些更复杂完善的实现方案,虽然项目实现相对简单,但是对于初学者具有非常大的帮助,可以快速的将整个RAG的各个环境所执行的操作具象化。快速建立整体框架层面的认知体系。

通过上述项目,我们带RAG有了初步的了解,接下来我们可以参考下面的项目,提供了更多的技术方案,有了基本的理解,我们可以更快的接触一些前沿的方案,来应用到我们的业务场景中。
RAG_Techniques 是一个开源项目,集成了30+前沿技术方案,覆盖从基础检索到多模态增强的全场景实现。无论你是AI新手还是资深开发者,这个”RAG技术百科全书”都能帮你突破性能瓶颈!
例如:
加载csv文件进行RAG的示例
知识库存在多个检索结果时,对结果进行重排序,从而使更相关的结果优先级更高
对原始问题进行更详细的重构、将原始问题重写为一个更宽泛的问题、将原始问题拆分为多个子问题等多种方式调整问题,从而提高模型的质量,增加知识库的检索准确性。

该项目还有其他多种技术方案,实践中我们可以先进行系统的了解,进而优化我们的项目。

-------------本文结束感谢您的阅读-------------