大模型（LLM）相关理论研究与工程实践随着 GPT3 的发布，在学术界、工业界大爆发，备受各行各业关注，并涌现出一些赋能行业、促进生产力、生产关系变革的实践。GPT3 [1] 以及斯坦福计算机学院近 100+ 教授联名论文 [2] 将大模型列为第三轮 AI 浪潮，相对于传统的机器学习与深度学习，以 GPT3 为例的大模型涌现出处理各类任务的新范式：zero-shot、few-shot、in-context 等，同时也支持深度学习领域的 finetune，新范式让大模型能够低成本、快速处理各种任务，极大的缩短了数据准备与工程开发流程。
其中，in-context 作为随着大模型涌现的范式，被大规模的应用到各种知识库问答、资料汇总等领域中，开源社区对 in-context 也非常活跃地响应，推出了 langchain [3]、向量数据库 [4] 等系列优秀框架与技术基座。但是，基于 langchain + 开源大模型在实践过程中也会遇到系列不尽人意的问题，本文将深入剖析 langchain + 开源大模型用于搭建基于公司语料库（iwiki、oncall、码客）上的缺陷，剖析利用开源方案进行实践过程中性能下降的根本原因。
图1 基于 langchain + LLM 做知识问答的常规方案
基于 langchain + 大模型 in-context 能力来搭建智能问答系统的常规方案如上图所示，包含 3 个核心模块：数据服务，在线 QA 服务，以及大模型。下面分别详细说明一下各个模块具体做些什么？他们是如何串联在一起完成整个问答任务的？再反过来看看为什么业界基于 openAI 实践很棒，而如果换成基于开源自研后性能下滑很多？
数据对方案的性能影响极其重要，高质量的数据对模型的提升非常显著；但数据处理是一个 caseBycase、包含很多经验与 tricks 的事情，例如文档中的截图、表格、公式、超链接、附件、架构图、流程图、代码片段等等，本文不予以展开分析。
做数据最需要关注的是模型的输入及格式。做知识问答系统本质是自然语言处理的一个任务，因此，数据形态必须是文本，这是最基本的原则，所以如果数据包含非文本类的形态，例如图片（iwiki、码客、oncall 存在大量截图），就需要处理一下，每个人的处理方式和策略不一样，处理得好，最终系统性能会表现好一些。数据服务包含 3 个步骤，格式化（format）、切割（split）、向量化（vectorize）。
为什么以及如何进行预处理与过滤？
参考所选 LLM 在训练/ instruction finetune 处理数据方式（去掉特殊字符、换行空格等）同步处理数据。这么做的原因是 LLM in-context 应该和 训练/instruction finetune 的数据处理方式保持一致，可以保证 in-context 效果达到最佳。所以格式化的第二步，和选用的 LLM 相关。
为什么要进行切割？
看到上述框架图绝大多数人应该有的一个疑问。如果深入思考的话会发现 embedding（text2vec，文本转化为向量）以及 LLM encoder 对输入 tokens 都有限制。embedding 会将一个 text（长字符串）的语义信息压缩成一个向量，这是他的能力，但我们需要重点关注他的局限性，其中之一就是 text 包含的 tokens 有限制，一段话压缩成一个向量是 ok，但一本书压缩成一个向量可能就丢失了绝大多数语义。LLM encoder tokens 的限制在模型结构（利用 next token 进行 pre train）是就定义了，后续也无法更改，而 in-context 本质是把语料注入到 prompt，整个 prompt 不能超过 LLM 的 tokens 限制， 汇总如下公式：
如何切割？
通常采用固定长度切割（满足上面公式约束下），但固定长度切割容易破坏自然段落的语义，因此需要在上面公式约束与段落语义保留双重约束下，灵活设计方案，切割后的语料片段称为 chunk。
为什么进行向量化？
NLP 领域近 10 年来最朴素最广泛应用的一个技术 embedding 就是将 text 的语义信息转为向量表达，从而基于此向量来处理 NLP 领域中的一系列任务，例如通过向量相似性来衡量两句话语义是否一致等。
向量化的评价指标有哪些？
Huggingface 有一个 embedding 的 benchmark，如链接： https://huggingface.co/spaces/mteb/leaderboard 。
图2 huggingface embedding 综合能力排序
业界通常用 embedding 所得向量长度及其在各 NLP 子任务上的准确率来评估 embedding 模型。原则上：embedding 所得向量长度越长越好，过长的向量也会造成 embedding 模型在训练中越难收敛。分类（Classification）、聚合 (Clustering)、语义相似 (Pair Classification)、排序（Reranking）和召回（Retrieval）等子任务常用来评估 embedding 模型的优劣，准确率越高，embedding 的性能越好。
向量如何存储与检索？
向量的存储与检索是一门特别复杂的课题，涉及向量检索（包含很多相似性度量算法，向量压缩等知识）和向量存储，当前火热的向量数据库方向就是因此而生，在规模不大的情况下用 faiss 做检索够用了，未来有机会将专题就这个点开展分析，这里不予以赘述。
在线 QA 服务是串联大模型与存储向量数据库之间的纽带，大模型不能将数据库所有数据拿去做 in-context，实际上，大模型 in-context 能包含的 chunks 十分有限，在线QA服务核心就是挑选出合适的 chunks 给大模型。在线 QA 服务通过企微、webapi等方式对外提供交互，包含 3 个核心功能模块：用户问题向量化、prompt 组装、筛选 chunks。其中，在线 QA 服务核心在于筛选 chunks，这一步对整体性能至关重要。
同数据服务 chunks 向量化一样，采用同一个 embedding 模型对用户问题进行向量化。
将用户问题，筛选出的 chunks 组装成 prompt，prompt 即为大模型的输入，整个 prompt 不超过大模型输入 tokens 长度的限制，以 openAI gpt-3.5-turbo 为例，输入 tokens 限制为 4096，假设每个 chunks 固定长度为400，不考虑 prompt 不变字符串的长度，gpt-3.5-turbo 最多可以放 10 个 chunks 进行 in-context 学习。
在用户问题与 chunks 经同一 embedding 模型将 text 转为向量：
问答系统使用了 LLM in-context 的推理能力，将筛选出来的若干个 chunks 传给大模型，让大模型基于这些 chunks 来回答用户问题，有个限制是整个 prompt 的 tokens 长度不要超过 LLM 输入 tokens 限制，不然 GPU 会报 OOM。LLM in-context 的推理能力本质是其在阅读理解，因此，选择问答系统的 LLM 需要重点关注其在阅读理解任务上的性能，好的 LLM 可以非常精准的从一组 chunks 中寻找并总结出用户 query 对应的答案。
将上述各功能模块的逻辑串联一起，从整体的视角观察一下 langchain + 大模型做问答系统整个方案的实践。
LLM 需要上游提供一些语料 chunks，结合 chunks、用户query、自身阅读理解能力完成知识问答。对问答准确率影响最大的因素是 chunks 的质量（是否包含正确答案），LLM 自身阅读理解能力。同时， LLM 输入 token 长度限制导致 prompt 中 chunks 的数量有一定约束，原则上，chunks 数量越多，包含正确答案的概率越大，同时也导致模型的推理速度变慢。
LLM 上游主要目的是召回出候选的 chunks，常规方案使用的是 embedding 处理召回任务的能力，对于一步召回直接注入到 prompt（无精排逻辑），假如传给 LLM prompt k 个 chunks，那么对于召回来说，只需要相似性算法倒序排序前 k 个 chunk 中包含正确答案即可，即关注 embedding 在召回任务中 TopK 的准确率。
综上所属，常规方案中对智能问答系统准确率影响最大的几个因素如下：
1、embedding 在 Retrieval 任务中 TopK 的准确率 （受 embedding 模型自身能力、Retrieval 算法、K等三个因素影响）
2、K 的大小，K 原则越大越好，但是 LLM 的 tokens 限制导致 K 由不能太大。
（上述 1、2 的都是为了从数据库海量 chunks 中选择出包含正确答案的 chunks）
3、LLM 自身阅读理解与总结推理能力。
为什么 langchain + openAI 全家桶准确率特别高，换成开源 LLM 性能下降很多？
使用 openAI 全家桶构建智能问答系统必用两个能力：openAI 的 embedding 与 gpt-3.5-turbo 模型。
图 2 huggingface embedding benchmark 中 openAI 发布的 text-embedding-ada-002 （2021/09 ）最大输入 tokens 限制是 8191，输出维度是 1536，在 Retrieval 中 top1 的准确率是 49.25%。这组数据表明 openAI embedding 模型具有非常棒的语义表达能力，能够非常好的将问题、答案映射到相近的语义向量空间中，可以说该 embedding 模型是业界最强的映射 QA 能力的模型。
openAI 的商用模型 gpt-3.5-turbo 输入 tokens 限制为 4096，如果切片每个 chunks 长度为 400，embedding 可以召回近 10 个候选 chunks，即 text-embedding-ada-002 模型 top10 的准确率即可近似为问答系统的整体准确率（做信息流推荐召回排序的同学应该了解，top1 准确率接近50%，top10 的准确率会很惊人），而 gpt-3.5-turbo 自身的阅读理解也高出开源 LLM 一个水平，能够精准的从所有的 chunks 中找到准确答案。
综上: openAI 全家桶中 embedding 在 Retrieval 任务的高性能、gpt-3.5-turbo 的阅读理解能力，输入 tokens 够长等三个重要因素，是常规基于 langchain + openAI 做智能问答系统，用用户问题向量与语料内容向量进行相似性计算并直接召回给 prompt，最终能够取得非常好效果的重要原因。
openAI embedding 与 gpt-3.5-turbo 强劲性能掩盖了一些问题，这些问题在基于开源 LLM 做自研问答系统时被暴露，直接导致开源 LLM 方案性能下降。
openAI 全家桶与开源 LLM 方案的对比如下：
在 Retrieval 任务的语义关联映射上，openAI 的 embedding 模型能力远高于开源 LLM（15 个百分点以上）；LLM token 的限制，导致采用 openAI 召回的 chunks 数量比开源 LLM 多一倍；同时在阅读理解能力上，gpt-3.5-turbo 能够非常好的从一系列 chunks 中找到并总结出最佳答案，而开源 LLM 在这方面能力稍微逊色一些。综上，选择目前开源最好的组合方案：llama 的 vicuna13B 与中文领域开源最好的 embedding 模型 GanymedeNil/text2vec-large-chinese · Hugging Face，采用常规的 langchain + openAI 技术框架，性能会下降很多。
通过全文分析，总结出开源 LLM 大模型在 openAI + langchain 通用的技术方案下，性能不佳的原因主要如下：
洞悉问题是进步的第一步，本文重点从 embedding 与 LLM 两个角度来剖析 langchain + 开源大模型搭建智能问答系统性能下降的原因，下篇也将从这两个角度逐步分析如何基于 lanchain + 开源大模型搭建高性能智能问答系统。
引文
本文由微信公众号腾讯技术工程原创，哈喽比特收录。
文章来源：https://mp.weixin.qq.com/s/r3eudkgXxXi7Qk36PGdAow
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而，京东官方通过微博发言人发布的消息澄清了这些传言，称这些言论纯属虚假信息和蓄意捏造。
日前，据博主“@超能数码君老周”爆料，国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道，荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦（ASML）CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候，抖音悄然上线了一款名为“青桃”的 App，Slogan 为“看见你的热爱”，根据应用介绍可知，“青桃”是一个属于年轻人的兴趣知识视频平台，由抖音官方出品的中长视频关联版本，整体风格有些类似B站。
日前，威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”，同时，他发文表示：中国汽车普及率低于非洲国家尼日利亚，每百户家庭仅17户有车。意大利世界排名第一，每十户中九户有车。
近日，一项新的研究发现，维生素 C 和 E 等抗氧化剂会激活一种机制，刺激癌症肿瘤中新血管的生长，帮助它们生长和扩散。
据媒体援引消息人士报道，苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后，3D系统一度大涨超10%，不过截至周三收盘，该股涨幅回落至2%以内。
9月2日，坐拥千万粉丝的网红主播“秀才”账号被封禁，在社交媒体平台上引发热议。平台相关负责人表示，“秀才”账号违反平台相关规定，已封禁。据知情人士透露，秀才近期被举报存在违法行为，这可能是他被封禁的部分原因。据悉，“秀才”年龄39岁，是安徽省亳州市蒙城县人，抖音网红，粉丝数量超1200万。他曾被称为“中老年...
9月3日消息，亚马逊的一些股东，包括持有该公司股票的一家养老基金，日前对亚马逊、其创始人贝索斯和其董事会提起诉讼，指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息，为推广自家应用，苹果现推出了一个名为“Apps by Apple”的网站，展示了苹果为旗下产品（如 iPhone、iPad、Apple Watch、Mac 和 Apple TV）开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价，引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金（Future Fund）管理合伙人加里·布莱克发帖称，降价是一种“短期麻醉剂”，会让潜在客户等待进一步降价。
据外媒9月2日报道，荷兰半导体设备制造商阿斯麦称，尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效，但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日，根据美国证券交易委员会的文件显示，苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元（约 4.65 亿元人民币）。用于在 2023-2025 年期间，发射卫星，进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道，马斯克旗下社交平台𝕏（推特）日前调整了隐私政策，允许 𝕏 使用用户发布的信息来训练其人工智能（AI）模型。新的隐私政策将于 9 月 29 日生效。新政策规定，𝕏可能会使用所收集到的平台信息和公开可用的信息，来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日，荣耀CEO赵明在采访中谈及华为手机回归时表示，替老同事们高兴，觉得手机行业，由于华为的回归，让竞争充满了更多的可能性和更多的魅力，对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能（AI）系统，该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日，非营利组织纽约真菌学会（NYMS）发出警告，表示亚马逊为代表的电商平台上，充斥着各种AI生成的蘑菇觅食科普书籍，其中存在诸多错误。
社交媒体平台𝕏（原推特）新隐私政策提到：“在您同意的情况下，我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上，各大企业都带来了最新的理念和产品，而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品，具体内容为：“以我对我‘子公司’的了解，我认为 iPhone 15 跟 iPhone 14 不会有什么区别的，除了序（列）号变了，这个‘不要脸’的东西，这个‘臭厨子’。
