1.基础知识2.提示压缩在RAG流程中的位置?3.压缩方案from llama_index.indices.postprocessor import LongLLMLinguaPostprocessor node_postprocessor LongLLMLinguaPostprocessor( instruction_str根据上下文回答问题 ) contexts retriever.retrieve(question) compressed_contexts node_postprocessor.process(contexts)instruction_str是压缩指导方向可以根据场景调整# 强调保留关键实体 instruction_str 保留文档中的人名、日期和数字 # 任务导向压缩 instruction_str 根据问题提取相关事实 # 图文场景 instruction_str 压缩文本时保留与图片中logo相关的描述4.不做压缩可能会出现什么问题相关资源GitHub - microsoft/LLMLingua: [EMNLP23, ACL24] To speed up LLMs inference and enhance LLMs perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss. · GitHub5.追问 什么是提示压缩？RAG中如何提示压缩？
1.基础知识2.提示压缩在RAG流程中的位置?3.压缩方案from llama_index.indices.postprocessor import LongLLMLinguaPostprocessor node_postprocessor LongLLMLinguaPostprocessor( instruction_str根据上下文回答问题 ) contexts retriever.retrieve(question) compressed_contexts node_postprocessor.process(contexts)instruction_str是压缩指导方向可以根据场景调整# 强调保留关键实体 instruction_str 保留文档中的人名、日期和数字 # 任务导向压缩 instruction_str 根据问题提取相关事实 # 图文场景 instruction_str 压缩文本时保留与图片中logo相关的描述4.不做压缩可能会出现什么问题相关资源GitHub - microsoft/LLMLingua: [EMNLP23, ACL24] To speed up LLMs inference and enhance LLMs perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss. · GitHub5.追问 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
