《搜索、探索、求索、Redis向量数据库》
演讲者：史磊，高级Redis架构师
Search, Explore, Search, Redis Vector Database
专题采访：ChatGPT 和 OpenAI 都在用的 Redis，是如何升级为向量数据库的？
采访简介：各行业的公司越来越认识到，制定数据驱动的决策是现在、未来 5 年、未来 20 年甚至更长时间内竞争的必要条件。数据增长（尤其是非结构化数据增长）达到了前所未有的水平，数据泛滥和人工智能时代已经来临。
这一现实隐含的是，人工智能可以对海量数据进行有意义的分类和处理——不仅对 Alphabet、Meta 和微软等拥有庞大研发业务和定制人工智能工具的科技巨头是这样，对普通企业甚至中小型企业而言也是如此。
精心设计的基于人工智能的应用程序可以极快地筛选极其庞大的数据集，以产生新的见解并最终推动新的收入来源，从而为企业创造真正的价值。但是，如果没有新出现的新事物——向量数据库，任何数据增长都无法真正实现可操作性和民主化。
随着大语言模型的爆火，向量数据库也成为了热门话题。只需几行简单的 Python 代码，向量数据库就可以充当大语言模型廉价但高效的“外部大脑”。但我们真的需要一个专门的向量数据库吗？向量数据库究竟是炒作还是刚需？听虹科云科技官方合作生态伙伴Redis高级架构师史磊聊一聊 Redis 向量数据库技术实践。
使用 AI 重新建构非结构化数据的搜索
Use AI to reimagine search
用户期望在遇到的每个应用程序和网站中提供搜索功能。然而，超过 80% 的业务数据是非结构化的，以文本、图像、音频、视频或其他格式存储。
组织需要重新构想使每种数据可发现的方法 – 其中最重要的是因为用户需要。强大的搜索功能将为下一代应用程序提供动力。
什么是向量数据库？
矢量数据库是一种以向量或数据点的数学表示形式存储数据的数据库 人工智能和机器学习使非结构化数据能够转换为捕获意义和上下文的数字表示（向量），这得益于自然语言处理和计算机视觉的进步。
矢量相似性搜索 （VSS） 是矢量数据库的关键功能。它是查找与向量数据库中给定查询向量相似的数据点的过程。常用的 VSS 用途包括推荐系统、图像和视频搜索、自然语言处理和异常检测。例如，如果构建推荐系统，则可以使用 VSS 查找（并建议）与用户以前表现出兴趣的产品类似的产品。
为什么VSS是向量数据库的关键组成部分？
传统的关键字匹配和过滤只能带您到此为止。普通的搜索算法对于文本和文档用例很有用，但当搜索结果不包含含义或上下文时，它们会受到限制。非结构化数据的激增在传统关键字匹配和过滤的有效性方面造成了巨大差距。每个存储非文本数据的组织（几乎是每个人）都可以从改进非结构化数据的搜索功能中受益。但直到最近，只有少数大型云原生科技公司拥有这种能力。
Redis向量数据库的优势
实时搜索性能
搜索和推荐系统必须运行得非常快。Redis 企业版中的 VSS 功能保证了低搜索延迟，无论数据收集是数万个还是数亿个对象，分布在多个数据库节点上。
内置容错和弹性
Redis 企业版使用无共享集群架构。它在所有级别都具有容错能力，可在进程级别、单个节点和跨基础架构可用性区域进行自动故障转移。Redis 企业版包括可调持久性和灾难恢复机制。
降低架构和应用程序复杂性
最有可能的是，您的组织已从 Redis Enterprise 中受益，以满足其缓存需求。开发人员可以像在 Redis 哈希或 JSON 对象中存储任何其他字段一样轻松地存储向量。
跨云和地理位置的灵活性
选择数据库的运行位置。Redis 企业版可以部署在任何位置、任何云平台、本地或多云或混合云架构中。
应用场景
检索增强（RAG）
Redis Enterprise 提供强大的混合语义功能，将相关上下文数据发送到 LLM 之前将其注入提示中，并存储特定于外部领域的知识以提高结果质量。
语义缓存
Redis 企业版可识别和检索在语义上与输入查询非常相似的缓存响应，从而大大减少响应时间和发送到 LLM 的请求数。
推荐系统
Redis 企业版帮助推荐引擎以低延迟向用户提供新鲜的相关建议。帮助您找到与购物者喜欢的产品相似的产品。
文档搜索
Redis Enterprise 使用自然语言和语义搜索，可以更轻松地从大型文档语料库中发现和检索信息。
客户案例
借助 Redis VSS，我们可以为客户提供矢量搜索，并确信它可靠且速度极快。与最初基于 Lucene 的实现相比，我们看到延迟改善了 80%。我们很高兴与值得信赖的品牌和团队合作，与企业的合作更加轻松。
我们的检索、转换和扩充平台严重依赖矢量数据库，将内部数据与强大的语言模型无缝集成，同时优先考虑数据安全性。在对多个矢量数据库提供商进行详尽评估后，Mantium 选择了 Redis，因为它具有卓越的性能和广泛的开发人员支持。Redis 提供的速度和成本优势简直无与伦比。
Docugami的用于商业文档的生成式AI需要令人难以置信的速度和效率，以实现我们的LLM和ML运营。通过 Redis Enterprise，我们看到了文档 XML 知识图谱编写性能的显著提高，以及 COGS 的显著降低。Redis 矢量数据库的集成使我们能够更有效地处理嵌入，在将长篇文档转换为客户数据时提高一致性和准确性。
我们的实时推荐器基础设施需要在几毫秒内搜索和更新矢量嵌入，为我们的社交和市场客户提供超快的体验。我们对市场上的所有产品进行了基准测试，Redis名列前茅。此外，它很容易通过一键式 Redis 企业云设置使用。
矢量相似性搜索功能
矢量索引算法
Redis 企业版以索引数据结构管理向量，实现智能相似性搜索，平衡搜索速度和搜索质量。根据您的数据和用例，从两种流行的技术中进行选择，即 FLAT（暴力破解方法）和 HNSW（更快、更近似的方法）。
矢量搜索距离指标
Redis 企业使用距离度量来衡量两个向量之间的相似性。从三个流行的指标（欧几里得、内积和余弦相似性）中进行选择，用于计算两个向量的“接近”或“远距离”。
强大的混合过滤
利用 Redis 企业查询和搜索中提供的全套搜索功能。通过将矢量相似性的强大功能与更传统的数字、文本和标签过滤器相结合，增强您的工作流程。将更多业务逻辑合并到查询中并简化客户端应用程序代码。
实时更新
实时搜索和推荐系统生成大量不断变化的数据。新图像、文本、产品或元数据？随着数据集随时间的变化，无缝地对搜索索引执行更新、插入和删除。Redis Enterprise 减少了数据停滞带来的代价高昂的影响。
矢量范围查询
传统的向量搜索是通过查找“前 K”个最相似的向量来执行的。Redis Enterprise 还支持在预定义的相似性范围或阈值内发现相关内容，并提供更灵活的搜索体验。
合作伙伴
相关资源
