ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

MacOS 上跑通 SQLite-Vec 向量检索:从报错到可用的完整路径

MacOS 上跑通 SQLite-Vec 向量检索:从报错到可用的完整路径 MacOS 上跑通 SQLite-Vec 向量检索从报错到可用的完整路径【免费下载链接】sqlite-vecA vector search SQLite extension that runs anywhere!项目地址: https://gitcode.com/GitHub_Trending/sq/sqlite-vec终端里敲完.load一行红字弹了出来SQLITE_CANTOPEN: unable to open shared library。做 SQLite-Vec MacOS 扩展加载你大概率会撞上这一句。一次本地编译加两行路径配置向量检索就能跑起来。为什么在 Mac 上会卡住SQLite 向量检索扩展的三道坎MacOS 的系统完整性保护SIP锁住了系统目录扩展没法直接塞进系统自带的那份 SQLite 里。所以正确姿势是在用户能写的目录下自己编译一个.dylib运行时再按路径加载而不是试图安装到系统里。Homebrew 装的 SQLite 与/usr/bin下系统自带的版本往往不是同一份头文件新旧不一、接口行为有差异。版本对不上时常见表现就是加载时报格式不支持、或函数找不到的怪异错误。macOS 的动态加载只认两条线索.load命令或load_extension()里写的显式路径以及DYLD_LIBRARY_PATH环境变量。任何一条指错地方——路径拼错、层级少了一层、变量没 export 到当前 shell——得到的都是那个熟悉的SQLITE_CANTOPEN。从零搭好 MacOS 编译 SQLite-Vec 的环境装好 Xcode CLI 与 Homebrew编译.dylib依赖 clang 工具链先装 Xcode 命令行工具xcode-select --installHomebrew 后面用来装新版 SQLite去官方站点 brew.sh 按提示安装即可装完用brew --version确认一下。拉取 SQLite-Vec 源码把仓库克隆到本地并进入目录git clone https://gitcode.com/GitHub_Trending/sq/sqlite-vec cd sqlite-vec编译并验证你的 .dylib ✅项目根目录的 Makefile 会自动识别 Darwin 系统并选用.dylib后缀还会根据你的芯片自动加 AVX 或 NEON 指令开关。先执行 scripts/vendor.sh 拉取一份较新的 SQLite amalgamation 头文件编译扩展需要sqlite3ext.h再编译./scripts/vendor.sh make loadable产物是dist/vec0.dylib——很多人习惯叫它 sqlite-vec.dylib在这个仓库里的实际文件名是vec0.dylib后面加载时别写混了。用file命令确认它和你的机器架构匹配file dist/vec0.dylibdist/vec0.dylib: Mach-O 64-bit dynamically linked shared library arm64arm64对应 Apple SiliconM 系列芯片机器x86_64对应 Intel 机器——你的 Mac 是哪颗芯片输出就应该是哪一个。如果编译时链接的是 Homebrew 那份 SQLite还可以加USE_BREW_SQLITE1参数让 Makefile 自动指向 Homebrew 的 include 和 lib 路径。把扩展接进你的工作流 终端里 30 秒验证打开 sqlite3 解释器加载扩展并查一下版本sqlite3sqlite .load ./dist/vec0 sqlite select vec_version(); 0.1.10-alpha.4.load里的路径是相对当前工作目录的所以要在仓库根目录下操作。能拿到版本号说明扩展已经挂进了连接。不想折腾系统 sqlite3 的话make all会顺带产出一个内置了扩展的dist/sqlite3可以直接用它做验证。命令行验证通过后下一步通常是把它固化进代码里让每个连接自动带上扩展。在 Python 中持久化加载最小可运行的加载逻辑只需要几行import sqlite3 conn sqlite3.connect(demo.db) conn.enable_load_extension(True) # 打开该连接加载第三方扩展的开关 conn.execute(SELECT load_extension(./dist/vec0)) print(conn.execute(SELECT vec_version()).fetchone())注意两点enable_load_extension是按连接生效的每次connect()之后都要重新打开load_extension里的相对路径也是相对 Python 进程的工作目录脚本挪位置时别漏了它。路径与版本sqlite-vec.dylib 加载失败的两个高频原因 ⚠️如果你看到SQLITE_CANTOPEN而 dylib 明明就躺在旁边多半是DYLD_LIBRARY_PATH配置没生效。在~/.zshrc末尾加两行让它指向你的编译产物目录# ~/.zshrc export DYLD_LIBRARY_PATH$HOME/sqlite-vec/dist:$DYLD_LIBRARY_PATH source ~/.zshrc新终端里跑一条命令确认配置已经生效echo $DYLD_LIBRARY_PATH输出里能看到 dist 的完整路径就没问题。顺带说明DYLD_*变量会被系统对受保护的二进制剥掉但普通用户态程序包括你自己编译的 sqlite3不受影响这条配置可以放心用。如果你看到的不是路径错误而是版本相关的SQLITE_ERROR或 unsupported file format说明系统自带 SQLite 太旧用 Homebrew 的版本顶掉它brew install sqlite export PATH/opt/homebrew/opt/sqlite/bin:$PATHIntel 机器把路径换成/usr/local/opt/sqlite/bin即可其余完全一样。让团队每个人都能一键跑起来在项目根目录放一个setup-vec.sh成员克隆仓库后执行bash setup-vec.sh就能拿到可用的扩展不用口头传授步骤#!/bin/bash ./scripts/vendor.sh make loadable export DYLD_LIBRARY_PATH$PWD/dist:$DYLD_LIBRARY_PATH把加载步骤写进项目 README新人入职第一天就能自己跑通不用靠猜来复现环境。dylib 固定在各项目自己的dist/目录下随项目走也能避免多项目共用一份全局路径、版本互相污染。下次再看到那行红字你已经有办法了编好 dylib指对路径向量检索照常跑起来。【免费下载链接】sqlite-vecA vector search SQLite extension that runs anywhere!项目地址: https://gitcode.com/GitHub_Trending/sq/sqlite-vec创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进