切分
標題感知的 Markdown 切分器走訪 CommonMark AST,保留程式區塊完整、以重疊切分長段落、合併過小片段。每個區塊保留標題路徑,讓檢索結果可循脈絡導航。
← 返回功能
知識層
給你的 AI 一份記憶,內容來自你的文字
MarkNest 裡的每份文件都被切分為標題感知的區塊,以 OpenAI text-embedding-3-small 嵌入向量並索引於 pgvector。你的 AI 助理能取出精準段落,而非憑猜測。
marknest_search_chunks
{
"query": "pgvector HNSW index",
"limit": 5
} 200 OK · hit[0] 檢索
{
"id": "01J..chunk",
"document_id": "01J..doc",
"document_title": "Roadmap 11",
"document_slug": "roadmap-11",
"heading_path": "Roadmap 11 > pgvector chunking",
"text": "HNSW index for cosine similarity over 1536-dim
embeddings, tuned for recall at low cardinality...",
"score": 0.91,
"source": "vector"
}切分、嵌入、檢索
三階段管線將 Markdown 轉成可檢索的知識庫。每個階段皆可觀察、靜態加密且具冪等性。
嵌入
每個區塊以 OpenAI text-embedding-3-small(1536 維,不降維)嵌入向量,寫入 pgvector 並建 HNSW 索引。區塊文字維持 AES-256 靜態加密,只有向量為明文。
檢索
混合檢索同時跑向量腿(pgvector cosine,top-40)與關鍵字腿(Meilisearch,top-20),再以 Reciprocal Rank Fusion(k=60)融合。結果是帶分數與來源標註的區塊級命中。
為檢索而生,不為對話
MarkNest 是知識層 — 你的 AI 應用負責對話。我們透過 REST 與 MCP 暴露檢索脈絡,絕不代管 LLM。Token 花費只存在於你與模型供應商之間。
混合檢索
向量相似度抓住語意命中;關鍵字檢索抓住精確詞彙。RRF 融合兩者,讓搜「HNSW index」能找到真正寫著「HNSW 索引用於 cosine 相似度」的區塊。
區塊級檢索
POST /api/v1/search/semantic 回傳命中含 excerpt、標題路徑、文件、分數與來源(vector / keyword / both)。GET /api/v1/documents/{doc}/chunks/{chunk} 依 id 取單一區塊。
兩個 MCP 工具
marknest_search_chunks 與 marknest_get_chunk,由 API 金鑰的 rag:read 權限把關。可直接放入任何支援 MCP 的助理。
額度可控
每日查詢與每月嵌入 token 額度讓用量可預測,隨時可查 /api/me/rag-usage。部分配額:嵌入額度不足時只嵌能嵌的,其餘保持 pending。