Pinecone與Cohere搭建RAG向量資料庫

type
status
date
slug
summary
tags
category
icon
password
📖
RAG是通過能從外部知識庫搜尋相關資訊，生成更準確的回應，有效克服LLM在新知識更新與資訊檢索上的短板。
看到現在熱門有關RAG(檢索增強生成)，正好來學習一下
notion image
簡單就是建立一個方便給LLM檢索資料的數據庫，目前主流是使用向量資料庫(Vector Database) 利用Sentence Transformers分析數據關係，通過語義相似性加快資料檢索
因為工作用的電筆沒有顯示卡，所以用的都是網上免費的服務資源:
  • 數據源:HelloGitHub 每月都會以markdown格式發佈有趣的開源項目
  • 應用框架:LangChain(Python) 包含了各種組件的接口和集成的LLM框架，Cohere和Pinecone也包含在內，之後也方便連接LLM
  • opencv-python 簡繁轉換套件
  • Pinecone 是一種專門用於存儲、管理和檢索向量資料的資料庫。它擅長處理大量高維度的向量資料，無論是文本、圖像還是音頻，都可以輕鬆應對。
    • 目前Pinecone有Free Tier可以免費存儲100,000 vectors記錄
  • Cohere AI一家提供自然語言處理解決方案的公司，其基於大型語言模型（LLMs）並使用檢索增強生成（RAG）技術。
    • Cohere 現在提供試用 API 金鑰，速率限制為每分鐘 100 次 API 調用

1.準備環境:

先在Pinecone 和Cohere AI註冊及取得 API 金鑰 之後在Pinecone建立index 1024大小的向量資料庫
notion image

2.載入數據:

注意要把cohere_api_key, pinecone_api_key改為自己的api_key
完成之後可以在Pinecone查看
notion image

3.查詢數據:

輸出結果:
notion image
上一篇
Docker Rclone搭建Webdav
下一篇
Intel M10 16G 用途分享及實用ISO推薦
Loading...