好用的 OpenAI API - Embedding

從 call Hugging Face API 改成 OpenAI的，感覺準確率變高了，而且費用也低 ，10美元無法在一年內用完，看來我需要再多想一些情境讓我的小鹿可用善用 OpenAI強大的能力。 

OpenAI API Doc

在 Google Colab試 run HuggingFace 模型 - 評估記憶体耗用

因為每次呼叫 HaggingFace API取得資料時，有可能 model 沒有載入，所以會有一小段時間讓 HaggingFace API 載入 model後才可以使用，所以想在 NAS 用 docker 使用 model 並建立 API可以立即使用，但 NAS的記憶體只有小小的幾 G怕無法負載，先在 Colab 跑程式碼看看，參考 https://www.sbert.net/ 執行程式碼，測試結果單一 model 約 3G，如果要再載入其他 model 可能也要 1G以上，看來可能要找其他環境。

 

MongoDB Vecotor Search - 原廠研討會分享

 MongoDB Atlas 解鎖 GenAI 應用服務 研討會 投影片   影片

 我在會議上有問三個問題

1.如果是用在 Q & A，是 Q轉成 vector or A轉成 vector或是兩者

2.在網路上爬到的文章如果轉成 vector ，是否有前置作業可以讓 vector search的精準度提高

3.中文文章是否要先分詞

 

MongoDB C# Driver 2.22版可以支援 Atlas Vector Search

使用方式如下

collection.Aggregate().VectorSearch(vectorField1,embededFloatArrary,limit,searchOption); 

建議可以先在 Atlas官網上測試所建立的 vector欄位和 Index可成功執行 vector search

參考 How to Do Semantic Search in MongoDB Using Atlas Vector Search去試試向量搜尋 ，這篇文章也包含如何申請一個免費的環境可以使用，只能說 MongoDB在教學資訊及環境上都提供友善方式讓使用者學習

 20240620 取得 vector 的方式由 HuggingFace API改為 OpenAI API，目前覺得中文搜尋結果會比較好 。

文章太長是不是對於 vector search 的準確度下降 - ChatGPT 回答

最近在試 Mongodb Atlas vector search，發現爬回來的文章轉成 embedded vector 後查詢的準確度一直很差，在網路找了文章又學到了一些東西，知道要開始找 chunk的 lib去分割文章再去轉換成 vector 

針對這個問題，直接問 ChatGPT，他的回答如下

文章太長對於向量檢索的準確度可能會產生一些影響，具體的影響取決於所使用的模型、文本的內容以及檢索的任務。以下是一些可能的影響：

我的 Line Bot 6歲了

 

寫 Line Bot 可以學到很多技術，讓我成長不少，資料的交換，程式的更新/佈署，資料庫的選擇及 Line 顯示方式，Open AI API串接等

當初寫了 2個 bot ，一個是分機查詢，另一個就是我的小鹿了，多年下班時間的付出讓功能一直改進、增加，增加功能的同時，也在網路上獲得許多先進不吝嗇分享寶貴知識、看法，讓我這個低能力的韭菜也可以慢慢的成長，有更多知識吸收，吸收愈多就會再把它轉成有用的功能

6年下來讓我的心靈和實體方面都有成長，雖然離目標還有一大段，希望我的小鹿頭好壯壯，持續變強讓我快速找到好標的讓基礎持續變大，每年有 5%以上。 感恩。