在 Google Colab試 run HuggingFace 模型 - 評估記憶体耗用

因為每次呼叫 HaggingFace API取得資料時，有可能 model 沒有載入，所以會有一小段時間讓 HaggingFace API 載入 model後才可以使用，所以想在 NAS 用 docker 使用 model 並建立 API可以立即使用，但 NAS的記憶體只有小小的幾 G怕無法負載，先在 Colab 跑程式碼看看，參考 https://www.sbert.net/ 執行程式碼，測試結果單一 model 約 3G，如果要再載入其他 model 可能也要 1G以上，看來可能要找其他環境。

 

MongoDB Vecotor Search - 原廠研討會分享

 MongoDB Atlas 解鎖 GenAI 應用服務 研討會 投影片   影片

 我在會議上有問三個問題

1.如果是用在 Q & A，是 Q轉成 vector or A轉成 vector或是兩者

2.在網路上爬到的文章如果轉成 vector ，是否有前置作業可以讓 vector search的精準度提高

3.中文文章是否要先分詞

 

MongoDB C# Driver 2.22版可以支援 Atlas Vector Search

使用方式如下

collection.Aggregate().VectorSearch(vectorField1,embededFloatArrary,limit,searchOption); 

建議可以先在 Atlas官網上測試所建立的 vector欄位和 Index可成功執行 vector search

參考 How to Do Semantic Search in MongoDB Using Atlas Vector Search去試試向量搜尋 ，這篇文章也包含如何申請一個免費的環境可以使用，只能說 MongoDB在教學資訊及環境上都提供友善方式讓使用者學習

 20240620 取得 vector 的方式由 HuggingFace API改為 OpenAI API，目前覺得中文搜尋結果會比較好 。