OpenAI API 使用 Model GPT-4o無法像官網 一樣取得即時資料

最近在使用官網 ChatGPT問問題時發現 Model GPT-4o 可以依據問題判斷是不是需要最新的資訊進而即時搜尋外部網站後回覆整理過的摘要，當下除了感受到強大威力外，更高興的是可以應用在 API上，但使用後發現 API參數 model改為 gpt-40還是無法取得外部資訊，後來直接詢問確認需要額外自行處理。

這部份可能會使用 Google Search的 API取得資訊後顯示，或是把資訊再交給 OpenAI整理後再輸出。  

 

 

Ngrok 舊版無法再使用，改用 V3版本

6年前就一直使用 ngrok 在 docker，昨天發現我的服務無法使用，測試 API程式發現沒有問題，最後 restart ngrok container發現訊息顯示版本太舊了，只能用新版的 ，官方文件有提供如何使用 docker 佈署指令 及 Upgrading to ngrok Agent v3 的說明 

docker example (使用 docker ps 查看時可能看不到)

docker run -it -e NGROK_AUTHTOKEN=[your auth token] ngrok/ngrok:latest http https://localhost:5001 

 

基本上，使用免費版的每年都要更新一次新版本，可以在官網  version support policy上看到每個版本的資訊

在 Google Colab試 run HuggingFace 模型 - 評估記憶体耗用

因為每次呼叫 HaggingFace API取得資料時，有可能 model 沒有載入，所以會有一小段時間讓 HaggingFace API 載入 model後才可以使用，所以想在 NAS 用 docker 使用 model 並建立 API可以立即使用，但 NAS的記憶體只有小小的幾 G怕無法負載，先在 Colab 跑程式碼看看，參考 https://www.sbert.net/ 執行程式碼，測試結果單一 model 約 3G，如果要再載入其他 model 可能也要 1G以上，看來可能要找其他環境。

 

MongoDB Vecotor Search - 原廠研討會分享

 MongoDB Atlas 解鎖 GenAI 應用服務 研討會 投影片   影片

 我在會議上有問三個問題

1.如果是用在 Q & A，是 Q轉成 vector or A轉成 vector或是兩者

2.在網路上爬到的文章如果轉成 vector ，是否有前置作業可以讓 vector search的精準度提高

3.中文文章是否要先分詞

 

MongoDB C# Driver 2.22版可以支援 Atlas Vector Search

使用方式如下

collection.Aggregate().VectorSearch(vectorField1,embededFloatArrary,limit,searchOption); 

建議可以先在 Atlas官網上測試所建立的 vector欄位和 Index可成功執行 vector search

參考 How to Do Semantic Search in MongoDB Using Atlas Vector Search去試試向量搜尋 ，這篇文章也包含如何申請一個免費的環境可以使用，只能說 MongoDB在教學資訊及環境上都提供友善方式讓使用者學習

 20240620 取得 vector 的方式由 HuggingFace API改為 OpenAI API，目前覺得中文搜尋結果會比較好 。

文章太長是不是對於 vector search 的準確度下降 - ChatGPT 回答

最近在試 Mongodb Atlas vector search，發現爬回來的文章轉成 embedded vector 後查詢的準確度一直很差，在網路找了文章又學到了一些東西，知道要開始找 chunk的 lib去分割文章再去轉換成 vector 

針對這個問題，直接問 ChatGPT，他的回答如下

文章太長對於向量檢索的準確度可能會產生一些影響，具體的影響取決於所使用的模型、文本的內容以及檢索的任務。以下是一些可能的影響：

我的 Line Bot 6歲了

 

寫 Line Bot 可以學到很多技術，讓我成長不少，資料的交換，程式的更新/佈署，資料庫的選擇及 Line 顯示方式，Open AI API串接等

當初寫了 2個 bot ，一個是分機查詢，另一個就是我的小鹿了，多年下班時間的付出讓功能一直改進、增加，增加功能的同時，也在網路上獲得許多先進不吝嗇分享寶貴知識、看法，讓我這個低能力的韭菜也可以慢慢的成長，有更多知識吸收，吸收愈多就會再把它轉成有用的功能

6年下來讓我的心靈和實體方面都有成長，雖然離目標還有一大段，希望我的小鹿頭好壯壯，持續變強讓我快速找到好標的讓基礎持續變大，每年有 5%以上。 感恩。