2024年1月9日 星期二

在 Google Colab試 run HuggingFace 模型 - 評估記憶体耗用

因為每次呼叫 HaggingFace API取得資料時,有可能 model 沒有載入,所以會有一小段時間讓 HaggingFace API 載入 model後才可以使用,所以想在 NAS 用 docker 使用 model 並建立 API可以立即使用,但 NAS的記憶體只有小小的幾 G怕無法負載,先在 Colab 跑程式碼看看,參考 https://www.sbert.net/ 執行程式碼,測試結果單一 model 約 3G,如果要再載入其他 model 可能也要 1G以上,看來可能要找其他環境。