安裝配置

  企業GPT是使用愛招飛軟件開發製作的工具模板。所有的管理配置頁面均使用愛招飛的網頁開發工具 FastWeb (opens new window) 製作。

  企業GPT為模板，使用模板需安裝前置的開發環境，列表如下：

環境需求	說明
FastWeb (opens new window)	設備最佳運行效益頁面

1. 基礎環境配置

  企業GPT基礎環境包括資料庫、FastWeb服務端。請按照以下順序進行設定安裝。

1.1. 資料庫匯入

  資料庫環境使用 FastWeb的示例資料庫 demo，預設資料庫示例中已包含相關表結構。需提前設定安裝資料庫管理系統 (opens new window)與示例數據匯入 (opens new window)，使用DB_Install匯入時產品名稱請選擇 demo。安裝完成 demo 后，再選擇產品名稱 Frame 進行安裝。

1.2. FastWeb 設定

  FastWeb 是 WEB 服務端，提供 WebSocket 連線的支援。軌跡追蹤的網頁模板來源於 FastWeb 的 IsoBean。FastWeb 的安裝請參考 FastWeb安裝配置 (opens new window)。FastWeb中提供了相關的支援。

  如果您完全按照安裝資料庫管理系統 (opens new window)的方式進行安裝，則可直接運行 FastWeb；如果您在安裝資料庫管理系統的過程中自行指定了其他使用者名稱密碼，則在安裝完成後，打開安裝目錄下的 ConfigTool.exe ，修改框架資料庫中的數據源為資料庫伺服器地址，同時修改使用者名稱、密碼資訊。

  FastWeb 使用的 demo 資料庫通過 Node節點資料庫 (opens new window) 連線，如果您完全按照安裝資料庫管理系統 (opens new window)的方式進行安裝，此處不需要進行修改，如果您在安裝資料庫管理系統時自行指定了其他使用者名稱與密碼資訊，請修改節點資料庫中 demo 的連線資訊，需要修改的專案為資料庫伺服器地址，使用者名稱、密碼資訊。其中的 連線設定 可通過雙擊編輯框進行修改。

  雙擊 連線設定 編輯框，打開 資料庫連線設定 對話方塊，根據實際情況修改 User_Name(使用者名稱)、Password(密碼) 與 Server(伺服器地址) ，修改完成後，可點選 [測試] 按鈕測試確認連線設定是否填寫正確，填寫確認無誤后，點選 [OK] 按鈕返回修改資料庫節點對話方塊，點選 [儲存] 按鈕儲存。

2. 企業GPT服務端設定

  企業GPT服務端僅支援在Linux 系統中運行，本系統在Debian12 中已經過運行驗證。企業GPT運行有最低需求限制，具體要求如下：

需求格式	語言模型服務	企業GPT應用服務
顯示卡視訊記憶體	至少24GB	至少16GB
記憶體	至少32GB	至少32GB

2.1. 檔案說明

  企業GPT服務端的程式檔案使用網盤提供，請點選此處 (opens new window)打開網頁自行下載。檔名稱中包含的文字的說明如下：

檔名稱	說明
smegpt_gpt_bot	語音識別、語音合成、WeChat、Line、企業GPT服務
smegpt_llm	LLM(大語言模型API)、訓練服務

  以下是企業GPT服務的運行架構示意圖。

  以下是大語言模型運行的示意圖。

2.2. 基礎環境配置

  以下以Debian 12為例，說明基礎環境的配置方式。

  使用以下命令安裝基礎運行環境。

# 安裝CUDA運行環境
sudo apt install nvidia-driver
# 安裝CUDA 開發套件
sudo apt install nvidia-cuda-toolkit
# 安裝音訊相關元件
sudo apt install ffmpeg libavcodec-extra
# 安裝版本管理系統
sudo apt install git git-lfs
# 初始化版本管理環境
git lfs install

2.3. 合成壓縮包

  下載的部分服務的壓縮包以分卷形式儲存，需要使用命令列合成完整的壓縮包。

2.3.1. 合成企業GPT服務壓縮包

  驗證壓縮包完整性。將計算得到的數值與 smegpt_gpt_bot.tar.gz.md5 中的結果進行比較，如果不一致，說明獲取的檔案已損壞，請您重新獲取原始檔。

md5sum smegpt_gpt_bot.tar.gz*

  使用以下命令將分卷壓縮的檔案合成為完整的壓縮檔案。

cat smegpt_gpt_bot.tar.gz* > smegpt_gpt_bot.tar.gz

  解壓縮檔案。

tar zxvf smegpt_gpt_bot.tar.gz

  解壓縮后的程式檔案位於 smegpt_gpt_bot 目錄中。

2.3.2. 合成大語言模型服務

  驗證壓縮包完整性。將計算得到的數值與 smegpt_llm.md5 中的結果進行比較，如果不一致，說明獲取的檔案已損壞，請您重新獲取原始檔。

md5sum smegpt_llm.tar.gz*

  使用以下命令將分卷壓縮的檔案合成為完整的壓縮檔案。

cat smegpt_llm.tar.gz* > smegpt_llm.tar.gz

  解壓縮檔案。

tar zxvf smegpt_llm.tar.gz

  解壓縮后的程式檔案位於 smegpt_llm 目錄中。

2.4. 合併專案

  根據您使用的模組，將上述資料夾下的檔案放置於同一資料夾中(比如 smegpt)，部分檔案會提示名稱重複，可忽略並繼續操作。

2.5. 安裝基礎環境

  執行安裝包中的運行指令碼 init_conda.sh，初始化運行環境。

sh ./init_conda.sh

2.6. 檢查設定

  設定項位於 config.ini 檔案中。根據您實際使用模組的情況配置對應的設定項。

2.6.1. 基礎設定

  請在config.ini 中找到相關的設定，並修改爲實際使用的地址。

[LLM]
# 語言模型的基礎設定
# 設定自定義的模型API地址，如果使用本地模型API，則需要設定這些專案
OPENAI_API_BASE = http://192.168.0.231:8000/v1
# 設定OpenAI API Key,如不使用OpenAI 的 API，此項可任意填寫
OPENAI_API_KEY = BLUE
# 選擇使用的LLM 模型名稱
LLM_MODEL = gpt-3.5-turbo
# 是否選擇啟用本地model
LOCAL_MODEL = true

[FastWeb]
# FastWeb 相關設定，設定FastWeb HTTP服務地址
FASTWEB_URL = http://192.168.0.201:8803/

[WebSocket]
# WebSocket 連線設定，請設定為 FastWeb WebSocket 地址
WS_SERVER = ws://192.168.0.201:8805/message
# 主執行緒的運行id,請嚴格按照以下方式設定
# 如本服務作為語言模型服務以及微調訓練服務使用，請將 sid 設定為 main_llm
# 如本服務作為應用服務使用，請將 sid 設定為 main_websocket
# 如果在同一個伺服器中搭建，請將此專案複製為多個，分別運行
WS_MAIN_SID = main_websocket
WS_GPTBOT_SID = gpt_bot

[Application]
# 應用程式地址設定
# 如果 gpt bot app path 中沒有 py 字樣的內容，表示是以程式的方法啟動
GPT_BOT_APP_PATH = ./gpt_bot_main
# 設定是否自動啟動GPT_BOT 服務
GPT_BOT_AUTOSTART = True
GPT_BOT_HOST = 0.0.0.0
GPT_BOT_PORT = 8100
GPT_BOT_REMOTE_SERVER = http://192.168.0.146:8100
# 如果 wechat app path 中沒有 py 字樣的內容，表示是以程式的方法啟動
WECHAT_BOT_APP_PATH = ./wechat_service
WECHAT_BOT_WORK_PATH = /
# 如果 line app path 中沒有 py 字樣的內容，表示是以程式的方法啟動
LINE_BOT_APP_PATH = ./line_service
LINE_BOT_WORK_PATH = /
FINE_TUNE_APP_PATH = ./train_bash
FINE_TUNE_WORK_PATH = /
EXPORT_MODEL_APP_PATH = ./export_model
EXPORT_MODEL_WORK_PATH = /
# 如果 voice app path 中沒有 py 字樣的內容，表示是以程式的方法啟動
VTTS_APP_PATH = ./voice_tts_service
# 是否自動啟動服務VTTS服務
VTTS_AUTOSTART = True
# LLM 服務應用目錄
llm_api_app_path = ./app
llm_api_work_path = /

2.7. 運行

  使用以下命令執行運行：

sh ./start.sh

  命令列輸入後會轉入後臺運行，命令列中不會出現任何提示，可在程式運行目錄 log/ 資料夾下檢視運行輸出的資訊。