实现terminalcode和文件交互

llm_server/start_rag_server.sh

@@ -3,7 +3,7 @@ set -euo pipefail
 
 # 自动获取脚本所在目录
 SCRIPT_DIR="$(cd -- "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
-VENV_DIR="${VENV_DIR:-${SCRIPT_DIR}/.venv_audio}"
+VENV_DIR="${VENV_DIR:-${SCRIPT_DIR}/myvenv}"
 HOST_PORT="${HOST_PORT:-8903}"
 
 # 激活虚拟环境
@@ -28,7 +28,10 @@ export TRANSFORMERS_OFFLINE=1
 
 # 指定 modelscope 的缓存目录（如果你的模型保存在此路径下）
 # 根据你的下载路径调整，或将其设置为环境变量覆盖
-export MODELSCOPE_CACHE="${MODELSCOPE_CACHE:-/home/admin/minor_agent/modelscope}"
+export MODELSCOPE_CACHE="${MODELSCOPE_CACHE:-${SCRIPT_DIR}/models}"
+
+# 固定使用 GPU 0（多 GPU 服务器上所有模型共用一张卡）
+export CUDA_VISIBLE_DEVICES=3
 
 # 启动 FastAPI 服务
 uvicorn rag_server:app \