实现terminalcode和文件交互

llm_server/start_asr.sh

@@ -3,8 +3,8 @@ set -euo pipefail
 
 # 自动获取脚本所在目录
 SCRIPT_DIR="$(cd -- "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
-VENV_DIR="${SCRIPT_DIR}/.venv_audio"
-MODEL_DIR="${SCRIPT_DIR}/modelscope/models/Qwen/Qwen3-ASR-1.7B"
+VENV_DIR="${SCRIPT_DIR}/myvenv"
+MODEL_DIR="${SCRIPT_DIR}/models/Qwen/Qwen3-ASR-1.7B"
 HOST_PORT="${HOST_PORT:-8901}"
 
 # 激活虚拟环境
@@ -26,10 +26,13 @@ cd "${SCRIPT_DIR}"
 export VLLM_USE_MODELSCOPE=true
 export MODELSCOPE_DOWNLOAD_MODE=local
 export MODELSCOPE_HUB_ENABLE_FILE_CHECK=false
-export MODELSCOPE_CACHE="${SCRIPT_DIR}/modelscope"
+export MODELSCOPE_CACHE="${SCRIPT_DIR}/models"
 export HF_HUB_OFFLINE=1
 export TRANSFORMERS_OFFLINE=1
 
+# 固定使用 GPU 0（多 GPU 服务器上所有模型共用一张卡）
+export CUDA_VISIBLE_DEVICES=3
+
 # 启动 vLLM 服务
 vllm serve "${MODEL_DIR}" \
   --port "${HOST_PORT}" \
@@ -40,5 +43,5 @@ vllm serve "${MODEL_DIR}" \
   --max-model-len 16384 \
   --allowed-local-media-path / \
   --tensor-parallel-size 1 \
-  --gpu-memory-utilization 0.10 \
+  --gpu-memory-utilization 0.15 \
   --max-num-batched-tokens 4096