ASR & LLM BYOK Setup: 极致弹性与厂商中立架构

CXMind 秉持厂商中立（Vendor-Neutral）的底层设计哲学，允许企业根据业务场景在成本、精度与合规性之间取得完美平衡。通过 BYOK 模式，您可以无缝组合第三方云服务与私有化部署模型。

ASR Connection Pool Architecture (语音识别连接池)

CXMind 的 Go 语言摄取引擎（Ingestion Engine）专为高并发语音流处理而生，核心在于其健壮的 WebSocket 复用机制。

• 毫秒级首字延迟 (TTFT): 引擎预先维护与上游提供商（Azure, Google, 腾讯云, Deepgram 等）的持久化连接池，规避了每通电话重新进行 TCP/TLS 握手的开销。

智能路由与负载均衡:

• Round-Robin Routing: PCM 音频流进入系统后，由健康检查（Ping-Pong 机制）筛选出的可用 TaskHandler 句柄进行分配。
• 并发复用: 单个 WebSocket 连接支持多达 10 路并发音频流多路复用，显著提升单节点支持的并发频道数。

弹性容灾:

• 指数退避重连: 当链路异常时，系统采用指数退避算法自动重建隧道。
• 本地缓冲区保护: 在重连期间，系统会短暂缓存音频片断，确保在链路恢复后数据不丢失，保障识别的完整性。

LLM 配置与模型路由网关

CXMind 的 LLM 适配层完全兼容 OpenAI API 规范，这使得接入新模型如同修改配置一样简单。

1. 混合部署模式 (Hybrid Deployment)

• 云端模型 (Cloud LLMs): 通过 API 接入 GPT-4o、Claude 3.5 或 Gemini 1.5 Pro，用于处理复杂的逻辑推理或多语言任务。
• 私有化模型 (Self-hosted): 针对高频、标准化的业务场景，支持通过 Ollama 或 vLLM 驱动的 Llama 3、DeepSeek 或 Qwen 内部节点。

2. BYOK 管理逻辑

• Key 组隔离: 支持为不同的项目或租户配置独立的 API Key，实现精确的账单统计与额度控制。

数据隐私与合规 (Data Privacy & Compliance)

BYOK 架构不仅是为了节省成本，更是为了满足不同地域的合规要求：

• 敏感数据拦截: 在将数据发送至公有云 LLM 之前，CXMind 支持在本地侧进行 PII（个人身份信息）脱敏处理。
• 本地回路: 对于涉密等级极高的通话，可强制指定仅使用本地 ASR（如 Faster-Whisper）与本地 LLM，数据全流程不落公网。