openai模型响应很慢 Time: 54.3951s 2025-11-19 19:30:32,441 - agno - DEBUG - * Tokens pe...

错误翻译

原文：Tokens per second: 1.2869 tokens/s | Time to first token: 54.1245s
译文：每秒令牌数：1.2869 个令牌/秒 | 首个令牌响应时间：54.1245秒

原因分析

解决方案

1. 添加超时和重试机制

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
async def call_openai_with_timeout(prompt, timeout=30):
    try:
        response = await openai.ChatCompletion.acreate(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            timeout=timeout,
            request_timeout=timeout
        )
        return response
    except Exception as e:
        print(f"API调用失败: {e}")
        raise

2. 优化请求参数

# 减少响应长度，使用流式响应
response = await openai.ChatCompletion.acreate(
    model="gpt-3.5-turbo",
    messages=messages,
    max_tokens=500,  # 限制响应长度
    stream=True,     # 启用流式响应
    timeout=30
)

️ 预防措施

推荐工具：使用tenacity库实现自动重试，配合asyncio的超时控制来优化API调用体验。