公平共享如何运作
每个请求都运行在 ReadyServer VPS 客户共享的推理算力上。我们不按 token 计费,而是共享该算力,以免单一的高负载挤占其他所有人。
当服务繁忙时,请求会排队,使用 token 较少的客户将被优先处理。
使用限制
每个请求受模型上下文长度的限制(其中包含输出部分):qwen3.6-27b 为 131,072 个 token,qwen3.8-27b 为 262,144 个 token。详见模型页面。
服务繁忙时
请求会在队列中等待,因此响应开始的时间可能更长。使用 token 较少的客户将被优先处理。
- 将客户端超时设置得足够长,以便在队列中等待,并使用流式响应。
- 不要对仅仅是响应较慢的请求进行重试:重试只会让队列更长。
- 如果收到
5xx错误,请使用指数退避策略重试。详见重试与超时。
可接受的使用方式
- 仅将该 API 用于运行在你自己的 ReadyServer VPS 上的工作负载。
- 不得转售该 API 的访问权限,也不得将端点暴露到公共互联网,例如通过公开的反向代理。
- 不得使用该 API 生成违法内容、垃圾信息、恶意软件或骚扰他人的内容。
- 不得进行旨在使服务饱和的压力测试或基准测试。
- 请遵守你所使用模型的许可条款。
- ReadyServer 的服务条款同样适用。
做一个好邻居
使用更少的 token,也会让你在服务繁忙时排在队列更靠前的位置。
- 设置
max_tokens。在取得所需内容后即停止的请求能更快释放算力。 - 仅在确有帮助时使用思考模式。使用
qwen3.8-27b时,对简单任务可降低推理强度或关闭思考,也可以改用qwen3.6-27b。 - 使用流式响应。你的用户可以立即看到输出,并且在答案已经足够好时可以提前停止。
- 限制并发请求数。对于批处理任务,请以较小且固定的并发量处理。
- 缓存结果。不要重复生成已经计算过的答案。
违规处理
如果某个工作负载影响到其他客户,我们可能会对其限速或与你联系。反复或严重的滥用可能导致 API 访问权限被暂停。
疑问
如果你对本政策有疑问,或某个项目需要更多算力,请联系 ReadyServer。