模型触发速率限制时会发生什么？自动 Fallback 详解

免费 AI 模型很好用——直到它们不好用的那一刻：某个提供商在任务进行到一半时对你限流，返回 5xx 错误，或者干脆悄无声息地不再响应。如果你通过单一提供商的应用使用单一模型，那你这个下午的工作就到此为止了。GatifyAI 的设计前提就是：这种情况会经常发生，而且它会在不需要你做任何事的情况下自动处理。

故障不是小概率事件——而是默认假设

因为 GatifyAI 使用的是免费层级的模型，而免费层级正是提供商在高负载下第一个限流的对象，所以把故障当作边缘情况来处理只会造出一个脆弱的产品。因此，每一次模型调用都被包裹在一个重试与 fallback 的流程中：

对故障分类。 超时、429（触发限流）、5xx 或完全没有响应，都被视为可重试。其他 4xx 错误（比如请求本身有问题）则不可重试——重试只会因为同样的原因再次失败。
先重试同一个模型。 如果故障看起来是暂时的，GatifyAI 会用很短的等待时间对同一个模型最多重试两次，然后才放弃它。大多数限流小故障在一两次重试后就能解决。
切换到下一个健康的模型。 只有在重试次数用尽之后，GatifyAI 才会切换到另一个模型——在对话进行中切换，你的完整消息历史都会保留。

你始终知道发生了什么

“无形”只是指对你的工作流程无形，而不是对你本人隐瞒。界面会区分这两种状态：当 GatifyAI 仍在尝试当前模型时显示“正在重试…”，当即将切换到备用模型时显示“正在切换到另一个模型…”。一旦真正发生了切换，对话中会出现一条小提示“已切换到 [模型]”，所以到底是哪个模型作答，从不神秘。

Fallback 不会重置你的对话

这是最关键的部分：在对话中途切换模型并不是开启一个新聊天。接手对话的模型会得到相同的历史记录、相同的附件，以及——如果你已登录——GatifyAI 已经积累的对你偏好的相同记忆。从你的角度看，只是这次回复稍微多花了一点时间而已。

看得见的可靠性

重试和 fallback 不仅仅是在后台悄悄处理——GatifyAI 还会为每个模型追踪滚动 7 天的成功率和平均延迟，并直接显示在模型选择器里。如果某个模型最近不太稳定，你会在选择它之前就看到，而不是等它让你失望之后才知道。

小结

你不应该还得亲自盯着哪个 AI 提供商今天状态不好。GatifyAI 把提供商的不稳定当作常态而非例外来处理，所以一次限流或宕机只是一个你可能都不会注意到的小插曲，而不是一场必须从头再来的对话。