কোনো মডেল রেট লিমিটে পৌঁছালে কী হয়? স্বয়ংক্রিয় Fallback ব্যাখ্যা করা হলো

ফ্রি AI মডেল দুর্দান্ত, যতক্ষণ না সেগুলো আর দুর্দান্ত থাকে না — কোনো প্রদানকারী কাজের মাঝখানে আপনাকে রেট-লিমিট করে দেয়, একটি 5xx এরর ফেরত দেয়, অথবা চুপচাপ সাড়া দেওয়া বন্ধ করে দেয়। আপনি যদি একটি প্রদানকারীর অ্যাপের মাধ্যমে একটিমাত্র মডেল ব্যবহার করেন, ঠিক তখনই আপনার বিকেলটা থেমে যায়। GatifyAI এই ধারণা নিয়ে তৈরি যে এটা নিয়মিতই ঘটবে, এবং আপনাকে কিছু করতে না বলেই এটি সামলে নেয়।

এই ব্যর্থতা বিরল নয় — এটাই ডিফল্ট ধারণা

যেহেতু GatifyAI ফ্রি-টিয়ার মডেল ব্যবহার করে, এবং লোডের সময় প্রদানকারীরা প্রথমেই ফ্রি টিয়ার সীমিত করে দেয়, তাই ব্যর্থতাকে একটি ব্যতিক্রমী ঘটনা হিসেবে ধরে নিলে একটি ভঙ্গুর প্রোডাক্ট তৈরি হবে। তাই প্রতিটি মডেল কলকে একটি রিট্রাই-ও-fallback পাইপলাইনে মোড়ানো হয়:

1. ব্যর্থতা শ্রেণীবদ্ধ করুন। টাইমআউট, 429 (রেট-লিমিটেড), 5xx, অথবা একেবারেই কোনো সাড়া না পাওয়াকে পুনরায় চেষ্টাযোগ্য হিসেবে গণ্য করা হয়। অন্যান্য 4xx এরর (যেমন একটি খারাপ রিকোয়েস্ট) নয় — সেগুলো আবার চেষ্টা করলে একই কারণে আবার ব্যর্থ হবে।
2. প্রথমে একই মডেল আবার চেষ্টা করুন। যদি ব্যর্থতাকে সাময়িক মনে হয়, GatifyAI সেই মডেল ছেড়ে দেওয়ার আগে একটি ছোট বিরতি দিয়ে সর্বোচ্চ দুবার আবার চেষ্টা করে। বেশিরভাগ রেট-লিমিট সমস্যা এক বা দুই চেষ্টাতেই মিটে যায়।
3. পরবর্তী সুস্থ মডেলে চলে যান। চেষ্টা শেষ হওয়ার পরই GatifyAI আপনাকে অন্য মডেলে পাঠায় — কথোপকথনের মাঝখানেই, আপনার সম্পূর্ণ মেসেজ ইতিহাস অক্ষত রেখে।

আপনি সবসময় জানেন কী ঘটছে

"অদৃশ্য" মানে শুধু আপনার কাজের প্রবাহের জন্য অদৃশ্য, আপনার কাছে অদৃশ্য নয়। UI দুটি অবস্থার মধ্যে পার্থক্য দেখায়: GatifyAI যখনও বর্তমান মডেলের সঙ্গে কাজ করছে তখন "পুনরায় চেষ্টা করা হচ্ছে…" ইন্ডিকেটর, আর যখন fallback হতে চলেছে তখন "অন্য মডেলে পরিবর্তন করা হচ্ছে…"। fallback আসলে ঘটে গেলে, কথোপকথনে একটি ছোট নোট "[মডেল]-এ বদলানো হয়েছে" দেখা যায়, তাই কোন মডেল উত্তর দিয়েছে তা নিয়ে কোনো রহস্য থাকে না।

Fallback আপনার কথোপকথন রিসেট করে না

এটাই সবচেয়ে গুরুত্বপূর্ণ অংশ: কথোপকথনের মাঝখানে মডেল বদলানো কোনো নতুন চ্যাট নয়। যে মডেল কথোপকথন এগিয়ে নেয়, সে একই ইতিহাস, একই অ্যাটাচমেন্ট, এবং — আপনি লগ ইন থাকলে — GatifyAI যে মেমোরি তৈরি করেছে আপনার পছন্দ সম্পর্কে, সেটাও পায়। আপনার দিক থেকে, এটা শুধু এমন দেখায় যে উত্তর আসতে একটু বেশি সময় লেগেছে।

নির্ভরযোগ্যতা যা আপনি সত্যিই দেখতে পান

রিট্রাই আর fallback শুধু ব্যাকগ্রাউন্ডে চুপচাপ সামলানো হয় না — GatifyAI প্রতিটি মডেলের জন্য একটি রোলিং ৭-দিনের সাফল্যের হার এবং গড় লেটেন্সিও ট্র্যাক করে, এবং সরাসরি মডেল পিকারে তা দেখায়। কোনো মডেল সম্প্রতি অস্থির থাকলে, আপনি সেটা বেছে নেওয়ার আগেই দেখতে পাবেন, এটি আপনার সঙ্গে ব্যর্থ হওয়ার পরে নয়।

সংক্ষেপে

কোন AI প্রদানকারীর আজ খারাপ দিন যাচ্ছে তা আপনার নিজে নজরে রাখার দরকার নেই। GatifyAI প্রদানকারীর অস্থিরতাকে ব্যতিক্রম নয়, স্বাভাবিক ঘটনা হিসেবে বিবেচনা করে, তাই একটি রেট লিমিট বা আউটেজ এমন একটি ছোট্ট বাধা হয়ে যায় যা আপনি হয়তো লক্ষ্যই করবেন না — এমন কোনো কথোপকথন নয় যা আপনাকে আবার শুরু করতে হবে।