লোকাল AI-এর টোকেন অর্থনীতি
এটি ইংরেজি মূল লেখাটির মেশিন অনুবাদ। কিছু সূক্ষ্মতা হারিয়ে যেতে পারে, তাই ইংরেজি সংস্করণই মূল রেফারেন্স। মূল ইংরেজি লেখাটি পড়ুন
সংক্ষেপে
এটা সেই লেখা যা প্রতিটি বড় ক্লাউড প্রদানকারী চাইত আমি না লিখি। হিসাবটা লুকানো নয়: তাদের নিজেদের প্রাইসিং পাতায়, নিজেদের ডকুমেন্টেশনে, যে কেউ নামাতে পারে এমন শিল্প সমীক্ষায় সহজ ভাষায় প্রকাশিত। তারা শুধু চায় এটা না-পড়া থাকুক, কারণ যে কোম্পানিই হিসাব কষে নিজের ইনফারেন্স লেয়ার দাঁড় করায় সেটা API ভাড়ায় কম খরচ করা কোম্পানি। প্রতিটি স্কেলে উত্তর একই, পাঁচ জনের স্টার্টআপ, পঞ্চাশ হাজার ব্যবহারকারীর এন্টারপ্রাইজ, মাঝের যেকোনো জায়গা: যে দল নিজের ইনফারেন্স লেয়ারের মালিক সে ভাড়াটে দলের চেয়ে বহু গুণ বেশি নিজের খরচ তুলে আনে।

আর্কিটেকচার
প্রতি-মিলিয়ন-টোকেনের হার সমতল দেখায়। তা নয়। আউটপুট ইনপুটের তিন থেকে দশ গুণ। রিজনিং মডেলরা তাদের চেইন-অব-থট টোকেন সেই আউটপুট বিলের ভেতরেই লুকিয়ে রাখে। প্রতিটি রিকোয়েস্ট সিস্টেম প্রম্পট আর তার সঙ্গে জোড়া যেকোনো RAG প্রসঙ্গের খরচ আবার মেটায়। এর কিছুই প্রাইসিং পাতায় আলাদা করে দেখানো হয় না। সবই ইনভয়েসে এসে পড়ে।
Enterprise Strategy Group 2025 সালে Dell Technologies-এর সঙ্গে তুলনাটা চালিয়েছে, চার বছরের সময়সীমায় RAG সহ 70B-প্যারামিটার Llama 3 ডিপ্লয়মেন্টকে তিনটি আর্কিটেকচারে মডেল করে: অন-প্রেমিসেস Dell AI Factory, ক্লাউড IaaS, এবং নির্ভেজাল API ব্যবহার। উচ্চ-ব্যবহারের প্রান্তে হিসাবটা এমন দেখায়:
| আর্কিটেকচার | প্রতি ব্যবহারকারী, প্রতি মাসে খরচ | স্কেলিংয়ের আকার |
|---|---|---|
| API সেবা (GPT-4o শ্রেণি) | $12.19 | ট্র্যাফিকের সঙ্গে রৈখিক; কখনও থিতু হয় না |
| RAG সহ অন-প্রেমিসেস 70B | $3.00 – $4.28 | হার্ডওয়্যার র্যাকে বসলে থিতু হয় |
10,000 ব্যবহারকারীতে, চার বছরের সময়সীমায় অন-প্রেমিসেস 52% সস্তা পড়ে। 50,000 ব্যবহারকারীতে 62% সস্তা। ব্যবহার বাড়ার সঙ্গে ব্যবধান বাড়ে, যা বেশির ভাগ ক্রয়-অনুমানের ঠিক উল্টো। একই হিসাব নিজের ওয়ার্কলোডে চালাতে চাইলে এই সাইটে দুটি সঙ্গী টুল আছে: LLM কস্ট ক্যালকুলেটর আপনার নির্দিষ্ট টোকেন পরিমাণের জন্য যেকোনো ক্লাউড মডেল আর যেকোনো লোকাল হার্ডওয়্যার বিকল্পের মধ্যে ব্রেক-ইভেন মাস বের করে, আর হাইপারস্কেলার প্রাইসিং তুলনা একই মডেলে Bedrock, Azure Foundry আর Vertex-কে সাপ্তাহিক যাচাই করা দামসহ ট্র্যাক করে।
এক মুহূর্তের জন্য পরম সংখ্যা ভুলে যান। বক্ররেখা দেখুন। API খরচ ট্র্যাফিকের সঙ্গে রৈখিকভাবে বাড়ে আর কখনও থিতু হয় না। নিজস্ব হার্ডওয়্যারের খরচ হার্ডওয়্যারের জীবনচক্রে এসে থামে। ব্যবহারের বিস্তারই সেই চলক যা ঠিক করে আপনি পরিখা খুঁড়েছেন নাকি কর দেওয়ার চুক্তিতে সই করেছেন। Dell-এর সংখ্যা এন্টারপ্রাইজ স্কেলের, কিন্তু বক্ররেখা ফ্র্যাক্টাল: প্রোটোটাইপ থেকে প্রোডাকশনে যেতে যেতে মাসিক Anthropic বা OpenAI বিল ওপরে ওঠা পাঁচ জনের স্টার্টআপও এই একই রেখায়, শুধু ছোট গুণকে। গণিত আপনার লোকবল নিয়ে মাথা ঘামায় না; সে দেখে আপনার টানা টোকেন পরিমাণ নিজস্ব হার্ডওয়্যারকে এতটা ব্যস্ত রাখে কি না যে খরচ উঠে আসে।
একটি দ্বিতীয় মাত্রা আছে যা ডলারের তুলনায় আদৌ ধরা পড়ে না। ক্লাউড ইনফারেন্স প্রতিটি প্রম্পট, অর্থাৎ সিস্টেম প্রসঙ্গ, উদ্ধার করা নথি আর এজেন্টের মধ্যবর্তী অবস্থা, নেটওয়ার্ক সীমা পেরিয়ে একটি তৃতীয় পক্ষের কাছে নিয়ে যায়। এতে সক্রিয় হয় কমপ্লায়েন্সের পরিধি, বৌদ্ধিক সম্পদ ফাঁসের ঝুঁকি, কনটেক্সট-উইন্ডো রোডম্যাপ আর রেট লিমিট ঘিরে ভেন্ডর লক-ইন, প্রদানকারীর আঞ্চলিক বিভ্রাট রাত 3টায় হলে কেন্দ্রীভবনের ঝুঁকি, এবং একই মডেল দেওয়া হাইপারস্কেলারদের মধ্যেও দামের তারতম্য। আমি একে বলি ইনফারেন্স সার্বভৌমত্ব। পাঁচ বছর আগে প্রযুক্তি নেতৃত্ব ডেটা সার্বভৌমত্ব নিয়ে যে আলোচনা করেছিল এটা সেই একই আলোচনা, স্ট্যাকে এক ধাপ নিচে।
এই জায়গায় CTO-দের কাছ থেকে যে আপত্তি পাই সেটা ন্যায্য: “কিন্তু Bedrock, Vertex আর OpenAI সবাই ফাইন-টিউনিং দেয়। আমার নিজের GPU লাগবে কেন?” কারণ ক্লাউড-পরিচালিত ফাইন-টিউনিং হলো বাড়তি ধাপসহ ভাড়া। ট্রেনিং ডেটা তবুও আপনার সীমানা ছাড়ে। অ্যাডাপ্টার ওয়েট থাকে অন্য কারও অবকাঠামোয়। ইনফারেন্স তবুও চলে অন্য কারও প্রতি-রিকোয়েস্ট হারে, অন্য কারও রোডম্যাপ অনুযায়ী। আপনি নির্ভরতার সঙ্গে কাস্টমাইজেশন যোগ করেছেন, নির্ভরতা সরাননি। লোকাল ল্যাবই একমাত্র আর্কিটেকচার যেখানে আপনার মডেল, আপনার ডেটা আর আপনার ইনফারেন্স লুপ একসঙ্গে আপনার নিজের।
নির্মাণ
বেশির ভাগ দল এই পদক্ষেপ কখনও নেয় না কারণ তারা নিজের মডেলের মালিক হওয়া আর নিজের মডেল শূন্য থেকে ট্রেন করা গুলিয়ে ফেলে। এ দুটি সম্পূর্ণ ভিন্ন সমস্যা, খরচে চার থেকে ছয় মাত্রার ব্যবধানে আলাদা।
প্রি-ট্রেন করবেন না
Stanford-এর 2025 AI Index ফ্রন্টিয়ারের পেছনের ট্রেনিং কম্পিউটের দাম কষেছে: GPT-4 প্রায় $78 মিলিয়ন, Llama 3.1 405B $170 মিলিয়ন, Gemini Ultra $191 মিলিয়ন। এগুলো অ্যামর্টাইজড ক্লাউড-ভাড়ার ডলার, শুধু কাঁচা কম্পিউট: ডেটা ইঞ্জিনিয়ারিং নেই, MLOps নেই, হাজার হাজার GPU-র ক্লাস্টার নষ্ট না করে চালাতে পারা মানুষদের বেতন নেই। বক্ররেখার ছোট প্রান্তেও শূন্য থেকে 7B মডেল $50K–$500K আর কয়েক দশ হাজার GPU-ঘণ্টা। 70B-তে লাগে $1.2M–$6M আর সপ্তাহ ধরে চলা একটি নিবেদিত 256-GPU H200 ক্লাস্টার।
এটা করবেন না। ফ্রন্টিয়ার-ল্যাবের বাজেটের বাইরে কারও এর দরকার নেই।
বরং PEFT করুন
আসল চাল হলো বিদ্যমান ওপেন-ওয়েট বেসের ওপর প্যারামিটার-এফিশিয়েন্ট ফাইন-টিউনিং (Parameter-Efficient Fine-Tuning)। Llama 3, Mistral, Qwen, Phi: ইতিমধ্যে ইংরেজিতে সাবলীল, ব্যাকরণে শুদ্ধ, জগৎ সম্পর্কে সচেতন। এর ওপরে আপনি যোগ করেন আপনার ক্ষেত্র: আপনার শ্রেণিবিন্যাস, আপনার ফরম্যাট, আপনার সিদ্ধান্তের যুক্তি, আপনার সুর। প্যারামিটার স্পেসে এটা একটা ক্ষুদ্র সমন্বয়, আর আধুনিক কৌশল সরাসরি তারই সুবিধা নেয়।
| পদ্ধতি | আপডেট হওয়া প্যারামিটার | VRAM (7B বেস) | কম্পিউট খরচ |
|---|---|---|---|
| সম্পূর্ণ ফাইন-টিউন | 100% (~7B) | 80GB+ মাল্টি-GPU | $10K – $35K |
| LoRA | 1 – 10% | 16 – 40GB | $500 – $3,000 |
| QLoRA (4-বিট) | < 1% | 8 – 10GB | $50 – $500 |
ওই VRAM কলামের সংখ্যাগুলো 7B মডেলের ভিত্তি-মান। কোনো নির্দিষ্ট কোয়ান্টাইজেশনে কোনো নির্দিষ্ট মডেল আদৌ কোনো নির্দিষ্ট GPU-তে ধরে কি না তা বের করতে GPU VRAM ক্যালকুলেটর ভেঙে দেখায়: মডেল ওয়েটের সঙ্গে KV ক্যাশ আর অ্যাক্টিভেশন, কনজিউমার GPU, ডেটাসেন্টার কার্ড, Apple Silicon আর Pi অ্যাক্সিলারেটরের বাছাই করা তালিকার বিপরীতে। যেকোনো হার্ডওয়্যার সিদ্ধান্তের আগে এটা চালানো সার্থক।
LoRA বেস ওয়েট পুরোপুরি ফ্রিজ করে রাখে এবং নির্দিষ্ট অ্যাটেনশন লেয়ারে ছোট প্রশিক্ষণযোগ্য র্যাঙ্ক-ডিকম্পোজিশন ম্যাট্রিক্স ঢোকায়: আপনি প্যারামিটার সংখ্যার প্রায় 1% মাত্রার কিছু আপডেট করছেন। QLoRA আরও এগিয়ে ফ্রিজ করা বেসকে 4-বিটে কোয়ান্টাইজ করে, ফলে মেমরির পদচিহ্ন এতটা কমে যে 7B ফাইন-টিউন একটি কনজিউমার GPU-তে আঁটে। QLoRA-র গুরুতর অভিযোজন রানে খরচ পড়ে কয়েকশো ডলার আর শেষ হয় এক রাতে। স্ক্রিপ্টের আকার, অর্থাৎ বাছাই করা ডেটাসেটের বিপরীতে Gekro ল্যাবের কাজের পরবর্তী ত্রৈমাসিকে যা পরিকল্পিত, মোটামুটি এমন দেখায়:
# gekro_qlora_train.py - Llama 3 8B + QLoRA via Unsloth + TRL
# Target: single consumer GPU (Mac Mini Metal or RTX 4090 class)
from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/llama-3-8b-bnb-4bit",
max_seq_length=4096,
load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(
model,
r=16, # LoRA rank
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_alpha=16,
lora_dropout=0.0,
use_gradient_checkpointing="unsloth",
)
trainer = SFTTrainer(
model=model,
tokenizer=tokenizer,
# Expected JSONL shape per record:
# {"messages": [{"role": "user", "content": "..."},
# {"role": "assistant", "content": "..."}]}
train_dataset=load_curated_dataset(), # your domain corpus
args=TrainingArguments(
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
num_train_epochs=3,
learning_rate=2e-4,
optim="adamw_8bit",
output_dir="./checkpoints",
),
)
trainer.train()
একটি ফাইল। একটি GPU। এক রাতের একটি রান। আউটপুট একটি ছোট অ্যাডাপ্টার ওয়েট ফাইল যা আপনি ইনফারেন্সের সময় ফ্রিজ করা বেসের ওপর লোড করেন, আর Ollama বা vLLM দিয়ে ঠিক সেভাবেই চালান যেভাবে বেস মডেল চালাতেন।
হার্ডওয়্যারের স্তর: ল্যাব বাড়ে দলের আকারের সঙ্গে, কোম্পানির রাজস্বের সঙ্গে নয়
| স্তর | বাজেট | হার্ডওয়্যার | এটি কী চালায় |
|---|---|---|---|
| প্রোটোটাইপিং | $899 – $3,500 | একটি কনজিউমার GPU (RTX 4070 / 4090) | একজন ইঞ্জিনিয়ারর জন্য 40+ tok/s-এ কোয়ান্টাইজড 7B–8B |
| ফাইন-টিউনিং | $7,500 – $14,000 | দুই / চারটি RTX 5090 বা RTX 6000 Ada, Threadripper, 128–256GB RAM | 7B–13B বেসের ওপর LoRA / QLoRA কাজ, প্রতি রানে ঘণ্টা |
| প্রোডাকশন-মিরর | $75,000 – $250,000+ | NVIDIA L40S / H100 / H200, NVLink, 100GbE | ক্রমাগত ব্যাচিং, মাল্টি-টেন্যান্ট সার্ভিং, MLOps যাচাই |
ভারী AI ওয়ার্কফ্লো চালানো একক ইঞ্জিনিয়ার স্তর 1-এর। টানা এজেন্টিক ওয়ার্কলোড চালানো দল স্তর 2-এর। হাজার হাজার ব্যবহারকারীকে সেবা দেওয়া প্রতিষ্ঠান স্তর 3-এর। একই আর্কিটেকচার, তিনটি গুণক। প্রতিটি স্তরে খরচ-উদ্ধারের হিসাব তা অনুমোদন করা ক্রয়-চক্রের চেয়ে দ্রুত: স্তর 1-এ কয়েক মাস, স্তর 2-এ কয়েক সপ্তাহ যখন ফাইন-টিউন করা অ্যাডাপ্টার সত্যিকারের ট্র্যাফিক সামলাতে শুরু করে, আর স্তর 3-এ টানা স্কেলে সমতুল্য API খরচের তুলনায় বহু গুণ।
2026 সালে সার্ভিং স্ট্যাক এক জায়গায় এসে থিতু হয়েছে, আর এটাই গল্পের কম আলোচিত অংশ। vLLM থ্রুপুটে জিতেছে: এর PagedAttention অ্যালগরিদম KV ক্যাশকে সেভাবেই ভাগ করে যেভাবে অপারেটিং সিস্টেম ভার্চুয়াল মেমরি পেজ করে, আর একই হার্ডওয়্যারে vLLM দিয়ে পরিবেশন আর সরলভাবে পরিবেশনের ব্যবধান একটি অলস GPU আর একটি ভরা GPU-র ব্যবধান। Ollama ডেস্কটপ ও এজে ডেভেলপারের সুবিধায় জিতেছে। TensorRT-LLM থাকে সেখানে যেখানে আপনি NVIDIA-র প্রতি প্রতিশ্রুতিবদ্ধ এবং প্রতিটি শেষ সাইকেলও চান। এক্সপেরিমেন্ট ট্র্যাকিং সামলায় MLflow বা Weights & Biases, কারণ LLM ফাইন-টিউনিং নন-ডিটারমিনিস্টিক আর পুনরুৎপাদনযোগ্যতাই গবেষণা ডেমো আর প্রোডাকশন সিস্টেমের পার্থক্য।
বড় স্কেলে প্রোডাকশন ইনফারেন্স চালাতে আপনার আর Anthropic বা OpenAI-র অবকাঠামো দলের দরকার নেই। যে স্ট্যাক গড়তে সেই কোম্পানিগুলোর বছরের পর বছর লেগেছে তা এখন একটি pip install আর একটি কনফিগ ফাইল। 2026 সালে এটা নতুন, আর এ কারণেই এই পোস্টের হিসাব প্রতিটি স্তরে খাটে। আমি আগেই নথিভুক্ত করেছি আর্কিটেকচারগত বিমা হিসেবে Pi-তে Ollama-র প্যাটার্ন আর GekroLLMClient, যা ক্লাউড ও লোকাল প্রদানকারীদের একটি ইন্টারফেসের আড়ালে রাখে; দুটোই হোম ল্যাব থেকে সরাসরি এন্টারপ্রাইজ স্তরে বাড়ে।
সমঝোতা
ইনফারেন্স লেয়ারের মালিকানা বিনামূল্যে নয়, আর অন্যথা ভান করাই ল্যাবকে কাগজচাপা বানিয়ে ফেলে। চারটি ব্যর্থতার ধরনের নাম নেওয়া জরুরি।
কম ব্যবহার বক্ররেখাকে মেরে ফেলে। ব্রেক-ইভেনের যুক্তি টানা থ্রুপুটের ওপর নির্ভর করে। স্তর-3 সার্ভার দাঁড় করিয়ে 8% ব্যবহারে চালালে আপনি একটি অতি দামি কাগজচাপা বানালেন। ক্লাউড API ওঠানামা করা, কম-পরিমাণ কাজের জন্য সত্যিই সস্তা: এটাই তাদের সবচেয়ে মানানসই আকার, আর সেজন্য সেগুলো ব্যবহার চালিয়ে যাওয়া উচিত। যেকোনো হার্ডওয়্যার সিদ্ধান্তের আগে জিজ্ঞেস করুন: যে ওয়ার্কলোডগুলো আমি ভেতরে আনছি তাদের স্থির দৈনিক টোকেন পরিমাণ কত, আর হার্ডওয়্যারকে ব্যস্ত রাখার মতো বড় কি না? সৎ উত্তর যদি না হয়, ওই ওয়ার্কলোডের জন্য API-তেই থাকুন। লোকাল হার্ডওয়্যার রুজি কামায় ভরা থাকলে।
মানের খাদ বাস্তব। একটি সংকীর্ণ, সুনির্ধারিত কাজে ফাইন-টিউন করা 8B সেই কাজে ফ্রন্টিয়ার API-র সমান বা তার চেয়ে ভালো করতে পারে: ফাইন-টিউনিংয়ের পুরো উদ্দেশ্যই তা। কিন্তু ওয়ার্কলোড খোলা-ধরনের যুক্তি বা বহু-ক্ষেত্রের জ্ঞানের দিকে সরে গেলেই ছোট মডেল খাদে পড়ে। আমি এটা সরাসরি অনুভব করেছি। আমার Mac Mini দিব্যি কোয়ান্টাইজড 70B চালায় এবং উত্তরগুলো সারসংক্ষেপ, শ্রেণিবিন্যাস আর কোড রিভিউয়ের জন্য পুরোপুরি ব্যবহারযোগ্য। একই প্রম্পটে Claude বা Gemini Pro যা ফেরত দেয় তার চেয়ে সেগুলো স্পষ্টতই কম সূক্ষ্মও: ছোট, আরও আক্ষরিক, আর কোনো প্রশ্নের দ্বিতীয় স্তরের তাৎপর্য মিস করার দিকে বেশি ঝোঁক। রাউটিংয়ের সিদ্ধান্তই আর্কিটেকচার, আর সেটা থাকে ক্লায়েন্ট র্যাপারে:
# Hybrid routing - local for narrow tasks, cloud for long-tail reasoning
NARROW = {"classify", "extract", "summarize", "format", "tag"}
REASONING = {"design", "plan", "synthesize", "debug-novel"}
def route(task_class: str, prompt: str) -> str:
if task_class in NARROW:
return local_finetuned_8b.run(prompt)
if task_class in REASONING:
return cloud_frontier.run(prompt)
return cloud_frontier.run(prompt) # default: don't guess
সংকীর্ণ, উচ্চ-পরিমাণ, লেটেন্সি-সংবেদনশীল কাজের জন্য লোকাল। লোকাল মডেল যা সামলাতে পারে না সেই লম্বা-লেজের যুক্তির জন্য ক্লাউড ফ্রন্টিয়ার। এটাই API সার্বভৌমত্ব প্যাটার্নের হৃদয়: ল্যাব ক্লাউডের জায়গা নেয় না, সে আগে পূর্বাভাসযোগ্য ওয়ার্কলোড খেয়ে ফেলে। লোকাল স্তর যে টোকেন সামলায় সেটা এমন টোকেন যার জন্য ক্লাউড ইনভয়েস আপনাকে বিল করে না। ক্লাউডে যে টোকেন রাখেন সেটা এমন টোকেন যা দিয়ে আপনি কার্যত প্রদানকারীর পরবর্তী দফার ট্রেনিং কম্পিউটে ভর্তুকি দিচ্ছেন।
ডেটাসেটই পরিখা, GPU নয়। কম্পিউট সস্তা। যে QLoRA রানে GPU সময়ে $300 লাগে তা এমন একটি অ্যানোটেশন প্রচেষ্টার ওপর বসতে পারে যাতে দলের বিশেষজ্ঞ-ঘণ্টায় $60,000 গেছে, আর গুরুতর DPO বা RLHF রানে মানব-লেবেলিং আর কম্পিউটের অনুপাত নিয়মিত মানুষের পক্ষে বিশ থেকে ত্রিশ গুণ। এটা ফাইন-টিউনিংয়ের বিরুদ্ধে যুক্তি নয়। এটা এই যুক্তি যে আপনার প্রতিষ্ঠান যদি তার শ্রেণিবিন্যাস লিখিতভাবে বলতে না পারে, আপনার ক্ষেত্রের জন্য সঠিক আউটপুট কেমন তাতে একমত হতে না পারে, অ্যানোটেশন রিভিউয়ের জন্য ক্ষেত্র-বিশেষজ্ঞ বরাদ্দ করতে না পারে, তাহলে আপনার এখনও ফাইন-টিউনিংয়ের সমস্যা নেই, আছে জ্ঞান-ব্যবস্থাপনার সমস্যা। আগে সেটা মেটান। কম্পিউট সহজ অর্ধেক। ট্রেনিং উদাহরণ ফরম্যাট করা শুরু করলে ফ্রেমওয়ার্কগুলোর মধ্যে ফরম্যাটের ঘর্ষণ আশা করুন: OpenAI-র চ্যাট স্কিমা, Alpaca, ShareGPT আর Unsloth/Llama সবাই একই ডেটা একটু আলাদা আকারে চায়। আমি ফাইন-টিউনিং ডেটাসেট ফরম্যাটার বানিয়েছি রূপান্তর সামলাতে আর নীরবে ট্রেনিং নষ্ট করা বাদ-পড়া-টার্নের ত্রুটি চিহ্নিত করতে।
হার্ডওয়্যার নবায়ন নির্মম। এটাই বৈশিষ্ট্য, ত্রুটি নয়। হিসাবরক্ষণ সার্ভারের অবচয় ধরে পাঁচ বা ছয় বছরে। AI সিলিকন সহযোগিতা করে না। নতুন GPU প্রজন্ম প্রায় প্রতি বছর যথেষ্ট দক্ষতা-লাভ নিয়ে আসে, মানে 2024 সালের শুরুতে কেনা একটি H100 2026 সালের শেষ নাগাদ দুই আর্কিটেকচার প্রজন্ম পিছিয়ে। সবচেয়ে চাহিদাপূর্ণ স্তরে 24–36 মাসের নবায়নের পরিকল্পনা করুন, আর এমন মূল্য-কাসকেড প্যাটার্ন যা পুরোনো সিলিকনকে হালকা ওয়ার্কলোডে নামিয়ে দেয়: বছর 1–2-এ ফ্রন্টিয়ার ট্রেনিং, বছর 3–4-এ রিয়েল-টাইম ইনফারেন্স, তার পরে ব্যাচ অ্যানালিটিক্স। আগ্রাসীভাবে নবায়নের নমনীয়তা নিজেই একটি কৌশলগত সম্পদ। ক্লাউডের তিন বছরের রিজার্ভড-ইনস্ট্যান্স প্রতিশ্রুতি আপনাকে তা দেয় না, আর আপনার অর্থ দল যে দীর্ঘমেয়াদি API চুক্তিতে সই করতে যাচ্ছে সেটাও নয়।
এটি কোথায় যায়
এই পোস্ট আংশিক সংশ্লেষ আর আংশিক আমার নিজের রোডম্যাপ। আজ আমি একটি Mac Mini আর Pi ক্লাস্টারে লোকাল ইনফারেন্স চালাই, GekroLLMClient ওয়ার্কলোডের শ্রেণি অনুযায়ী ক্লাউড আর লোকালের মধ্যে রাউট করে। যা আমি এখনও করিনি, এবং ল্যাবের কাজের পরবর্তী ত্রৈমাসিক যার চারপাশে গড়া, তা হলো আমার নিজের হার্ডওয়্যারে একটি বাছাই করা ডেটাসেটের বিপরীতে শুরু থেকে শেষ পর্যন্ত QLoRA চালানো, সেই ইভ্যাল লুপ আর MLOps শৃঙ্খলা সহ যা এককালীন ফাইন-টিউনকে পুনরুৎপাদনযোগ্য পাইপলাইনে পরিণত করে। আমি যেখানে থাকি সেখানকার জন্য নির্দিষ্ট দ্বিতীয় একটি অপ্টিমাইজেশন তলও আছে: Texas গ্রিডের নিজস্ব মত আছে ট্রেনিং কাজ কখন চালানো উচিত তা নিয়ে, আর সেটা খোলে তখনই যখন হার্ডওয়্যার প্রথমেই আপনার নিজের।
এর কিছুই লুকানো নয়। যে ক্লাউড প্রদানকারীরা আপনার মাসিক ইনভয়েস লেখে তারা এটা আগেই জানে। তারা বাজি ধরছে আপনার ইঞ্জিনিয়ারিং দল ফিচার পাঠাতে এতটাই ব্যস্ত যে হিসাব কষবে না। তবুও হিসাবটা কষুন।
লেখক
Rohit BuraniAI ইঞ্জিনিয়ার, যিনি ল্যাব থেকে লোকাল-ফার্স্ট সিস্টেম, সেলফ-হোস্টেড অবকাঠামো এবং স্বয়ংক্রিয় টুল তৈরি করেন।