Meta-র commercially licensed ওপেন-ওয়েটস ফাউন্ডেশন মডেল developed সহ Grouped-Query Attention এবং Ghost Attention এর জন্য বর্ধিত dialogues.
টেকনিক্যাল স্পেসিফিকেশন
- প্রোভাইডার
- Meta
- ক্যাটাগরি
- historical
- রিলিজ তারিখ
- 2023-07
- ব্যাচ এপিআই ডিসকাউন্ট
- 50% off async batch
- কনজিউমার সাবস্ক্রিপশন
- Free / Self-Hosted
- রিজনিং এফোর্ট কন্ট্রোল
- Fixed
- স্ট্রাকচার্ড আউটপুট
- No
- আউটপুট মোডালিটি
- text
- অফিশিয়াল ডকুমেন্টেশন
- প্রোভাইডার ডকুমেন্টেশন দেখুন ↗
ডেটা প্রাইভেসি, লাইসেন্স ও ডিপ্লয়মেন্ট নীতিমালা
অফিশিয়াল প্রোভাইডার রিলিজ স্পেক্স, API কোটা ও এজেন্টিক সক্ষমতা
- অফিশিয়াল API মডেল আইডি (SDK String)
- meta-llama/Llama-2-(70B)
- সাপোর্টেড SDK ও API প্রোটোকল
- OpenAI-Compatible REST / vLLM / SGLang / HuggingFace TGI
- রিলিজ লাইফসাইকেল ও ডেপ্রিকেশন স্ট্যাটাস
- লেগাসি স্ট্যাবল (নতুন প্রজন্মের আপগ্রেড মডেল উপলব্ধ)
- প্রোডাকশন রেট লিমিট (RPM ও TPM কোটা)
- Unlimited (Hardware-bound on self-hosted GPU) / 10,000 RPM Cloud · Unlimited local throughput / 10M+ TPM Managed Cloud
- লং-কনটেক্সট প্রাইসিং টিয়ার (>128K / >200K)
- পূর্ণ 4K কনটেক্সট জুড়ে একই ফ্ল্যাট রেট ($0.4/1M)
- প্রম্পট ক্যাশিং ও TTL পলিসি
- ক্যাশড ইনপুট রেট $0.1/1M টোকেন
- কম্পিউটার ইউজ ও ব্রাউজার GUI এজেন্ট
- টেক্সট জেনারেশন (GUI অ্যাকশন লুপ নেই)
- MCP প্রোটোকল ও প্যারালাল টুল কলিং
- প্রম্পট-ভিত্তিক টেক্সট/JSON আউটপুট
- বিল্ট-ইন ওয়েব সার্চ ও কোড স্যান্ডবক্স
- এক্সটার্নাল সার্চ (Tavily/Exa) ও ডকার স্যান্ডবক্সের মাধ্যমে সমর্থিত
- ফাইন-টিউনিং ও ডিস্টিলেশন সুবিধা
- পূর্ণ ওয়েটস SFT, LoRA, QLoRA, DPO ও RL ফাইন-টিউনিং (Unsloth / Axolotl)
- মাল্টিমোডাল টোকেনাইজেশন হিসাব
- টেক্সট BPE (~৪ অক্ষর/টোকেন)
- ওয়েটস প্রিসিশন ও কোয়ান্টাইজেশন ফরম্যাট
- BF16 / FP16, FP8 Dynamic, INT4 AWQ / GPTQ, GGUF (Q4_K_M / Q8_0)
- ন্যূনতম GPU VRAM রিকোয়ারমেন্ট
- 43 GB VRAM (৪-বিট কোয়ান্টাইজড) · 151 GB VRAM (নেটিভ BF16)
- সেলফ-হোস্টেড ইনফারেন্স ইঞ্জিন
- vLLM, SGLang, Ollama, llama.cpp, TensorRT-LLM, HuggingFace TGI
- সিস্টেম কার্ড ও সেফটি ক্লাসিফিকেশন
- Open-Weights System Card + Customizable Guardrail Layer (Llama Guard / ShieldGemma)
- এন্টারপ্রাইজ কমপ্লায়েন্স (SOC2 / HIPAA / ZDR)
- ১০০% অন-প্রেমিসেস / প্রাইভেট VPC নিয়ন্ত্রণ · সম্পূর্ণ HIPAA, GDPR ও SOC2 কমপ্লায়েন্ট
Llama 2 (70B): খরচ, কনটেক্সট, হার্ডওয়্যার ও কোড ইন্টিগ্রেশন
ব্যক্তিগত চ্যাট ব্যবহারের জন্য $20/মাস সাবস্ক্রিপশন প্ল্যান বেশি সাশ্রয়ী।
ব্রেক-ইভেন পয়েন্ট: দৈনিক ~370 টি মেসেজে API খরচ $20/মাস এর সমান হয়।
একই কাজের ভলিউমে শীর্ষ বিকল্প মডেলগুলোর মাসিক খরচ তুলনা
লাইভ প্রম্পট টোকেন কাউন্টার (BPE Tokenizer)
আপনার সিস্টেম প্রম্পট, JSON বা কোড পেস্ট করে তাৎক্ষণিক টোকেন সংখ্যা ও খরচ দেখুন।
হাইব্রিড মডেল রাউটিং ক্যাসকেড সাশ্রয় (Cascade Router)
সাধারণ প্রশ্নগুলো ফাস্ট রাউটার মডেলে (Gemini 2.5 Flash / GPT-4.1 Nano) পাঠিয়ে শুধুমাত্র জটিল টাস্ক Llama 2 (70B)-এ পাঠালে মাসিক খরচ কত কমে দেখুন:
বেঞ্চমার্ক ফলাফল ও ৬-অক্ষের সক্ষমতা রাডার
- MMLU-Pro
- 56.8%
- HumanEval
- 37.8%
- Chatbot Arena Elo
- 1105pts
শক্তিশালী দিকসমূহ
- প্রথম Llama family রিলিজ সহ permissive বাণিজ্যিক license (আওতায় 700M MAU)
- Incorporated Grouped-Query Attention (GQA) এর জন্য 2x দ্রুততর KV-cache ইনফারেন্স
- Extensive red-teaming এবং সুরক্ষা tuning via dual RLHF reward মডেলগুলো
সীমাবদ্ধতা ও বিবেচ্য বিষয়
- কনটেক্সট উইন্ডো সীমিত প্রতি 4,096 টোকেন
- Modest কোডিং benchmark scores এর তুলনায় প্রোপ্রাইটারি ফ্রন্টিয়ার মডেলগুলো
সম্পাদকীয় মূল্যায়ন
মাইলফলক যা established ওপেন-ওয়েটস AI as safe এবং viable এর জন্য বাণিজ্যিক প্রোডাকশন.
সবচেয়ে উপযুক্ত: সেলফ-হোস্টেড এন্টারপ্রাইজ ব্যক্তিগত ও সুরক্ষিত clouds এবং লোকাল এর ওপর-premises কমপ্লায়েন্স ডিপ্লয়মেন্টসমূহ
Llama 2 (70B)-এর তুলনা
Llama 2 (70B) সম্পর্কে সচরাচর জিজ্ঞাসিত প্রশ্নাবলী
Llama 2 (70B)-এর API প্রাইসিং ও প্রম্পট ক্যাশিং খরচ কত?+
Meta-এর Llama 2 (70B) ব্যবহারের খরচ প্রতি ১০ লক্ষ (1M) ইনপুট টোকেনে $0.4 এবং প্রতি ১০ লক্ষ আউটপুট টোকেনে $0.8। প্রম্পট ক্যাশিং ব্যবহার করলে ইনপুট খরচ কমে প্রতি ১M টোকেনে $0.1 হয় এবং অ্যাসিঙ্ক্রোনাস ব্যাচ API-তে 50% পর্যন্ত ছাড় পাওয়া যায়।
Llama 2 (70B)-এর জন্য $20/মাস সাবস্ক্রিপশন ভালো নাকি Pay-As-You-Go API?+
আপনি যদি শুধুমাত্র ব্যক্তিগত চ্যাট, রিসার্চ বা কোডিং অ্যাসিস্ট্যান্ট হিসেবে ব্যবহার করেন, তবে ফিক্সড $20/মাস সাবস্ক্রিপশন ঝুঁকিমুক্ত। কিন্তু আপনি যদি অ্যাপ্লিকেশন তৈরি করেন বা কম ভলিউমে (মাসে $20-এর কম টোকেন) ব্যবহার করেন, তবে প্রম্পট ক্যাশিংসহ API পে-অ্যাজ-ইউ-গো অনেক বেশি সাশ্রয়ী।
Llama 2 (70B)-এর কনটেক্সট উইন্ডোতে কত শব্দ বা পৃষ্ঠা ধরে?+
Llama 2 (70B)-এর কনটেক্সট উইন্ডো হলো 4K tokens, যা প্রায় 3,072টি ইংরেজি শব্দ বা প্রায় 8 পৃষ্ঠার স্ট্যান্ডার্ড ডকুমেন্টের সমান। এক বারে এর সর্বোচ্চ আউটপুট সীমা 4,096 টোকেন।
Llama 2 (70B) কি ওপেন-ওয়েটস এবং নিজের GPU-তে লোকালি চালানো যাবে?+
হ্যাঁ, Llama 2 (70B) একটি ওপেন-ওয়েটস (70B (also 7B, 13B)) মডেল। আপনি Ollama, vLLM বা llama.cpp ব্যবহার করে নিজের GPU বা লোকাল সার্ভারে এটি ডাউনলোড করে চালাতে পারবেন।
Llama 2 (70B) API-তে পাঠানো ডেটা কি মডেল ট্রেইনিংয়ে ব্যবহার করা হয়?+
জিরো ডেটা শেয়ারিং (নিজস্ব সার্ভারে ১০০% লোকাল প্রাইভেসি)। লাইসেন্সের ধরন: Llama Community License (Commercial Permitted)। ডেভেলপাররা জেনারেটেড আউটপুট বাণিজ্যিক কাজে ব্যবহার করতে পারেন।
কোডিং ও রিজনিং বেঞ্চমার্কে Llama 2 (70B)-এর স্কোর কত?+
Llama 2 (70B)-এর কম্পোজিট ইন্টেলিজেন্স ইনডেক্স 31/100। বেঞ্চমার্কের মধ্যে SWE-bench Verified-এ N/A%, GPQA Diamond-এ N/A%, MMLU-Pro-তে 56.8% এবং Arena Elo-তে 1105 স্কোর অর্জন করেছে।
Llama 2 (70B) কোন কাজের জন্য সবচেয়ে উপযুক্ত?+
Llama 2 (70B) মূলত সেলফ-হোস্টেড এন্টারপ্রাইজ ব্যক্তিগত ও সুরক্ষিত clouds এবং লোকাল এর ওপর-premises কমপ্লায়েন্স ডিপ্লয়মেন্টসমূহ-এর জন্য সবচেয়ে কার্যকর। সম্পাদকীয় মূল্যায়ন: মাইলফলক যা established ওপেন-ওয়েটস AI as safe এবং viable এর জন্য বাণিজ্যিক প্রোডাকশন.
Meta ফ্যামিলি লাইনেজ, রাউটিং টিয়ার ও আপগ্রেড পাথ
হাইব্রিড প্রম্পট রাউটিং বা আপগ্রেডের জন্য Meta-এর অন্যান্য মডেল টিয়ার:
Llama 4 Behemoth
Llama 5
Muse Spark 1.1
Llama 4 Maverick
Llama 4 Scout
Llama 3.3 70B
সম্পর্কিত এআই পরিভাষা ও গ্লোসারি
সব পরিভাষা দেখুন →Llama 2 (70B)-এর আর্কিটেকচার ও বৈশিষ্ট্যের সাথে সম্পর্কিত মূল পরিভাষাসমূহ:
একটি ল্যাঙ্গুয়েজ মডেল যে ক্ষুদ্রতম টেক্সট এককে ডেটা প্রসেস করে, যা সাধারণত ৩ থেকে ৪টি ইংরেজি অক্ষর বা প্রায় ০.৭৫ শব্দের সমান। উদাহরণস্বরূপ: "Artificial intelligence is fast" বাক্যটি প্রায় ৫টি টোকেনে বিভক্ত হয়।
একটি প্রমিত ও নিয়ন্ত্রিত টেস্ট স্যুট যার মাধ্যমে বিভিন্ন এআই মডেলের কর্মক্ষমতা বস্তুনিষ্ঠভাবে পরিমাপ ও তুলনা করা হয়; যেমন কোডিংয়ের জন্য SWE-bench, গণিতের জন্য AIME এবং সাধারণ জ্ঞানের জন্য MMLU।
একটি এআই মডেল একক অনুরোধে যে সর্বোচ্চ সংখ্যক টোকেন ইনপুট হিসেবে পড়তে এবং আউটপুট হিসেবে লিখতে পারে। ১,০০০,০০০ টোকেনের কনটেক্সট উইন্ডো একবারে প্রায় ৭৫০,০০০ ইংরেজি শব্দ ধারণ করতে সক্ষম।
একটি আধুনিক খরচ ও গতি অপ্টিমাইজেশন প্রযুক্তি যেখানে বারবার ব্যবহৃত প্রম্পট প্রিফিক্সের অ্যাটেনশন স্টেট মেমোরিতে ক্যাশ রাখা হয়। এতে ইনপুট টোকেনের খরচ ৫০% থেকে ৯০% পর্যন্ত হ্রাস পায় এবং দ্রুত উত্তর মেলে।
জিপিইউ মেমোরির একটি অপ্টিমাইজেশন যা পূর্ববর্তী টোকেনগুলোর কী (Key) এবং ভ্যালু (Value) ভেক্টর সংরক্ষণ করে রাখে, যাতে নতুন টোকেন তৈরির সময় পুনরায় হিসাব করতে না হয়। এটি দ্রুত স্ট্রিমিং ও প্রম্পট ক্যাশিংয়ের জন্য অপরিহার্য।
২০১৭ সালে উদ্ভাবিত একটি যুগান্তকারী নিউরাল নেটওয়ার্ক আর্কিটেকচার যা আধুনিক সব এলএলএম পরিচালনা করে। এটি সেলফ-অ্যাটেনশনের মাধ্যমে বাক্যের সব শব্দকে ক্রমান্বয়ে না পড়ে একসাথে সমান্তরালে বিশ্লেষণ করে।
এআই ল্যাবগুলোর নতুন রিলিজের সাথে সাথে বেঞ্চমার্ক স্কোর, টোকেন প্রাইসিং এবং রেট লিমিট নিয়মিত পরিবর্তিত হয়। প্রোডাকশনে ব্যবহারের পূর্বে সর্বদা অফিশিয়াল প্রোভাইডার ডকুমেন্টেশন যাচাই করুন।
তথ্যসূত্র: Meta AI: Llama 2: Open Foundation and Fine-Tuned Chat Models (2023)↗