যেভাবে VSCode-এ লোকালি, বিনামূল্যে LLaMA 3 ব্যবহার করে কোড রিভিউ করা সম্ভব

Mayeenul Islam
5 min readMay 4, 2024

--

কোড কপি করে ChatGPT-তে পেস্ট করার দিন শেষ।

যদি না পড়েই ভিডিও দেখতে পছন্দ করেন…

আমার ল‍্যাপটপে Meta AI’র LLaMA 2 ইন্সটল করেছিলাম আগেই। সম্প্রতি LLaMA 3-ও ইন্সটল করেছি — তবে 8 Billion (8B) parameter মডেলটা। আজকে সেই LLaMA 3 ব‍্যবহার করে Visual Studio Code-এ বসেই Code Review করার মতো সুবিধাও যোগ করার পথ-পদ্ধতি নিয়েই কথা বলবো। একেবারে গোড়া থেকেই শুরু করছি…

LLaMA হলো Large Language Model Application, যা মানুষের ভাষাকে (natural language) প্রোসেস করা আর বুঝতে পারার একটা বড়সড় ল‍্যাঙ্গুয়েজ মডেল। এদেরকে বই আর অন‍্যান‍্য উৎস থেকে প্রচুর প্রচুর তথ‍্য (data) দিয়ে শিক্ষিত (train) করা হয় এমনভাবে যে, [ক] এরা যেন মানুষের ভাষা, যোগাযোগের প্রসঙ্গ, কথার সূক্ষ্মতা, আর ইঙ্গিতও বুঝতে পারে; [খ] মানুষের মতো প্রতিক্রিয়া দেখাতে পারে, এমনকি সৃজনশীল কথাবার্তাও বলতে সক্ষম; [গ] …আর প্রাথমিকভাবে মানুষের সাথে বাতচিৎ করে মানুষের জিজ্ঞাসার উত্তর দেয়া, কথার মাধ‍্যমে ফাইফরমাশ খাটে। (LLaMA-এ একটি চলমান গবেষণা প্রকল্প, যাতে সময়ে সময়ে আরো উন্নতি সাধিত হবে, ইনশাআল্লাহ)

ভিডিও

পুরো নিবন্ধটা একটা ভিডিও আকারেও দেখা যাবে

যা থাকতে হবে

প্রথমেই আপনাকে জানতে হবে যে, আপনার কম্পিউটারের GPU কি LLaMA3 সাপোর্ট করবে কিনা। LLaMA3’র minimum requirement মোটামুটি এরকম:

GPU: Nvidia 3090 with 24GB of VRAM (স্ট‍্যাবিলিটি’র জন‍্য একাধিক GPU থাকলে ভালো আরকি)
RAM: 128GB+ (অফিশিয়ালি কিছুই বলা নেই)
Storage: 16GB’র কাছাকাছি

এগুলো হলো ইন্টারনেট থেকে পাওয়া থিওরি। তাই আমার কম্পিউটারের কনফিগারেশনটাও জানিয়ে রাখি:

Apple M3
8-core CPU, 10-core GPU, 16-core Neural Engine
SSD: 512 GB
RAM: 16 GB

আশার কথা হলো: অনেকের মতে, খুব আহামরি GPU ছাড়াও নাকি এই মডেল চালানো সম্ভব। ভালো মানের CPU আর পর্যাপ্ত RAM থাকলেও নাকি LLaMA 3 রান করা সম্ভব।

👉 আপনাদের অভিজ্ঞতা শোনার অপেক্ষায় থাকলাম…

ধাপ ১: Llama 3 ইন্সটল করা

প্রথম কাজ: Ollama ইন্সটল করা

ভালো কনফিগারেশনের একটা পিসিতে আপনাকে প্রথমে Ollama ইন্সটল করতে হবে। সেজন‍্য এই ওয়েবসাইট থেকে Ollama download করে নিতে হবে:
👉 https://ollama.com/download

আপনার কম্পিউটারের জন‍্য Ollama ডাউনলোড করে নিতে হবে

ডাউনলোড করা Ollama install হয়ে গেলে নিশ্চিত করুন যে, Ollama আপনার Taskbar-এ রান করছে।

Ollama যেন টাস্কবারে রান করতে থাকে

Ollama ঠিকমতো কাজ করছে কিনা, তা যাচাই করতে Terminal (কিংবা Powershell) খুলে টাইপ করুন:

ollama -v

যেমন: আমার ক্ষেত্রে দেখাচ্ছে: ollama version is 0.1.32

দ্বিতীয় কাজ: LLaMA 3 ইন্সটল করা

LLaMA 3 (8B) মডেলের জন‍্য কমপক্ষে 4.7GB+ Disk Space লাগবে

আপনার Terminal (কিংবা Powershell) খুলে টাইপ করুন:

ollama pull llama3:8b

এতে Ollama আপনার কম্পিউটারে LLaMA 3 (8B) মডেল ডাউনলোড করবে (এখানে বেশ কিছুটা সময় লাগবে — অপেক্ষা করা ছাড়া গত‍্যান্তর নেই):

pulling manifest 
pulling 00e1317cbf74… 100% ▕███████████████████████████████████████████████████████████████████▏ 4.7 GB
pulling 4fa551d4f938… 100% ▕███████████████████████████████████████████████████████████████████▏ 12 KB
pulling 8ab4849b038c… 100% ▕███████████████████████████████████████████████████████████████████▏ 254 B
pulling 577073ffcc6c… 100% ▕███████████████████████████████████████████████████████████████████▏ 110 B
pulling ad1518640c43… 100% ▕███████████████████████████████████████████████████████████████████▏ 483 B
verifying sha256 digest
writing manifest
removing any unused layers
success

ধাপ ২: CodeGPT এক্সটেনশন ইন্সটল করা

VSCode Extensions থেকে CodeGPT: Chat & AI Agents (by Code GPT) ইন্সটল করে নিন।

VSCode Extension: CodeGPT: Chat & AI Agents (by Code GPT)

ধাপ ৩: LLaMA 3 মডেল বাছাই করা

এই মুহূর্ত পর্যন্ত CodeGPT’র ফ্রি সংস্করণেই LLaMA 3 ব‍্যবহার করা সম্ভব

এক্সটেনশনটি ইন্সটল করা হয়ে গেলে সাইডবারে একটা নতুন আইকন দেখা যাবে। ওখানে ক্লিক করলে CodeGPT’র প‍্যানেল দেখা যাবে। এই প‍্যানেল থেকে:

  1. Provider অংশে Ollama বাছাই করুন; তারপর
  2. Model অংশে llama3:8b বাছাই করুন (যেহেতু আমরা এই মডেলটাই ডাউনলোড করেছিলাম)

ধাপ ৪: VSCode থেকে LLaMA 3 ব‍্যবহার করা

CodeGPT প‍্যানেলে চ‍্যাট করে পরখ করে নেয়া যাক…

CodeGPT থেকে LLaMA 3 কাজ করছে কিনা, তা পরখ করে দেখা যেতে পারে। যেমন: আমি চ‍্যাটবক্সে টাইপ করেছি:

Where is Olympus Mons located?

আমি সঠিক উত্তর পেয়েছি:

LLaMA 3 আমাকে সঠিক উত্তর দিয়েছে

এবারে কোড দিয়ে সহায়তা চাইবো LLaMA 3 থেকে:

LLaMA 3-কে কোড দিলাম বুঝিয়ে দেবার জন‍্য

আমি উদাহরণস্বরূপ একটা Dockerfile নিয়েছি। এবারে আমি ফাইলটার কোডগুলো সিলেক্ট করে মাউসের Right Button ক্লিক করে কনটেক্সট মেনু থেকে বাছাই করলাম: “CodeGPT: Explain CodeGPT”.

LLaMA 3 আমার কোড ব‍্যাখ‍্যা করেছে

দেখা যাবে, CodeGPT আমার বাছাই করা কোডটুকু LLaMA 3-কে ব‍্যাখ‍্যা করতে বলেছে, আর LLaMA 3 আমার কোডের প্রতিটা লাইন ধরে ধরে ব‍্যাখ‍্যা করে বুঝিয়ে দিচ্ছে। আপনি যদি মাঝপথে থামিয়ে দিতে চান, চাইলে Stop বাটনে ক্লিক করে তা বন্ধও করে দিতে পারবেন।

CodeGPT Extensionটি সরাসরি যা যা ফিচার দিচ্ছে, তা হলো:

  • Explain: কোড বুঝিয়ে দাও
  • Refactor Code: কোড ঠিকঠাক করে দিবে, কোথায় কোথায় বদলেছে, তা জানিয়ে দিবে
  • Document: কোডের মধ‍্যে পর্যাপ্ত কমেন্ট যোগ করে কোডকে বোধগম‍্য করে দিবে
  • Find Problems: কোডের ত্রুটি বের করে দিবে, ঠিকঠাক করে তার ব‍্যাখ‍্যাও দিবে
  • Unit Test: কোডে Unit Test করে দিবে: Test case-ও তৈরি করে দিবে

ব‍্যস, এই তো। আপনি প্রবেশ করলেন AI দিয়ে ন‍্যাচারাল ল‍্যাঙ্গুয়েজ প্রোসেস করে কোড রিভিউ করার লোকালি হোস্টেড আর সম্পূর্ণ বিনামূল‍্য এক জগতে — যেখানে আপনার কোড কেউ চুরি করবে না, কেউ দেখবে না, গোপনীয়তা থাকলে তাও ফাঁস হবে না।

কৃতজ্ঞতা: আমি VSCode-এ LLaMA ব‍্যবহারের জন‍্য এই টিউটোরিয়ালটি অনুসরণ করেছি

লোকালি আপনার পিসিতে AI ব‍্যবহারের আরো বিভিন্ন পথ-পদ্ধতি নিয়ে সময়ে-সময়ে আলোকপাত করা যাবে ইনশাআল্লাহ। লেখা ভালো লাগলে 👏 হাততালি দিয়ে উৎসাহিত করুন। আপনার পিসি কনফিগারেশনে ইন্সটল করতে পারলেন কিনা 💬 মন্তব‍্য করে জানান। আর 🔔 সাবস্ক্রাইব করে নিশ্চিত করুন যাতে ভবিষ‍্যতের লেখাগুলো আপনার দোঁড়গোড়ায় পৌঁছায়।

--

--

Mayeenul Islam
Mayeenul Islam

Written by Mayeenul Islam

https://mayeenulislam.github.io - A Notre Dame College alumni, UI/UX Designer & Developer, WordPressian, Wikimedian, Trekker, Writer/Blogger

No responses yet