این دوره قدم اول مسیر «ساخت برنامه‌های هوشمند با مدلهای زبانی بزرگ» است. هدف این نیست که مدل زبانی بسازیم یا آموزش بدهیم. هدف این است که از مدلهای موجود درست استفاده کنیم: بدانیم داخلشان چه می‌گذرد، از هر جایی که هستند صدایشان بزنیم و پرامپتی بنویسیم که در یک برنامه‌ی واقعی، بدون اینکه کسی کنار مدل نشسته باشد، جواب قابل‌اعتماد بدهد.
در این دوره چه یاد می‌گیرید؟#
بخش اول: مدل زبانی از درون. هوش مصنوعی و یادگیری عمیق از کجا آمدند، یک LLM در سه مرحله چطور ساخته می‌شود، ترنسفورمر و توجه (attention) به زبان ساده، و اینکه متن چطور توکن‌به‌توکن تولید می‌شود. دما، top-k و top-p را هم با کد روی یک مدل کوچک امتحان می‌کنیم.
بخش دوم: فراخوانی مدلها. اتصال به مدلهای تجاری با کتابخانه‌ی OpenAI و ارائه‌دهنده‌های سازگار مثل GapGPT، اجرای مدل روی کامپیوتر خودتان با Ollama، و یکی کردن همه‌ی این‌ها با LiteLLM. دو رابط کاربری کوچک هم با Streamlit می‌سازیم، یکی برای گفتگو و یکی برای پرسیدن سؤال از یک PDF.
بخش سوم: مهندسی پرامپت. دو اصل کلیدی پرامپت‌نویسی و تاکتیک‌هایشان، توهم مدل و راه کم کردنش، توسعه‌ی تکرارشونده‌ی پرامپت، کاربردهای اصلی (خلاصه، استخراج، طبقه‌بندی، ترجمه و نوشتن پاسخ)، فرمت چت و حافظه، نقش‌دهی، زنجیره‌ی تفکر و مدلهای استدلالی.
پیش‌نیاز#
- پایتون در حد تابع، لیست و دیکشنری و نصب کتابخانه با
pip - برای بخش Ollama، کامپیوتری با دست‌کم ۸ گیگابایت رم (مدلهای ۱ تا ۴ میلیارد پارامتری روی CPU هم اجرا می‌شوند)
- برای مدلهای تجاری، یک کلید API از یک ارائه‌دهنده (GapGPT برای شروع اعتبار رایگان کوچکی می‌دهد)
کدهای دوره#
همه‌ی نوت‌بوک‌ها در مخزن llm-apps هستند و هر درس به نوت‌بوک خودش لینک دارد. شماره‌ی اول نام هر فایل بخش آن را نشان می‌دهد: 01_ ترنسفورمر و توکن، 02_ فراخوانی مدلها و 03_ مهندسی پرامپت.
دوره‌ی بعدی، LangChain، همین کارها را با یک فریم‌ورک انجام می‌دهد و از جایی شروع می‌کند که این دوره تمام می‌شود.