وقتی با یک دستیار هوش مصنوعی گفت‌وگو می‌کنید، پشت صحنه یک «مدل زبانی بزرگ» (LLM) در حال کار است. این مدل‌ها شاید جادویی به نظر برسند، اما ایده اصلی‌شان را می‌شود ساده توضیح داد.
توکن؛ واحد کوچک زبان
مدل‌های زبانی متن را کلمه‌به‌کلمه نمی‌خوانند؛ آن را به قطعه‌های کوچکی به اسم «توکن» تقسیم می‌کنند. یک توکن می‌تواند یک کلمه کامل، بخشی از یک کلمه یا حتی یک علامت نگارشی باشد. هر توکن به یک عدد تبدیل می‌شود تا مدل بتواند با آن محاسبه کند.
پیش‌بینی توکن بعدی
هسته کار یک مدل زبانی، پیش‌بینی توکن بعدی است. مدل در مرحله آموزش حجم عظیمی از متن را می‌بیند و بارها و بارها تمرین می‌کند که حدس بزند ادامه یک جمله چیست. در این فرایند، الگوهای دستور زبان، معنی کلمات و حتی بخشی از دانش عمومی را یاد می‌گیرد. وقتی جواب می‌نویسد، در واقع توکن‌به‌توکن محتمل‌ترین ادامه را انتخاب می‌کند.
ترنسفورمر و سازوکار توجه
بیشتر مدل‌های زبانی امروز بر پایه معماری «ترنسفورمر» ساخته شده‌اند که سال ۲۰۱۷ در مقاله‌ای با عنوان «Attention Is All You Need» معرفی شد. ایده کلیدی آن «سازوکار توجه» است: مدل برای فهم هر کلمه، به همه کلمه‌های دیگر جمله نگاه می‌کند و تشخیص می‌دهد کدام‌ها مهم‌ترند. همین باعث می‌شود ارتباط بین کلمه‌هایی را که از هم فاصله دارند بهتر بفهمد.
از پیش‌آموزش تا یک دستیار مفید
آموزش این مدل‌ها معمولاً چند مرحله دارد:
- پیش‌آموزش: مدل با حجم بسیار زیادی متن، پیش‌بینی توکن بعدی را یاد می‌گیرد.
- تنظیم دقیق: مدل با نمونه‌های باکیفیت از پرسش و پاسخ آموزش می‌بیند تا مثل یک دستیار رفتار کند.
- یادگیری از بازخورد انسانی: انسان‌ها پاسخ‌ها را مقایسه و رتبه‌بندی می‌کنند تا مدل یاد بگیرد چه جواب‌هایی مفیدتر و امن‌ترند.
چرا گاهی اشتباه می‌کنند؟
چون مدل در اصل محتمل‌ترین ادامه متن را تولید می‌کند، گاهی جوابی می‌سازد که درست به نظر می‌رسد اما واقعیت ندارد؛ به این پدیده «توهم» (hallucination) می‌گویند. همچنین دانش مدل محدود به داده‌هایی است که با آن‌ها آموزش دیده و ممکن است از رویدادهای تازه بی‌خبر باشد، مگر اینکه به ابزار جست‌وجو دسترسی داشته باشد.
یک مدل زبانی بزرگ، پیش‌بینی‌کننده‌ای بسیار ماهر است؛ نه دانای کل.
جمع‌بندی
مدل‌های زبانی بزرگ متن را به توکن تبدیل می‌کنند، با معماری ترنسفورمر روابط بین آن‌ها را می‌فهمند و توکن‌به‌توکن جواب می‌سازند. دانستن همین سازوکار ساده کمک می‌کند هم از توانایی‌هایشان بهتر استفاده کنیم و هم محدودیت‌هایشان را جدی بگیریم.