منظور از بُعد برای نمایش های پنهان در هوش مصنوعی چیست؟

در هوش مصنوعی—به‌ویژه در شبکه‌های عصبی و مدل‌های زبانی—منظور از بُعد (Dimension) نمایش‌های پنهان این است که:
هر داده (مثلاً یک کلمه، تصویر یا جمله) در داخل مدل، به‌صورت یک بردار عددی با طول مشخص نمایش داده می‌شود و این طول همان «بُعد» نمایش پنهان است.

توضیح ساده

فرض کنید مدل بخواهد معنی یک کلمه یا جمله را «درک» کند. به‌جای استفاده از متن خام، آن را به یک بردار عددی تبدیل می‌کند مثل:

$$\text{نمایش پنهان}=[0.12,-1.7,0.03,\dots ,2.1]$$

اگر این بردار ۱٬۰۲۴ عدد داشته باشد، می‌گوییم:                بُعد نمایش پنهان = 1024

چرا به آن «پنهان» می‌گویند؟

• این نمایش‌ها برای انسان قابل‌خواندن نیستند

• در لایه‌های میانی مدل ساخته می‌شوند

• مستقیماً خروجی نهایی نیستند، بلکه دانش درونی مدل‌اند

بُعد چه چیزی را تعیین می‌کند؟

1. ظرفیت درک مدل

• بُعد بزرگ‌تر → توان مدل برای نمایش مفاهیم پیچیده بیشتر
• بُعد کوچک‌تر → ساده‌تر، سریع‌تر، ولی با قدرت کمتر

مثال:

• 128 بعد → مفاهیم ساده
• 768 یا 1024 بعد → مدل‌های متوسط
• 4096، 8192 یا حتی 18,432 بعد → مدل‌های بسیار بزرگ (مثل مدل‌های مدرن زبانی)

2. هر بعد چه معنایی دارد؟

هر بعد معمولاً نشان‌دهنده‌ی یک ویژگی انتزاعی است، مثلاً:

• رسمی یا غیررسمی بودن متن
• زمان (گذشته/حال)
• احساس مثبت یا منفی
• رابطه معنایی با مفاهیم دیگر

✅ نکته مهم:

این ویژگی‌ها از قبل تعریف نشده‌اند؛ مدل آن‌ها را خودش در زمان آموزش یاد می‌گیرد.

یک تشبیه مفید

فرض کنید بخواهید موقعیت یک نقطه را مشخص کنید:

• در نقشه: 2 بعد (x, y)
• در فضا: 3 بعد (x, y, z)
• در هوش مصنوعی: هزاران بعد برای توصیف «معنی»

هر چه فضا بعدهای بیشتری داشته باشد، می‌توان تفاوت‌های ظریف‌تری را نمایش داد.

در مدل‌های ترنسفورمر

در مدل‌های ترنسفورمر (مثل GPT):

• این بُعد با نام‌هایی مثل:
  • hidden size
  • embedding dimension
  • d_model

شناخته می‌شود

• تمام لایه‌ها روی بردارهایی با همین اندازه کار می‌کنند

 جمع‌بندی کوتاه

• بُعد نمایش پنهان = تعداد اعدادی که مدل برای نمایش درونی یک داده استفاده می‌کند
• بُعد بیشتر → قدرت بیان بیشتر (ولی هزینه محاسباتی بالاتر)
• این بُعد مغز اصلی فهم مدل را می‌سازد

اگر دوست داری، می‌توانم:

• یک مثال تصویری بکشم
• تفاوت بُعد embedding و hidden را توضیح بدهم
• بگویم چرا بعضی مدل‌ها عددهای عجیب مثل 18,432 دارند

کدامش برایت جذاب‌تر است؟