معماری PaLM

معماری پایه

PaLM از معماری ترنسفورمر استاندارد استفاده می‌کند اما در مقیاسی بی‌سابقه:

• ۱۱۸ لایه ترنسفورمر
  ( ترنسفورمر یا مُبَدِّل، روشی است که به رایانه اجازه می‌دهد تا یک دنباله از نویسه‌ها را به دنباله دیگری از نویسه‌ها تبدیل کند.)
• ۴۸ هد توجه در هر لایه
• بعد ۱۸,۴۳۲ برای نمایش‌های پنهان
• تابع فعال‌سازی SwiGLU

نوآوری Pathways

سیستم Pathways امکان آموزش مدل روی ۶,۱۴۴ پردازنده TPU را به صورت همزمان فراهم می‌کند:

• مدیریت کارآمد حافظه و محاسبات
• کاهش زمان آموزش از ماه‌ها به هفته‌ها
• بهینه‌سازی استفاده از منابع
• پشتیبانی از مدل‌های بسیار بزرگ