تشنه هوش مصنوعی هستید؟ ابرکامپیوتر جدید شامل 16 تراشه به اندازه بشقاب است

به گزارش رویترز، روز دوشنبه، Cerebras Systems از ابرکامپیوتر 13.5 میلیون هسته‌ای آندرومدا با هوش مصنوعی برای یادگیری عمیق رونمایی کرد. به گفته سربراس، آندرومدا بیش از یک اگزافلاپ (۱ کوئینتیلیون عملیات در ثانیه) توان محاسباتی هوش مصنوعی را با دقت نیمی از ۱۶ بیت ارائه می‌کند.

آندرومدا خود خوشه ای از 16 کامپیوتر Cerebras C-2 است که به یکدیگر متصل شده اند. هر CS-2 حاوی یک تراشه موتور مقیاس ویفر (که اغلب به نام “WSE-2” نامیده می شود)، که در حال حاضر بزرگترین تراشه سیلیکونی ساخته شده است، در حدود 8.5 اینچ مربع و دارای 2.6 تریلیون ترانزیستور سازماندهی شده در 850000 هسته است.

سربراس آندرومدا را در یک مرکز داده در سانتا کلارا، کالیفرنیا با قیمت 35 میلیون دلار ساخت. این برای برنامه هایی مانند مدل های زبان بزرگ تنظیم شده است و قبلاً برای کارهای آکادمیک و تجاری استفاده شده است. Cerebras در یک بیانیه مطبوعاتی می نویسد: «Andromeda مقیاس تقریباً عالی را از طریق موازی سازی داده های ساده در بین مدل های زبان بزرگ کلاس GPT، از جمله GPT-3، GPT-J و GPT-NeoX ارائه می دهد.

به گفته سربراس، عبارت «مقیاس‌سازی تقریباً کامل» به این معناست که با افزودن واحدهای رایانه‌ای CS-2 بیشتری به آندرومدا، زمان آموزش در شبکه‌های عصبی به «نسبت کامل» کاهش می‌یابد. به طور معمول، برای افزایش مقیاس یک مدل یادگیری عمیق با افزودن توان محاسباتی بیشتر با استفاده از سیستم‌های مبتنی بر GPU، ممکن است با افزایش هزینه‌های سخت‌افزار، بازدهی کاهش یابد. علاوه بر این، Cerebras ادعا می‌کند که ابررایانه‌اش می‌تواند وظایفی را انجام دهد که سیستم‌های مبتنی بر GPU نمی‌توانند:

کار غیرممکن GPU توسط یکی از اولین کاربران آندرومدا نشان داده شد که مقیاس تقریباً کاملی را در GPT-J با 2.5 میلیارد و 25 میلیارد پارامتر با طول توالی طولانی – MSL 10240 به دست آورد. کاربران تلاش کردند همین کار را روی Polaris، یک خوشه 2000 Nvidia A100 انجام دهند، و GPU ها به دلیل محدودیت حافظه GPU و پهنای باند حافظه قادر به انجام کار نبودند.

اینکه آیا این ادعاها تا بررسی های خارجی باقی می مانند، هنوز مشخص نیست، اما در دوره ای که شرکت ها اغلب مدل های یادگیری عمیق را بر روی خوشه های بزرگتر از پردازنده های گرافیکی Nvidia آموزش می دهند، به نظر می رسد Cerebras یک رویکرد جایگزین ارائه می دهد.

آندرومدا چگونه در مقابل ابر رایانه های دیگر قرار می گیرد؟ در حال حاضر، سریع‌ترین فرانتیر در جهان در آزمایشگاه ملی Oak Ridge مستقر است و می‌تواند با سرعت 1103 اگزافلاپس با دقت 64 بیتی اجرا کند. هزینه ساخت آن کامپیوتر 600 میلیون دلار بوده است.

دسترسی به آندرومدا اکنون برای استفاده از راه دور توسط چندین کاربر در دسترس است. در حال حاضر توسط دستیار نوشتن تجاری JasperAI و آزمایشگاه ملی Argonne و دانشگاه کمبریج برای تحقیقات استفاده می شود.