37 هزار شتاب دهنده هوش مصنوعی MI250X، نقطه عطف بزرگ ابرکامپیوتر فرانتیر

ابرکامپیوتر فرانتیر (Frontier) مجهز به پردازنده های AMD با پردازشگرهای گرافیکی Instinct MI250X برای آموزش یک تریلیون پارامتر در یک مدل زبانی بزرگ (LLM) استفاده شده و راندمان بسیار بالایی در این زمینه داشته است.

فرانتیر قدرتمندترین ابرکامپیوتر جهان و تنها دستگاه با قدرت رایانش اگزامقیاس است. این دستگاه از پردازنده های سری Epyc و پردازشگرهای گرافیکی سری Instinct شرکت AMD بهره می برد که با کمک آن ها عملکردهای با پردازش بالا را بهتر انجام می دهد و همچنین به عنوان دومین ابرکامپیوتر کارآمد روی کره زمین شناخته می شود. حالا براساس گزارش جدیدی، ابررایانه Frontier ظاهراً به قابلیت آموزش یک تریلیون پارامتر از طریق رویکرد «تنظیم ابرپارامترها» دست یافته است که معیار حدیدی در صنعت خود به حساب می آید.

نکته قابل توجه دیگر اینکه فرانتیر در آزمایش های خود فقط از 3000 شتاب دهنده هوش مصنوعی MI250X بهره برده است، در حالی که مجموعاً دارای 37 هزار شتاب دهنده است.

نقطه عطف بزرگ ابرکامپیوتر فرانتیر

محققان در پژوهش خود می نویسند:

«برای 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر، ما به ترتیب به 38.38 درصد، 36.14 درصد و 31.96 درصد از توان عملیاتی GPU دست یافته ایم. برای آموزش با 175 میلیارد و 1 تریلیون پارامتر نیز به ترتیب 1024 و 3072 پردازنده MI250X استفاده شده و راندمان مقیاس پذیری ضعیف را به 100 درصد رسانده ایم. همچنین برای این دو مدل به راندمان مقیاس پذیری قوی 89 و 87 درصد دست یافتیم.»

رکورد جدید فرانتیر با استراتژی های مؤثری که برای آموزش مدل های زبان بزرگ (LLM) به کار گرفته شده و همچنین استفاده از سخت افزار داخلی به بهترین نحو ممکن به دست آمده است. این تیم در آزمایش های خود با استفاده از 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر به نتایج قابل توجهی دست یافته است.

آینده امیدوارکننده ای برای سرورها و بخش مرکز داده در انتظار است و نکته مهم دیگری که باید به آن توجه داشته باشیم این است که فرانتیر از سخت افزاری استفاده می کند که نسبتاً جدید نیست. با پیشرفت مداوم در بخش هوش مصنوعی مولد، بدیهی است که بازارها به قدرت محاسباتی بیشتری نیاز دارند و به همین دلیل است که پیشرفت های سخت افزاری طراحی شده برای این بخش، برای پیشرفت به نسل بعدی مهم هستند.