Машины-монстры: Процессор-рекордсмен Cerebras значительно "прибавил в весе", плюс 1.4 триллиона транзисторов
На кристалле этого процессора, площадью 46 225 квадратных миллиметров, размещалось 1,4 триллиона транзисторов, формирующих 400 тысяч вычислительных ядер и 18 гигабайт общей памяти. И недавно, представители компании Cerebras, штат которой увеличился более чем в два раза за прошедшее время, объявили о создании чипа следующего поколения, процессора Wafer Scale Engine 2 (WSE 2), производство которого начнется уже в третьем квартале этого года.Процессор WSE 2 имеет те же самые физические размеры, что и его предшественник, но все его базовые показатели, включая производительность, увеличились в два и более раз. Целью создания процессора WSE 2 является обеспечение возможности реализации новых технологий глубинного машинного самообучения, обучения и работы нейронных сетей, размеры которых растут пропорционально сложности решаемых ими задач.
Напомним нашим читателям, что процессоры серии WSE создавались для решения проблемы с крайне медленным процессом обучения нейронных сетей. Такая медлительность этого процесса была обусловлена наличием узкого места в традиционной компьютерной архитектуре, в шине между процессором и внешней DRAM-памятью, по которой постоянно курсируют данные в обоих направлениях, буквально съедая процессорное время и энергию. Изобретатели архитектуры WSE решили, что им требуется сделать чип процессора достаточно большим для того, чтобы на нем помещалось такое количество вычислительных ядер и объем памяти, которых будет достаточно для выполнения сложных задач по обработке естественного языка, распознаванию объектов на видео и изображениях и т.п.
Ключевым моментом, который позволил увеличить все показатели процессора, WSE 2 стал переход с 16-нанометровой технологии сразу на 7-нанометровую технологию компании TSMC, минуя этап в 10 нанометров. Это позволило увеличить количество транзисторов на кристалле с 1.2 на 2.6 триллиона, объем памяти увеличился с 18 до 40 гигабайт, а количество вычислительных ядер увеличилось с 400 до 850 тысяч. Кроме этого, переход на новый техпроцесс позволил добиться 40-процентного увеличения производительности в пересчете на одно вычислительное ядро и 60-процентного снижения количества потребляемой энергии. Кроме этого, инженеры компании Cerebras провели достаточно большую работу по улучшению микроархитектуры вычислительных ядер, которые, помимо улучшений существующих функций, приобрели массу новых возможностей.
Как уже упоминалось выше, чипы WSE и WSE 2 имеют одинаковый размер и внешний вид квадратной пластины со стороной в 300 миллиметров, визуально разделенной сеткой 7 на 12 ячеек, что связано с особенностями процесса производства. Кроме этого, внешне практически не изменилась компьютерная система Cerebras CS-2, которая, как и прежде, занимает треть стандартной серверной стойки и использует систему жидкостного охлаждения. Новая система потребляет около 20 кВт, что на 5 кВт больше чем у предшественника, часть этой энергии расходуется на обеспечение работы более миллиона электрических проводников, которые связывают чип процессора со всей остальной периферией.
Некоторые изменения коснулись и компилятора программ для системы WSE 2, который использует стандартные структуры данных, подготовленные распространенными программами, такими, как PyTorch и TensorFlow. Теперь этот компилятор самостоятельно и более качественно решает проблемы оптимизации, располагая слои нейронных сетей в памяти так, что перемещение данных по внутренней сети происходит практически без задержек, а в обработке этих данных в равной мере принимают участие все 850 тысяч вычислительных ядер.
