Автор: Дарья Колмина
"Питерские заметки", 20.09.2023:
Инфраструктура, необходимая для обработки нагрузок, которые создаёт искусственный интеллект, настолько требовательна, что Schneider Electric предложила пересмотреть способы построения датацентров.
В недавней информационной брошюре французская многонациональная компания разбила несколько факторов, которые делают сложным обеспечение рабочих нагрузок искусственного интеллекта, и предложила свои рекомендации по оптимизации будущих датацентров для их обработки. Плохая новость заключается в том, что некоторые из рекомендаций могут не иметь смысла для современных объектов.
Проблема заключается в том, что рабочие нагрузки искусственного интеллекта часто требуют сетей с низкой задержкой и высокой пропускной способностью для эффективной работы. Это вынуждает уплотнение стоек и, в конечном итоге, оказывает давление на существующие системы подачи питания и управления теплом в датацентрах.
Сегодня не редкость видеть, как графические процессоры потребляют более 700 Вт, а серверы превышают 10 кВт. Для обучения больших новых моделей может потребоваться сотни таких систем.
Согласно Schneider, это уже противоречит тому, что большинство датацентров может направлять в пределах 10-20 кВт на стойку. Эта проблема усугубляется тем, что рабочие нагрузки обучения сильно выигрывают от максимизации количества систем на стойке, так как это снижает сетевую задержку и затраты на оборудовнаие.
Другими словами, размещение систем по всему датацентру может снизить нагрузку на каждую стойку, но, если для этого потребуется использовать медленное оборуование, это может создать места, негативно влияющие на производительность.
"Например, использование графических процессоров, обрабатывающих данные из памяти со скоростью 900 ГБ/с при вычислительной сети 100 ГБ/с, уменьшит среднюю загрузку графического процессора, потому что он ожидает от сети указаний о том, что делать далее", - говорится в отчете. "Это немного похоже на покупку автономного автомобиля мощностью 500 лошадиных сил с набором быстрых датчиков, работающих через медленную сеть; скорость автомобиля будет ограничена скоростью сети и, следовательно, не будет полностью использовать мощность двигателя."
Ситуация не так плачевна для вывода - акта применения обученных моделей для создания текста, изображений или анализа огромных объемов неструктурированных данных - так как требуется меньше ускорителей искусственного интеллекта для каждой задачи.
"Эти проблемы не являются непреодолимыми, но операторы должны принимать во внимание современные требования, не только в отношении информационных технологий, но и физической инфраструктуры, особенно существующих датацентров", - пишут авторы отчета.
В информационной брошюре подчеркиваются несколько изменений в области питания, охлаждения, конфигурации стоек и программного управления данными, которые операторы могут внедрить для смягчения требований широкого внедрения искусственного интеллекта.
Первое изменение касается подачи питания и предполагает замену распределения электропитания 120/280 В на системы 240/415 В для снижения числа цепей в стойках с высокой плотностью.
Тем не менее, это само по себе не является универсальным решением, и Schneider отмечает, что даже при использовании блоков распределения электропитания (PDU) операторы будут сталкиваться с трудностями в обеспечении достаточной мощности для более плотных конфигураций.
В результате может потребоваться несколько PDU на одну стойку, или операторам может потребоваться искать специализированные PDU, способные обеспечивать более 60-63 ампер.
При более высоком напряжении Schneider предупреждает операторов проводить оценку риска возникновения различных инцидентов, чтобы обеспечить использование правильных разъемов и предотвратить травмы сотрудников. Не следует забывать, что дуговая вспышка- это серьезное явление, которое может привести к ожогам, слепоте, электрическому шоку, потере слуха и/или переломам.
Что касается управления температурой, то рекомендации Schneider вполне ожидаемы: жидкостное охлаждение. "Жидкостное охлаждение для ИТ существует уже полвека для специализированных вычислительных систем высокой производительности", - подчеркивают авторы.
Что касается времени, когда операторам датацентров стоит серьезно рассмотреть переход, Schneider устанавливает порог на уровне 20 кВт на стойку. Компания аргументирует, что для меньших рабочих нагрузок обучения или вывода воздушное охлаждение достаточно до этого момента, при условии использования правильных методов управления потоком воздуха, таких как заполнители и ограждения проходов. При мощности более 20 кВт Schneider считает, что "следует серьезно рассмотреть возможность использования жидкостно-охлаждаемых серверов".
Что касается конкретных технологий, компания предпочитает использование прямого жидкостного охлаждения (DLC), которое удаляет тепло, проходя через холодильные пластины, закрепленные на горячих точках, таких как ЦП и ГПУ.
Компания не так восторженно относится к системам погружного охлаждения, особенно к тем, которые используют двухфазные охладители. Некоторые из этих жидкостей, включая те, которые производит 3M, были связаны с ПФАС - так называемыми вечными химикатами - и были сняты с рынка. Для тех, кто уже использует систему погружения своих серверов в большие резервуары с охладителем, Schneider предлагает придерживаться однофазных жидкостей, но предупреждает, что они обычно менее эффективны в передаче тепла. В любом случае Schneider предупреждает, что при выборе жидкостно-охлаждаемых систем следует проявлять осторожность из-за общего отсутствия стандартизации.
Конечно, все это предполагает, что жидкостное охлаждение является практичным. В зависимости от ограничений объекта - например, отсутствия достаточной высоты поднятого пола для прокладки труб, - модернизация существующего объекта может быть невозможной.
И там, где можно внести изменения в системы питания и теплового режима, Schneider предлагает операторам рассмотреть более прочные стойки. В документе предлагается использовать шкафы, способные поддерживать статическую нагрузку чуть менее двух тонн.
Ещё группа рекомендует использовать разнообразные программные платформы инфраструктуры датацентра (DCIM), системы электроснабжения (EPMS) и системы управления зданием (BMS) для выявления проблем до их воздействия на смежные системы и негативного воздействия на работу системы.
Внимание! Информация на сайте представлена исключительно в ознакомительных целях, не является призывом к действию. Перед применением любых рекомендаций обязательно проконсультируйтесь со специалистом. Могут иметься противопоказания или индивидуальная непереносимость.В недавней информационной брошюре французская многонациональная компания разбила несколько факторов, которые делают сложным обеспечение рабочих нагрузок искусственного интеллекта, и предложила свои рекомендации по оптимизации будущих датацентров для их обработки. Плохая новость заключается в том, что некоторые из рекомендаций могут не иметь смысла для современных объектов.
Проблема заключается в том, что рабочие нагрузки искусственного интеллекта часто требуют сетей с низкой задержкой и высокой пропускной способностью для эффективной работы. Это вынуждает уплотнение стоек и, в конечном итоге, оказывает давление на существующие системы подачи питания и управления теплом в датацентрах.
Сегодня не редкость видеть, как графические процессоры потребляют более 700 Вт, а серверы превышают 10 кВт. Для обучения больших новых моделей может потребоваться сотни таких систем.
Согласно Schneider, это уже противоречит тому, что большинство датацентров может направлять в пределах 10-20 кВт на стойку. Эта проблема усугубляется тем, что рабочие нагрузки обучения сильно выигрывают от максимизации количества систем на стойке, так как это снижает сетевую задержку и затраты на оборудовнаие.
Другими словами, размещение систем по всему датацентру может снизить нагрузку на каждую стойку, но, если для этого потребуется использовать медленное оборуование, это может создать места, негативно влияющие на производительность.
"Например, использование графических процессоров, обрабатывающих данные из памяти со скоростью 900 ГБ/с при вычислительной сети 100 ГБ/с, уменьшит среднюю загрузку графического процессора, потому что он ожидает от сети указаний о том, что делать далее", - говорится в отчете. "Это немного похоже на покупку автономного автомобиля мощностью 500 лошадиных сил с набором быстрых датчиков, работающих через медленную сеть; скорость автомобиля будет ограничена скоростью сети и, следовательно, не будет полностью использовать мощность двигателя."
Ситуация не так плачевна для вывода - акта применения обученных моделей для создания текста, изображений или анализа огромных объемов неструктурированных данных - так как требуется меньше ускорителей искусственного интеллекта для каждой задачи.
"Эти проблемы не являются непреодолимыми, но операторы должны принимать во внимание современные требования, не только в отношении информационных технологий, но и физической инфраструктуры, особенно существующих датацентров", - пишут авторы отчета.
В информационной брошюре подчеркиваются несколько изменений в области питания, охлаждения, конфигурации стоек и программного управления данными, которые операторы могут внедрить для смягчения требований широкого внедрения искусственного интеллекта.
Первое изменение касается подачи питания и предполагает замену распределения электропитания 120/280 В на системы 240/415 В для снижения числа цепей в стойках с высокой плотностью.
Тем не менее, это само по себе не является универсальным решением, и Schneider отмечает, что даже при использовании блоков распределения электропитания (PDU) операторы будут сталкиваться с трудностями в обеспечении достаточной мощности для более плотных конфигураций.
В результате может потребоваться несколько PDU на одну стойку, или операторам может потребоваться искать специализированные PDU, способные обеспечивать более 60-63 ампер.
При более высоком напряжении Schneider предупреждает операторов проводить оценку риска возникновения различных инцидентов, чтобы обеспечить использование правильных разъемов и предотвратить травмы сотрудников. Не следует забывать, что дуговая вспышка- это серьезное явление, которое может привести к ожогам, слепоте, электрическому шоку, потере слуха и/или переломам.
Что касается управления температурой, то рекомендации Schneider вполне ожидаемы: жидкостное охлаждение. "Жидкостное охлаждение для ИТ существует уже полвека для специализированных вычислительных систем высокой производительности", - подчеркивают авторы.
Что касается времени, когда операторам датацентров стоит серьезно рассмотреть переход, Schneider устанавливает порог на уровне 20 кВт на стойку. Компания аргументирует, что для меньших рабочих нагрузок обучения или вывода воздушное охлаждение достаточно до этого момента, при условии использования правильных методов управления потоком воздуха, таких как заполнители и ограждения проходов. При мощности более 20 кВт Schneider считает, что "следует серьезно рассмотреть возможность использования жидкостно-охлаждаемых серверов".
Что касается конкретных технологий, компания предпочитает использование прямого жидкостного охлаждения (DLC), которое удаляет тепло, проходя через холодильные пластины, закрепленные на горячих точках, таких как ЦП и ГПУ.
Компания не так восторженно относится к системам погружного охлаждения, особенно к тем, которые используют двухфазные охладители. Некоторые из этих жидкостей, включая те, которые производит 3M, были связаны с ПФАС - так называемыми вечными химикатами - и были сняты с рынка. Для тех, кто уже использует систему погружения своих серверов в большие резервуары с охладителем, Schneider предлагает придерживаться однофазных жидкостей, но предупреждает, что они обычно менее эффективны в передаче тепла. В любом случае Schneider предупреждает, что при выборе жидкостно-охлаждаемых систем следует проявлять осторожность из-за общего отсутствия стандартизации.
Конечно, все это предполагает, что жидкостное охлаждение является практичным. В зависимости от ограничений объекта - например, отсутствия достаточной высоты поднятого пола для прокладки труб, - модернизация существующего объекта может быть невозможной.
И там, где можно внести изменения в системы питания и теплового режима, Schneider предлагает операторам рассмотреть более прочные стойки. В документе предлагается использовать шкафы, способные поддерживать статическую нагрузку чуть менее двух тонн.
Ещё группа рекомендует использовать разнообразные программные платформы инфраструктуры датацентра (DCIM), системы электроснабжения (EPMS) и системы управления зданием (BMS) для выявления проблем до их воздействия на смежные системы и негативного воздействия на работу системы.