Пять измерений для сравнения производительности четырех чипов на ИИ

искусственный интеллект

содержание

инструкция

CPU

GPU

ASIC

FPGA


инструкция

Ссылка на эту статью:Tickets.WeChat.QQ.com/Yes/i7 9AP GI2…, В этой статье был сделан относительно объективный анализ часто используемых чипов ИИ. Я перехватил часть контента для сбора и использования.

Четырьмя наиболее распространенными чипами являются CPU, GPU, ASIC и FPGA. Пять измерений — это вычислительная мощность, то есть производительность чипа, гибкость, изоморфизм, стоимость и энергопотребление.

Во-первых, это вычислительная мощность, то есть производительность чипа. Здесь есть много аспектов производительности, например, когда чип выполняет операции с плавающей или фиксированной запятой, количество операций в секунду, а также пиковая производительность и средняя производительность этого чипа и т. д. Гибкость относится к адаптируемости этого чипа ИИ к различным сценариям применения. Другими словами, можно ли использовать этот чип для различных алгоритмов и приложений ИИ.

Изоморфизм относится к тому, можем ли мы повторно использовать существующую программную и аппаратную архитектуру и ресурсы, когда мы развертываем этот ИИ-чип в больших количествах, или нам нужно ввести другие дополнительные вещи. Для простого примера, например, мой компьютер должен быть подключен к внешнему монитору, если интерфейс монитора HDMI, то его можно подключить напрямую. Но если интерфейс этого монитора только VGA или DVI или другой интерфейс, то я должен купить дополнительный адаптер. Таким образом, скажем, это устройство, оно же дисплей, не годится для изоморфизма моей существующей системы.

 

https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8IlkWbU4nhprXLWVP5a4RESgqtiaxK6HktEFvsYMZeqXVjAJ5O7DUSuLw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

Стоимость и энергопотребление понять легче. Стоимость относится к деньгам и времени.Конечно, если вы будете осторожны, будут вложены все виды рабочей силы и материальных ресурсов, а также альтернативная стоимость отказа от выбора других чипов. Но в конце концов, все упирается в деньги и время. Стоимость состоит из двух частей: одна — это стоимость НИОКР чипа, а другая — стоимость развертывания, эксплуатации и обслуживания чипа.

Энергопотребление лучше понимается, что относится к дополнительной нагрузке на энергопотребление, которую определенный чип ИИ приносит в центр обработки данных.

 

CPU

Для ЦП он по-прежнему является основным вычислительным блоком в центре обработки данных. Фактически, чтобы лучше поддерживать различные приложения искусственного интеллекта, структура и набор инструкций традиционных ЦП постоянно повторяются и меняются.
Например, в новейшем процессоре Intel Xeon Scalable реализована так называемая DL Boost — технология ускорения глубокого обучения, позволяющая повысить производительность обучения и логического вывода сверточных нейронных сетей и глубоких нейронных сетей. Однако по сравнению с тремя другими чипами в производительности ИИ ЦП все же есть определенный разрыв.
Самым большим преимуществом CPU является его гибкость и изоморфизм. Для большинства центров обработки данных их различные аппаратные и программные инфраструктуры построены на базе ЦП. Таким образом, развертывание, расширение, эксплуатация и обслуживание ЦП в центре обработки данных, включая экологию, на самом деле очень зрелые. Его энергопотребление и стоимость не слишком низкие, но все же в пределах допустимого.

GPU

Графические процессоры имеют массивно-параллельную архитектуру, что делает их идеальными для вычислений и обработки приложений с интенсивным использованием данных, таких как учебный процесс глубокого обучения. По сравнению с CPU производительность GPU будет в десятки, а то и тысячи раз выше. Поэтому многие компании отрасли используют графические процессоры для ускорения различных приложений ИИ.https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8Is11ZV9Lb9mQvk9r4bngPVAn6O0OmPada7voJlskP5nUND1gzc4M9nw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
Еще одним преимуществом графического процессора является то, что он имеет относительно зрелую среду программирования, такую ​​как CUDA, OpenCL и т. д. Это одна из самых непосредственных движущих сил для взрыва графического процессора в области ИИ, а также одна из самых больших Преимущества GPU по сравнению с FPGA или ASIC.
Однако самой большой проблемой графического процессора является его энергопотребление. Например, графические процессоры Nvidia P100, V100 и A100 потребляют от 250 Вт до 400 Вт. По сравнению с потребляемой мощностью в десятки ватт или даже несколько ватт FPGA или ASIC, это число слишком ошеломляет.В настоящее время графические процессоры, используемые для обучения глубокому обучению, в основном представляют собой графические процессоры NVIDIA.

ASIC

ASIC — это так называемый специализированный чип искусственного интеллекта. Типичным представителем здесь является TPU, используемый в Google AlphaGo. По данным Google, TPU заменяют более тысячи процессоров и сотни графических процессоров в AlphaGo.
https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8IdvkeCzRQC3OMjIwyPfb5CJuV4yomb6fHHHRZlymgs4zib2OeUcfB4Uw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
В нашей системе измерений показатели этого ИИ-чипа очень экстремальные, например, он имеет чрезвычайно высокую производительность и чрезвычайно низкое энергопотребление, по сравнению с графическим процессором его производительность может быть в десять раз выше, а может быть в 100 раз ниже.https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8IxY7gKj3HO2iaT3ceYG1C01aiarYsgSNRO3NUfCSAToYlcovpRIaAo1DQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
Однако разработка такого чипа является чрезвычайно дорогостоящей и рискованной. В отличие от разработки программного обеспечения, весь процесс разработки микросхем требует больших человеческих и материальных вложений, цикл разработки часто составляет несколько лет, а риск неудачи велик. Глядя на мир, компании с сильными финансовыми возможностями и техническими резервами для проведения такого рода исследований и разработок, вероятно, можно пересчитать двумя руками. Тем не менее, этот подход может не иметь прямых последствий для большинства компаний.
Кроме того, чипы для ИИ часто менее гибкие. Как следует из названия, чипы для ИИ, в том числе TPU от Google, обычно проектируются и разрабатываются для конкретного приложения, поэтому их может быть сложно применить к другим приложениям. С точки зрения стоимости использования, если будет принято решение на основе ASIC, такие целевые приложения должны иметь достаточное использование, чтобы разделить высокие расходы на исследования и разработки. В то же время такие приложения должны быть достаточно стабильными, чтобы избежать постоянных изменений в основных алгоритмах и протоколах. А это нереально для многих приложений ИИ.
Стоит отметить, что в моей стране появилась волна отличных компаний в области чипов для искусственного интеллекта, таких как Cambrian, Horizon и Shenjian Technology, которые ранее были приобретены Xilinx. Из-за нехватки места конкретные продукты и технологии этих компаний не будут здесь представлены.https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8IlPiciblZFyn1GmgIib79TBtrnHZ2cvytuJoYgwFvM0oQkn9QGA7vwJCbw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

FPGA

Наконец, давайте поговорим о ПЛИС. Я лично считаю, что FPGA могут достичь идеального баланса между этими показателями производительности. Конечно, моя нынешняя деятельность тесно связана с ПЛИС, поэтому этот вывод заподозрен в решении головы, и я хотел бы предоставить вам ссылку.
https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8Iypp4b4IOhCOZpllMPGPQBOaVmDwjhBjGzpUH30tA6FqCSKia7rRYKlA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
Что касается производительности, ПЛИС могут реализовывать настраиваемые аппаратные конвейеры и выполнять крупномасштабные параллельные операции на аппаратном уровне с высокой пропускной способностью.
Наиболее важной особенностью FPGA является ее гибкость, которая может хорошо справляться с различными приложениями, в том числе с интенсивными вычислениями и коммуникациями. Кроме того, FPGA обладает характеристиками динамической программируемости и частичной программируемости, то есть FPGA может обрабатывать несколько приложений одновременно, а также может обрабатывать разные приложения в разное время.
В центрах обработки данных FPGA обычно развертываются в больших масштабах с существующими процессорами в виде карт-ускорителей. Потребляемая мощность FPGA обычно составляет десятки ватт, а особых требований к дополнительному подводу питания и отводу тепла не предъявляется, поэтому она может быть совместима с существующей аппаратной инфраструктурой ЦОД.
При измерении чипов ИИ мы часто используем соотношение производительности и мощности в качестве стандарта. То есть, даже если производительность определенного чипа очень высока, но энергопотребление также очень велико, отношение производительности к мощности этого чипа очень низкое. В этом также преимущество FPGA перед графическими процессорами.https://mmbiz.qpic.cn/mmbiz_png/ibcZDt1IvHVA26o4ricnotTOibaNurRYD8I1BpWxCqbwYfXibWvVQwdPlGlke4iatzEzNuKOCCpEHPDSmKuD50a06ew/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
С точки зрения стоимости разработки единовременная стоимость FPGA на самом деле намного ниже, чем у ASIC, потому что после изготовления FPGA ее логическая функция может быть изменена путем многократного программирования. Выделенный чип нельзя изменить после того, как лента будет готова, но каждая лента будет стоить больших денег. Вот почему многие стартапы по производству микросхем ИИ, в том числе Shenjian, используют FPGA в качестве своих платформ реализации.
Таким образом, по сравнению с другими аппаратными ускорителями, FPGA достигла идеального баланса по пяти аспектам: производительность, гибкость, однородность, стоимость и энергопотребление.Вот почему Microsoft, наконец, выбрала FPGA и внедрила его в ЦОД.Основная причина массовости развертывание.

 

Справочная статья:Tickets.WeChat.QQ.com/Yes/i7 9AP GI2…