Нажмите выше"Машинное обучение и генеративно-состязательные сети", обратите внимание на "звездочку"
Получите удовольствие, удовольствие, передовые галантерейные товары!
оригинал: Выбор лучшего графического процессора для глубокого обучения в 2020 году
lambda labs.com/blog/ ешь, умри…
автор: Майкл Балабан
переводчик: Брайант8
# При перепечатке просьба указывать источник на видном месте!
Модели глубокого обучения, которые работают по последнему слову техники (SOTA), все чаще требуют больших накладных расходов на память, и многие графические процессоры в настоящее время начинают уставать. В этой статье будут показаны некоторые ситуации, когда графические процессоры обучают модели SOTA.
По состоянию на 2020 г. в феврале следующие графические процессоры могут тренировать все модели Sota (Top-Notch) или модели изображения:
- RTX 8000: 48 ГБ видеопамяти, около 5500 долларов.
- RTX 6000: 24 ГБ видеопамяти, около 4000 долларов.
- Titan RTX: 24 ГБ видеопамяти, около 2500 долларов.
И следующие графические процессоры могут обучать большинство (некоторые не) моделей SOTA:
- RTX 2080Ti: 11 ГБ ОЗУ, около 1150 долларов.
- GTX 1080Ti: 11 ГБ видеопамяти, около 800 долларов США, б/у
- RTX 2080: 8 ГБ видеопамяти, около 720 долларов.
- RTX 2070: 8 ГБ ОЗУ, около 500 долларов.
Примечание. Для обучения больших моделей на вышеуказанных графических процессорах обычно требуется меньший размер пакета, что может привести к снижению точности.
Следующие графические процессоры больше не могут обучать SOTA:
- RTX 2060: 6 ГБ видеопамяти примерно за 359 долларов.
модель изображения
1. Максимальный размер пакета, который может поддерживать видеопамять
* указывает на то, что памяти графического процессора недостаточно для запуска модели
2. Производительность (обработано изображений в секунду)
* указывает на то, что памяти графического процессора недостаточно для запуска модели
языковая модель
1. Максимальный размер пакета, который может поддерживать видеопамять
2. Производительность
На базе RTX 8000 ("1")
в заключении
1. Больший объем памяти более полезен для языковой модели. Обратите внимание, что ломаная траектория графа языковой модели круче, чем у модели изображения. Это говорит о том, что языковые модели больше привязаны к памяти, а модели изображений — к вычислительным ресурсам.
2. Чем больше объем памяти, тем выше производительность модели. Потому что чем больше память, тем больше размер пакета, и CUDA может работать ближе к полной мощности.
3. Большая видеопамять может пропорционально использовать больший размер пакета.Например, GPU с 24 ГБ видеопамяти может использовать в 3 раза больше пакетов, чем GPU с 8 ГБ видеопамяти.
4. Для длинных последовательностей объем памяти языковой модели увеличивается непропорционально, потому что внимание представляет собой квадратичное отношение длины последовательности.
предположение
1. RTX 2060 (6 ГБ): любители алхимии.
2. RTX 2070 или 2080 (8 Гб): Для игроков, которые серьезно относятся к алхимии, но относительно бедны, можно использовать большинство моделей.
3. RTX 2080Ti (11 ГБ): те, кто увлекается алхимией и не может выпутаться, готовы заплатить за нее около 1200 долларов. Примечание. RTX 2080Ti примерно на 40 % быстрее, чем RTX 2080, в обучении глубокому обучению.
4. Titan RTX и Quadro RTX 6000 (24GB): я часто изучаю плееры SOTA elixir, но я недостаточно богат, чтобы покупать RTX 8000, поэтому выбираю эти два.
5. Quadro RTX 8000 (48 ГБ): стремление сделать таблетку Геркулеса! Новая SOTA Danjie, это для U!
Публичный аккаунт недавно рекомендовал прочитать:
GAN существует уже 6 лет! Пришло время для инсульта!
Обзор руководства для начинающих | Слишком много моделей GAN, не знаете, какую выбрать?\
Были загружены сотни документов GAN! С недавним обзором генеративно-состязательных сетей!
MSG-GAN CVPR2020: простая и эффективная SOTA\
Преобразование позы CVPR2020 GAN: кто может разделить изображение?\
Взгляните на ГАН тонкого знания сверхвысокого разрешения! С более чем 70 статей для загрузки!\
В небе дождь, а у меня его нет! Как насчет GAN для удаления дождя?\
Угасание! ГАН прогнозировать?\
Надежные данные — это сложно! Как насчет SSL (полуконтролируемое обучение) в сочетании с GAN?\
Руошуй три тысячи, только бери свою отметку! Как насчет AL (активного обучения) в сочетании с GAN?\
Обнаружение аномалий, как работает GAN?
Виртуальная переодевание! Взгляните на то, что делают эти последние газеты!\
Миграция макияжа лица! Краткий обзор нескольких статей с использованием GAN
[1] Как насчет генерации GAN на медицинских изображениях?
01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне
GAN&CV группа обмена , будь вы новичок или большой парень, сердечно приглашаем вас присоединиться!\
Обсуждайте и общайтесь вместе! Нажмите и удерживайте заметку [Присоединиться к группе], чтобы присоединиться:
Чтобы больше поделиться, нажмите и удерживайте, чтобы подписаться на эту официальную учетную запись:\