Давненько я не касался графических ускорителей в контексте машинного обучения.
Различие между CPU Intel Core i7, GPU NVIDIA GeForce GTX 1050 Ti, K80 и Tesla V100 для матричных вычислений, составляющих основу машинного обучения, примерно такое же, как между бегуном, всадником и автомобилями моделей Ford Model A и Ford Mustang. Речь о процессорах потребительского уровня, с которыми можно ощутить преимущества GPU над CPU для таких расчётов. Как я убедился в простых тестах, разница между первыми двумя (другие две мне не по карману) составляет порядок.
В облаке, вроде Google Cloud, можно пощупать мощь TPU (Tensor Processing Unit). Это уже Формула 1. TPU v3s в облаке Гугл — это самое быстрое, что доступно сегодня для машинного обучения. Правда, это не только отличается по цене как болид от клячи, но и предполагает соответствующую разницу в квалификации для эффективного использования. Впрочем, облако сильно сглаживает эксплуатационные издержки.
Оригинал: VK.com