Why systolic architectures?
- Simple and regular design
- Единовременные затраты (проектирование): Простая и стандартная аппаратная архитектура, Google завершила разработку и внедрение чипа за очень короткое время.
- текущие расходы (детали устройства)
- Concurrency and communication
- Balancing computation with I/O
«(Полу-) массивы систолической свертки с глобальной передачей данных»
broadcast inputs, move results, weights stay
broadcast inputs, move weights, results stay
fan-in results, move inputs, weights stay
«(Чистые) массивы систолической свертки без глобальной передачи данных»
esults stay, inputs and weights move in opposite directions
results stay, inputs and weights move in the same direction but at different speeds
weights stay, inputs and results move in opposite direction
weights stay, inputs and results move in the same direction but at different speeds
Переформатируйте исходную матрицу
from: Глубокое понимание архитектуры систолического массива Google TPU