2025年4月23日から4月25日にアメリカ合衆国のサンフランシスコで開催された、26th International Symposium on Quality Electronic Design (ISQED2025)において、M2の川村くんが研究成果を発表しました(発表は25日)。
Teppei Kawamura, Yutaka Masuda, and Tohru Ishihara “Piecewise-Linear Approximation of Self-Attention and Its Accuracy-Aware Training for Area-Efficient Vision Transformer Inference Accelerator,” Proc. IEEE International Symposium on Quality Electronic Design (ISQED2025), San Francisco, CA, USA, April 2025.
ーー
Vision Transformer（ViT）は、画像処理に特化したニューラルネットワークモデルである。
ViTはSelf Attention処理により画像内の広範な相関関係を捉え、高精度な推論を行うことが可能であるが、ハードウェア資源の消費が激しいという欠点がある。
本研究では、乗算とSoftmax関数に区分線形近似(Piecewise Linear Approximation) を導入し、Self Attention処理を効率よくハードウェア化する手法を提案する。さらに、比較実験の結果から、区分線形近似を導入したニューラルネットワークモデルに適した学習手法を明らかにする。
評価実験により、提案手法を用いてSelf Attention処理を近似しても、近似を行わないモデルと同等の画像分類精度を達成できることを確認した。加えて、提案手法により、Self Attention処理回路の面積を60.2%削減できることを確認した。
ーー
