2024年11月12日から11月14日に大分県大分市で開催されたデザインガイア2024 において、M1 の川村くんが研究成果を発表しました (発表日は13日)。
タイトル: 整数量子化と近似演算に基づくSelf Attetnion処理回路の省面積化
本研究では、画像処理ニューラルネットワークモデルであるVision Transformerに含まれるSelf Attention処理に適した省面積なハードウェアの実装方法を示す。
具体的には、演算の整数量子化に加え、乗算とSoftmax関数の両方に区分線形近似を適用する手法を提案する。また、提案手法に基づく推論処理回路を支える適切な学習方法を明らかにする。評価実験の結果、Self Attetionの乗算とSoftmax関数の両方に区分線形近似を導入することで、回路面積を大幅に削減可能であることを確認した。また、このときに近似前のモデルと同等の推論精度を達成することを確認した。
