Title:
ニューラルネットワーク計算ユニットにおける入力データのスパース性の活用
Document Type and Number:
Japanese Patent JP2020500365
Kind Code:
A
Abstract:
コンピュータにより実現される方法は、コンピューティングデバイスが入力アクティベーションを受信するステップと、入力アクティベーションの各々がゼロ値または非ゼロ値のいずれを有するかをコンピューティングデバイスのコントローラが判断するステップとを含む。方法はさらに、コンピューティングデバイスのメモリバンクに入力アクティベーションのうち少なくとも１つを格納するステップを含む。少なくとも１つの入力アクティベーションを格納するステップは、非ゼロ値である入力アクティベーション値を有する１つ以上のメモリアドレス位置を含むインデックスを生成するステップを含む。方法はさらに、コントローラが、メモリバンクから、計算アレイのうちの１つ以上のユニットによってアクセス可能なデータバスに対して少なくとも１つの入力アクティベーションを提供するステップを含む。アクティベーションは、少なくとも部分的に、インデックスに関連付けられたメモリアドレス位置から提供される。
Inventors:
Woo Dong Hyuk
Narayana Swami, Rabbi
Narayana Swami, Rabbi
Application Number:
JP2019523062A
Publication Date:
January 09, 2020
Filing Date:
August 22, 2017
Export Citation:
Assignee:
Google LLC
International Classes:
G06F17/16; G06N3/02; G06N20/10
Domestic Patent References:
| JPS4874139A | 1973-10-05 | |||
| JPS5364439A | 1978-06-08 |
Other References:
BERT MOONS, ET AL.: ""A 0.3-2.6 TOPS/W Precision-Scalable Processor for Real-Time Large-Scale ConvNets"", PROCEEDINGS OF THE 2016 IEEE SYMPOSIUM ON VLSI CIRCUITS (VLSI-CIRCUITS), JPN6021012324, 17 June 2016 (2016-06-17), pages 1 - 2, XP032969303, ISSN: 0004479399, DOI: 10.1109/VLSIC.2016.7573525
XING LIU, ET AL.: ""Efficient Sparse Matrix-Vector Multiplication on x86-Based Many-Core Processors"", PROCEEDINGS OF THE 27TH INTERNATIONAL ACM CONFERENCE ON SUPERCOMPUTING (ICS'13), JPN7021001137, 14 June 2013 (2013-06-14), pages 273 - 282, ISSN: 0004479400
星 宗王（外２名）: "「不要な結合重みを削除するニューラルネットワーク専用ハードウェア」", 電子情報通信学会技術研究報告, vol. 95, no. 502, JPN6021012327, 31 January 1996 (1996-01-31), JP, pages 57 - 64, ISSN: 0004479401
佐藤 光一（外３名）: "「連想メモリを用いたスパース行列処理プロセッサ」", 情報処理学会研究報告, vol. 90, no. 60, JPN6021012330, 18 July 1990 (1990-07-18), JP, pages 55 - 60, ISSN: 0004479402
張 臨傑（外２名）: "「Sherman-Morrison公式による前処理行列計算の精度評価とその再構成について」", 情報処理学会研究報告, vol. 2006, no. 63, JPN6021012332, 12 June 2006 (2006-06-12), JP, pages 37 - 42, ISSN: 0004479403
椋木 大地（外１名）: "「ＧＰＵにおける４倍精度演算を用いた疎行列反復解法の実装と評価」", 情報処理学会研究報告, [CD-ROM], vol. Vol.2012-ARC-202, No.37, JPN6021012334, 15 February 2013 (2013-02-15), JP, pages 1 - 8, ISSN: 0004479404
XING LIU, ET AL.: ""Efficient Sparse Matrix-Vector Multiplication on x86-Based Many-Core Processors"", PROCEEDINGS OF THE 27TH INTERNATIONAL ACM CONFERENCE ON SUPERCOMPUTING (ICS'13), JPN7021001137, 14 June 2013 (2013-06-14), pages 273 - 282, ISSN: 0004479400
星 宗王（外２名）: "「不要な結合重みを削除するニューラルネットワーク専用ハードウェア」", 電子情報通信学会技術研究報告, vol. 95, no. 502, JPN6021012327, 31 January 1996 (1996-01-31), JP, pages 57 - 64, ISSN: 0004479401
佐藤 光一（外３名）: "「連想メモリを用いたスパース行列処理プロセッサ」", 情報処理学会研究報告, vol. 90, no. 60, JPN6021012330, 18 July 1990 (1990-07-18), JP, pages 55 - 60, ISSN: 0004479402
張 臨傑（外２名）: "「Sherman-Morrison公式による前処理行列計算の精度評価とその再構成について」", 情報処理学会研究報告, vol. 2006, no. 63, JPN6021012332, 12 June 2006 (2006-06-12), JP, pages 37 - 42, ISSN: 0004479403
椋木 大地（外１名）: "「ＧＰＵにおける４倍精度演算を用いた疎行列反復解法の実装と評価」", 情報処理学会研究報告, [CD-ROM], vol. Vol.2012-ARC-202, No.37, JPN6021012334, 15 February 2013 (2013-02-15), JP, pages 1 - 8, ISSN: 0004479404
Attorney, Agent or Firm:
Fukami patent office