Title:
METHOD AND DEVICE FOR LEARNING NEURAL NETWORK
Document Type and Number:
Japanese Patent JP3323894
Kind Code:
B2
Abstract:
PURPOSE: To speedily execute learning by preventing the learning from being delayed by imbalance due to the rotation of a separated plane and the sharpened rise of a sigmoid function in learning using a conjugate gradient method.
CONSTITUTION: In the learning of a multi-layer type neural network, the initial value of neuron weight is applied (step 1), the maximum steep descent gradient of an error for the neuron weight is found out (step 2), the adding rate of the preceding conjugate direction to the maximum steep descent direction is calculated (steps 3 to 5), the succeeding conjugate direction is found out (step 6) based upon the maximum steep descent gradient and the preceding conjugate direction, the minimum point of an error is found out (step 7) in a range where a difference between the layer average of a norm for the neuron weight on the search starting point of linear search and the layer average of a norm for the weight on a searching point does not exceed a certain fixed value, and the weight is updated (step 8) correspondingly to the error minimum point.
More Like This:
Inventors:
Hisao Ogata
Yutaka Sakawa
Masahiro Abe
Junichi Higashino
Yutaka Sakawa
Masahiro Abe
Junichi Higashino
Application Number:
JP18298991A
Publication Date:
September 09, 2002
Filing Date:
June 27, 1991
Export Citation:
Assignee:
株式会社日立製作所
International Classes:
G06F15/18; G06F17/10; G06G7/60; G06N3/08; G06N3/10; G06N99/00; (IPC1-7): G06N3/08
Domestic Patent References:
| JP2222061A | ||||
| JP3252857A |
Other References:
甘利俊一・監訳，「ＰＤＰモデル −認知科学とニューロン回路網の探索−」，日本，産業図書株式会社・発行，１９８９年 ２月２７日，初版，ｐｐ．３２５−３３４
立石、木下，「ニューラルネットワークによる手書き文字認識」，沖電気研究開発，日本，沖電気工業株式会社・発行，１９９１年 ４月 １日，Ｖｏｌ．５８，Ｎｏ．２，ｐｐ．５３−５６，（ＪＳＴ資料番号：Ｆ０２４３Ａ）
西川、三宮、茨木，「岩波講座 情報科学１９ 最適化」，日本，株式会社岩波書店・発行，１９８２年 ９月１０日，初版，ｐｐ．４１−５５
金寺登・他，「ニューラルネットによる連続音声の音韻セグメンテーション」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会・発行，１９９０年 １月２５日，Ｖｏｌ．Ｊ−７３−Ｄ−ＩＩ，Ｎｏ．１，ｐｐ．７２−７９，（特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９８００７０９００９）
高木英行・他，「ニューラルネット学習における非線形最適化手法の効果」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会・発行，１９９１年 ４月２５日，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．５２８−５３５，（特許庁ＣＳＤＢ文献番号：ＣＳＮＴ２０００００７３５００８）
立石、木下，「ニューラルネットワークによる手書き文字認識」，沖電気研究開発，日本，沖電気工業株式会社・発行，１９９１年 ４月 １日，Ｖｏｌ．５８，Ｎｏ．２，ｐｐ．５３−５６，（ＪＳＴ資料番号：Ｆ０２４３Ａ）
西川、三宮、茨木，「岩波講座 情報科学１９ 最適化」，日本，株式会社岩波書店・発行，１９８２年 ９月１０日，初版，ｐｐ．４１−５５
金寺登・他，「ニューラルネットによる連続音声の音韻セグメンテーション」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会・発行，１９９０年 １月２５日，Ｖｏｌ．Ｊ−７３−Ｄ−ＩＩ，Ｎｏ．１，ｐｐ．７２−７９，（特許庁ＣＳＤＢ文献番号：ＣＳＮＴ１９９８００７０９００９）
高木英行・他，「ニューラルネット学習における非線形最適化手法の効果」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会・発行，１９９１年 ４月２５日，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．５２８−５３５，（特許庁ＣＳＤＢ文献番号：ＣＳＮＴ２０００００７３５００８）
Attorney, Agent or Firm:
Shigeru Sasaoka (1 person outside)
Previous Patent: GAS DIFFUSION FLOW INJECTION ANALYZING METHOD AND DEVICE THEREFOR
Next Patent: CONTROLLER FOR POWER CONVERTER
Next Patent: CONTROLLER FOR POWER CONVERTER