定義もなければ、空から降ってくる数式もありません。まず一つのつまみを回し、出てくる数が合うまで調整します。そして気づきます——推測し、誤差を測り、少しだけ押す——これが学習のすべてだと。線を傾けて二種類の虫を分け、一本の線では決して分けられない並びに出会い、細胞がどれだけ強く発火するかを決めるのを見ます。いくつかを配線でつなぎ、掛け算と足し算を一度に済ませる格子を見つけ、信号を反対側まで押し通します。それから逆向きに走らせます——責任をすべての配線に分け、見えない谷の底を手探りし、最小で正直な一歩を下りる——そのときようやく、自分の手で組み上げたそれが「誤差逆伝播」という名前にふさわしくなります。どの章も一つの規則に従います。すべての言葉を消しても、絵だけで伝わること。Rashid『Make Your Own Neural Network』第1章に基づき、Petzold『CODE』の精神で。ニューロンに会ったことのない人のために。技術者にも誠実であるように。
ダイヤルが一つだけの箱が、キロメートルをマイルに変える——でも誰もそのダイヤルを合わせていない。回して、答えとの差を見て、差の大きさにどちらへどれだけ押すか教えてもらう。
二種類の庭の虫を、幅と長さで散らす。まっすぐな線を一本かけて傾きを変える——間違った側にいる虫が光る——幅広は線の下、細長は線の上にそろうまで。
一本の線が二つの例を同時に通らねばならない——だが無理だ。どちらかに合わせれば、もう片方の差が跳ね上がる。両方の差を全力で引かせれば、線は際限なく振れ続ける。修正のひと切れだけを取れば、落ち着いていく。
正方形の四隅にある四つの点を、ある規則で色分けする。一本のまっすぐな線を引いて傾け、二色を両側に分ける。二つの規則は一本の線で片づくが、三つ目はどんな角度でも一隅が取り残される。
細胞は入力を足し合わせ、答えを出さねばならない——暗いか、灯るか。硬いしきい値は 0 から 1 へ一気に跳び、その間には何もない。その角を丸めると、同じように入力を滑らせても出力はゆるやかに持ち上がる——なのに両端には決して届かない。
線でつながれた細胞たち。どの線も信号を一つ運び、どの線にも自分の強さがあって、運ぶ信号をその強さで拡大・縮小する。線を太くすればその先の細胞は上がり、ゼロまで細くすればその信号は届かなくなる。線をドラッグして、すべての値が動くのを見てほしい。
一つのセルが二つの信号を足し合わせる——それぞれの線が自分の信号を加減する。和は一つ、手で計算する。セルを増やすと計算は積み上がる。強さを格子に、信号を一列に並べ、片方の行をもう片方の列へ走らせれば、すべての和が一度に出てくる。
本の重みを使った三層のネットに、入力 (0.9, 0.1, 0.8) を与える。信号を押し込み、列ごとに埋まっていくのを見る——各セルに重み付きの合計が乗り、セルが発火する。発火した列が次の入力になり、向こう側まで届く。
出力ノードに誤差があり、それを養っていたのは太さの違う二本の線。この誤差は誰のせいか。線に沿って分け戻す——太い線ほど多く負う——そして各上流ノードに届いた分を足し合わせる。線をドラッグして、責任が分け直されるのを見てほしい。
暗い谷の壁の途中にボールが止まっている。底は見えない。足もとの地面がどちらへ傾くかを感じ、その坂を下り、だんだん短くなる一歩ごとにボールを底まで運ぶ。
重みは一つ、なめらかな誤差のボウルが一つ。玉が壁の途中で止まっている。その真下の傾きを読み——三つの素朴なものの掛け算だ——下り坂へひと切れぶん動かす。それを繰り返し、ボウルが平らになるまで。
あの柔らかなS字曲線がまだ傾いている場所でしか、一押しは教えられない。合計を遠くの平らな端へ押しやれば傾きは死ぬ——押す手応えがない。急な中央へ引き戻し、曲線が本当に届く答えだけを狙い、配線はどれも小さく散らして始める。そうすれば学習は最初の一歩から傾きを得られる。