Mon, 23 Feb 2009

weblog

今日の仕事

  • テスト作り

今日のサイト

  • ですよね

ハッカーの多くは経済的成功への野心が少なく、食うに困らない収入があれば、適当に面白い仕事と技術的チャレンジ、およびほかのハッカーとの良好な交流があるだけで満足します。

ハッカーと仕事

今日の本

  • わかりやすいパターン認識 第3章(p.35-37)
    • gradient vector: {\nabla J} = \frac{\partial J}{\partial {\bf w}}
    • パターン行列: \bf{X} =^{def} \(\bf{x}_1, ..., \bf{x}_n\)^t
    • \bf{X}^t\bf{X}が正則であれば、\bf{w}_i = \(\bf{X}^t\bf{X})^{-1}\bf{X}^tb_i \(i = 1, .., c\)(\bf{x}_pを説明変数、b_{ip}を目的変数とする重回帰分析(multiple regression analysis)の最小２乗法*1と同じ)
    • steepest descent method: こう配ベクトルと逆方向に値を動かすことで、最小値を探す方法。*2
    • Widrow-Foff learning rule: パターンが示されるごとに重みベクトルを修正する方法。最小２乗法の解をsteepest descent methodで見つける。\bf{w}_i' = \bf{w}i - \rho(\bf{w}_i^t\bf{x}_p - b_{ip})\bf{x}_p

*1:平均２乗誤差の最小値を求める = パラメータに関する微分が 0になるように計算する

*2:集合知プログラミングのニューラルネットワークの実装で微分してたのもこれか