MTシステムでは予測精度の評価をSN比で行うが、この際にミスリードにならないように、下記の点に注意する必要がある。
一例して、期間内の平均株価が2000円で、1日の株価の変動（前日との差）が平均100円の銘柄があったとする。今、MTシステムを活用して、ある予測法を開発したとしよう。このとき、明日の株価（終値でもなんでもよい）を前日までのデータを用いて予測するとする。明日の株価の予測値をY'、実際の明日の株価がYであったとする。このような予測をたとえば50日続けて、開発した予測法の精度をSN比で評価したとしよう。
はたして、この例でSN比が24db程度、寄与率R^2=0.558（Yの予測誤差が約5%、下図例）出た場合、これで喜んでよいかどうか、という問題である。
実はこれは全くだめである。5%の誤差ならかなりうまく行っているように思えるかもしれないが、平均株価2000円、前日との差が100円ということは、「明日の株価は、前日の株価と同じ」という最も単純な予測でも、対前日との誤差は平均5%（100÷2000）に収まるのである。したがって、「予想できた」というためには、もっともっと精度（SN比）が高くなる必要がある。
ではどのように評価すればよいのだろうか。結論から言えば、「明日と前日（本日）の株価の差Δy」が予測できれば、その予測法は成功ということになる。本日の株価（例：2000円）に対して、120円上がるのか、90円下がるのか、それを知りたいわけである。したがって、予測した株価の前日差Δy'と、実際の株価の前日差Δyの相関をとって、そのSN比を評価すればよいということである（相関係数でももちろん良い）。前記の最も単純な予測でなくても、23db（誤差5％）程度の予測では、ほとんどΔyの予測ができていないことになる。
「精度のよい予測法ができた！」とぬか喜びしないためにも、以上注意しておきたいことだ。
株式会社ジェダイト（JADEITE：JApan Data Engineering InstituTE）
0 件のコメント:
コメントを投稿