ボートレースの仮説を500以上確かめてわかった、検証のやり方とやらかした失敗

ボートレースの分析を始めてから、確かめた仮説は500を超えました。そのうち残ったのは、ひと握りです。

この記事では、どんな条件が残ったかではなく、仮説をどうやって確かめているかを書きます。やらかした失敗も書きます。

仮説は、データとレースを眺めていて思いつく

仮説というのは、「こういう条件のとき、回収率が100%を超えるのではないか」という思いつきのことです。

思いつくのは、だいたい次の2つの場面です。

• データを眺めているとき。 集計した表やグラフを見ていて、「ここだけ数字が違う」と気づく。
• レースを眺めているとき。 実際のレースを見ていて、気づくこともあります。

思いついただけでは、ただの思いつきです。過去のデータで確かめて、初めて使えるかどうかが分かります。

1本の確かめは、数分〜30分

仮説を1つ確かめるのにかかる時間は、今は数分〜30分です。

条件を言葉でAIに伝えると、過去のデータで集計まで終わらせてくれます。私は結果を見て、続けるか捨てるかを判断するだけです。以前は、条件を少し変えるたびに集計を一から書き直していたので、ここが一番変わりました。（AIの使い方はこちら）

1本が短いので、どんどん試して、どんどん捨てられます。500を超えたのは、この速さのおかげです。

ボツの理由で一番多いのは「もう配当に織り込まれている」

確かめた仮説の大半は、ボツになります。理由で一番多いのは、もう配当に織り込まれていることです。

たとえば、ある条件のときに、よく当たるようになることは、わりと見つかります。ところが、そういう条件で当たる舟券は、その分、配当が安くなっています。当たる回数は増えても、もらえる額が減るので、回収率は変わりません。

舟券の配当は、ファンが賭けたお金で決まります。当たりやすさが上がっても、それが配当に織り込まれていれば、得にはなりません。

当てはめすぎを防ぐために、やっていること

検証でいちばん怖いのは、過去にだけ当てはまる条件を作ってしまうことです。条件を細かくすればするほど、過去のデータにはぴったり合います。でも、そういう条件は、実際に買い始めると消えてしまいます。

これを防ぐために、今は次のことをしています。

• 前半で見つけて、後半で確かめる。 条件を見つけた期間とは別の期間で、もう一度確かめます。見つけた期間の成績が良いのは、当たり前だからです。
• 近い条件でも似るか見る。 条件を少しずらしても、結果が似ているかを見ます。ずらした途端に崩れるなら、たまたまの山に乗っているだけです。
• 長い期間で、条件が効いているかを見る。 ある時期だけ良いのではなく、長く見ても効いているかを確かめます。
• 買ったあとも記録して、確かめる。 使い始めたあとも、実際の成績を記録して、検証のときの見込みと比べ続けます。

やらかした失敗

確かめ方を決めていても、失敗はしました。印象に残っているものを3つ書きます。

1. データの欠けに気づかなかった

一部のデータが抜けていたのに、気づかずに検証していたことがあります。見つけてくれたのは、別の作業をしていたAIでした。

欠けたデータで検証した結果は、全部やり直しです。それ以来、データが正しく集まっているかを、毎日確かめるようにしています。

2. 条件を細かくしすぎた（過学習）

条件を足すほど、過去の成績は良く見えます。それを信じて、条件を細かくしすぎたことがあります。上に書いた「当てはめすぎ」そのもので、データ分析では過学習と呼ばれる失敗です。今は、前半と後半で分けて確かめるので、こういう条件はそこで落ちます。

3. AIの集計ミスを信じた

AIの集計を、そのまま信じて進めたことがあります。多かったのは、次の2つです。

• 払戻・返還の扱いを間違える。 同着や欠場のときの払戻の数え方を間違えて、成績がずれる。
• 期間や条件を取り違える。 頼んだのとは違う期間や条件で集計している。

どちらも、出てくる数字はもっともらしいので、ぱっと見では気づけません。今は、AIの結果を別のAIにもチェックさせて、最後は自分の目で確かめています。

残るのは、ひと握り

500以上確かめて、残ったのはひと握りです。それでも、残ったものだけを使って、回収率62%だった最初の月から立て直してきました。

検証は、思いつく → 確かめる → 捨てる、の繰り返しです。捨てた数のほうがずっと多いですが、それで構いません。データが否定したものは、容赦なく捨てます。