良い数字ほど、先に疑う。

AIへの投資を、技術の精緻さだけで評価してよいのか。論点になっていたのは解約予兆AIモデルの評価——だが、その問いの前に確認すべきことがある。過学習リスク、季節性の分離、データ鮮度。この3点を優先して質し、施策効果と連動しない単純な的中率評価を退けて、検証方法をその場で即興提示した。

もう一つの論点は「新料金プラン移行者の解約リスクスコアが低い」という良い数字の解釈だ。母集団が直近の新規移行者に限られる以上、この数字は統計的に当然である可能性がある。移行したばかりの顧客は、解約しない。

だから拙速な成果認定を保留させた。AIの出す数字を疑う役は、AIには任せられない。