予測による顧客の優先順位付け:精度を約62%から約87%へ
数千件の顧客、限られた担当者の時間、そして10回に6回ほどしか当たらない外部の信用スコア。私たちのアンサンブルモデルは毎日すべての顧客を採点し、実際の結果で毎週再学習します。
- サービス
- AI業務アプリケーション
- 業界
- レベニューサイクル・金融
- 地域
- 米国
- 契約形態
- ラボ型ODC(専属チーム)
成果
- 精度 約87%(従来 約62%)
- 全顧客を毎日スコアリング
- 実績に基づく毎週の再学習
スタック
Python · XGBoost · LightGBM · CatBoost · Random Forest · SQL · Scheduled pipeline
執筆Oriental Nipponチーム
米国の医療機関に代わって債権回収を行う事業者には、数千件の未回収案件と、決まった数の担当者の時間がありました。毎朝、担当者がどの顧客から電話をかけるかを誰かが決めなければなりません。その判断は、第三者から購入した一般向けの信用スコアに頼っており、この事業者自身の結果と照らし合わせたことは一度もありませんでした。
測定してみると、そのスコアが入金する顧客を当てるのは10回に6回ほどでした。それまで誰も測っていなかったのです。
時間はどこに消えていたか
- ずれたシグナル。 外部のスコアは、この事業者の履歴も、顧客も、案件が実際にどう決着するかも知らなかった。
- 無駄な電話。 入金の見込みが低い相手への電話は、より良い顧客にかけられなかった電話でもあった。
- 学習しない仕組み。 今日の入金が、明日のリストに何の影響も与えなかった。
- ベースラインがない。 精度を一度も追跡していなかったため、変更が役立ったかどうかを判断できなかった。
| 導入前 | 導入後 | |
|---|---|---|
| 優先順位のシグナル | 購入した信用スコア | 事業者自身の結果で学習したモデル |
| 入金顧客を当てる精度 | 約62%、追跡なし | 約87%、継続的に追跡 |
| スコアリングの頻度 | 固定 | 毎晩、すべての顧客 |
| 結果からの学習 | なし | 毎週の再学習 |
構築したもの
アンサンブルモデル
複数の勾配ブースティングと決定木系のモデル(XGBoost、LightGBM、CatBoost、Random Forest)を組み合わせ、顧客ごとの入金確率を算出します。
夜間スコアリングのパイプライン
すべての有効な顧客を最新データで採点し、監視したうえで、担当者がすでに使っているツールにスコアを書き込みます。
毎週の再学習ループ
その週の実際の結果を学習に戻すので、並び順が改善し続けます。
精度の記録
ベースラインとそれ以降のすべてのモデルを、ホールドアウトデータで同じ方法で測定します。
アンサンブルはシステムの半分にすぎません。並び順を改善し続けるのは、その周りのループです。
技術と、このプロジェクトでの役割
| 技術 | このプロジェクトでの役割 |
|---|---|
| PythonとSQL | 事業者自身の顧客履歴からの特徴量エンジニアリング |
| XGBoost、LightGBM、CatBoost | アンサンブルを構成する勾配ブースティングモデル |
| Random Forest | アンサンブルに多様性を加える決定木系モデル |
| スケジュール実行のパイプライン | 監視付きの夜間スコアリングと毎週の再学習 |
進め方
専属のODCチームは、誰も持っていなかった数字から始めました。既存のやり方が実際にどれほど正確なのか。それがなければ、より良いモデルも主張にすぎません。
- まずベースライン。 何かを作る前に信用スコアの精度を測り、評価方法をお客様と合意しました。
- 自社の履歴から特徴量を。 事業者のデータチームと一緒に、自社の顧客がどう動いてきたかからシグナルを作りました。
- 正直な比較。 候補モデルは、学習に一度も使っていないホールドアウト期間で比較しました。
- 業務の流れに組み込む。 日次のスコアリングをスケジュールで実行し、監視し、担当者がすでに見ている場所に届けます。
- ループを閉じる。 結果に基づいて毎週再学習し、精度を継続的に追跡します。
01ベースライン測定
2週
既存手法の精度を測定し、評価方法を合意
02特徴量エンジニアリング
3〜4週
事業者自身の履歴からシグナルを作成
03モデル開発
4〜5週
アンサンブルの構築とホールドアウト評価
04スコアリングのパイプライン
2〜3週
夜間スコアリング、監視、担当者の業務への配信
05フィードバックループ
2週
毎週の再学習と精度の追跡
リスクと対応
| リスク | 対応 |
|---|---|
| 比べる対象のない「より良いモデル」 | まず既存の信用スコアを測定し、ベースラインにした |
| データ漏れによる楽観的すぎる精度 | 学習に使っていないホールドアウト期間だけで評価した |
| 顧客構成の変化によるモデルの劣化 | 実際の結果で毎週再学習し、精度を継続的に追跡 |
| 誰も使わないスコア | 別のレポートではなく、担当者が使っているツールに書き込んだ |
成果
導入後の5か月間で、モデルは入金する顧客を約87%の精度で特定しました。置き換えた信用スコアは約62%でした。
実際には、担当者は毎朝より良い順番のリストで仕事をしており、フィードバックループが回るほど順番は良くなっていきます。
この数字はその期間と、その顧客群に限ったものです。予測ではなく測定した比較であり、将来に当てはめるつもりはありません。
お客様に残るもの
- モデルのコードと学習パイプライン(お客様のリポジトリ内)
- 特徴量の定義
- ホールドアウト評価の結果と、当初のベースライン測定
- 再学習の設定
参考資料
- XGBoost documentation(XGBoost)
- LightGBM documentation(Microsoft)
- Ensemble methods(scikit-learn)
- Cross-validation: evaluating estimator performance(scikit-learn)
同じような課題をお持ちですか? これは私たちのAI搭載業務アプリケーションチームが日々手がけている仕事です。データについてご相談ください。
