Oriental Nippon Development
実績一覧へ
ケーススタディ米国のレベニューサイクル事業者

1日数百件のセキュアなファイル転送を先回りで監視

欠落や遅延したファイルは、後工程のデータが壊れるか、顧客からのエスカレーションで初めて見つかっていました。届くべきものを書き出し、それに照らして監視する仕組みを作り、運用チームにアラート、履歴、ランブックを提供しました。

サービス
NOCサービス
業界
レベニューサイクル・金融
地域
米国
契約形態
SES(専門エンジニア)

成果

  • 顧客が気づく前に欠落ファイルを検知
  • 全送信元の期待値台帳
  • アラート種別ごとのランブック

スタック

Python · SFTP monitoring · Web dashboard · Alerting

執筆Oriental Nipponチーム

米国のレベニューサイクル事業者は、取引先の施設とセキュアなファイル転送で1日数百件のファイルをやり取りしています。これらのファイルが、業務全体を動かすデータを運んでいます。

1件が欠けても、何も気づきませんでした。欠落は数日後に後工程の不正なデータとして現れ、やがて顧客からのエスカレーションになりました。この量では、手作業での確認は現実的ではありませんでした。

課題

  • 静かな失敗。 欠落や遅延したファイルを見張るものがなかった。
  • 結果から見つかる。 欠落ファイルは、まずデータの問題として、次に苦情として現れた。
  • 記録がない。 何が届き、何が届かなかったかの履歴がなかった。
  • 期待値が書かれていない。 どのファイルが、誰から、いつ届くべきかの確定した一覧を誰も持っていなかった。
導入前導入後
1日のファイル数数百件、監視なし数百件、スケジュールと照合
欠落の見つかり方顧客からのエスカレーション先回りのアラート
届くべきファイルの一覧存在しなかった期待値台帳
履歴なし到着履歴付きのダッシュボード

構築したもの

  • ファイル監視

    転送サーバーを監視し、届いたものを各スケジュールの期待値と照合します。

  • 欠落ファイルのアラート

    「届いていない」ことを、その日のうちにイベントとして知らせます。

  • 監視ポータル

    到着状況、遅延、傾向、履歴を示す複数のダッシュボード。

  • 対応ランブック

    アラートの種類ごとに何をするか。

施設がファイルを送ってから、欠落を適切な担当者が知るまでの、ある1日の流れです。

技術と、このプロジェクトでの役割

技術このプロジェクトでの役割
Python監視の仕組みと判定ロジック
SFTPの監視転送サーバー上の到着を読み取る
Webダッシュボード到着状況、遅延、傾向、履歴
スケジュール実行のアラート各ファイルの担当者へ通知を振り分け

進め方

NOCのエンジニアは、まず監視を観察のみのモードで動かし、実際のトラフィックで調整しました。オオカミ少年のようなアラートは、2週間もすれば無視されるようになるからです。

  1. 期待値を書き出す。 何が、誰から、どのくらいの頻度で届くべきか。これまで存在しなかったものです。
  2. 監視を作る。 その期待値に照らして、観察のみで動かしました。
  3. 実際のトラフィックで調整する。 誤検知がまれになるまで閾値を調整しました。
  4. ダッシュボードとアラート。 状況、履歴、通知の振り分け。
  5. ランブック。 アラートの種類ごとの対応手順。
進め方のタイムライン目安の合計:8〜11週
  1. 01期待値の整理

    1〜2週

    届くべきファイル、送信元、周期、担当者

  2. 02監視の構築

    2〜3週

    判定ロジック、観察のみでの稼働

  3. 03閾値の調整

    2週

    実際のトラフィックで誤検知を削減

  4. 04ダッシュボードとアラート

    2〜3週

    状況ポータル、履歴、通知の振り分け

  5. 05ランブックと引き継ぎ

    1週

    アラート種別ごとの対応手順

リスクと対応

リスク対応
オオカミ少年のようなアラートまず観察のみで動かし、実際のトラフィックで閾値を調整した
「届くべきもの」の定義がない送信元、ファイル、周期、担当者の期待値台帳を作った
対応計画のないアラート引き継ぎ時にアラート種別ごとのランブックを用意した

成果

運用チームは、欠落ファイルを結果から発見するのではなく、知らされるようになりました。

期待値台帳は、監視そのものと同じくらい役に立ちました。リスクの多くは、何が届くべきかの確定した一覧を誰も持っていなかったことから生まれていたのです。

お客様に残るもの

  • 監視とダッシュボードのソースコード(お客様のリポジトリ内)
  • 期待値台帳
  • アラートの閾値と振り分けの設定
  • 対応ランブック

参考資料

  1. What is SFTP?(AWS)
  2. Monitoring distributed systems(Google SRE book)
  3. Alerting on SLOs(Google SRE workbook)

同じような課題をお持ちですか? これは私たちのNOCサービスチームが日々手がけている仕事です。お使いのシステムについてご相談ください。