青い照明のサーバールームに並ぶネットワーク機器のラック
技術解説

地域データを跨ぐ可用性設計で見落とす落とし穴とは

目次を見る

複数リージョンにまたがるサービスを運用しているSRE・インフラ担当者に向けた内容です。地域横断の集計データや障害分析で「見かけ上の数字」に引きずられ、実際の可用性設計を誤る落とし穴を整理します。

アフリカのテック業界動向を伝えるレポートで、興味深い指摘がありました。中東とアフリカを合算した週次の資金調達額のうち、ある週は90%以上がイスラエルの2社に集中していたというものです。地域合算の数字をそのまま引用すると、実態を見誤るという注意喚起でした。この「集計の罠」は、インフラ監視やSLO(サービスレベル目標、システムがどの程度正常に動くべきかの約束値)の世界にもそのまま当てはまります。

何が起きるか:リージョン横断の指標が実態を隠す

マルチリージョン構成のサービスで、全体の可用性やエラー率を1つの数字にまとめて報告しているケースは珍しくありません。

たとえば東京リージョンとシンガポールリージョンを運用していて、全体のエラー率が0.1%だったとします。この数字だけを見ると健全に見えますが、内訳を見ると東京は0.01%、シンガポールは3%という偏りが隠れている可能性があります。シンガポール側のユーザーだけが深刻な障害を体験していても、全体平均に埋もれてSLO違反として検知されない事態が起こります。

これはオブザーバビリティ(システム内部の状態を外部から観測できるようにする設計思想)の設計ミスの典型です。メトリクスを集約する段階でリージョンのラベルを落としてしまうと、後から分解して調べることすらできなくなります。

なぜ起きるか:集計の構造を段階的に分解する

原因は3段階に分けて考えると整理しやすくなります。

1段階目は、メトリクス収集時点でのラベル設計の不足です。PrometheusやDatadogでメトリクスを送る際、regionやazといったディメンションをタグ付けしていないと、後から地域別に絞り込めません。

2段階目は、SLO定義そのものが全体最適になっていることです。「月間稼働率99.9%」という目標を、グローバル全体の1本のSLOだけで管理していると、特定リージョンだけが継続的に悪化していても全体の数値が吸収してしまいます。

3段階目は、アラート閾値の設計です。全体平均に対して閾値を設定していると、少数リージョンの深刻な障害が平均に薄まり、オンコール担当者に通知が飛ばない状態になります。これはアフリカのレポートで触れられていた「地域を跨いだ資金調達額の合算が、特定2社への集中を見えなくしていた」構造とまったく同じです。合算そのものが悪いのではなく、合算しか見えない設計が問題になります。

自分のプロジェクトが該当するか確認する方法

次の観点で、自分のインフラ構成が該当するかを確認できます。

  • メトリクス基盤の設定を開き、送信されているメトリクスにregionやzoneのラベルが付与されているか確認する(Prometheusならscrape_configやexporter側のラベル設定を見る)
  • SLO定義ドキュメントやダッシュボードの定義を確認し、「グローバル1本」のSLOしか存在しないかどうかを見る
  • アラートルールの設定ファイル(PrometheusのAlertmanagerのrulesやDatadog Monitorの条件式)で、閾値が全体平均に対してかかっているか、リージョン別にかかっているかを確認する
  • 過去のインシデント履歴を振り返り、「全体SLOは守られていたが、特定地域からの苦情で発覚した」障害がなかったかを洗い出す

これらのうち1つでも当てはまれば、地域横断の集計に落とし穴が潜んでいる可能性があります。

対策の手順

ステップ1: ラベル設計を見直す

メトリクス送信元(アプリケーションコードやサイドカー)で、リージョンやAZを必ずラベルとして付与するように変更します。TerraformやPulumiでインフラをコード管理している場合、リージョンごとのリソース定義にtagsやlabelsとしてリージョン識別子を埋め込んでおくと、後続の監視設定でも一貫して参照できます。

# Terraformでリージョンタグを付与する例
resource "aws_instance" "app" {
  ami           = "ami-xxxxxxxx"
  instance_type = "t3.medium"
  tags = {
    Region  = "ap-northeast-1"
    Service = "payment-api"
  }
}

ステップ2: SLOをリージョン単位に分割する

全体SLOに加えて、リージョンごとのSLOを別個に定義します。SLI(サービスレベル指標、実際に計測する値)のクエリにリージョンのフィルタを追加するだけで実現できます。

# PromQLでリージョン別エラー率を算出する例
sum(rate(http_requests_total{status=~"5..", region="ap-northeast-1"}[5m]))
/
sum(rate(http_requests_total{region="ap-northeast-1"}[5m]))

ステップ3: アラートの閾値をリージョン単位に再設計する

全体平均ではなく、各リージョンのエラーバジェット(許容される障害の残量)消費速度に対してアラートを設定します。バジェット消費が特定リージョンだけで加速している場合に通知が飛ぶようにすると、薄まりを防げます。

ステップ4: コスト最適化とのバランスを取る

リージョン別の監視を細かくすると、メトリクスのカーディナリティ(ラベルの組み合わせ数)が増え、監視基盤のストレージコストが上がります。すべてのメトリクスにリージョンラベルを付けるのではなく、SLOに直結する重要なメトリクス(レイテンシ、エラー率、可用性)に絞って適用すると、コストと可観測性のバランスが取りやすくなります。

障害対応を仕組み化する

地域別のSLO違反を検知できるようになったら、ポストモーテム(障害の振り返り)のテンプレートにも「リージョン別の影響範囲」の項目を追加しておきます。全体数値だけでなく、どのリージョンがどの程度影響を受けたかを毎回記録する習慣をつけると、将来の集計ミスにも気づきやすくなります。

まとめ

地域横断の集計数値は、全体の健全性を見せる一方で局所的な障害を隠す側面があります。

  • メトリクスにリージョンラベルが付いているか、監視基盤の設定を確認する
  • SLOとアラートをリージョン単位でも定義し直す
  • カーディナリティ増加によるコスト増を見越して、重要指標に絞って適用する
  • ポストモーテムにリージョン別影響の記録項目を追加する

まずは手元のダッシュボード定義とアラートルールを開き、全体平均しか見えていないかどうかを確認するところから始めてみてください。

参考

Africa’s Tech Scene This Week: Funding Slumps, AI Data Centres Rise, and the Stablecoin Scramble

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。