Tiga gangguan dalam sebulan: rencanakan skenario satu region gagal

Pada 8 Oktober, Google Cloud Storage di us-central1 mengalami latensi dan galat yang meningkat pada unggah dan penulisan selama 12 jam 30 menit, dari pukul 11.00 hingga 23.30 UTC. Laporan awal Google menunjuk pada kehabisan sumber daya di node penyimpanan backend setelah sebuah optimasi lalu lintas, ditambah masalah terpisah pada basis data metadata. IncidentHub mencatat empat layanan hilir yang menyebut insiden ini sebagai penyebab.

Sebelumnya, pada 16 September, Salesforce mengalami gangguan selama 7 jam 36 menit di beberapa region, dan sebagian pelanggan bahkan tidak dapat membuka tiket dukungan untuk melaporkannya. Beberapa hari kemudian, aktivasi Data Cloud di US-east-1 terganggu hampir 14 jam, yang menurut Salesforce disebabkan oleh layanan penyimpanan cloud pihak ketiga.

Kasus ketiga berbeda jenisnya. Yandex menyatakan serangan drone merusak tiga pusat datanya antara 8 dan 11 Oktober, mematikan dua di antaranya dan menurunkan kinerja satu lainnya. NetBlocks mengukur konektivitas Yandex Cloud sekitar 30 persen dari normal pada 11 Oktober, dan Yandex meminta pelanggan memakai rencana pemulihan bencana alternatif. Apa pun pandangan terhadap konfliknya, ini pengingat bahwa sebuah region adalah tempat fisik.

Benang merahnya adalah ketergantungan tersembunyi. Produk SaaS yang Anda andalkan bisa saja berdiri di atas penyimpanan milik pihak lain, dan halaman status yang hijau tidak membuktikan bahwa pelanggan Anda dapat menyelesaikan pembelian atau membuat tiket.

Langkah praktisnya tidak glamor: petakan layanan Anda bergantung pada penyedia dan region mana, simpan cadangan di luar akun dan penyedia yang menyimpan data utama, latih proses pemulihan alih-alih hanya percaya pada tugas pencadangan, beri beban kerja kritis region kedua yang sudah diuji, dan siapkan kanal komunikasi insiden yang tidak berjalan di platform yang sedang down.