Pengarsipan Sadar Siklus Hidup untuk Dataset Keuangan Asimetris: Studi Produksi

Basis data transaksi keuangan berskala besar harus menyeimbangkan kesegaran operasional dengan efisiensi penyimpanan. Di Razorpay, layanan transaksi keuangan mengelola miliaran record pada PostgreSQL Aurora (versi 14), menempati puluhan terabyte dan mempertahankan throughput tulis puncak dalam ribuan TPS. Tantangan utamanya adalah ketegangan antara menjaga data terbaru tetap hot untuk akses cepat dan mengarsipkan data lama untuk mengurangi biaya. Makalah ini menyajikan desain, implementasi, dan evaluasi produksi sistem pengarsipan sadar siklus hidup yang mengatasi ketegangan tersebut. Penulis memberikan dua kontribusi utama: pertama, pencirian analitis Celebrity Partition Problem, di mana partisi berbasis status siklus hidup memusatkan semua baris yang aktif secara operasional dalam satu partisi default, menyebabkan overhead perencanaan, regresi I/O eksekusi, dan amplifikasi tulis; kedua, teknik deduplikasi berbasis ID-monotonicity yang memanfaatkan pengodean temporal dalam skema ID yang meningkat secara monoton (misalnya Snowflake IDs, ULIDs) untuk mengarahkan hanya re-insert yang berpotensi diarsipkan ke pencarian database warm, menghilangkan kebutuhan akan Bloom filter, tabel idempotensi, atau dependensi eksternal. Sistem ini telah sepenuhnya diterapkan dan melaporkan hasil produksi yang signifikan.

Metodologi berpusat pada dua inovasi. Pertama, Celebrity Partition Problem dicirikan secara analitis. Dalam partisi berbasis status siklus hidup, tabel dipartisi berdasarkan status siklus hidup (misalnya aktif, diarsipkan). Namun, semua baris yang aktif secara operasional berakhir dalam satu partisi default, menyebabkan perencana kueri menanggung overhead $O(N\times M)$, dengan $N$ adalah jumlah partisi dan $M$ adalah jumlah baris aktif. I/O eksekusi mengalami regresi menjadi $O(N)$, dan setiap transisi status menyebabkan amplifikasi tulis. Masalah ini diformalkan dan dampaknya terhadap kinerja dikuantifikasi.