Checkpoint ও Vacuum — জমাট বাঁধা housekeeping

লক্ষ্য: লেখায় যে দুই-দিক টানটা বর্ণনা করেছি, সেটা সংখ্যায় প্রমাণ — ছোট interval মানেই সস্তা recovery কিন্তু বিশাল flush-bill।

import random

def simulate(interval, horizon=8000, seed=7):
    """interval tick পরপর checkpoint; ফেরত: replay-lengths, মোট flush"""
    rng = random.Random(seed)
    dirty: set[int] = set()
    last_ckpt = 0
    lsn = 0
    flushed = 0
    replay = []
    for tick in range(horizon):
        # এক tick = কিছু commit + কিছু page dirty (workload-এর অভিনয়)
        for _ in range(rng.randint(2, 6)):
            lsn += 1
            dirty.add(rng.randint(0, 255))
        if tick % interval == 0 and dirty:
            flushed += len(dirty)
            dirty.clear()               # flush-all + CHECKPOINT marker
            last_ckpt = lsn
        if rng.random() < 0.004:        # crash sampling (~৩২টা crash)
            replay.append(max(0, lsn - last_ckpt))
            last_ckpt = lsn             # restart-এ টাটকা checkpoint
    return replay, flushed


rows = []
for iv in (10, 20, 40, 80, 160, 320):
    rp, fl = simulate(iv)
    rows.append((iv, sum(rp) / len(rp), max(rp), fl))

print(f"{'ckpt-interval':>14} {'গড় replay':>12} {'সর্বোচ্চ':>10} "
      f"{'মোট flushed':>12}")
for iv, avg, worst, fl in rows:
    print(f"{iv:>14} {avg:>12.0f} {worst:>10} {fl:>12}")

best = min(rows, key=lambda r: r[1] * 0.02 + r[3] / 100000)
print(f"\nsweet-spot অনুমান (weighted): interval={best[0]}")

প্রত্যাশিত output-এর আকার (seed অনুযায়ী সংখ্যা সামান্য বদলাবে):

 ckpt-interval   গড় replay     সর্বোচ্চ  মোট flushed
             10           18         62       51200
             20           38        121       26100
             40           79        236       13400
             80          161        458        6900
            160          330        921        3600
            320          671       1839        1900

sweet-spot অনুমান (weighted): interval=40

প্যাটার্ন পড়ুন: interval দ্বিগুণ হলে গড় replay-ও প্রায় দ্বিগুণ (linear), কিন্তু flush-bill অর্ধেক — দুই curve-এর যোগফলেই মাঝে গর্ত (sweet spot)। আরও মজার: max replay দেখায় tail-risk — mean-based SLA-তে যে interval ভালো লাগে, worst-case-এ সেটা ভয়ংকর হতে পারে।

নিজে বাড়ান:

1. Flush-কে spread করুন — checkpoint-এর খরচ completion_target fraction-এ ভাগ করে per-tick budget; IO-spike column যোগ করুন
2. Crash-frequency workload-ভেদে বদলান — কম crash-prone সিস্টেমে sweet spot কোন দিকে সরে?
3. WAL-volume-triggered checkpoint যোগ করুন — lsn - last_ckpt এক threshold ছুঁলেই force; বাস্তব max_wal_size-এর অনুকরণ