Foundationপ্রথম নীতি থেকে
LEVEL 12 · Virtualization, Containers & Cloud

Erasure Coding

ইরেজার কোডিং

Data-কে k-টা chunk আর m-টা parity chunk-এ ভাঙার কৌশল — মোট k+m-এর যেকোনো k-টা বাঁচলেই পুরো data পুনর্গঠনযোগ্য, replication-এর চেয়ে কম storage-overhead-এ।

also: reed-solomon, erasure-code, parity-encoding

scheme          total chunks   k (needed)   tolerates losing   overhead
3-way replication      3            1              2            3.000x
erasure k=4,m=2         6            4              2            1.500x
erasure k=8,m=3        11            8              3            1.375x
  • N-way replication-এ overhead সরাসরি N; erasure coding একই fault-tolerance অনেক কম overhead-এ দেয় (উপরের টেবিল দ্রষ্টব্য)
  • Real-world Reed-Solomon polynomial/finite-field (GF(2⁸)) গণিতের ওপর দাঁড়ায় — সরল XOR parity (m=1) শুধু একটামাত্র chunk-লস সহ্য করে, তার একটা toy-সংস্করণ
  • দাম: reconstruction করতে একাধিক chunk বিভিন্ন node থেকে পড়ে গণিত করতে হয় — hot, frequently-accessed data-য় plain replication-ই বেশি ব্যবহারিক, cold/archival data-য় erasure coding জেতে