Bias-Variance Tradeoff

High bias (underfitting): মডেল খুব সরল — training ও test দুই জায়গাতেই ভুল বেশি। যেমন একটা curved relationship-কে straight line দিয়ে ফিট করানো।

High variance (overfitting): মডেল এত জটিল যে training data-র noise পর্যন্ত মুখস্থ করে ফেলে — training error প্রায় শূন্য, কিন্তু নতুন data-তে performance খারাপ।

Model complexity বাড়ালে bias কমে কিন্তু variance বাড়ে — এই U-shaped trade-off-এর সর্বনিম্ন বিন্দু খুঁজে বের করাই মূলত model-selection (cross-validation, regularization) -এর কাজ। Deep learning-এ প্যারামিটার সংখ্যা তত্ত্বীয় প্রত্যাশার চেয়ে বহু বেশি হয়েও ভালো generalize করে — এই “double descent” পর্যবেক্ষণ এখনো সম্পূর্ণভাবে তাত্ত্বিকভাবে ব্যাখ্যাত নয়।