মার্ক টোয়েন একটি কথা বলে অনেক বিখ্যাত হয়েছিলেন । তিনি বলেছিলেন সত্যকে অস্বীকার করার তিনটি উপায় রয়েছে : মিথ্যা কথা , ডাহা মিথ্যা কথা এবং পরিসংখ্যান । 

মার্ক টোয়েন এর এই বিখ্যাত উক্তিটি সর্বতো ভাবে সত্য।
খুব কম জনই সঠিক ভাবে স্ট্যাটিস্টিক্সের প্রয়োগ পদ্ধতি
জানেন কাজেই সাধারণভাবেই স্ট্যাটিস্টিক্সের সহায়তায় মিথ্যা বলা সম্ভব।
জর্জ কর্লিন এক বার বলেছিলেন
Think about how stupid the average person is;
now realize half of them are dumber than that.

একটা উদাহরণ দিলে স্ট্যাটিস্টিক্সের অপপ্রয়োগের ব্যাপারটি পরিষ্কার হবে:

মহিলারা  পুরুষদের  তুলনায়   ভালো  ড্রাইভার : দুর্ঘটনার জন্য দায়ী অথবা দুর্ঘটনাগ্রস্ত গাড়ির ড্রাইভারের সংখ্যার তুলনামূলক বিচার করলে হয়তো দেখা যাবে সত্যিই মহিলা ড্রাইভারের হাতে দুর্ঘটনা কম  হয়েছে। কিন্তু এখানে একটি তথ্য পরিবেশন করা হচ্ছে না যে মহিলা ড্রাইভারের সংখ্যা (যাঁরা নিয়মিত গাড়ি নিয়ে বেড়োন) পুরুষ ড্রাইভারের সংখ্যার তুলনায় নগণ্য।সে জন্য এখানে এই তথ্য মিথ্যা।

ডেটা এনালাইসিস  করার আগে অন্তত প্রাথমিক বিষয় গুলো বোঝা খুবই গুরুত্বপূর্ণ।
 প্রাথমিক বিষয় গুলোর মধ্যে  সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো  Central Limit Theorem

"Central Limit Theorem" পরিসংখ্যানের একটি গুরুত্বপূর্ণ থিওরেম বা উপপাদ্য।

"Central Limit Theorem" অনুসারে যখন Sample Size যথেষ্ট বড় হয়
( সাধারণত ৩০ বা তার অধিক) Variable বা চলক যে Population থেকেই
নেওয়া হোক না কেন, চলকটির গড় (Mean) এর স্যাম্পলিং ডিট্রিবিউশনটি
approximately নরমাল ডিষ্ট্রিবিউশন ফলো করবে।

সংগাটি যদি আমরা একটু ব্যাখ্যা করে বলতে যাই,
তাহলে প্রথমেই বলতে হয় যেকোন Population বলতে Central limit theorem
এ কি বুঝায়?
আসলেই কি সব Population Distribution এর ক্ষেত্রেই
এই উপপাদ্যটি প্রযোজ্য?

আমরা জানি, আমরা যে স্যাম্পল বা নমুনা নিয়ে কাজ করবো
সেটা যেকোন Population থেকে আসতে পারে।
পরিসংখ্যানের সবগুলো ডিস্ট্রিবিউশনকে আমরা তাদের
Shape বা আকৃতি অনুসারে প্রধানত মোট চারটি ভাগে
ভাগ করতে পারি।
1. Normal

2. Left Skewed

3. Right Skewed

4. Uniform

Central Limit Theorem প্রায় সব ধরনের Distribution
এর ক্ষেত্রেই প্রয়োগ করা যায়। কিন্তু কিছু ব্যতিক্রমও রয়েছে।
উদাহরণ হিসেবে বলা যেতে পারে Population এর Variance
অবশ্যই সসীম হতে হবে।
যেমন Cauchy distribution এর কথা বলা যেতে পারে। Cauchy distribution
এর কোন Mean নেই এবং
Variance ও অসীম। এক কথায় এর সংগায়িত
কোন Mean বা Variance নেই।

আবার Central Limit Theorem শুধুমাত্র identically
এবং independently distributed চলক এর ক্ষেত্রে
ব্যবহার করা যাবে। মানে একটি অবজারবেশন এর মান
যদি অন্য আর একটি অবজারবেশন এর উপর নির্ভর করে
সেক্ষেত্রে আমরা Central Limit Theorem এর প্রয়োগ করতে পারবো না।

এবার আসি Sampling Distribution of Mean বলতে আমরা আসলে কি বুঝি?

মনে করুন একটি স্টাডি এর আন্ডারে আপনি কিছু নমুনা সংগ্রহ করলেন
এবং এর গড় মানটি বের করলেন।
এবং মনে করুন আপনি ওই একই স্টাডি এর আন্ডারে একই সাইজের আরো কিছু স্যাম্পল
বা নমুনা সংগ্রহ করলেন
এবং সেগুলোর গড় মান বের করলেন। এভাবে কয়েকবার রিপিট করলেন।
এবার আপনি যদি এই প্রত্যেকটি নমুনার গড় নিয়ে Histogram আঁকেন
তাহলে আপনার এই হিস্ট্রোগ্রামটি
একটি ডিষ্ট্রিবিউশন এর Shape প্রদর্শন করবে এবং
এই ডিষ্ট্রিবিশনকেই পরিসংখ্যানবিদরা বলেন
Sampling Distribution of Mean.

আশার কথা হচ্ছে, Mean এর Sampling Distribution বের করার জন্যে
আমাদের স্টাডিটা অনেকবার রিপিট করার
প্রয়োজন পরে না। পরিসংখ্যানের পদ্ধতি একটি
একক দৈব নমুনা( Random variable) থেকেই এটি Estimate
বা অনুমান করতে পারেন।


এবার আসি Sample Size এর সাথে Central Limit Theorem (CLT)
এর সম্পর্কটা আসলে কি?

Smaple Size পরিবর্তনের সাথে সাথে Sampling Distribution
এর Shape বা আকৃতি এরও পরিবর্তন ঘটে।
Central Limit Theorem (CLT) এর সংগানুসারে Sample Size
বাড়ালে Mean এর
Sampling Distribution Approximately Normally Distributed হবে।
কিন্তু কত বাড়ালে?
এটা আসলে নির্ভর করে চলকটি যেই Population থেকে আসবে
তার Distribution এর Shape এর উপর।

"The more the population distribution differs from being normal,
the larger the sample size must be"

অনেক Statistician এর মতে বেশিরভাগ Distribution এর ক্ষেত্রে
Sample size 30 হলেই যথেষ্ট।
কিন্তু Strongly Skewed Distribution এর জন্যে
৩০ এর অধিক Sample এর প্রয়োজন।

CLT দুইটি বিষয়ের একের সাথে অপরের লিংক-আপ করে। এই দুটি বিষয় হলো
1. চলকটির Population এর Distribution এবং
2. গড়( Mean) এর Sampling Distribution

CLT বলে চলকটির Population এর Distribution যাই হোক না
কেন তার গড়( Mean)
এর Sampling Distribution Approximately Normally
Distributed হবে।

এখানে Normally Distributed হবে মানে কি?

মানে মনে করুন Population Distribution এর Shape
নিচের মত আছে

কিন্তু তার Sampling Distribution হবে এরকম

আমরা জানি Normal Distribution এর দুইটি প্যারামিটার আছে
Mean এবং Variance।
এখন কথা হচ্ছে Mean এর Sampling Distribution
যখন Normally Distributed হবে তখন Mean এবং Variance
কি হবে?

CLT এর Property বলে Mean এর Sampling Distribution Approximately Normally Distributed হবে
যার Mean হবে Population Mean এর সমান এবং Variance হবে σ^2/n

যেখানে,

σ^2= the population variance and
n = the sample size

তাহলে আমি যদি Sample Size বাড়াতে থাকি তাহলে অবশ্যই
Variance এর মান কমতে থাকবে এর মানে
Standard deviation এর মানও কমতে থাকবে
কারণ variance এর ডিনোমিনেটর হিসেবে n বা Sample size রয়েছে।

আমরা জানি Standard Deviation হলো Normal Distribution
এর Scale Parameter আর Scale Parameter এর কাজই হলো
Distribution এর Shape কি রকম Spread বা বিস্তৃত হবে তা নির্ধারণ করা।
Standard Deviation বা Variance যত বেশী হবে Distribution এর
Shape তত বিস্তৃত হবে অতএব Sample Size বাড়ানোর সাথে সাথে
Mean এর Sampling Distribution এর Standard Deviation এর
মান যেহেতু কমবে সেহেতু Distribution এর Shape এর বিস্তৃতি কমে
Mean এর কাছাকাছি আসতে থাকবে এবং এটা Normal Distribution
এর Shape এর মতো দেখাবে।

মনে করুন আপনি একটি ছক্কার গুটি অনেকবার রোল করলেন।
যেহেতু ১-৬ প্রত্যেকটি সংখ্যা আসার
সম্ভাবনা ১/৬ = ০.১৬৬৭ আমরা আশা করবো প্রত্যেকটি সংখ্যা
আসার প্রোপোরশন সমান হবে বানে ০.১৬৬৬৬৭


এরপর একই কাজটি ২ টি ছক্কার গুটি দিয়ে করুন।
খেয়াল করে দেখুন তাদের যোগফল ২ অথবা ১২ কেবল মাত্র ১টি উপায়েই হতে পারে।
মানে ১+১ = ২ বা ৬+৬ = ১২। তাহলে ২ বা ১২ আসার সম্ভাবনা ১/৩৬=০.০২৭।
কিন্তু ৭ অনেকভাবে আসতে পারে যেমন ৫+২, ৬+১, ৪+৩, এভাবে
মোট ৬ ভাবে আসতে পারে। এর মানে এর প্রোবাবিলিট ৬/৩৬ = ১/৬ = ০.১৬৬৭
গ্রাফ করলে ব্যাপারটা এরকম দাঁড়াবে


এবার যদি একই কাজটি ৩ টি ছক্কার গুটি নিয়ে করা হয় তাহলে
দেখবেন ৩ এবং ১৮ মোট ১ টি উপায়ে আসতে পারে মানে এদের
প্রোবাবিলিট ১/৬*৬*৬ = ১/২৫৬ কিন্তু ১০ বা ১১ কিন্তু অনেকভাবেই আসতে পারে।
গ্রাফ করলে ব্যাপারটা এমন দাঁড়াবে



খেয়াল করে দেখুন Distribution এর Shape টা প্রথমে Uniform ছিলো।
Sample Size বাড়ানোর সাথে সাথে এই shape টা
Normal Distribution এর Shape এর মতো হয়ে গেল।

এটাই Central Limit Theorem.


MD. SHAWON SIKDER(SHAKIL)
DEPARTMENT OF STATISTICS
BSMRSTU

রিগ্রেশন এনালাইসিস এ R-squared এবং Adjusted R-squared

এর গুরুত্ব অপরিসীম। আজকে আমরা R-squared এবং Adjusted R-squared কি এবং এদের পার্থক্য কোথায় সেটা নিয়ে আলোচনা করবো। 

R-squared (R²) 
একটি মডেল এ সব গুলো ইন্ডেপেন্ডেন্ট ভ্যারিয়াবল দ্বারা ডিপেন্ডেন্ট ভ্যারিয়াবল এর কতটুকু variation প্রকাশিত হচ্ছে সেটা পরিমাপ করাই হচ্ছে  R-squared এর কাজ। এটাতে ধরে নেওয়া হয় যে  মডেল এর প্রত্যেকটি ইন্ডেপেন্ডেন্ট  ভ্যারিয়াবল ডেপেন্ডেন্ট ভ্যারিয়াবল এর variation এক্সপ্লাইন করে ।  মূলত একটা মডেল কত ভালভাবে ফিট হচ্ছে সেটা R-squared এর দ্বারা পরিমাপ করা হয়। R-squared মান যত বেশী হবে, মডেলটি তত ভালোভাবে  ফিট  হবে।
Mathematically, R² = SSres + SSreg = SStot 
                       R² = Explained variation / Total Variation 

R-squared Equation

R-Squared 'coefficient of determination' নামেও পরিচিত . এটার মান 0 থেকে 1 পর্যন্ত .  
R-squared মান 1মানে হচ্ছে 
                                   ' the model explains all the variation of the target variable'. 
এবং  ০ মানে হচ্ছে  
                                  'zero predictive power of the model'. 
        
                                 Higher R-squared value, better the model.

"R-square is 0.8, it means 80% of the variation in the dependent variable is explained by the independent variables"

কিন্তু সমস্যা হল ভ্যারিয়াবল বাড়াতে থাকলে  R-squared এর মান কমে না বরং বাড়তে থাকে । এমন হতে পারে যে, একটা  মডেল এ  কিছু নতুন ভ্যারিয়াবল যুক্ত করা হল কিন্তু সে ভ্যারিয়াবল গুলো ডিপেন্ডেট ভ্যারিয়াবল এর variation এক্সপ্লাইন করে না । কিন্তু  তা সত্যেও R-squared এর মান কমে না বরং বাড়তে থাকে । এক্ষেত্রে "Higher R-squared value, better the model" কথাটি গ্রহণযোগ্যতা হারাবে ।  

Adjusted R-Squared

একটি মডেল এ শুধুমাত্র যেসব ইন্ডেপেন্ডেন্ট ভ্যারিয়াবল সত্যিকারার্থে  ডিপেন্ডেন্ট ভ্যারিয়াবল এর variation প্রকাশ করে তাদের ক্ষেত্রে কতটুকু variation প্রকাশিত সেটা পরিমাপ করাই হচ্ছে Adjusted R-squared এর কাজ।

Adjusted R-Squared Equation
 dft is the degrees of freedom n– 1 of the estimate of the population variance , and dfe is the degrees of freedom n – p – 1 of the estimate of the underlying population error variance.

উপরের Equation simplify করলে আমরা পাব -

Difference between R-square and Adjusted R-square

1. Independent variable বাড়াতে থাকলে  R-squared এর মান কমে না বরং বাড়তে থাকে  এমন কি independent variable insignificant থাকলেও এটা কমে না. অন্যদিকে  Adjusted R-squared এর মান বাড়ে  শুধুমাত্র যদি  independent variable significant  হয় এবং dependent variable এর variation প্রকাশ করে। 



R-Squared vs. Adjusted R-Squared


adjusted r-squared is maximum when we included two variables. It declines when third variable is added. Whereas r-squared increases when we included third variable. It means third variable is insignificant to the model.

2. R- squared কখনই negative হয় না, অন্যদিকে r-squared এর মান যখন 0 এর কাছাকাছি হয় তখন adjusted r-squared negative হয় 
3. Adjusted r-squared value সবসময়ই r-squared value এর চেয়ে ছোট বা তার সমান হয়.

Which is better?

Adjusted R-square should be used to compare models with different numbers of independent variables. Adjusted R-square should be used while selecting important predictors (independent variables) for the regression model. 

Programming

R Script : Calculate R-Squared and Adjusted R-Squared

মনে কর, তুমার কাছে actual and predicted dependent variable এর values আছে । এখন আমরা নিচের Script এ এই values গুলোর sample বানাব - 

y = c(21, 21, 22.8, 21.4, 18.7, 18.1, 14.3, 24.4, 22.8, 19.2)
yhat = c(21.5, 21.14, 26.1, 20.2, 17.5, 19.7, 14.9, 22.5, 25.1, 18)
R.squared = 1 - sum((y-yhat)^2)/sum((y-mean(y))^2)
print(R.squared)

Final  : R-Squared = 0.6410828 

n = 10
p = 3
adj.r.squared = 1 - (1 - R.squared) * ((n - 1)/(n-p-1))
print(adj.r.squared)

In this case, adjusted r-squared value is 0.4616242 assuming we have 3 predictors and 10 observations.

Shawon Sikder
Dept. of Statistics
Bangabandhu Sheikh Mujibur Rahman Science & Technology University(BSMRSTU)

ANIRUDDHA ADHIKARY যখন কলেজে পড়তেন , তার বাসা থেকে কলেজের রাস্তার মধ্যখানে ধানমন্ডি-১৫ নম্বর। ওই জায়গাটাতে সবসময় কিভাবে যেন জ্যাম লেগে যেত।সে কয়েকদিন ধরে ব্যাপারটা দেখতে লাগল দাঁড়িয়ে, জ্যামটা লাগে কেন! তো সে কয়েকটা জ্যামের উপসর্গ বের করে ফেলল:

if not bus.angle == 90:
    raise JamLagbe




if left_road.rickshaw_density > 0.6:
    raise JamLagbe

সিটিবাস একটু কাত হয়ে থেকে যাত্রী উঠায়, তখন রাস্তায় সব লেন বন্ধ হয়ে জ্যাম লাগে। হাতের বাম দিকে থেকে রায়ের বাজারের ট্রাফিক আসে, ওইখানে রিক্সা বেশি থাকলে জ্যাম লাগে। ইত্যাদি।

এখন সে জ্যামের আগে সাধারণত কি কি ঘটনা ঘটে, বা জ্যাম ঘটানোর জন্য কি কি ঘটনা দায়ী তার একটা লিস্ট বানিয়ে ফেলল। এরপর একদিন তার বন্ধুর সাথে রিক্সায় যেতে যেতে বলল, “মামা দেখিস, এখনই জ্যাম লাগবে”। ও অবাক হয়ে দেখল আসলেই সব গাড়ি ঘোড়া দাঁড়িয়ে গেছে (কারণ একটা সিটিবাস যাত্রী তোলার জন্য ৪৫ ডিগ্রি অ্যাঙ্গেলে কাত হয়ে থেমে গেছে)! কিভাবে বলল? সে অবজার্ভ করে ডাটা থেকে ধরে নিয়েছিল

এরকম অনেক লক্ষণ দেখে বোঝা সম্ভব যে, জ্যাম লাগতে চলেছে। Statistics এর Regression analysis (computer এর ক্ষেত্রে বলে মেশিন লার্নিং ) এর অধিকাংশ সমস্যা কিন্তু এটাই – ডাটা থেকে সম্পর্ক বের করা (কিসের প্রভাবে আসলে ঘটনা ঘটছে) এবং সেই সম্পর্ক থেকে ভবিষ্যতে প্রেডিকশন করা। কিন্তু, জ্যামের লক্ষণ তো মাত্র এই কয়টা না, প্রত্যেকটা লক্ষণ বের করে আলাদা করে বারবার প্রোগ্রাম লেখা সম্ভব না। এরকম সমস্যা সমাধানের একটা উপায় হল ডিসিশন ট্রি, সাপোর্ট ভেক্টর মেশিন বা নিউরাল নেটওয়ার্ক ডিজাইন করা। প্রত্যেকটা টার্ম, অন্তত ডিসিশন ট্রি অবশ্যই গুগলে সার্চ করে দেখবেন 🙂

ডাউনলোড লিংক:

MP4 (২২.১ মেগা)
3GP (৯.৭ মেগা)

আজ আমরা অবিচ্ছিন্ন দৈব চলকের সম্ভাবনা বিন্যাস নিয়ে আলোচনা করবো। মনে করে দেখুন দ্বিপদ বিন্যাসের ক্ষেত্রে আমাদের দৈব চলকটি একটি পরীক্ষণ n সংখ্যকবার পুনরাবৃত্তি করলে যতবার ‘সাফল্য’ আসবে তা গণনা করতো। যেমন ১২ বার টস করলে যতবার হেড উঠবে দ্বিপদ দৈব চলকটি সেটি প্রকাশ করে। লক্ষ্য করুন দৈব চলকটি ০ থেকে ১২ এর মধ্যে কেবল একটি মান গ্রহণ করতে পারে।

একই ভাবে কোন অন্তবর্তীকালীন সময়ে একটি ঘটনা যতবার ঘটে তা যে চলক দিয়ে প্রকাশ করা হয় সেই চলকটি পয়সোঁ বিন্যাস অনুসরণ করে। এই দৈব চলকটি ০ থেকে অসীম পর্যন্ত যেকোন বিচ্ছিন্ন সংখ্যা (discrete value) গ্রহণ করে। আপনার ফোনে প্রতি ঘন্টায় ২টি ফোন আসলে আগামী দুই ঘন্টায়  ৫টি ফোন আসার সম্ভাবনা আমরা পয়সোঁ বিন্যাস দিয়ে বের করতে পারবো। এরকম দৈব চলক ভগ্নাংশ মান গ্রহণ করতে পারেনা। অর্থাৎ দুই ঘন্টায় ৫.৫টি ফোন আসবে এমনটি সম্ভব নয়।

নরমাল বিন্যাস

নরমাল বিন্যাস একটি অবিচ্ছিন্ন দৈব চলকের (Continuous random variable) সম্ভাবনা বিন্যাস। কোন চলক এই বিন্যাস  অনুসরণ করলে চলকটি দুটি বাস্তব সংখ্যার মধ্যে যেকোন একটি মান গ্রহণ করবে তার সম্ভাবনা বের করতে পারবো। আগের অভিজ্ঞতায় দেখা গিয়েছে মানুষের উচ্চতা, ভর (ওজন) এসব নরমাল বিন্যাস অনুসরণ করে।  বাংলাদেশের পুরুষদের উচ্চতার বিন্যাস নরমাল হলে–

• বাংলাদেশের একজন পুরুষকে যদি দৈব চয়নের মাধ্যমে নির্বাচন করা হয় তাহলে তার উচ্চতা ৫ ফুট থেকে ৫.৫ ফুটের মধ্যে হবে তার সম্ভাবনা কত?
• কিংবা সেই লোকটির ভর (ওজন) ৬০ থেকে ৭০ কিলোগ্রামের মধ্যে হবে তার সম্ভাবনা কত?

একই রকম আরো কিছু উদাহরণ চিন্তা করা যাক–

• জনমত জরিপে দেখা গেল ৫৫% উত্তরদাতা নগরসেবা বাড়ানো হবে এই শর্তে কর বাড়ানোর পক্ষে মত দিয়েছে। জরিপ থেকে প্রাপ্ত এই শতকরা মানটি প্রকৃতপক্ষে  (অর্থাৎ সেই জনগোষ্ঠীর সকলের মতামত যদি নেয়া যেতো তাহলে) ৪৫-৬৫% এর মধ্যে –তার সম্ভাবনা কত?
• নির্বাচনের আগে প্রধান দুই রাজনৈতিক দল নানা সংস্থাকে দিয়ে জরিপ পরিচালনা করে থাকে। একটি দল জরিপ করে জেনেছে তাদের পক্ষে ৪৫% জনসমর্থন আছে। জনগোষ্ঠীতে এই সংখ্যা ৪২-৪৮% এর মধ্যে হবে তার সম্ভাবনা কত?

বাস্তবের এরকম নানা ঘটনায় নরমাল বিন্যাসের ব্যবহার দেখা যায়।

নরমাল বিন্যাস থেকে সম্ভাবনা বের করা

আগে আমরা জেনেছিলাম সম্ভাবনা বিন্যাস হলো একটি সারণি, বা একটি চিত্র, বা একটি গাণিতিক সূত্র যেখানে দৈব চলক কি কি মান গ্রহণ করতে পারে তার একটি তালিকা থাকে। সেই সাথে দৈব চলকটি যে একটি নির্দিষ্ট মান গ্রহণ করবে তার সম্ভাবনাও দেয়া থাকে। যদি ভুলে গিয়ে থাকেন তাহলে লেকচার ১২ তে আবার চোখ বুলিয়ে নিন।

নরমাল বিন্যাস যেহেতু একটি অবিচ্ছিন্ন চলকের বিন্যাস, তাই এর জন্য কোন সারণি তৈরী করা বাস্তবিক অর্থে সম্ভব নয়। কেননা দৈব চলকটি নেগেটিভ অসীম থেকে ধনাত্মক অসীম পর্যন্ত যেকোন মান গ্রহণ করতে পারে। আর তাছাড়া দৈব চলকটি যেহেতু দুটি সংখ্যার ব্যবধান (Interval) –এর সম্ভাবনা বের করে তাই এই ব্যবধানের মধ্যে যেকোন একটি মান গ্রহণ করার সম্ভবনা খুবই ছোট। এত ছোট যে আমরা তাকে শূন্য বলতে পারি।

নরমাল দৈব চলকের সম্ভাবনা বিন্যাসকে এভাবে লেখা হয়।

উপরের সূত্রে মিউ, এবং সিগমা’র মান জানা থাকলে X চলকটি a এবং b এর মধ্যে হবে—তার সম্ভাবনা আমরা ইন্টিগ্রেট করে বের করতে পারবো।

এখানে মিউ এবং সিগমা নরমাল বিন্যাসের দুটি প্যারামিটার। এ দুটি প্যারামিটারের মান জানা থাকলে আমরা যেকোন নরমাল বিন্যাস থেকে সম্ভাবনা বের করতে পারবো।

উদাহরণ: পুরুষদের উচ্চতা

ধরা যাক বাংলাদেশের পুরুষদের উচ্চতা একটি দৈব চলক যা নরমাল বিন্যাস অনুসরণ করে। এই বিন্যাসের গড় ৫.৫ এবং পরিমিত ব্যবধান (standard deviation) ০.৫. আপনি দৈব চয়নের মাধ্যমে যদি কাউকে নির্বাচন করেন তাহলে তার উচ্চতা ৫.২ ফুট থেকে ৫.৮ ফুটের মধ্যে হওয়ার সম্ভাবনা কত?

উত্তর

এখানে মিউ = ৫.৫ এবং সিগমা = ০.৫ এবং a = ৫.২ , b=৫.৮

এখন উপর সূত্রে মানগুলো বসিয়ে দিলেই সম্ভাবনা পাওয়া যাবে।

কিন্তু কাজটা সহজ নয়। ইন্টিগ্রেট করে সম্ভাবনা বের করা গেলেও মিউ এবং সিগমার অন্য মানের জন্য আমাদেরকে আবারো নতুন করে ইন্টিগ্রেট করতে হবে।

ইন্টিগ্রেশন না করে কি সম্ভাবনা বের করার কোন উপায় আছে?

হ্যাঁ, আছে। সেজন্য আমাদের নরমাল বিন্যাসের সারণি ব্যবহার করতে হবে। কিন্তু তার আগে আসুন ছবির মাধ্যমে জেনে নেই নরমাল বিন্যাস দেখতে কেমন এবং কিভাবে ছবি থেকে সম্ভাবনা বের করা যায়।

নরমাল বিন্যাস দেখতে বালির ঢিবির মত। কিংবা বলা যায় মাউন্টেইন এর মত।

বস্তা ভর্তি বালি যদি আপনি আস্তে আস্তে ঢালতে থাকেন তাহলে  যেরকম ঢিবি তৈরী হবে, নরমাল বিন্যাস দেখতে ঠিক সেরকম। নিচে (ক) চিহ্নিত ছবিটি একটি নরমাল বিন্যাসের ছবি। দেখা যাচ্ছে ছবিটির মাঝ বরাবর যে রেখাটি সেটি মিউ বা গড়। অর্থাৎ যে দৈব চলক নরমাল বিন্যাস অনুসরণ করে তার গড় = মিউ। ঢিবিটি কতটু উঁচু বা কতটা প্রসারিত হবে সেটি নির্ধারিত হয় সিগমা-এর মান দ্বারা। নরমাল দৈব চলকের পরিমিত ব্যবধান কে সিগমা দ্বারা চিহ্নিত করা হয়। মিউ এর মান জানা থাকলে বিন্যাসটির কেন্দ্র কোথায় তা বোঝা যায় আর সিগমা দিয়ে বিন্যাসটির আকার নির্ধারিত হয় বলে নরমাল বিন্যাসের ক্ষেত্রে মিউ এবং সিগমা-কে যথাক্রমে লোকেশন (location) এবং শেইপ (shape) প্যারামিটার বলা হয়।

কিভাবে জানবো যে একটি দৈব চলকের বিন্যাস নরমাল?

নানা ভাবেই জানতে পারি। তার মধ্যে একটি হলো অভিজ্ঞতা থেকে। যদি পূর্বাভিজ্ঞতা না থাকে তাহলে আমরা উপাত্ত (উপরে (খ) চিত্র দ্রষ্টব্য) থেকে হিস্টোগ্রাম এঁকে সেই হিস্টোগ্রামের উপর মসৃণ কার্ভ আকঁলে সেটা যদি মোটামুটি ঢিবির মতো দেখায় তাহলে আমরা বলতে পারবো যে দৈব চলকটি নরমাল বিন্যাস অনুসরণ করে। উপরের চিত্রে (গ) অংশ দ্রষ্টব্য। হিস্টোগ্রাম সম্পর্কে জানার জন্য লেকচার ৪ অনুসরণ করতে পারেন।

স্ট্যান্ডার্ড নরমাল বিন্যাস

লেকচার ৭ এ আমরা জেড-স্কোর নিয়ে আলোচনা করেছিলাম। আমরিকানরা জেড কে জি বলে। এজন্য জেড-স্কোরকে আমেরিকায় বলে জি-স্কোর। জেড স্কোরের কনসেপ্ট এখন আবার কাজে লাগবে।

জেড স্কোর দিয়ে আমরা উপাত্তকে স্ট্যান্ডারডাইজ করেছিলাম। তেমনি নরমাল বিন্যাসের দৈব চলককেও আমরা স্ট্যান্ডারডাইজ করব। এমনটা করার ফলে আমরা নতুন একটি নরমাল বিন্যাস পাবো যেটিকে আমরা রেফারেন্স বিন্যাস হিসেবে ব্যবহার করবো।

নরমাল বিন্যাসের একটি চলককে স্ট্যান্ডারডাইজ করে যে নতুন চলক আমরা পাবো তার বিন্যাস কে বলা হবে স্ট্যান্ডার্ড নরমাল বিন্যাস। এরকম একটি বিন্যাস থাকলে তার সারণি থেকে আমরা অতি সহজেই ইন্টিগ্রেশন না করেই সম্ভাবনা বের করতে পারবো।

অর্থাৎ X যদি নরমাল বিন্যাস অনুসরণ করে যার গড় মিউ এবং পরিমিত ব্যবধান সিগমা, তাহলে Z এর বিন্যাস হবে স্ট্যান্ডার্ড নরমাল। এটি এমন একটি নরমাল বিন্যাস যার গড় = ০ এবং পরিমিত ব্যবধান ১.

নরমাল বিন্যাস থেকে স্ট্যান্ডার্ড নরমাল বিন্যাস

তাহলে X যদি নরমাল বিন্যাস অনুসরণ করে যার গড় ৫ এবং পরিমিত ব্যবধান ২, তাহলে Z হবে (X-5)/2 এবং এর বিন্যাস হবে স্ট্যান্ডার্ড নরমাল যার গড় ০ এবং পরিমিত ব্যবধান ১ হবে।

ব্যাপারটা আরো ভালোভাবে বোঝার জন্য আমরা চিত্রের দিকে তাকাই।

লক্ষণীয় যে, স্ট্যান্ডার্ড নরমাল বিন্যাসের যে চলক সেটি আসলে জেড-স্কোর ছাড়া অন্য কিছু নয়। 

কিভাবে স্ট্যান্ডার্ড নরমাল বিন্যাস থেকে সম্ভাবনা বের করা যাবে?

এতক্ষণ আমরা জেনে গিয়েছি যে নরমাল থেকে স্ট্যান্ডার্ড নরমালে পরিণত করার জন্য আমাদেরকে পূর্বের দৈব চলক  X কে নতুন দৈব চলক Z এ পরিবর্তন করত হবে। তার জন্য আগের চলক থেকে গড় বাদ দিয়ে তাকে পরিমিত ব্যবধান দিয়ে ভাগ করতে হবে।

এবারে আমারা দেখবো কিভাবে সম্ভাবনা বের করা যায়। এজন্য আমরা প্রথমেই জেড চলকটি নেগেটিভ দশমিক ৫ থেকে ১ এর মধ্যে হবে তার সম্ভাবনা অর্থাৎ P(-.5 < Z < 1) বের করবো। নিচের চিত্রে এটি দেখানো হলো।

সবশেষে P(Z < -.5) এবং P(Z < 1) বের করার জন্য আমরা পরিসংখ্যানের সফটওয়্যার যেমেন R ব্যবহার করতে পারি। কিংবা স্ট্যান্ডার্ড নরমাল সারণি ব্যবহার করেও সম্ভাবনা বের করতে পারি।

R ব্যবহার করে কিভাবে সম্ভাবনাগুলো বের করা যাবে তা জানতে এই লেকচার দেখুন।

আর সারণি ব্যবহার করতে চাইলে এই সারণি দেখতে পারেন।

সারণি ব্যবহার করে আমরা পাই –

P(Z < 1) = .84134

P(Z < -.5) = .30854

তাহলে,

P(-.5 < Z < 1)

= P(Z < 1) – P(Z < -.5)

= .84134 – .30854

= .5328

আজ এপর্যন্ত ই থাক। আগামী দিন খুবই ইন্টারেস্টিং কিছু বিষয় নিয় আলোচনা করবো। আমরা দেখবো ১৬ কোটি জনগোষ্ঠি থেকে মাত্র ৬০০০ হাজার জনকে বাছাই করে তাদের মতামত নিয়ে পুরো জনগোষ্ঠির (১৬ কোটির)  মতামতের প্রতিফলন ঘটনো সম্ভব কিনা।

ভালো থাকুন, আর কোন প্রশ্ন থাকলে এখানে জানান।

কুইজ

ধরা যাক বাংলাদেশের পুরুষদের উচ্চতা একটি দৈব চলক যা নরমাল বিন্যাস অনুসরণ করে। এই বিন্যাসের গড় ৫.৫ ফুট এবং পরিমিত ব্যবধান (standard deviation) ০.৫. আপনি দৈব চয়নের মাধ্যমে যদি কাউকে নির্বাচন করেন তাহলে তার উচ্চতা ৫.২ ফুট থেকে ৫.৮ ফুটের মধ্যে হওয়ার সম্ভাবনা কত?

উত্তর: ০.৪৫১৫ বা ৪৫.১৫%

About the author

এনায়েতুর রহীম

পরিসংখ্যান নিয়ে আছি প্রায় দুই দশক -- এখনো শিখছি--পড়ে এবং পড়ানোর মাধ্যমে। ঢাকা বিশ্ববিদ্যালয় থেকে ফলিত পরিসংখ্যানে ব্যাচেলরস, মাস্টার্স। গবেষণা মূলত গাণিতিক পরিসংখ্যান নিয়ে। বিশেষভাবে কাজ করি রিগ্রেশন মডেলে Shrinkage and Absolute Penalty Estimation নিয়ে। আরো কাজ করি পরিসংখ্যান বিষয়ক সফটওয়্যার, মন্টি কারলো, রিস্যাম্পলিং, জনস্বাস্থ্য ও এপিডেমিওলজি, এবং পরিবেশ বিষয়ক পরিসংখ্যানে। কর্মজীবন শুরু ঢাকা বিশ্ববিদ্যালয়ে শিক্ষকতার মাধ্যমে। বর্তমানে ইউনিভার্সিটি অব নর্দার্ন কলোরাডো তে ফলিত পরিসংখ্যানের সহকারী অধ্যাপক হিসেবে কর্মরত। ব্যক্তিগত সাইট।

১৮০০ সালের দিকে Degrees of Freedom বা  স্বাধীনতার মাত্রা  সম্বন্ধে সর্বপ্রথম যিনি মৌলিক ধারণা দেন তিনি হচ্ছেন জার্মান গণিতবিদ ও জ্যোতির্বিদ কার্ল ফ্রেডরিক গাউস। এরপর ১৯০৮ সালে William Sealy Gosset তার Biometrika নামের আর্টিকেল এর "The probable error of a mean" নামের কলামে স্বাধীনতার মাত্রা (Degrees of Freedom) এর সংজ্ঞা প্রকাশ করেন । কিন্তু তিনি সেখানে সুনির্দিষ্ট ভাবে স্বাধীনতার মাত্রা (Degrees of Freedom) নামে প্রকাশ করেন নি । এরপর ১৯২২ সালে ইংরেজ পরিসংখ্যানবিদ Ronald Fisher তার Chi-square test ডেভোলপ করতে গিয়ে 'স্বাধীনতার মাত্রা' (Degrees of Freedom) শব্দটি ব্যবহার করেন । 

স্বাধীনতার মাত্রা (Degrees of Freedom) এর সংজ্ঞা এভাবে দেওয়া যায় ,

"In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary"

উদাহরণ দিলে ব্যাপারটা সহজে বোঝা যাবে। মনে করুন আপনি  মোট নতুন ৭ টি শার্ট উপহার পেয়েছেন । এখন আপনি চাচ্ছেন সপ্তাহে সাতদিন আপনি প্রতিদিন একটি করে নতুন শার্ট পড়বেন , মানে শনিবার এ যেটা পড়বেন সেটা অন্য কোন বারে পড়বেন নাহ । 

তাহলে শনিবার থেকে শুরু করুন , শনিবারে আপনার কাছে অপশন আছে মোট ৭ টি , রবিবারে থাকবে ৬ টি , সোমবারে ৫ টি .........। কিন্তু শুক্রবারে আপনার কাছে ১ টি ছাড়া আর কোন অপশন থাকছে না। সো আপনি মোট ৬ বার আপনার ইচ্ছে মতো নিতে পারছেন । এই ৬  হলো Degrees of Freedom বা  স্বাধীনতার মাত্রা । 

আবার ধরি, মোট ১০ টি সংখ্যা নিয়ে দেখাতে হবে যে তার যোগফল ৩০। 

এখন আমরা সংখ্যা নেয়া শুরু করলাম নিজের ইচ্ছে মত ২+৪+৩+(-২)+......... এভাবে নয়টি সংখ্যা আমরা নিজের ইচ্ছে মত নিতে পারবো কিন্তু ১০ নাম্বার সংখ্যাটি নিতে গেলে আমরা ইচ্ছে মত আর নিতে পারবো না কারণ শর্ত হচ্ছে যোগফল ৩০ হতে হবে । 

একইভাবে আমাদের যদি  n=২০  টি সংখ্যা  থাকতো তাহলে ১৯টি  ইচ্ছেমত নিতে পারতাম। কিন্তু শেষেরটি পূরণ করতে গেলে আমাদের কোন স্বাধীনতা অবশিষ্ট থাকতো না। 

অর্থাৎ আমাদের স্বাধীনতার মাত্রা এক্ষেত্রে ২০-১ =১৯
মানে n-1 হচ্ছে Degrees of Freedom

অন্যকথায় বলা যায় , 

''The number of degrees of freedom equals the number of "observations" minus the number of required relations among the observations (e.g., the number of parameter estimates). For a 1-sample t-test, one degree of freedom is spent estimating the mean, and the remaining n - 1 degrees of freedom estimate variability.''

Chi-Square Test of Independence এর জন্যে  Degrees of Freedom  (স্বাধীনতার মাত্রা):

Chi-Square Test of Independence ব্যবহার  করা হয় মূলত দুটো ক্যাটাগরিক্যাল ভেরিয়াবলস গুলা ডিপেন্ডেন্ট কিনা তা নির্ণয় করার জন্য । 

একটা ২*২ টেবিল চিন্তা করি 

এখানে আমরা ইন্ডিপেন্ডেন্টলি সর্বোচ্চ একটা মান বসাতে পারবো কারণ পরের মান গুলো টোটাল মানের উপর নির্ভর করবে । তাহলে এখানে Degrees of Freedom  (স্বাধীনতার মাত্রা) হচ্ছে ১ 

এখন যদি আমরা ৩*২ টেবিল চিন্তা করি তাহলে দেখতে পাবো 

এখানে আমরা ইন্ডিপেন্ডেন্টলি সর্বোচ্চ দুইটা মান বসাতে পারবো কারণ পরের মান গুলো টোটাল মানের উপর নির্ভর করবে।  তাহলে এখানে Degrees of Freedom  (স্বাধীনতার মাত্রা) হচ্ছে ২

এভাবে যদি আমরা বিভিন্ন  আকারের টেবিল চিন্তা করি তাহলে আমরা  একটা general pattern পাবো . একটা  table এর   r রো স  এবং c কলামস  এর জন্যে  সর্বোচ্চ  (r-1)(c-1) সংখ্যক  Degrees of Freedom  (স্বাধীনতার মাত্রা) পাবো । 

ANOVA TABLE এর  Degrees of Freedom  (স্বাধীনতার মাত্রা):

• যদি  মোট  n সংখ্যক  ডাটা পয়েন্ট থাকে  , তাহলে  Degrees of Freedom হবে  n-1
• যদি  m সংখ্যক  গ্রুপ  নিয়ে  তুলনা  করা  হয় , তাহলে  Degrees of Freedom হবে  m-1
• যদি  মোট  n সংখ্যক  ডাটা পয়েন্ট  থাকে এবং  m সংখ্যক  গ্রুপ  নিয়ে  তুলনা  করা  হয় তাহলে  error এর  Degrees of Freedom হবে  (n-1)-(m-1)=n-m

                                                                                                                       

রেফারেন্স : 

• http://blog.minitab.com/blog/statistics-and-quality-data-analysis/what-are-degrees-of-freedom-in-statistics
• https://onlinecourses.science.psu.edu/stat414/node/218
• wikipedia

লিখেছেন  - শাওন  শিকদার