2020年5月23日 星期六

從 Poisson 分布到指數分布 Poisson & Exponetial distribution(機率簡介)

從 Poisson 分布推導至指數分布

上一篇文章中我們知道 Poisson 分布的機率質量函數為: \[ Pr(X=k)=\frac{(\lambda t)^k}{k!}e^{-\lambda t} \] 現在考慮的是下一次事件間隔 t 時間的機率 Pr(X>t),意思就是在 t 時間中沒有事件發生,那麼 k 就是 0 : \[ Pr(X>t)=\frac{e^{-\lambda t}(\lambda t)^0}{0!} = e^{-\lambda t} \] 因此在 t 時間內發生此事件的機率為: \[ P(X \leq t) = 1 - e^{-\lambda t} \] 這個式子就是指數分布的累積分布函數(Cumulative Distribution Function)。將此函數微分後可得機率密度函數(Probability density function): \[ f(t;\lambda) = \frac{dP(X \leq t)}{dt}= \lambda e^{- \lambda t} \]

從另一個角度直接推導指數分布

假設事件還沒有發生的情況下,事件在下一個時間 \( \Delta T\) 發生的機率為: \[ \lim_{ \Delta T \rightarrow 0}\lambda \Delta T \] 那在下下個時間發生的機率是 \( (1 - \lambda \Delta T) \lambda \Delta T \) ,因此在 t 時間後的下一個 \( \Delta T\) 發生的機率為: \[ (1 - \lambda \Delta T)^{\frac{t}{\Delta T}}\lambda \Delta T \] 根據機率密度函數的定義可以寫出: \[ \lim_{ \Delta T \rightarrow 0} f(t;\lambda) \Delta T = (1 - \lambda \Delta T)^{\frac{t}{\Delta T}}\lambda \Delta T \\ \lim_{ \Delta T \rightarrow 0} f(t;\lambda) = \lambda (1 + \frac{1}{-\frac{1}{\lambda \Delta T}})^{(-\frac{1}{\lambda \Delta T}) \cdot -\lambda t} \\ f(t;\lambda) = \lambda e^{-\lambda t} \]

與 Poisson 分布的參數比較 

兩個分布的參數都是\( \lambda \),他們的差別如下:
  • Poisson 分布描述的是離散隨機變數,參數 \( \lambda\) 的意思是單位時間內事件發生的頻率,機率質量函數與累積分布函數的橫軸都是 k ,代表此事件出現 k 次。
  • 指數分布是連續隨機變數,參數 \( \lambda\) 的意思也是單位時間發生的頻率,機率密度函數與累積分布函數的橫軸是時間,他們都是連續函數。

指數分布的最大似然估計

\[ l(\lambda) = ln(\prod_{i=1}^{N} \lambda e^{-\lambda t_i}) = ln( \lambda^N exp(-\lambda \sum_{i=1}^{N}t_i)) = ln( \lambda^N e^{-\lambda N \bar{t}}) \] 導數為0的極值: \[ \frac{dl(\lambda)}{d \lambda}=\frac{d}{d\lambda}(N ln(\lambda) - \lambda N \bar{t}) = \frac{N}{\lambda} - N \bar{t} = 0 \\ \lambda_{MLE} = \frac{1}{\bar{t}} \] 物理上的意義是當我們蒐集到很多樣本 \( t_i\) ,指得是此事件的時間間隔,我們可以從這些樣本中用最大似然估計估出此指數分布的參數 \( \lambda \) 就是這些樣本時間平均的倒數。

沒有留言:

張貼留言