概率論與數理統計

《概率論與數理統計》

第一章概率論的基本概念

§2．樣本空間、隨機事件

1．事件間的關系BA?則稱事件B包含事件A，指事件A發生必然導致事件B發生

B}xxx{????或ABA稱為事件A與事件B的和事件，指當且僅當

A，B中至少有一個發生時，事件BA?發生

B}xxx{????且ABA稱為事件A與事件B的積事件，指當A，B

同時發生時，事件BA?發生

B}xxx{???且—ABA稱為事件A與事件B的差事件，指當且僅當

A發生、B不發生時，事件BA—發生

???BA，則稱事件A與B是互不相容的，或互斥的，指事件A與事

件B不能同時發生，基本事件是兩兩互不相容的

且S??BA???BA，則稱事件A與事件B互為逆事件，又稱事件

A與事件B互為對立事件

2．運算規則交換律ABBAABBA??????

結合律)()()()(CBACBACBACBA????????

分配律)()B(CAACBA??????）（

))(()(CABACBA?????

徳摩根律BABAABA??????B

—

§3．頻率與概率

定義在相同的條件下，進行了n次試驗，在這n次試驗中，事件A發生的次數

A

n稱為事

件A發生的頻數，比值nn

A

稱為事件A發生的頻率

概率：設E是隨機試驗，S是它的樣本空間，對于E的每一事件A賦予一個實數，記為P（A），

稱為事件的概率

1．概率)(AP滿足下列條件：

（1）非負性：對于每一個事件A1)(0??AP

（2）規范性：對于必然事件S1)S(?P

（3）可列可加性：設

n

AAA,,,

21

?是兩兩互不相容的事件，有?

?

?

?

n

k

k

n

k

k

APAP

1

1

)()(?（

n

可

以取?）

2．概率的一些重要性質：

（i）0)(??P

（ii）若

n

AAA,,,

21

?是兩兩互不相容的事件，則有?

?

?

?

n

k

k

n

k

k

APAP

1

1

)()(?（

n

可以取?）

（iii）設A，B是兩個事件若BA?，則)()()(APBPABP???，)A()B(PP?

（iv）對于任意事件A，1)(?AP

（v）)(1)(APAP??（逆事件的概率）

（vi）對于任意事件A，B有)()()()(ABPBPAPBAP????

§4等可能概型（古典概型）

等可能概型：試驗的樣本空間只包含有限個元素，試驗中每個事件發生的可能性相同

若事件A包含k個基本事件，即}{}{}{

2]1k

iii

eeeA?????，里

個不同的數，則有中某，是，，k

k

n2,1iii

,21

??

?

?

中基本事件的總數

包含的基本事件數

S

}{)(

1j

A

n

k

ePAP

k

j

i

????

?

§5．條件概率

（1）定義：設A,B是兩個事件，且0)(?AP，稱

)(

)(

)|(

AP

ABP

ABP?為事件A發生的條

件下事件B發生的條件概率

（2）條件概率符合概率定義中的三個條件

1。非負性：對于某一事件B，有0)|(?ABP

2。規范性：對于必然事件S，1)|(?ASP

3可列可加性：設?,,

21

BB是兩兩互不相容的事件，則有

??

?

?

?

?

1

1

)()(

i

i

i

i

ABPABP?

（3）乘法定理設0)(?AP，則有)|()()(BAPBPABP?稱為乘法公式

（4）全概率公式：?

?

?

n

i

ii

BAPBPAP

1

)|()()(

貝葉斯公式：

?

?

?

n

i

ii

kk

k

BAPBP

BAPBP

ABP

1

)|()(

)|()(

)|(

§6．獨立性

定義設A，B是兩事件，如果滿足等式)()()(BPAPABP?，則稱事件A,B相互獨立

定理一設A，B是兩事件，且0)(?AP，若A，B相互獨立，則??BPABP?)|(

定理二若事件A和B相互獨立，則下列各對事件也相互獨立：A與

————

與，與，BABAB

第二章隨機變量及其分布

§1隨機變量

定義設隨機試驗的樣本空間為X(e)X{e}.S??是定義在樣本空間S上的實值單值函

數，稱X(e)X?為隨機變量

§2離散性隨機變量及其分布律

1．離散隨機變量：有些隨機變量，它全部可能取到的值是有限個或可列無限多個，這種隨

機變量稱為離散型隨機變量

kk

)(pxXP??滿足如下兩個條件（1）0

k

?p，（2）??

?1k

k

P=1

2．三種重要的離散型隨機變量

（1）分布

設隨機變量X只能取0與1兩個值，它的分布律是

)101,0kp-1p)k(k-1k?????pXP（，）（，則稱X服從以p為參數的分布或兩

點分布。

（2）伯努利實驗、二項分布

設實驗E只有兩個可能結果：A與

—

A，則稱E為伯努利實驗.設

1)p0pP(A)???（，此時p-1)AP(?

—

.將E獨立重復的進行n次，則稱這一串重復的

獨立實驗為n重伯努利實驗。

n2,1,0kqp

k

n

)kX(k-nk?，，?

?

?

?

?

?

?

?

?

??P滿足條件（1）0

k

?p，（2）??

?1k

k

P=1注意

到k-nkqp

k

n

?

?

?

?

?

?

?

?

是二項式nqp）（?的展開式中出現kp的那一項，我們稱隨機變量X服從參數

為n，p的二項分布。

（3）泊松分布

設隨機變量X所有可能取的值為0,1,2…，而取各個值的概率為

,2,1,0,

k!

e

)kX(

-k

????kP

??

其中0??是常數，則稱X服從參數為?的泊松分布記為

）（??~X

§3隨機變量的分布函數

定義設X是一個隨機變量，x是任意實數，函數??????x-x},P{X)x(F

稱為X的分布函數

分布函數)()(xXPxF??，具有以下性質(1))(xF是一個不減函數（2）

1)(,0)(1)(0???????FFxF，且（3）是右連續的即)(),()0(xFxFxF??

§4連續性隨機變量及其概率密度

連續隨機變量：如果對于隨機變量X的分布函數F（x），存在非負可積函數)(xf，使

對于任意函數x有,dttf)x(F

x

-??

?）（則稱x為連續性隨機變量，其中函數f(x)稱為X

的概率密度函數，簡稱概率密度

1概率密度)(xf具有以下性質，滿足（1）

1)((2),0)(

-

?????

?

dxxfxf

；

（3）????2

1

)()(

21

x

x

dxxfxXxP；（4）若)(xf在點x處連續，則有?)(Fx，)(xf

2,三種重要的連續型隨機變量

(1)均勻分布

若連續性隨機變量X具有概率密度

?

?

?

?

?

??

?

，其他

，

0

a

a-b

1

)(

bx

xf，則成X在區間(a,b)上服從

均勻分布.記為），（baU~X

(2)指數分布

若連續性隨機變量X的概率密度為

?

?

?

?

?

?

?

，其他

，

0

0.e

1

)(

x-x

xf

?

?其中0??為常數，則稱X

服從參數為?的指數分布。

（3）正態分布

若連續型隨機變量X的概率密度為

，，

）

?????

?

?

xexf

x

-

2

1

)(2

2

2

(

?

?

??

?????，服從參數為為常數，則稱（，其中X)0?的正態分布或高斯分布，記為

），（2N~X??

特別，當10????，時稱隨機變量X服從標準正態分布

§5隨機變量的函數的分布

定理設隨機變量X具有概率密度,-)(

x

????xxf，又設函數)(xg處處可導且恒有

0)(,?xg，則Y=)(Xg是連續型隨機變量，其概率密度為

??

?

?

?

??

?

其他，0

,)()(

)(

,??yyhyhf

yfX

Y

第三章多維隨機變量

§1二維隨機變量

定義設E是一個隨機試驗，它的樣本空間是X(e)X{e}.S??和Y(e)Y?是定義在S上

的隨機變量，稱X(e)X?為隨機變量，由它們構成的一個向量（X，Y）叫做二維隨機變量

設（X，Y）是二維隨機變量，對于任意實數x，y，二元函數

y}YxP{Xy)}(Yx)P{(XyxF??????，記成），（稱為二維隨機變量（X，Y）的

分布函數

如果二維隨機變量（X，Y）全部可能取到的值是有限對或可列無限多對，則稱（X，

Y）是離散型的隨機變量。

我們稱

?，，，，2,1ji)yY(

ijji

????pxXP

為二維離散型隨機變量（X，Y）的

分布律。

對于二維隨機變量（X，Y）的分布函數），（yxF，如果存在非負可積函數f（x，y），

使對于任意x，y有

，），（），（????

?y

-

x

-

dudvvufyxF則稱（X，Y）是連續性的隨機變量，

函數f（x，y）稱為隨機變量（X，Y）的概率密度，或稱為隨機變量X和Y的聯合概率密

度。

§2邊緣分布

二維隨機變量（X，Y）作為一個整體，具有分布函數），（yxF.而X和Y都是隨機

變量，各自也有分布函數，將他們分別記為）（（y),xF

XY

F，依次稱為二維隨機變量（X，Y）

關于X和關于Y的邊緣分布函數。

?，，2,1i}xP{Xp

1j

iiji

??????

?

?

p

?，，2,1j}yP{Yp

1i

iij

??????

?

?j

p

分別稱

?i

p

j

p

?

為（X，Y）關于X和關于Y的邊緣分布律。

??

??

?dyyxfxf

X

）,()(??

??

?dxyxfyf

Y

）,()(

分別稱)(xf

X

，

)(yf

Y

為X，Y關于X和關于Y的邊緣概率密度。

§3條件分布

定義設（X，Y）是二維離散型隨機變量，對于固定的j，若

,0}{??

j

yYP

則稱

?,2,1,

}{

},{

}{??

?

??

???

?

i

p

p

yYP

yYxXP

yYxXP

j

ij

j

ji

ji

為在

j

yY?

條件下

隨機變量X的條件分布律，同樣?,2,1,

}{

},{

}{??

?

??

???

?

j

p

p

xXP

yYxXP

XXyYP

i

ij

i

ji

ij

為在

i

xX?條件下隨機變量X的條件分布律。

設二維離散型隨機變量（X，Y）的概率密度為),(yxf，（X，Y）關于Y的邊緣概

率密度為)(yf

Y

，若對于固定的y，)(yf

Y

〉0，則稱

)(

),(

yf

yxf

Y

為在Y=y的條件下X的條件

概率密度，記為)(yxf

YX

=

)(

),(

yf

yxf

Y

§4相互獨立的隨機變量

定義設），（yxF及)(Fx

X

，)(Fy

Y

分別是二維離散型隨機變量（X，Y）的分布函

數及邊緣分布函數.若對于所有x,y有y}}P{Y{},{?????xXPyYxXP，即

(y))F(F},{F

YX

xyx?，則稱隨機變量X和Y是相互獨立的。

對于二維正態隨機變量（X，Y），X和Y相互獨立的充要條件是參數0??

§5兩個隨機變量的函數的分布

1，Z=X+Y的分布

設(X,Y)是二維連續型隨機變量，它具有概率密度),(yxf.則Z=X+Y仍為連續性

隨機變量，其概率密度為??

??

?

??dyyyzfzf

YX

）,()(

或??

??

?

??dxxzxfzf

YX

）,()(

又若X和Y相互獨立，設（X，Y）關于X，Y的邊緣密度分別為)(),(yfxf

YX

則

??

??

?

??dyfyzfzf

YXYX

y)()(（）

和??

??

?

??dxxzfxfzf

YXYX

)(()(）

這兩個公式稱為

YX

ff,的卷積公式

有限個相互獨立的正態隨機變量的線性組合仍然服從正態分布

2，

的分布的分布、XYZ

X

Y

Z??

設(X,Y)是二維連續型隨機變量，它具有概率密度),(yxf，則

XYZ

X

Y

Z??，

仍為連續性隨機變量其概率密度分別為

dxxzxfxzf

XY

),()(??

??

?dx

x

z

xf

x

zf

XY

),(

1

)(??

??

?

又若X和Y相互獨立，設（X，Y）

關于X，Y的邊緣密度分別為)(),(yfxf

YX

則可化為

dxxzfxfzf

YXXY??

??

?)()()(

dx

x

z

fxf

x

zf

YXY

)()(

1

)(

X??

??

?

3的分布及，},min{NY}{XmaxYXM??

設X，Y是兩個相互獨立的隨機變量，它們的分布函數分別為)(),(yFxF

YX

由于

Y}{Xmax，?M不大于z等價于X和Y都不大于z故有z}Yz,P{Xz}P{M????又

由于X和Y相互獨立，得到Y}{Xmax，?M的分布函數為

)()()(

max

zFzFzF

YX

?

},min{NYX?的分布函數為????)(1)(11)(

min

zFzFzF

YX

????

第四章隨機變量的數字特征

§1．數學期望

定義設離散型隨機變量X的分布律為

kk

pxXP??}{，k=1,2，…若級數??

?1k

kk

px絕對

收斂，則稱級數??

?1k

kk

px的和為隨機變量X的數學期望，記為)(XE，即??

i

kk

pxXE)(

設連續型隨機變量X的概率密度為)(xf，若積分??

??

dxxxf)(

絕對收斂，則稱積分

??

??

dxxxf)(的值為隨機變量X的數學期望，記為)(XE，即???

??

?dxxxfXE)()(

定理設Y是隨機變量X的函數Y=)(Xg(g是連續函數)

（i）如果X是離散型隨機變量，它的分布律為

k

pXP??}x{

k

，k=1,2，…若

k

k

k

pxg??

?1

(）

絕對收斂則有?)Y(E?))((XgE

k

k

k

pxg??

?1

(）

（ii）如果X是連續型隨機變量，它的分概率密度為)(xf，若??

??

dxxfxg)()(絕對收斂則

有?)Y(E?))((XgE??

??

dxxfxg)()(

數學期望的幾個重要性質

1設C是常數，則有CCE?)(

2設X是隨機變量，C是常數，則有)()(XCECXE?

3設X,Y是兩個隨機變量，則有)()()(YEXEYXE???；

4設X，Y是相互獨立的隨機變量，則有)()()(YEXEXYE?

§2方差

定義設X是一個隨機變量，若??})({2XEXE?存在，則稱??})({2XEXE?為X的方

差，記為D（x）即D（x）=??})({2XEXE?，在應用上還引入量)(xD，記為)(x?，

稱為標準差或均方差。

222)()())(()(EXXEXEXEXD????

方差的幾個重要性質

1設C是常數，則有,0)(?CD

2設X是隨機變量，C是常數，則有)(C)(2XDCXD?，D(X))(??CXD

3設X,Y是兩個隨機變量，則有E(Y))}-E(X))(Y-2E{(XD(Y)D(X))(????YXD特

別，若X,Y相互獨立，則有)()()(YDXDYXD???

40)(?XD的充要條件是X以概率1取常數E(X)，即1)}({??XEXP

切比雪夫不等式：設隨機變量X具有數學期望2)(??XE，則對于任意正數?，不等式

2

2

}-XP{

?

?

????成立

§3協方差及相關系數

定義量)]}()][({[YEYXEXE??稱為隨機變量X與Y的協方差為),(YXCov，即

)()()())]())(([(),(YEXEXYEYEYXEXEYXCov?????

而

D(Y)D(X)

YX(

XY

），Cov

??稱為隨機變量X和Y的相關系數

對于任意兩個隨機變量X和Y，),(2)()()

_

(YXCovYDXDYXD

?

?

??

?

協方差具有下述性質

1),(),(),,(),(YXabCovbYaXCovXYCovYXCov??

2),(),(),(

2121

YXCovYXCovYXXCov???

定理11?

XY

?

21?

XY

?的充要條件是，存在常數a,b使1}{???bxaYP

當?

XY

?0時，稱X和Y不相關

附：幾種常用的概率分布表

分

布

參數分布律或概率密度

數學

期望

方差

兩

點

分

布

10??p

1,0,)1(){1?????kppkXPkk，

p

)1(pp?

二

項

式

分

布

1?n10??p

nkppCkXPknkk

n

?,1,0,)1()(?????，

np

)1(pnp?

泊

松

分

布

0???,2,1,0,

!

)(???

?

k

k

e

kXP

k??

??

幾

何

分

10??p

?,2,1,)1()(1?????kppkXPk

p

1

2

1

p

p?

布

均

勻

分

布

ba?

?

?

?

?

?

??

?

?

，其他0

,

1

)(

bxa

ab

xf，

2

ba?

12

)(2ab?

指

數

分

布

0??

?

?

?

?

?

?

?

?

其他,0

0,

1

)(

xe

xf

x?

?

?2?

正

態

分

布

?

0??2

2

2

)(

2

1

)(?

?

??

?

?

?

x

exf

?2?

第五章大數定律與中心極限定理

§1．大數定律

弱大數定理（辛欣大數定理）設X

1，X

2

…是相互獨立，服從統一分布的隨機變量序列，并

具有數學期望

),2,1()(???kXE

k

?.作前n個變量的算術平均?

?

n

k

k

X

n

1

1

，則對于任意

0??，有1}

1

{lim

1

????

?

??

??

n

k

k

n

X

n

P

定義設??

n

YYY,,

21

是一個隨機變量序列，a是一個常數，若對于任意正數

?

，有

1}{lim???

??

?aYP

n

n

，則稱序列??

n

YYY,,

21

依概率收斂于a，記為aYp

n

???

伯努利大數定理設

A

f是n次獨立重復試驗中事件A發生的次數，p是事件A在每次試

驗中發生的概率，則對于任意正數

?

〉0，有1}{lim???

??

?p

n

f

Pn

n

或

0}{lim???

??

?p

n

f

Pn

n

§2中心極限定理

定理一（獨立同分布的中心極限定理）設隨機變量

n

XXX,,,

21

?相互獨立，服從同一

分布，且具有數學期望和方差2)(,)(????

ki

XDXE（k=1,2，…），則隨機變量之和

標準化變量?

?

n

i

k

X

1

，

?

?

n

nX

XD

XEX

Y

n

i

k

n

k

k

n

k

n

k

kk

n

?

?

??

?

?

??

?

?

?

?1

1

11

)(

)(

，

定理二（李雅普諾夫定理）設隨機變量

n

XXX,,,

21

?…相互獨立，它們具有數學期望

和方差?2,1,0)(,)(2????kXDXE

kkkk

??記?

?

?

n

k

kn

B

1

22?

定理三（棣莫弗-拉普拉斯定理）設隨機變量10(,),2,1(???ppnn

n

服從參數為??）的

二項分布，則對任意

x

，有)(

2

1

}

)1(

{lim22xdtex

pnp

np

Px

t

n

n

????

?

?

???

?

???

?