[Detection and Estimation] Lec 1~6 summary

Author

고경수

Published

December 4, 2024

Detection and Estimation (Lec 1~6 summary)

GIST 황의석 교수님 [EC7204-01] Detection and Estimation 강의 정리 내용입니다.


  • Estimation: 연속적 가설, 예측 오차 최소화

  • Detection: 이산적 가설, 명확한 맞음/틀림


Lec 2: Minimum Variance Unbiased Estimation (MVUE)

  • Unbiased Estimator: 기대치가 참값과 동일한 추정기

    • Unbiased estimator is not necessarily a good estimator;

      but a biased estimator is a poor estimator.

  • Mean Squared Error (MSE): 분산과 바이어스 제곱의 합으로 구성

    • MSE Criterion

      mse(θ^)=E[(θ^θ)2]

      =E[((θ^E(θ^))+(E(θ^)θ))2]

      =var(θ^)+[E(θ^)θ]2

      =var(θ^)+b2(θ)

  • MVUE: 비편향 조건 하에 분산을 최소화한 추정기

    • MVUE의 조건: Bias(θ^)=0 이고, Var(θ^) 최소화

Lec 3. Cramer-Rao Lower Bound (CRLB)

Cramer-Rao Lower Bound (CRLB)

  • CRLB는 비편향 추정기의 분산에 대한 하한을 제공

  • Fisher Information(I(θ))로 CRLB 정의:

    Var(θ^)1I(θ),I(θ)=E[2θ2lnf(x;θ)]=E[(θlnf(x;θ))2]

  • The CRLB give a lower bound on the variance of any unbiased estimator. (biased의 경우는 알 수 없다!)

  • Does not guarantee bound can be obtained.

  • 만약 unbiased estimator의 variance가 CRLB라면 그 estimator는 MVUE.

Theorem: CRLB - Scalar Parameter

  • Let p(x;θ) satisfy the “regularity” condition

    Ex[ln p(x;θ)θ]=0for all θ

    Then, the variance of any unbiased estimator θ^ must satisfy

    var(θ^)1Ex[2ln p(x;θ)θ2]=1Ex[(ln p(x;θ)θ)2]=1I(θ)

    where the derivative is evaluated at the true value θ and the expectation is taken w.r.t. p(x;θ).

    여기서 세번째 텀에서 - 가 사라지는 이유는, 두번째 텀에서 - 가 붙는 이유를 생각해보면 된다.

    두번째 텀에서 마이너스가 붙는 이유는 값을 양수로 만들어주기 위함이고, 세번째 텀은 일차 미분의 제곱이므로 자연스럽게 양수이다. 따라서 - 가 사라지게 된다.

    Furthermore, an unbiased estimator may be found that attains the bound for all θ if and only if

     ln p(x;θ)θ=I(θ)(g(x)θ)

    for some functions g() and I. That estimator, which is the MVUE, is θ^=g(x), and the minimum variance is 1I(θ)

    이렇게 표현이 되면 g() 는 MVUE 이다.

  • Fisher Information: 추정 정확도를 측정하는 방법. 우도 함수의 곡률이 크면 추정량의 분산이 작고, 더 정확한 추정을 할 수 있음을 의미

  • 정칙성 조건(Regularity Conditions): CRLB가 성립하기 위한 조건으로, 특정 미분 가능성 조건을 만족해야 한다.

CRLB True or False

  • The CRLB always exists regardless of p(x;θ).

    (F) - regularity condition을 만족해야함 → Fisher information을 계산해야 하는데 p(x;θ)가 충분히 매끄럽고 미분 가능해야 하기 때문

  • The CRLB applies to unbiased estimators only.

    (T)

  • Determining the CRLB requires statistics of all possible estimators θ^.

    (F) CRLB를 계산하기 위해서는 가능도 함수(Likelihood function)와 Fisher Information만 필요. 모든 가능한 추정량의 통계를 알 필요는 없다.

  • The CRLB depends on the observations x

    (F) CRLB는 파라미터 θ와 관측된 데이터 분포를 기반으로 Fisher Information을 계산하는 것이지, 개별 관측값 x에 의존하지 않는다. 이는 분포 수준에서 정의된다.

  • The CRLB depends on the parameter to be estimated, θ.

    (T) CRLB는 추정하려는 파라미터 θ와 Fisher Information에 따라 달라진다. Fisher Information 자체가 $ $에 의존하기 때문

  • The CRLB tells you whether or not a MVUE exists.

    (F) CRLB는 MVUE의 존재 여부를 알려주지 않는다. MVUE의 존재 여부는 Rao-Blackwell 정리 및 Lehmann-Scheffe 정리와 같은 다른 이론에 의해 결정


Lec 4. Linear Models and Extensions

  • Linear estimator와 다름 Linear estimation이 based x 라면 Linear model은 based A, B (θ)

  • Line fitting example

    x[n]=A+Bn+w[n],n=0,1,...,N1,w[n]:WGN

    In Matrix notation,

    x=Hθ+w : linear model

    x=[x[0] x[1] ... x[N1]]T

    w=[w[0] w[1] ... w[N1]]TwN(0,σ2I)

    θ=[A B]T

    H=[10111N1]

  • 선형 모델 (y=Aθ+n) 에서 MVUE 찾기

  • CRLB 이론을 통해 선형 모델의 MVUE 계산:

θ^=(HTH)1HTx,Cov(θ^)=σ2(HTH)1


Lec 5. General MVU Estimator

  • Sufficiency(충분 통계량)

    주어진 데이터에서 추정하고자 하는 모수(parameter)에 관한 모든 정보를 포함하고 있는 통계량

    원래 데이터 전체를 사용하는 것과 동일한 추론 결과를 제공하며, 데이터의 크기를 줄이는 동시에 정보의 손실을 최소화하는 역할

  • 통계량 T(X)가 주어진 데이터 X에 대해 모수 θ의 충분 통계량이 되기 위한 조건은 Neyman-Fisher Factorization Theorem를 따른다.

    f(x;θ)=g(T(x),θ)h(x),T(x):충분 통계량

    즉, 원래 데이터의 확률 분포 f(x;θ)T(X)로 축약되었을 때 동일한 정보를 제공한다면 T(X)는 충분 통계량

  • Completeness(완전성, 완비성)

    충분 통계량과 관련된 개념으로, 주어진 통계량이 모수(parameter)에 대한 정보를 얼마나 완전하게 담고 있는지를 나타낸다.

    통계량 T(X)가 완비 통계량이라는 것은, 만약 T(X)의 함수 g(T(X))가 다음 조건을 만족한다면 g(T(X))=0이 항상 성립해야 한다는 것을 의미한다

    E[g(T(X))]=0for all θg(T(X))=0almost surely.

    • 완비성의 직관 - 완비성은 통계량 T(X)가 모수와 관련된 불필요한 정보를 포함하지 않는다는 것을 보장. 즉, 통계량이 모수에 대한 “모든” 정보를 포함하고 있고, 이 정보를 사용해 더 이상 모수와 독립적인 추가 정보를 도출할 수 없음을 의미

    모든 충분 통계량이 Completeness한 것은 아니다.

  • Rao-Blackwell-Lehmann-Scheffe 정리를 사용한 MVUE 계산

    1. T(X)θ에 대한 완비 충분 통계량이고

    2. θ^(X)θ에 대한 편향되지 않은 추정량이라면,

    조건부 기댓값

    θ^MVU=E[θˇ|T(x)],T(x):충분 통계량

    θ에 대한 MVUE 이다.


Lec 6. Maximum Likelihood Estimation (MLE)

  • MLE는 관측된 데이터를 가장 잘 설명하는 매개변수를 선택

θ^MLE=argmaxθln p(x;θ)

  • 대표본에서는 MLE가 비편향, 효율적.