現(xiàn)代數(shù)字信號處理I一班 授課教師：張顥 2020-2021學(xué)年（秋）第一學(xué)...
# 現(xiàn)代數(shù)字信號處理I一班 授課教師：張顥 2020-2021學(xué)年（秋）第一學(xué)期
## P2 概率論復(fù)習(xí)????????????????
沒有課件
現(xiàn)代統(tǒng)計Statistic=用到概率
概率論與數(shù)理統(tǒng)計：區(qū)別很大，僅僅符號體系相同
Data=對自然界采樣；對象是自然界，sd給的；一定是真實的，話里沒話
“不像人文學(xué)科話中有話；選stem避開人生一大困難”
Modal=人造的，統(tǒng)計來的；vs概率論的modal是先驗的Prior
input：
Modal←Data=Statistic
Decision決策←Modal=Probability
Modal→Data=Monte Carlo(Simulation)人造數(shù)據(jù)Pseudo eg原子彈“師弟也想做”
跳過Modal：
Decision←Data=Big Data“高不成低不就”小蜜蜂防吐藥水壓機壓航母甲板
Expectation(Mean) X f_X(x)
概率密度f_X(x)不知道：病態(tài)“輸入少想要的輸出又太多”
解決方法：用分布Destribution走到距Moments上
期望E是一個一階矩
①物理含義是重心Gravitical Center
用一個數(shù)（點）概括一個分布（物體）
②期望廣泛成立的線性特性
匹配問題Matching：n個人n頂帽子，拿到自己帽子的人數(shù)，求此隨機變量
拿到別人的帽子會影響別人，變量相互干擾
僅僅求期望就不難，只要求各自的期望再簡單疊加起來，不用考慮別人的感受
在期望的基礎(chǔ)上定義方差
期望給出隨機變量的中心位置Center Position
方差Variance給出隨機變量的散得有多開Dispersion
E的線性性質(zhì)那么好那么非線性呢？只能知道不等于號
凸函數(shù)convex（圖形與漢字相反：U不是∩）
若對函數(shù)進(jìn)行凸組合，要比凸組合的函數(shù)大：Jensen Inequality
用此不等式證明一下Var非負(fù)：對任意x，凸函數(shù)都能被我的這個與a有關(guān)的L_a所supporting
選a=EX,X的期望
**音頻的聲音變糟糕了**
③逼近Approximation X
**突然切P**
用最簡單的方法逼近X：選確定常數(shù)a determined constant
需要確定一個度量或者距離Distance：常用的均方距離Mean Square Distance=相減平方期望再開方
殘差Residue=最佳逼近所剩下的誤差
用采集的數(shù)據(jù)（原材料）Y對（目標(biāo)函數(shù)）X進(jìn)行逼近（Y,X都是隨機量）=泛函Functional（困難）=函數(shù)的函數(shù)
使用條件期望Conditional Expectation算泛函
①最重要的點：條件期望是一個隨機函數(shù)r. r（普通期望是一個數(shù)）
②保持了期望的線性特性
③條件期望的期望又恢復(fù)為一個期望
“所謂的證明”不看也行
在E內(nèi)部時條件期望的隨機量Y暫時成為確定量：條件期望的提出性質(zhì)takeout
考察期望的線性特性，X_1...X_n是獨立的
如果n是隨機的，求隨機n個隨機量的期望
證明
eg 用飛機上采集的參數(shù)（隨機量）估計飛機的位置（隨機量）
“剛才感覺很難現(xiàn)在還是很難”
把g(Y)暫時變成一個確定量：使用X條件期望的Y期望
由Jensen Inequality得
*任意g與X之間的均方距離都比條件期望與X之間的均方距離大*
“如鯁在喉”
“靠Intuitive犀利馬哈連滾帶爬滾到地兒”
“毫無漏洞的邏輯把這個統(tǒng)計信號的基石之一說清楚”
“兩種隨機量X,Y同時映入眼里”
3個Y1個X，先處理X
結(jié)果：最優(yōu)逼近來自于條件期望（理論上解決了但實際上難算條件期望）
模型分兩類：參數(shù)化模型Parametric，非參數(shù)化模型
參數(shù)化模型Parametric=只知道種類不知道具體數(shù)字 eg 高斯分布，但不知道均值和方差
=需要從數(shù)據(jù)把參數(shù)濃縮求出來
非參數(shù)化模型Non-parametric=機器學(xué)習(xí)重視這個
eg 聚類Clustering=大致分成幾堆兒
θ的同義詞：估計子Estimator=構(gòu)造的準(zhǔn)備逼近數(shù)據(jù)的θ
=做統(tǒng)計Statistic
=特征提取Feature（機器學(xué)習(xí)里）
（頻率學(xué)派Frequencist）θ的理念：determined Unknown Constant
=在貝葉斯學(xué)派Bayesian里的隨機參數(shù)（吵300年的架）
“一張撲克牌的花色？在一個范圍內(nèi)還是確定的？”
解它的最優(yōu)解
隨機誤差（方差）Variance
系統(tǒng)誤差（偏差）Bias：可以忍受它大一些；可以通過一次校正糾正回來 “一塊表一直快6小時（系統(tǒng)誤差），但是它是一塊好表；今天快2小時明天慢3小時（隨機誤差）的表，可以扔了”
Bias-Variance Tradeoff
先端了Bias，變成無偏性Unbiasedness
多次采樣取平均=多次估計
假定，才可以化簡
此處假定噪聲不相關(guān)（紅色波浪線=0）
讓方差隨著n的增大而減小到0
分母放置n-1保證估計的方差是無偏的，分子減去的是樣本均值X/bar而不是真正的均值
證明以上為什么分母是n-1
假定X獨立同分布“做實驗手腳要干凈”
上面n-1下面n-1，說明是無偏估計
方差Var(X)是一個二階量
有條件期望所以也可以有條件方差
方差=條件方差的期望+條件期望的方差
????????????????????????????
## P3 最小方差無偏估計????????????
最優(yōu)逼近是條件期望
原本對這件事有認(rèn)知，拿著已知數(shù)據(jù)X估計未知但沒隨機性的θ，θ有確定性所以θ可提出E來
上面的理論是對的但并沒有什么用
困難地拍腦袋構(gòu)造θ，還要驗證θ的構(gòu)造對不對
對θ的認(rèn)識
有一種θ的構(gòu)造特別差，與θ獨立（和θ一毛錢關(guān)系也沒有，提供不出和θ有關(guān)的任何信息）：一種極端=Ancillary
高斯分布N(0,1)
Uniformly（太偏頗） Optimal是一種找不到的統(tǒng)計，在太絕對的條件下取最優(yōu)估計
考試機器的統(tǒng)計：“考試的統(tǒng)計每一道題都選A的文盲；另幾個文盲都選B或C或D；UO指在所有該選A的題都比都選A的人考得好且在所有該選B的題都比都選B的人考得好且在所有該選C的題都比都選C的人考得好”
加一個條件：無偏性Unbiasedness，把“文盲”踢出局
最小方差無偏估計Minimum Variance Unbias Estimator(MSE)
另一種極端=充分性Sufficiency，（Fisher）， stark contrast to Ancillary
包含所有和θ有關(guān)的信息
一個隨機變量被條件住了之后就和θ表面上沒關(guān)系，隨機性暫時沒有了
Nayman Facterization分解
伯努利是Nayman
泊松是Nayman
高斯是Nayman
Rao-Blackwell Procedure=對估計的改進(jìn)過程，降低MSE（門檻是無偏“最起碼要小學(xué)畢業(yè)”）
印度人
任取一個充分統(tǒng)計都能構(gòu)造一個新的估計（一定是充分統(tǒng)計的函數(shù)g(s)）
斷言新的MSE比老的MSE小
證明
舉個高斯小例子
單樣本雖然土但是是無偏的
新的MSE是所有MSE可能值中的最小的“Rao很厲害！”
完備的Complete=
如果一個統(tǒng)計既充分又完備且找到一個h無偏則h是MVUE；Rao改進(jìn)h到頭了
“看一眼小學(xué)文憑，就能斷定這個人是個博士；只要這個人既充分又完備”
Lehmann-Scheffé
證明
充分性用在哪兒：
確保改進(jìn)過的統(tǒng)計只依賴于采樣數(shù)據(jù)，表面上和θ的估計無關(guān)
**切P**
回顧
Cramer-Rao Lower Bound(CRLB)=任取一個無偏估計，估計的方差MSE一定大于等于僅依賴于模型不依賴于估計本身的一個下界
”受一些良心的譴責(zé)“
以下是證明
Cauchy-Schwarz可惜是襪子不等式=測不準(zhǔn)
曲率大的估得準(zhǔn)
”分?jǐn)?shù)生不帶來死不帶去“
泊松的例子
指數(shù)分布EF是充分完備的
伯努利泊松高斯的例子
”考第一名和滿分一樣嗎？“
????????????????????????????## P4 cramer-rao下限??????????????
不管方法怎么努力構(gòu)造都不會超過Cramer-Rao Lower Bound（sd角度）
Fisher信息-更方便的形式二次導(dǎo)數(shù)-曲率
??
????????????????????????????
## P5 維納濾波器????????????????
濾波Filtering=數(shù)據(jù)從第一個時刻連續(xù)進(jìn)行采樣到第n個時刻，要估計的θ也是依賴于時間的；θ不是保持不動的，而是不斷變化的
eg 估計對象：飛在空中的飛行器的位置速度加速度
得出濾波的重要特點：時變
數(shù)據(jù)從起始到第n個時刻，估計目標(biāo)也是第n個時刻
平滑Smoothing=和濾波沒區(qū)別除了平滑的目標(biāo)是第k個時刻，k<n
=用過量的數(shù)據(jù)對歷史進(jìn)行重現(xiàn)
=內(nèi)插Interpolation
*金融領(lǐng)域也用信號處理*
預(yù)測Prediction=和濾波沒區(qū)別除了時間標(biāo)記是超前的，k>n
=外插Extrapolation
*三者合起來是廣義的濾波“Filtering”*
=*對數(shù)據(jù)進(jìn)行操作“Operation”*
維納濾波特點=線性+（只有也只研究過）均方度量
=Linear Operation+Metric: Mean Square
Linear Operation
Metric: Mean Square（在上節(jié)課用不同的方式讓大家體會線性估計的核心本質(zhì)=歸一化+算角度）
“歸一化”
稱作相關(guān)陣+“算角度”
去噪操作Denoise
“去食堂找一個人，不能對這個人一無所知”
先驗知識：R_S, R_(SS_n)
R_(SS_n) denote為r_(SS_n)，區(qū)分矩陣
“中國古代數(shù)學(xué)的符號體系太落后了導(dǎo)致發(fā)展受阻”
優(yōu)化過程的最終結(jié)果=最優(yōu)線性濾波的誤差：
均值是0說明E(θ^2)是θ的方差；維納可以降低方差（非常必然）
法2：給二次型配方（矩陣符號非常disconcerting）
初中就會的部分：
初中不會的部分：翻譯回矩陣和矢量
最優(yōu)解就是
最優(yōu)線性濾波的誤差就是
和上面方法結(jié)果相同
*誤差曲面是一個二次曲面Quadratic Surface*
數(shù)據(jù)的相關(guān)矩陣R_X=正定的，說明*維納濾波是凸問題convex*，能求得最優(yōu)濾波的解析解
維納濾波的精神實質(zhì)=投影（正交化）
=Projection(Orthogonalization)
y尖=S上距離x最近的點
證明以上
正交性在濾波中的作用
正交性原理：殘差一定正交于原材料
和前面做的結(jié)果一樣
剛才是離散時間，現(xiàn)在用連續(xù)時間
線性時不變系統(tǒng)的輸出=輸入卷積上沖擊響應(yīng)
平滑
濾波
h(t)=0=因果的Causal=物理可實現(xiàn)
但因為沒正交，不能直接刪除h的負(fù)半軸
正交化
“橡皮泥貓捏成球再捏成橡皮泥鳥”
QR分解
因果維納濾波
白噪聲U(t)=等分量混合
=正交
功率譜密度是相關(guān)函數(shù)的傅里葉變換
U通過h形成對Y的最優(yōu)估計，此h可斬一半
“我們后講馬爾可夫”
功率頻譜密度
輸出的功率譜密度=輸入的功率譜密度x傳遞函數(shù)的模的平方
與頻譜形成反差：
1二階量，非線性=不能相加有重疊量
2一定正=因為取了模
和信號有相差是不會改變功率譜密度的
譜分解Spectral Decomposition=從功率譜S_X(w)中恢復(fù)出H(w)的專門技術(shù)
我們假定H一定知道了
"平臺思想“
1/H_1*[H*h1^opt]_+
用正交化簡化我們的投影操作，然后各個擊破
在各個子空間中投影
正交化后整體最優(yōu)的一部分才是部分最優(yōu)
”在每個單科都正交的條件下總分第一的人單科都是第一了，很難說通！?。。?！“
????????????????????????????
## P6 Linear Prediction Coding(LPC)????
Speech Coding 語音編碼
寬平穩(wěn)短時成立
短時采樣=控制窗口不是非常長
Stochastic Processes Wide-Sense Stationary
WSS=只和差值有關(guān)系和具體時間位置無關(guān)
預(yù)測模型Prediction Model=回歸模型Regression
=由過去一段時間的采樣（k個）對現(xiàn)在的信號做出預(yù)測
線性預(yù)測Linear=線性方式進(jìn)行表達(dá)
只傳輸線性 系數(shù)，信息量大大減小
線性預(yù)測=自相關(guān)取逆 互相關(guān)
Wiener-Hopf方程
matlab矩陣求逆
自相關(guān)矩陣Toeplitz=k個數(shù)就確定了，對角線原點，行列列行
求解=①齊次化Homogeneous+②增廣Augmented Processing+③迭代Iterative+④Toeplitz
①齊次化Homogeneous=右端變0
②增廣Augmented Processing=矩陣變成k+1xk+1
③迭代Recursive 要從
求得
：
④Toeplitz
翻轉(zhuǎn)特性
把遞推過程summary一下
當(dāng)k=1時
維納濾波器的預(yù)測誤差
當(dāng)k=k時
以上： Levinson-Durbin
“有幸當(dāng)成背景板”
Forward/Backward Prediction
翻轉(zhuǎn)不單單是線性代數(shù)角度的
遞歸思想
n投影到n-1:n-k
等號一般不成立但是正交情況成立
α翻轉(zhuǎn)就是β
一個高維的數(shù)據(jù)要預(yù)測，先用低維的數(shù)據(jù)預(yù)測好再正交化（=取殘差）
線性預(yù)測=投影
ρ_k
讓這一大堆在X上做投影
“入寶山而空回”
ρ_k分子：
A_k=預(yù)測目標(biāo)X_n與b_k之間的互相關(guān)，b_k是X_n-k正交化的結(jié)果（=X_n-k在低階X(n-1)...X(n-k+1)之間的殘差）
=預(yù)測目標(biāo)X_n與{X_n-k在低階X(n-1)...X(n-k+1)之間的殘差}之間的互相關(guān)
ρ_k分母：
“我怎么覺得這個東西很有意思”
正交化原理=刻畫最優(yōu)估計
=最優(yōu)估計殘差正交于原材料
“殺內(nèi)存”
E=后項預(yù)測的殘差的能量
翻轉(zhuǎn)=后項預(yù)測
“布袋和尚”
????????????????????????????
## P7卡爾曼濾波????????????????
連續(xù)系統(tǒng)：關(guān)心一下傳函
離散系統(tǒng)：關(guān)心一下線性系數(shù)
維納的黑匣子思想：完全忽略數(shù)據(jù)和原材料（瓜葛）
線性組合不一定有最優(yōu)性：高斯背景下有界，可以最優(yōu)
