波士頓房價數據分析(2)

傳統線性迴歸的問題

我在上一篇簡介如何使用線性迴歸來分析波士頓房價數據
線性迴歸會遇到的一個問題是拿來建模型所考慮的各種因素不一定都會對想預測的東西有貢獻
比方說如果想預測今天有多少人會來教室不翹課
學生的身高可能就不是一個很好的考慮因素
如果這時候把這種因素也考慮進來
在傳統線性迴歸的模型(Ax = b)中A矩陣就會是一個"ill-conditioned"的矩陣
在找尋係數x向量的時候任何b的不準都會因為A在取pseudo-inverse時被放大
若使用這種模型做預測
準確性會大大下降
完全體現“簡單或許比複雜還好”的“奧坎剃刀”法則

LASSO:增強版線性迴歸

我們的目標是能夠讓係數x向量中越多0越好
如此一來不重要的因素就不會影響預測了
其實早在90年代末期Robert Tibshirani發明了Least absolute shrinkage and selection operator (LASSO)便解決了傳統線性迴歸的缺陷
傳統線性迴歸不過是找尋以下的解

argmin_{x}  \| \mathbf{Ax-b} \|_{2}

其中 \|\mathbf{x}\|_{2}= (\frac{1}{n}  \sum_{i=1}^n   |  x_{i}  | ^{2} ) ^{ \frac{1}{2} }

LASSO在以上的最佳化過程中加入了一個l_{1} norm的項(就是絕對值的意思）

argmin_{x}  \| \mathbf{Ax-b} \|_{2} +  \lambda  \| \mathbf{x} \|_{1}

其中 

\| \mathbf{x} \|_{1}= \frac{1}{n}  \sum_{i=1}^n   |  x_{i}  |

這個絕對值項非常特別因為它可以使最後x向量變得稀疏(有很多0出現)
而且有不易被極端值影響的特性

MATLAB實作

在MATLAB裡面程式碼非常直接
由於 \lambda 是一個需要調整的參數
lasso函數會嘗試不同的\lambda值並將所有迴歸的結果儲存起來
甚至也可以使用交互確認(cross-validation)來增強模型預測的準確性
下圖即顯示不同\lambda對誤差MSE的影響

  1. % LASSO
  2. [x_lasso,FitInfo] = lasso(A,b,'Intercept',false,'CV',10);

LassoPlot. 綠點是使MSE最小的 \lambda；藍點是一個標準差

我們可以比較兩種線性迴歸模型預測的結果
傳統線性迴歸的x向量沒有任何零項
但是當lambda取1.48時，LASSO的x向量有三個零項
意味有三個因素可省去不看了
除了在高端房價的區域內表現不佳外
整體預測性並不會輸傳統線性迴歸

 \lambda = 1.4808

關於LASSO更多的資訊可以參考華盛頓大學教授Steve Brunton的影片

Comments

Post a Comment

Popular posts from this blog

大聖塔芭芭拉(Santa Barbara)地區私房景點推薦

Image
在SB的三年多陸續造訪許多或許只有當地人會比較清楚的景點，不需要人擠人才是真享受！ 本文介紹個人足跡以及背後的一些故事。 More Mesa, Goleta 如何到達？ 自Hollister Avenue轉進Cottage Hospital旁叉路，續行穿越腳踏車道後左轉到底即可。 建議將車停在Shoreline Dr.和Orchid Dr.轉角處。 介紹 是一塊寬廣的台地，南方緊鄰太平洋，在峭壁下方有非常狹窄的沙灘/礫灘。是一個人煙稀少的地方，有時可以看到人們在這裡泡步運動，以及在峭壁旁邊玩飛行傘。可選擇台地西南側地勢下凹處沿著峭壁下至海灘（不易發現，需要沿著海岸小路仔細觀察），或使用東南側靠近Hope ranch（遠看是一座小丘）林間的簡易木製樓梯。下至海灘後可以發現高低落差非常明顯，由於一般人不太會下到沙灘，這裡也被歸類為天體海灘，也可見到其他附近海岸不太常見的螃蟹或水鳥。 通往沙灘的下凹處 Matilija Trail, Ojai 如何到達？ 距離SB車程約一小時的深山，從Hwy 101轉Hwy 33後過Ojaha會有指標沿著陡坡向上，續行到底即可。 介紹 算是一個人不會非常多的景點，步道本身貫穿私人果樹農場，入口處可以看到農家養羊咩咩。要注意水量多的時期部分路段會有小溪橫切，如果怕鞋子會被弄濕請做好準備。山谷非常美，可以看見層理地形，置身果樹當中有種世外桃源之感。筆者本身沒有走很遠，如果有時間可以考慮在後方紮營，攀登更深山裡的瀑布。 Bill Wallace trail, El Capitan 如何到達？ 距離SB車程約20分鐘。沿著Hwy 101至117出口，延Calle Real走一段後到El Capitan Terrace Ln.入口處停車場停車 介紹 是個人最喜歡的輕鬆健行路線，雖然全線幾乎無遮蔽（請做好防曬），但是景緻極好可遙望101公路海岸線，春天三至四月會有小黃花可看。環狀路線下山會經過一處露營區。 North campus natural reserve, Goleta 如何到達？ El Colegio Rd.西側West Campus停車，再步行抵達 介紹 我之前住家附近一處許多人運動的寬廣區域，冬季多雨期潟湖會注滿水相當美麗，可賞鴨，清晨及傍晚可以在小路上看見出來覓食的小兔子。注意此處是保育類水鳥Snowy plover的保護區，請勿跨...
Read more

[Upstream bioprocess development] Some notes about recent upstream process characterization approach

Image
This article provides a very brief introduction of some new aspects of biopharmaceutical process development. Implementation of quality by design (QbD) strategy has long been regarded as the paradigm in the development of biopharmaceutical production processes. An essential part of that is to identify the critical quality attributes (CQAs) and their relations between the critical process parameters (CPPs). Intensified design of experiments (iDoE) is a fairly new strategy (proposed during 2017) to efficiently reduce the number experiments required to characterize a bioprocess by bridging different experimental conditions in a more homogeneous way, although cautions might be needed to consider potential cell memory effects and metabolic shifts in mammalian cells. Once the process dynamics is captured, advanced process control techniques such as model predictive control (MPC) can then be adopted for optimal trajectory planning and closed-loop noise rejection during the production phase....
Read more

程序設計被忽略的一角：最大選擇率

Image
  (作者就讀於加州大學聖塔芭芭拉分校化工系博士班) 系上的Mike Doherty教授透過系辦寄了一封信給全體研究生要大家去參加他給大四學生上的一堂課。對他有點研究的人就會知道他是台大化工系美籍教授Jeff博士班的指導教授（也就是我的師公了)。Mike在化學製程設計的領域有不少貢獻，連著名的“Perry's Chemical Engineering Handbook”中關於蒸餾(Distillation)的章節也是他主導撰寫的，由他開設的大四程序設計課自然勾起我的好奇心。 令我訝異的是教室裡面也坐了許多其他化工系的教授，顯然Doherty要講的內容是許多教師們也不清楚的東西了。由於是程序設計課，他開頭就引用了20世紀中被拋出的一個問題: “有沒有辦法預測要如何設計一個有化學反應器和分離裝置的程序，使得想要的產物的選擇率(Selectivity)達到最大？”   對反應工程有點基礎概念的人就會知道根據有反應動力學的數據可以知道要如何選擇反應器以增加選擇率（例如要選用柱塞流PFR或連續攪拌CSTR或兩者的串聯並聯)，但這仍然只是一個粗略的估計，人們要的是找到一個“最佳”的配置。許多人包括Mike在內在為了解決第一個問題運用了一些幾何方面的論述想要解決這個問題，然而到了80年代中期學界對這個問題逐漸沒那麼在乎了，因為真正重要的問題這時浮現了： 有沒有辦法好，還要更好？ 於是上面的問題有了一個變體： “可不可以在只知道會有哪些反應發生的情況下，預測想要產物的“最大”選擇率，而不需要知道反應器和分離裝置如何安排的細節？” 精明一點的人看到這可能就會聯想到這個概念跟熱力學的 卡諾循環效率 有異曲同工之妙， 你可以理論上知道所有熱機(Heat Engine)能達到的最高能量利用效率(卡諾效率)，但你不會知道要怎麼達到那樣的效率。 以選擇率的問題來說，如果能計算出它理論上的最大值，或許就可以提供一個程序整合的準則，讓設計程序的人可以知道自己的設計離“最好”還差多遠。俄亥俄州立大學大學教授 Martin Feinbrug 在2000年左右在Industrial&Engineering Chemistry Research上發表了一篇名為"General Kinetic Bounds on Productivity and Selectivity in Re...
Read more