機械學習診斷冰機冷媒系統方法與實例

1. 前言

隨半導體世代演進，製程設備愈來越精密且複雜，製程參數也跟著指數型增加，面對上千上百的製程參數，人類的專注力已不足應付，所以有了自動警報系統來幫助工程師捕捉異常。然而現行製程參數的管理局限於SPC/ICCI等單維度統計檢測，此方法單純從數學統計出發，將每個參數獨立管理，未加以考慮參數的物理性以及參數間的相依性，如此容易與運轉工程師的管理產生隔閡。統計上的偏差在專家工程師眼中可能只是物理參數相依性影響，例如：功率的變化與冷凍噸和外氣焓值相依，屬於正常現象，但往往卻不是如此。

魔鬼藏在細節中，只要對數據做正確的分析才會有答案，在此，我們借重機器學習(Machine Learning)的技術來找出細節中的魔鬼。依據經驗，大多數的冰機異常問題屬於多維度異常，意旨單一冰機異常往往和多個運轉參數相關，故本研究致力於多維度異常分析，先使用機器學習方法來學習冰機正常運轉基線，再利用基線偵測異常並加以異常分類。我們不希望工程師去猜警報可能異常的原因，而是收集和統計300mm廠區過往案例，提供運轉同仁查案的標準流程並透過連線會議與北中南同仁分享成果。未來只要透過此「智能冰機冷凝壓力異常偵測系統」，簡稱「AI冰機冷凝偵測」，就可以清楚判斷「缺乏代表性感測器」的異常是否出現，精準且精簡的判斷並解決問題。

我們評估過，能否建置感測器來取代AI冰機冷凝偵測?答案是否定。全公司若對本篇提出的異常種類加裝感測器須花費6.8億元新台幣，卻只能達到此AI冰機冷凝偵測的33%效果，故加裝感測器方案不具備可行性；相反地，透過公司資源與廠務CIM合作開發AI方法，不但成本低且異常偵測覆蓋率高。本案希望能透過方法介紹與案例經驗的分享來幫助讀者應用於日常，也期許找到更多貼近基層運轉的解決方案。

2. 文獻探討

2.1 冰機冷凝器破管導致壓縮機馬達燒毀事件

2019.6.18南科發生一起冰機燒毀事件，當時判定冷凝器銅管遭異物刮破導致冷卻水進入冷媒循環，該冰機停機再開啟後馬達線圈燒毀爆炸。進一步分析原因是，由於冷媒泵的強制冷卻線圈設計的關係，純物質R123冷媒不會導電，但若外力因素使的水透過冷媒泵路線滲入線圈，就會導致水和冷媒的混和物具有導電能力，最後馬達線圈與機殼相地短路造成燒毀，其中瞬間最大電流達1.1萬安培，造成Feeder CB跳脫，全廠區<10%的電力系統壓降。期間花費共五百萬元與長達一年的整修也造成嚴重的空調系統運轉風險。

圖1是該事件發生後對於事件機台與其他機台綜合分析圖，根據圖表數據，我們試著請10~15年經驗冰機原廠工程師與台積公司空調技師/資深工程師/主管(合計35位)進行異常事後判讀，在不告知異常設備編號的狀況下，無人可由圖上的曲線與盒鬚圖正確判斷異常機台。此測試顯示現行卡控方法無論是Daily Chart report、SPC、ICCI等的單維度管理機制都無法確實有效發現異常，甚至常有誤報造成警報系統管理不易，所以我們需要更精準的偵測方法與管理機制。

1.1萬安培，造成Feeder CB跳脫，全廠區<10%的電力系統壓降。期間花費五百萬元與長達一年的整修期造成嚴重的空調系統運轉風險。

2.2 舊廠務空調系統冰機運轉偵測盲點與延遲管理

冰機系統維護有幾項重要偵測指標(如下)須要配合保養與採樣來做管理，這幾項指標最大缺點在於即時性不足，為急切且必須突破的攻堅點。

1. 水分指示計：氣態水進入密閉系統無法透過排氣機有效排出，僅能靠乾燥劑去除，水份指示計為石蕊試紙offline偵測密閉迴路是否含水，須配合保養時間與抄表管理。
2. 冷媒含水率：水份指示計變色也不能完全代表冷卻水破管冷媒進水，故須年度加測冷媒含水率確認密閉系統封閉性，此檢驗送樣須送往海外實驗室分析，時間花費一個月。
3. 冷卻水水質：氨氮/總有機碳或者鈣硬度致使銅管長菌或結垢而導致趨近溫度上升，而且熱交換變差。兩週一次水質採樣送往廠商實驗室分析，若異常水質回覆亦須要兩週，故每次水質異常將造成至少一個月的異常影響。
4. 負壓洩漏量：現行僅可由排氣時間監測洩漏量，若排氣機感測器或機板故障導致持續洩漏而未偵測到洩漏會造成工程師誤判。另外，排氣系統控制具遞延性，亦無法即時確認洩漏量，也會使冰水主機存在開機高壓跳脫的風險。根據2020年統計，台積公司冰機採用R-123負壓系統總數量佔全公司冰機總數81.4%，均為詮宏trane公司生產製造產品。鑒於負壓設計的R-123冰機，停機時內部壓力低於大氣壓力，若系統氣密性不佳，不凝結氣體如氧氣、氮氣等氣體就容易滲入冷媒迴路導致冷凝器壓力上升而影響冰機製冷效率。

2.3 使用ML輔助冰機系統文獻

近幾年業界與學界所發表機器學習在冰機上應用的論文大多著重於能源使用，^[1]是google於2017年發表的研究，該研究指出利用機器學習data driven的方式將公司一座資料中心的冰水系統做最節能的溫度設定，由歷史資料做模擬測試，結果指出能耗KPI-Power Usage Effectiveness(UPE)由2008年的1.22下降至2013年的1.12，^[2][3]研究考慮多變的天氣和複雜的冷水機組組合，透過機器學習提供系統的節能運行決策，其能耗改善主要集中在夏季，最大降幅甚至超過10%，此外，這三篇文章對於機器學習的演算法也提供了深切的討論。在公司方面，2018和2019年廠務季刊30期和35期亦有三篇專題，特別針對如何利用設備性能曲線和能耗數列級數^[4]、類神經網路的技術對溫度控制^[5]與動態決策冰機機台總數^[6]討論節能措施，這三項措施也在台積公司實質節能量取得不錯的結果。但如何利用機器學習技術提升冰機穩定運轉卻甚少有研究觸及，有鑒於此，本案提出如何利用物理原理結合機器學習的監督式學習建構出一套「樣板辨別預警(Pattern Recognition Alert)」模型，來幫助廠務同仁提早偵測冰機異常加強穩定運轉_^[07]。

3. 研究方法

3.1 冰機系統品質的關鍵異常問題

為有效提升冰機防禦品質，根據南科2019年和2020年冰機運轉紀錄進行分析統計單次異常造成損失金額與異常事件數占比(圖2)，分析結果發現冰機三大異常占比占總體損失88%，分別為，冷媒含水、冷卻水品質異常、負壓洩漏。根據80/20法則，此三項異常為冰機品質的關鍵問題，必須優先進行分析與防禦改善。

3.2 關鍵KPI選擇與模型訓練特徵選擇

分析三大關鍵異常：冷媒含水、冷卻水水質異常、負壓洩漏。這三項均為廠務專家在異常檢測時常遇到的瓶頸與盲點。

1. 冷媒含水 : 檢測方法有兩種，一、從密閉系統進行冷媒採樣分析含水率，但分析期程長達一個月，太過耗時。二、現場水分指示計檢測，此檢測為offline石蕊試紙型顯示表，不能即時監控而且此水份指示計不能完全代表冷媒含水問題，因為洩漏問題亦可能導致水氣進入讓石蕊試紙變色，判斷缺乏絕對性。
2. 冷卻水水質異常：水質採樣相同也是offline採樣，期程2週，一旦發現異常數據已延遲兩週，並且水質指標多樣並沒有完全建立線上指標，造成現行管理盲點。
3. 負壓洩漏：意旨不凝結氣體進入密閉系統，現行的監控是依賴24小時累計排氣時間指標，因排氣系統的設計是需要累積足夠的洩漏量才會作動，所以初期的微量洩漏偵測不到。另一種狀況是，若排氣機異常則會導致洩漏偵測不到造成持續洩漏。本專案上線後收集到實例 : 南科廠排氣機3A2機板故障，氣體持續無法排出，造成冷凝壓持續上升。

針對以上三種異常問題，我們列舉多項可以做為偵測此三種異常的指標參數：趨近溫度、冷凝壓力、排氣洩漏時間、水分指示計、導電度。最後統計出含蓋範圍最大的「冷凝壓力」作為監控指標(圖3)。

在進入機器學習方法討論之前，我們先來探討為何需要AI輔助與其重要性。一開始我們以冷凝壓力、冷卻水溫、負載三個運轉參數呈現3D散佈圖(圖4)分析並標注出異常數據，從散佈圖中雖然不難看出異常數據與正常運轉數據的差別，但現行日常監控都採依時間序列的單一參數(1D)監控，把原本相關性極高的參數群個別視為一獨立參數卡控。故第二章節提到測試工程師無法透過時間序列曲線與盒鬚圖(圖1)正確判斷異常原因是因為維度太多太複雜，所以我們希望將多維度的指標群，藉由AI技術轉化成簡單又不失多維度的資訊的單一指標。

確認「冷凝壓力」作為主要監控指標後，我們接下來談談如何利用機器學習學出「冷凝壓力」。依據冷凍循環系統原理(莫里爾線圖Morrill curve)，冷媒於「蒸發器」、「壓縮機」、「冷凝器」、「膨脹閥」四大元件中作為熱能傳輸之媒介，透過四大元件做功將冷媒達相變化，而藉由冷媒對熱量的吸收、釋放來達到製冷之目的。由 圖5莫里爾線圖得知，冷凝壓力與壓縮機做功(電流負載)、冷卻水進水溫、冷卻水出水溫相關，另外也有考量到雙機運轉狀態影響銅管熱交換距離，所以機器學行冷凝壓力模型的輸入變數：①電流負載；②冷卻水進水溫；③冷卻水出水溫；④運轉狀態。

3.3 機械學習應用異常偵測核心理論 : 模型辨別預(Pattern Recognition Alert)

在如冰機的封閉系統裡不會有多餘的外界因子干擾情況下，該系統可以絕對符合物理原理，雖然沒有直接的方程式可以描述冷凝壓力與其他物理量的關係，但本案透過莫里爾曲線的冷媒循環(Refrigeration Cycle)特性，搭配監督式機器學習建立起冷媒壓力和其他物理量的物理關係式，此物理關係式亦稱之AI模型。正常運轉狀況下，實際冷凝壓力的行為表現一定符合AI模型的預測行為。利用這樣的特性，我們將此AI模型應用於異常偵測(Physically supervised learning regression method applied to anomaly detection)，稱之模型辨別預警(Pattern Recognition Alert)。建立模型流程如下：

3.4 機器學習訓練成效審查方法

機器學習是目前AI(人工智慧, artificial intelligence)最廣泛使用的方法。每一個AI模型訓練都需要一個目標，稱為目標函數(Objective function)，或稱損失函數(Loss function)或者誤差函數(Error function)。相關論證相當複雜且嚴謹，對於目標函數選擇有專題性論文探討，本案使用三項指標檢視模型訓練成效 :

1. 誤差函數(Error function)：絕對誤差(Mean Absolute Error, MAE)與均方根誤差(Root-Mean-Square Error, RMSE)來描述模型偏差量，偏差望小。
2. 預測與實際相關係數(Correlation Coefficient)：R²，相關係數望1為高度正相關，代表預測趨勢準確。
3. 殘差分析(residual analysis)：時序性表示回歸誤差，藉此檢視預測結果與模型選擇是否完備，若模型完備則殘差接近常態分佈、不完備則殘差呈現趨勢或者週期性，殘差望小。

對於冰機循環而言，密閉系統的運轉為純物質冷媒(R123/R134a or other均適用)。不凝結氣體進入或者熱交換能力降低等會影響冷媒循環的物理封閉性因素均為外部干擾因素，模型訓練前需先濾除。回測過往實際冷凝壓力與模型預測壓力偏差的狀況進行專家人工異常判斷，排除外部干擾因素。歸納出的偏差有六類冷凝壓力異常：冷媒含水、冷卻水水質異常、負壓洩漏、熱交換冷卻水流量不足、感測器異常、熱回收狀態切換與冰機開機暫態。這些異常資料若未清理乾淨會導致模型偵測能力下降與發生誤警報。

3.5 機器學習核心訓練模型選擇

為了使模型達到R²>0.9的精確度，我們將逐台冰機壓縮機建模審查。在演算法的評估過程中(Model Benchmark)，我們比對了LinearRegression/ SVR/ DecisionTree/ Kneighbors/ RandomForest/ Bagging/ AdaBoost等7種演算法，最後選擇高相關(R²=0.97)低誤差(MAE=0.57)的LinearRegression建模，精確的說法是多變數線性回歸(Multiple Variable Linear Regression)演算法(圖6)。

3.6 連結公司系統資料庫

將廠務的數據連結廠務CIM與IT資料庫，進行資料接水與服務設計。簡單地說，廠務冰機資料藉由UC800回傳Chiller SCADA與廠務SI inSQL，inSQL的資料即時備份至IT專門儲存的資料庫SDM(Supper Data Market)，廠務CIM透過SDM取得資料，再利用已完成訓練的冰機模型進行冷凝壓力預測與異常偵測，最後結果呈現於廠務CIM Web與並透過auto mail警報通知運轉單位，資料運作流程如 圖7。

3.7 貼地管理概念與使用者介面設計

透過機器學習方法得知冰機系統異常維度屬於5維異常(5種物理參數相依)，超越一般人感知極限或製圖的三維極限。為解決此項難題，使用者介面有別於傳統時序性Trend Chart，設計三項元素將高維度簡易化，幫助工程師有效識別異常：①AI偵測時序性T-Chart；②冷凝壓差；③AI-Baseline二維散佈圖。

1. AI偵測時序性T-Chart的設計如同舊式單維度T-chart符合廠務日常運轉習慣，差異在於除了觀察的實際冷凝壓力外還有另外一條AI模型計算的預測壓力基線Baseline做為參考。正常的情況下兩條線必須完全貼合，若觀察壓力偏離基線代表冰機系統存在異常，如 圖8。
2. 冷凝壓差：為實際值與基線值相減的偏差量。因正常狀況下AI模型預測會相當準確，故冷凝壓差接近零。因此使用「冷凝壓差」(圖9)管理冰機密閉系統為重要概念，我們不去看難以識別的5維參數變動，而是觀察一維冷凝壓差。機器學習吸收複雜的運算過程，提供直觀、簡單的結果幫助工程師更有效識別異常，提升品質把關的信心。
3. AI-Baseline二維散佈圖：X軸為實際冷凝壓力，Y軸為冷凝壓力AI模型預測基線(圖10)。此項新功能有兩項好處，①偏差檢視：斜線為冷凝壓力Baseline，異常偏差點會偏離線上，能一眼確認；②鑑識modeling好壞：若建模良好可以長期觀測到精準的預測、若建模資訊不足(原因可能有運轉變異不夠、建模資料異常無排除、長期系統性異常)則會導致預測精準度下降。因此藉由散佈圖觀察可以評估是否需要進行模型重新訓練與校正。

以南科冰機上線模型為例，一開始上線相關係數R²為0.84高度相關，長期觀察後發現散佈圖已顯著偏差(圖11 上)，重新訓練後相關係數R²修正至0.99，預測貼合大幅上升(圖11 下)。

4. 結果與分析

4.1 異常案例實測與說明

AI冰機冷凝偵測系統上線已超過一年，確實被AI系統偵測到的異常事件也超過了50件，因為礙於篇幅有限，以下只列舉3類最大宗的異常類別及再次說明AI偵測何以能取代傳統偵測。

4.2 冷媒含水異常偵測與案例

因為冷卻水循環屬於開放水路，若有雜物不慎進入水路則會有傷害冰機銅管的風險，因為一旦雜物刮破銅管導致冷卻水進入冷媒腔體，就直接影響冰機製冷能力。冷卻水側壓力通常大於400kPa，而冷凝器冷媒側壓力通常小於50kPa，這種狀況下，水會逐漸滲透到冷媒迴路中，由波以耳定律定律得知，氣腔體積下降則冷凝壓力持續上升，如此將成為冰機運轉中一個不穩定的因素。

在章節2.2提過，過去判讀冷媒是否有含水問題只能依賴水分指示計與offline油品冷媒採樣，缺乏線上偵測指標。如今，AI冷凝壓力異常偵測可提供有效線上異常偵測做為替代。利用簡單的邏輯即可判讀是否含有冷媒含水問題，

若P則Q，「若(冷凝器破管)則(冷凝壓力上升)為真」若~Q則~P，「則若(冷凝壓力沒有上升)則(冷凝器沒有破管)為真」。

圖12指出2019年南科燒毀冰機維修完畢後，2020年冰機再次開啟時其壓力與2018資料訓練模型完全貼合。由此可知，異常冰機經過修復(例如冷媒回收再填充)仍然可以回到其原本效能，意旨仍維持封閉性系統之物理量不變，再次證明了此AI模型可作為監測一般運轉狀態的參考依據。

4.3 密閉系統負壓洩漏偵測與案例

台積公司採用的冰機以R123負壓式冰機為大宗，佔比大於90%。此類冰機系統停機時冷媒蒸發壓力(-30~-60kPa)低於大氣壓力，若系統密閉性不夠而使得停機時不凝結氣體鑽入冷媒系統，不但有熱交換效率下降與含水率緩慢上升的風險，嚴重時更會導致高壓喘振、高壓異常跳脫、爆裂閥破壞與冷媒損失等問題。以往管理負壓洩漏都是依賴排氣機的排氣時間作為指標，但可能也會因為排氣機故障排造成持續洩漏而不知。圖13指出系統開機時高壓偏高，排氣作動將不凝結氣體排出，可由冷凝壓差觀察排氣做動後壓差趨勢來取代排氣時間。

另外一種嚴重狀況是當排氣系統故障時持續洩漏，造成排氣時間歸零而造成工程師無法識別洩漏異常，僅可依賴雙月定保人員進行排氣機測試才得知，如 圖14所示，如此，在定保與定保期間形成的空窗期，冰機系統將處於一個高風險的狀態。若透過冷凝壓差線上異常偵測，在定保間AI持續線上偵測，即時確認密閉系統有無洩漏風險。

4.4 冷卻水水質異常對壓力影響與案例

冰機系統冷卻水因長菌導致水質變差而間接影響主機銅管熱交換不良，也因為共用水池的原因，所以水質異常發生通常會是大範圍的冰機受影響，以往的水質檢驗是採用水質採樣與觀察趨近溫度來管理長菌與熱交換惡化問題，但兩週一次的水質採樣即時性太差，趨近溫度易受冷凍噸與外氣焓值影響而干擾判斷，所以兩者都不算是判斷銅管熱交換不良的良好指標。由運轉經驗與理論得知，熱交換不良造成壓縮機升載而冷凝壓力上升，所以冷凝壓差也是偵測水質異常或銅管熱交換是否良好指標。圖15指出南部廠區2021年4月冷卻水水質異常影響超過10台壓縮機案例，透過冷凝壓差即時偵測，快速統計出被影響的機台台數，其中最大壓差達30kPa，並與趨近溫度交叉比對後確認水質出了狀況，對比耗時兩週的水質採樣分析，此方法更快更精準。

5. 結論

5.1 AI冰機冷凝壓力偵測成果

本案執行分兩個時段，分別是2019.7~2020.10測試階段與2020.10~2021.10 300mm廠區推廣階段。300mm廠區推廣階段完成後，透過系統收集線上案例進行統計，如 圖16，指出氣體洩漏佔67%為最大宗，接續是冷卻水水質問題佔17%，水量異常佔8%，因銅管破管造成冷媒含水和感知器問題各佔5%和3%。也依據運轉同仁使用回覆得到AI異常偵測命中率(Hit Rate)高達91.9%，確實證明此系統可以在缺乏感測器狀況下能有效地偵測異常。

5.2 使用者使用後回饋

AI異常偵測系統於300mm廠區的16個phases上線屆滿一年後(2021年底)，我們特別訪查了所有使用者的使用狀況以及滿意度調查，收到近九成使用者的回覆，滿意度平均達90分，不只如此，使用者也熱心地指出當冰機異常發生時AI異常偵測系統最具幫助的部分(圖17) : ①可加速層別異常原因；②AI系統極早警報，提供同仁充足的修復時間；③修正原有指標規格太緊或太鬆的問題。最後本案所衍生效益在於，我們可以運用類似的概念，於廠務各個系統的設備上開發AI模型與執行異常偵測，例如「變頻器散熱系統異常偵測」和「冰機能耗異常偵測」都是採相同的精神正在各廠開發與展開中。