AGV巡檢應用於廠務管理之策略

前言

廠務的管理

廠務提供工廠生產的水、氣、電、化學品、空調、潔淨室等系統，依公司的願景「作為全球邏輯積體電路產業中 ，長期且被信賴的技術及產能提供者」^[1]，廠務以Delivery On Schedule、Zero Impact、Non Interruption為目標，建置系統。運轉管理，以自動監控系統，管控水、氣、電、化學品、空調、潔淨室，由人員進行工程管理，管制系統的變更，輔以各項的管理活動，如人員巡檢、作業觀察、工安稽核等現場的主動視察，以維持良好且穩定的系統供應，達成上述的目標。

其中，現場的巡檢是廠務管理暸解運轉中的設備必要而不可或缺的工作，即使已將關鍵重要的訊息納入廠務監控系統，仍然不能取代人員到現場的巡檢，許多系統的異音、異味、漏水、漏酸、風管結晶，仍無法由監控系統，得靠人的巡檢，從看、聽、觀察發現異常，或即將發生的異常。尤其是在工安意外的預防上，廠務工程師是第一線負責安全的人員，不論重點、或全程的監工，都僅能局部的監看，而有系統、密集度高的巡檢系統，是提高工作安全、系統穩定所必需的。

廠務巡檢的重要性

根據國外的統計數據顯示^[2]，事故發生的原因以機械失效比例43%最高、80%的風險損失主要來自20%的設備。據日本電氣協同研究調查，電氣設備是否異常，日常的巡檢是最簡易也最有效率發覺問題的方法。

隨著晶圓廠區的日益擴大，設備數量、管線愈多、系統愈益複雜，人員巡檢耗時，巡檢的項目有143項之多，包含系統供應穩定、工程管理、安全設施、用電安全、人員紀律、化學品與氣體的使用管理、環境管理等類別，培訓有經驗的工程巡檢能力，速度趕不上1年2~3個晶圓廠的擴充，且不同的人員異常經驗累積不同，能發現的異常品質不一，也不夠全面。工安環保部於TSM(Total ESH Management)系統上的統計資料，顯示在廠務的主動巡檢下，仍被工安稽核到的缺失￫圖1，近4年來稽核件數並未隨廠區運轉穩定或人員訓練減少而收斂。一個能協助或降低廠務異常發生的主動巡檢系統，是廠務達到Zero Interruption目標的重要管理工具。這新的巡檢系統，必需能系統化地累積巡檢的專業，且整合水、氣、機、電的不同專業，累積異常種類，提供予系統工程師、管理者，作為分析、改善，甚或能使PM落實、品質提昇，是發展AGV巡檢系統的重要目的。

可移動的AGV(Auto Guided Vehicle)，可作為攝影機 、聲音、紅外線影像、氣體偵測器的載台，可到達原有CCTV、FMCS(廠務監控系統)所無法到達的死角，配合後端的AI(Artificial Intelligence)辨識能力，辨識異常影像，統整巡檢AGV在現場搜集的資訊，同時藉由類似廠務SCADA監控的操作介面，由異常警報與回傳影像，決定至現場的處理順序，或者在遠端遙控AGV做不同的處置，可達成一人值班監控多台AGV巡視廠區的功能。
當累積夠多的物件辨識能力後，結合AI的演算法可取代人員在現場的高風險作業監工，由AGV定點發出聲響警報、語音，同意或停止現場作業，甚或指示有作業順序的步驟。

再藉由AI演算法已發展成熟的人臉辨識系統、廠務的工程管理(EEM, Electronic Engineering Management System)、廠商預約系統(EMS, Entrance Management System)、廠務PM與資產管理系統(FAM, Facility Asset Management)，可主動規劃出不定點監工的巡查路線、查核PM落實與施工品質、人員動向，做更精準的出工管理。

本文將研究巡檢AGV系統，與上述各項功能的結合，訂定發展的策略與應用。

文獻探討

廠務巡檢AGV結合兩大核心技術，一為AGV收集資訊、另一為後台AI辨識與資料處理，國內並無成熟的產品與應用實例。

行動載台收集資訊

綜觀以行動載台收集資訊的相關發展，從Google街景車(2007年)開始以移動式汽車配合全景CCTV，收集大量圖像，作為Google地圖的輔助功能，相較於巡檢AGV，街景車僅收集資訊不做判讀與處理。

波士頓動力Atlas 機器人(2016年)^[3]￫圖2，用於搜尋及拯救，能自主行走不靠定標導引，配備視覺處理與雷射測距儀，用以避障、閃避與選擇行走路徑，能克服各類地形障礙，可解決福島核電事故不適於人進入的搜救工作，堪稱最強雙足機器人，但未能作物件識別與資訊收集分類。波士頓動力的另一型為機器狗SpotMini(2018年)￫圖3，可在有人員暴力阻擾下，自行開厚重的防火鐵門，此技術可作為巡檢AGV不會開門的借鏡，無法進入各個以防火門區隔區域的困擾。

變電站巡檢機器人^[4]￫圖4，應用實例在中國大陸，使用於戶外變電站，配備可見光CCTV、紅/紫外光影像、RFID、超音波感測系統，收集戶外變電站高壓電力設備的特有異常，如過熱、電暈、負載資訊，適用於大區域、少人或無人看守的變電站。這是較類似巡檢AGV的功能應用，但侷限於戶外電力設備，後台僅提供監控系統的警報、報表功能，也沒有自動辨識異常能力，必需靠值班人員監控。

辨識與資料處理

由於行動載台拍照、截取影像的定位，包含拍攝定點、拍攝角度的精準度，影響辨識系統的辨識度，以AGV的定位點在±2.5cm，CCTV拍攝角度在±0.02，在3公尺外的物體所產生的影像位移與角度差，已是傳統影像辨識軟體無法處理的，必需採用AI中的深度學習(Deep Learning)技術，才能符合此類的影像辨識需求。

史丹福大學的視覺研究實驗室ImageNet^[5]，提供1400萬個各類手工註解的圖像，包括狗、豹、車、船、人，各類一般人能辨識的物件￫圖5。自2010年起舉辦大規模的視覺辨識挑戰賽(ILSVRC)，3年後AlexNet演算法(2012年) 採用8層(Layer)深度的類神經網路(DNN, Deep Neural Network)，首度將辨識錯誤率降至16.4%，突破傳統視覺辨識的瓶頸。隨後各研究人員大量採用多層(深度)類神經網路提高辨識率，ResNet (2015年)採用152層，辨識錯誤率低於人類的5%錯誤率，來到3.57%，確認深度學習的影像分類技術已可應用於市場，如￫圖6顯示深度學習層數與辨識錯誤率的關係。巡檢AGV可導入此技術，進行靜態相片的物件辨識，逐步認識廠務區域的各項設備、風管、閥件，以辨識出異常。

照片後傳至辨識軟體的應用，可大量累積巡檢的異常與分類，但在現場監工的應用上，需要即時的辨別與反應，偵測移動中物體的種類、工項的順序與辨別工安上的禁止事項。

YOLO(2016年)演算法^[6]，可以每秒45張圖的速度做物件體偵測，框出影像中的每個物件，辨識物件種類，但無法達成工安所能辨別的危險動作，發出禁止等功能￫圖7。

談巡檢機器人於廠務運轉之應用^[7]，描述廠務巡檢AGV的應用技術、機器辨識技術、可應用的視覺、AMC、巡檢範圍、網路架構等詳細的規畫。尚未涉及與廠務管理的相關監控、工程管理、工安、人員管理等相關的連結與應用。

AGV 巡檢的系統架構與方法

AGV巡檢的系統架構

AGV自動巡檢系統架構分為四大部份￫圖8，分別為前端AGV收集資訊載台、監控與資料存取平台、AI辨識程式平台、AI辨識模型訓練平台。

可移動的AGV搭載攝影機、聲音、紅外線影像、氣體偵測器等偵測儀器，將影像、聲音等訊息透過網路回傳資料至監控與資料存取平台，再由後台的AI辨識平台負責異常的辨識與輸出，可同時執行多個不同區域、用途的辨識程式，經由監控與資料存取平台顯示警報；其中監控與資料存取平台負責各平台間的整合工作，即時傳送前端AGV的資料、接收與顯示AI辨識程式辨識後的結果，同時作為使用者的操作監控介面，具備報表、簡訊、警報、資料庫等一般功能外，尚規劃資料分類儲存功能，準備與儲存AI辨識模型所需的訓練資料。

AI辨識模型訓練平台，負責模型訓練前資料的分類、處理、標記，各不同類型需求與不同場域物件的AI辨識程式訓練，此部份為最耗費硬體資源、程式編譯人力、資料處理與標記人力，故獨立於例行監控巡檢的平台之外，同時為巡檢辨識能力發展與提昇的中心系統。訓練編譯完成的各個程式，放置至AI辨識程式平台各別執行，各別自資料存取平台取得前端資料，各別輸出辨識結果，由操作監控介面顯示。

AGV 巡檢的方法

原有人員巡檢以工程師的系統專業，配合巡檢清單，巡視現場，找出各類系統可能的異常，AGV則必需排定路線 、定點拍攝、錄音或取得各類感測資料。依FAB廠房約200公尺x200公尺的面積，規劃120到200個巡檢點，以影像識別為例，每點拍攝6張相片，作為類似全景的巡察，可在1小時內完整走主要、次要走道，覆蓋全區所需巡視的區域；配合AGV的充電時間，一天可巡8次，巡視間隔遠優於人力。對於需特別巡視的定點、錶頭等，需較精細的拍攝或收集，可另定時程、路線規劃，作為特定的巡檢與資料收集。

與人員巡檢或遠端的CCTV、FMCS(廠務監控系統)、GMS(氣體監測系統)比較，AGV可到達上述固定系統無法到達的死角。配合後端的AI(人工智能，CNN)辨識能力，辨識異常影像，統整巡檢AGV在現場搜集的資訊，藉由監控操作平台回傳的影像與警報，決定至現場的處理順序，或在遠端遙控AGV做不同的處置，可達成一人值班監控多台AGV巡視廠區的功能，人員與AGV巡檢的各項比較￫表1。

當累積夠多的物件辨識能力後，結合AI的循序辨識演算法(RNN)可取代人員在現場的高風險作業監工，由AGV定點發出聲響警報、語音，同意或停止現場作業，甚或指示有作業順序的步驟。再藉由已發展成熟的人臉辨識系統 、廠務的工程管理(EEM)、廠商預約系統(EMS)、廠務PM與資產管理系統(FAM)，可主動規劃出不定點監工的巡查路線、查核PM落實與施工品質、人員動向，做更精準的出工管理。

AGV 巡檢的演算法與發展策略

人的五種感官訊息接收能力，以視覺83%為主，聽覺11%為輔，其次為嗅覺3.5%，AGV的巡檢能力也依感官發展的順序發展，首先以視覺的影像辨識為主。

AGV巡檢辨識演算法

物件辨識

對於廠務巡檢的視覺能力，「發現異常」，並無可直接應用的AI演算法，必需結合現有的演算法發展，有二種方法可發展：

• 先認識再辨別異常物件：累積認識的廠務設備物件後，再巡檢辨別異常與正常。
• 由正常背景分類異常物件：建立正常背景相片，逐日巡檢累積「不同處」，再篩選出異常物件。

 一種的說明￫圖9，為先建立各項廠務設備、物件的辨識能力，訓練AI的辨識分類程式，以此程式辨識影像中「 不能辨識的影像」，將其分類為未知的異常，再交由後台人員辨別為何種異常，註解並分類儲存，待儲存夠多的異常種類後，再重新將原有的AI演算法與所累積的異常，訓練新的演算法，讓新的演算法，能直接認識異常，在上線後直接發出異常的警告。不斷循環這個過程，以累積認識的異常，提昇巡檢的能力。

第二種的說明￫圖10，以廠務各區的正常影像為背景，程式上線直接比對出「不同」的影像，再由後台人員判斷，歸類異常相片，累積後再訓練AI分類程式分辨出異常的種類並發出警報。

此二種方法均有別於現行演算法的輸入標記完成的訓練資料、訓練模型、調參數、測試、上線的程序，在訓練資料需要人工框選物件、異常予辨識程式訓練(AI用語為Labeling)的工作，可由程式自動框選「不同處」，節省初期的人工框選動作，產生AI影像辨識所需「高品質」的「大量訓練資料」，能有效降低在廠內的資料處理人力，以提昇辨識率。

事件辨識

需兩個「物件」或兩個以上「物件」合併辨識，才能判定的異常，稱為「事件」，例如：人員「腳」站立「A字梯梯頂」、在「施工圍籬內」未著「防護衣」均為違規的「異常事件」。「事件」 的辨識演算法，基於「物件」的辨識輸出結果，再進行異常與正常事件的AI訓練，演算法架構￫圖11「事件」的辨識架構。

循序影像辨識

最後一部份，需工程師全程監工的高風險作業，必需基於「物件」、「事件」的辨識基礎，利用AI中的循序演算法，對此類有工程順序的作業，進行辨識，不同於前述三種巡檢模式，廠務多達56項的高風險作業，需發展不同的循序程式獨立運算，需另設硬體或單獨的AGV處理運算。例如：槽車的充填作業，必需先圍籬穿著防護衣後，才能接管作業等，有多項步驟有先後的順序，不能前後對調。而此類作業特性需長時間、在固定地點，需另設獨立的AGV於作業地點，或就地利用原有的CCTV影像。

AGV巡檢的辨識發展策略

由一般例行巡檢、找系統異常，對單一物件的「物件異常」到「事件的異常」，已進入「施工巡檢」與「作業安全」的管理範圍。在系統的「物件」、工作安全的「事件」，均訓練足夠的數量後，接著可同時發展設備保養與工程巡視，與高風險作業需工程師程監工的作業。其中工程巡視，應結合EEM、廠商管理、高風險作業認證系統 ，人臉辨識，每日依施工地點規劃不同的巡檢路線，可對廠務系統為數最多的「系統變更管理」，增設一道主動的機制與自動的防線。綜合上述AGV巡檢應用於廠務的管理規劃￫圖12發展。

驗證測試與討論

AGV巡檢的辨識成效驗證

物件辨識成效

AGV上線巡檢的功能，由AGV現場拍照、回傳至後台辨識軟體判別、輸出警報與異常相片，已完成全功能的測試 ，￫圖13為廠務控制室(FMCS Room)的遠端監控畫面，￫表2為實際巡檢回傳的成果，￫圖14為AGV現場巡檢的現況 。為了即時擴展辨識能力，人為製造的異常，包含系統管理與安全管理的巡檢異常警報回傳共有22項￫表3￫表4。

此測試包含使用第一種方法「先認識再辨別異常物件」，先認識5個物件，以網路上找得到的相片作為訓練資料，易於框選出高品質、不同角度的相片供予辨識模型提取特徵，在廠外訓練模式調整完辨識參數後辨識率達90%以上再進場，包含三角錐、A字梯、安全帽、圍籬、防護衣，完成現有辨識演算法的部份。但在異常的辨 別上，因異常的訓練照片不夠多，會讓辨識率變低，適合的異常、正常相片比例要各約佔半數較佳，此點可如下方式克服 ，例如：人為製造異常、擴充異常的相片數，即同一異常，拍攝不同角度的相片。

在使用第二種方法「由正常背景分類異常物件」，以正常的背景照片比對出異常，可找出大量並框出「不同處」 ，並回傳警報，已可達到巡檢發現異狀，回傳影像供遠端判斷的功能，但無法辨識「異常」是何種「異常物件」 ，尚需人力註解後再批次訓練新模型。￫表2的第1項精細地比對出與前一日的不同，多個閥件上的某一個On/Off名牌掉落，若人員未仔細巡檢是不易看到的。 

事件辨識成效

事件辨識選擇的二項能力測試，一為「人員站立A字梯梯頂」￫圖15、另一為「施工圍籬內未著防護衣」￫圖16。此二項的辨識率約在65~70%，意即約有30%會漏判，原因在部份拍攝角度A字梯的特徵不明顯、未能拍到人體腳的特徵，必需增加多重角度的訓練照片，重新訓練模型。

AGV 與工程師協同作業的討論

AGV在能擔任例行性巡檢工作後，可在下列方式相互協同，提高巡檢的有效性，成為系統工程師的最佳助手：

AGV每天多次巡檢，列出異常處理清單

巡檢次數多於原有人力巡檢1~2次，增加為8~10次，監控的死角時間變短，可由巡檢系系統列出異常清單，再由系統工程師決定處理的優先順序，有系統、有輕重緩急地處理異常。

分擔工程定點監工與不定期巡查

高風險作業的定點、多項檢查作業、過程中可能的安全疏漏，可由AGV或CCTV搭配巡檢系統的影像、聲音功能，輔助甚或代替人員在現場的監工。也可搭配工程管理系統，排定不定期、不定路線的工程巡查，提供工安巡視的密度，就像高速公路上的定點測速與巡邏中不定點測速，對有僥倖心理的違規者，形成一個由點而線而面的遏阻的作用，減少違規、工安的意外。

AGV搭配工程師一起例行巡檢

在已減輕工程師對一般性異常的負擔，工程師可著重於AGV巡不到的死角視線、專業上需由工程師判斷的異常、還可搭配錄影、照像、錄音功能，將異常作更完整、即時的記錄，提高處理、解決問題的效率。

結論與建議

本研究實證巡檢AGV，能結合自動導引與AI中的影像辨識兩項技術，主動到現場搜集資訊，可排除人員的不可靠因素，取代約62%的巡檢項目，可讓工程師巡檢集中心力在必需多重技能與專業判別的工作上，除了可自動獨立巡檢外，也可成為工程師巡檢時的好助手，主動收集不易注意的系統細節。管理上，則可藉自動化巡檢，由後台的SCADA有系統的收集異常、次數、類別，協助廠務在系統、工程、變更管理各項制度如實、如預期的穩定供應。

未來發展藍圖的進展，決定於物件辨識的數量與辨識率的提昇速度，「數據量愈大，演算法就愈精準」，即使是中等水準的演算法，只要數據量夠多，也能比頂級但相對較少數據作出的演算法精準^[8]。本文所提出二種演算法流程，先行「大量」收集各類的「異常」，做為辨識的訓練資料，可彌補演算法與硬體的不足。要依藍圖的進展，在相片不能外傳的情況下，尚需有能熟悉影像辨識演算法的AI工程師調校模型，並建構出符合影像辨識的軟體環境與硬體設施，同時需有廠務暸解AI技術上的限制與各類演算法應用範疇的工程師，能暸解廠務的需求與問題，作為廠務的專業與影像辨識技術之間的橋樑。短期不易有同時具備兩種專業的工程師，建議可由公司指派IT具AI專業的工程師，或藉外部專家，專職協助廠務建立環境與人才。

AI的影像辨識與AGV的自主導航技術，是兩項發展中技術應用於廠務巡檢的新領域，最具挑戰的是如何整合兩種不同技術的專家，結合廠務的專業，成為一套可執行、快速收集異常、友善地提供資訊予運轉管理所需。從AGV與攝影機的控制、相片資料與影像辨識的資料交換、SCADA監控的規劃到軟硬體規格的訂定，是本研究隱而不顯 ，卻會影響未來此系統的順利運行，能提供「友善的使用者經驗」，加速推廣巡檢AGV的應用，成為廠務主動管理的重要一環。