Page 10 - Vol.45
P. 10

Tech
                                                                                                    Notes
                                                                                                    技術專文


           2.4  遷移學習(Transfer Learning)                      3.  研究方法
              傳統機器學習方法，在模型訓練階段處理訓練資料                         3.1  MLOps機器學習維運流程(Development and
           及在上線應用階段處理測試資料時，往往會有一前提假設                         Operations  w/Machine Learning)
           (assumption) : 「訓練階段及測試階段所採用的資料需來自於
                                                                 MLOps主要是由機器學習(Machine Learning, ML)及開發
           相同的資料分佈(data distribution)，並且有著同樣的特徵值特
                                                             與維運(Development and Operations, DevOps)兩個資訊領域
           性(feature property)」。這個假設雖是令所有機器學習方法得
                                                             的衍生字結合而來，簡單來說就是適用於機器學習的DevOps
           以基於訓練資料產生模型，再將模型上線應用在測試場域的重
                                                             流程。由章節2.3及2.4可知，機器學習應用在開發階段需要有
                [04]
           要依據 。然而在現實的情況下，這個假設會遇到兩個挑戰。
                                                             效率地累積大量訓練資料，在上線應用一段時間後，或是佈署
           ①在機器學習、深度學習和數據挖掘的大多數任務中，我們都
                                                             既有系統到其他場域時，也需要進行維護校準。而為這些必要
           會假設training和inference兩個階段，採用的數據皆會服從相
                                                             的開發及維護工作，設計標準作業程序並整合到機器學習應用
           同的分佈(distribution)，資料特徵也都有相似的性質。但在變
                                                             整體的生命週期之中，為開發及維運人員提供運營效率及便利
           遷快速的現實環境中，這個假設很難長久維繫。例如欲在施工
                                                             性，便是把MLOps的精神融入在使用者介面及操作流程上的
           進度快速的工地中發展影像辨識應用，地形地貌及環境背景的
                                                             主要效益。圖7為MLOps流程生命週期示意圖。若從左上角的
           快速變化，勢必會在工程進度的不同階段產生不同特性的影像
                                                             線上偵測開始，透過不斷搜集判定準確性不佳的影像，進行資
           資料，造成原有的辨識模型偏差失準；②第二項困難，來自於
                                                             料標記(Data Labeling)、模型校準(Model Tuning)及評估，並且
           深度學習模型本質上就是高度仰賴大量資料來訓練模型的演算
                                                             將重新校準訓練好的模型，替換掉原本線上使用的模型。這一
           法類型，其所需要的資料級距，往往是數十萬張或是數百萬張
                                                             連串的步驟構成MLOps中的必要流程。而在其中最花費人力
           影像的量級，要去一一蒐集與標記這個級距的資料，會讓專案
                                                             時間與計算成本的階段分別是Data Labeling及Model Tuning，
           開發初期所需投入的人力工時成本變得滯礙難行。
                                                             於此兩項我們分別以2.3互動式學習(Active Learning)及2.4遷移
              遷移學習(Transfer Learning) [10][20] 便是基於上述兩項困難
                                                             學習(Transfer Learning)來進行流程的最佳化，藉此減少人力標
           點，試圖在機器學習算法落地應用時，提出一個合理可行且有
                                                             記影像數量及加速模型校準的計算時間。
           經濟效率的作法。遷移學習基於一個普遍的假設 : 「我們在來
           源場域(Source Domain)所解決的問題、所積累的知識、所生
           成的模型，經過妥善的處理及存儲後，能夠遞移到下一個目
           標場域(Target Domain)，幫助我們解決相關的問題。」換句話
           說，遷移學習就是探討如何使用最少的成本(包含人力工時或
           是機器計算時間)，將原先訓練好的模型，重新適配於新的環
           境之中，解決新的問題。                                                  圖7、MLOps流程生命週期示意圖
                                      [20]
              圖5⒝就是遷移學習運作示意圖 ，章節2.1 圖1中有說明
           深度學習模型淺層的權重參數主要做為影像特徵萃取(Feature
                                                             3.2  系統架構
           Extraction)之用，因此在遷移學習過程中，我們會將應用於來
                                                                 圖8為本計畫中CCTV AI監控系統的架構圖，重要的系統
           源場域(Source Domain)任務A的深度學習網路模型A取出，把
                                                             模組包含 :
           模型A淺層(for#Layer<n)的結構及權重參數都固定下來成為
           Frozen Weights複製到目標場域(Target Domain)任務B的深度        ①  Camera Control System : 提供監控操作員(Surveillance
           學習網路模型模型B中。模型B的淺層結構(for#Layer<n)與模                   Operator)所需要的操控介面，包含 :
           型A完全一致，對於模型B的後段(for#Layer≥n)，則由開發人                   •  每日定期更新攝影機環景視野圖(panorama)，提供使
           員客制化設計需要的模型結構，並以任務B的訓練資料來最佳                            用者可監控視野下的最新影像
           化後段的權重參數。遷移學習的好處，在於模型A可以是基於                          •  提供GUI，於環景視野圖上設置感興趣的監控熱區
           超大型影像資料集的訓練成果(e.g., ImageNet)，要訓練這樣的                   (Region of Interest, ROI)
           大型資料集(Input A)所花費的計算成本相當高，而模型B得直                     •  針對每一個ROI設置特定的監視任務(e.g., 電子圍籬區
           接取用模型A所訓練出的特徵萃取的成果及功效，並且僅以最                            域侵入/侵出、個人防護設備穿戴偵測等。)
           少的輸入資料(Input B)，調校必要的參數來滿足任務B的特定
                                                                 圖9為GUI介面示意圖說明ROI任務設置之效果。
           需求。透過遷移學習可在開展新應用場域或對既有模型進行重
           新效準時，大幅度節省所需的人力標註及機器計算成本。



           8
   5   6   7   8   9   10   11   12   13   14   15