【終端AI】利用 NuMicro® M55M1 ML MCU 實現臉部特徵點偵測 (Facial Landmark Detection) 之應用
臉部特徵點的偵測技術是情緒識別和表情分析的重要工具。臉部的特徵,如眼睛、嘴巴和眉毛的動作,可以反映人類的情緒狀態和疲勞程度。透過最新的機器學習軟體架構以及臉部特徵點偵測模型,這項技術可以運行在帶有神經網絡加速器(NPU)的NuMicro® M55M1微控制器上。
什麼是臉部特徵點?
臉部特徵點(Facial Landmarks)是指在臉部圖像中識別出的關鍵特徵,例如眉毛、眼睛、鼻子、嘴巴等部位。這些特徵點可以描述臉部的幾何形狀和特徵位置,並進一步用於訓練判斷表情、情緒、疲勞程度、專注度的深度學習模型。
NuMicro® M55M1 機器學習微控制器
NuMicro M55M1系列是一款基於Arm® Cortex®-M55核心的高性能微控制器,晶片內建1.5 MB SRAM和2 MB Flash記憶體。產品的主要特色是搭載了Arm® Ethos™-U55 NPU,這是一個專門設計用於加速神經網絡運算的運算單元,每個時鐘週期可執行256次乘法累加運算(multiply-accumulate),並硬體支援卷積神經網絡(CNN)和循環神經網絡(RNN)的運算,大幅提升MCU執行機器學習推論的效率與速度。
M55M1 MCU支援TFLite格式的神經網絡,模型由TensorFlow框架訓練,經LiteRT(原稱TensorFlow Lite)工具將神經網絡權重量化為INT8格式,並透過Vela編譯器將TFLite模型轉換為Ethos-U55的指令,以便在NPU上執行。
臉部特徵點偵測在嵌入式系統上的應用
臉部特徵點偵測在嵌入式系統上的應用具有廣泛的潛力,特別是在互動式玩具、智能家庭、疲勞監測系統等產品中。利用M55M1 ML MCU,這項技術可以實現低功耗且即時的情緒識別和表情分析,為用戶提供更加個性化的體驗。
例如,在互動式玩具中,臉部特徵點偵測可以使玩具識別孩子的情緒狀態,並根據這些情緒作出相應的反應。當玩具察覺到孩子的快樂時,可以播放愉快的音樂或進行互動,而當偵測到悲傷或沮喪時,則可以提供安慰的語言或故事,增強孩子的情感交流和學習體驗。在電視或電腦螢幕上,該技術可以用於疲勞監測,通過分析使用者的面部表情來提醒他們休息。
M55M1 ML MCU結合了完整的控制器功能和NPU的加速能力,使資源有限的嵌入式系統能夠運行複雜的深度學習模型,展現出強大的實用價值。藉助臉部特徵點偵測技術和M55M1 ML MCU,嵌入式系統能夠更智能地理解使用者狀態,進一步推動人工智慧在各種產品中的創意應用。
歡迎系統開發廠商利用新唐AI網頁www.nuvoton.com/ai「聯絡我們」表單,與新唐團隊聯繫,一同探索終端AI新價值。
觀看應用展示影片:臉部特徵點偵測