【Endpoint AI】 얼굴 랜드마크 감지(Facial Landmark Detection) 애플리케이션에 NuMicro® M55M1 ML MCU 활용하기

 
얼굴 랜드마크 감지(Facial Landmark Detection) 기술은 감정 인식 및 표현 분석의 기초입니다. 눈, 입, 눈썹의 움직임과 같은 얼굴의 특징은 인간의 감정 상태와 피로 수준을 반영할 수 있습니다. 최신 머신 러닝 소프트웨어 스택과 얼굴 랜드마크 감지 모델을 통해 이 기술은 신경 처리 장치(NPU)가 장착된 NuMicro® M55M1 마이크로컨트롤러에서 실행할 수 있습니다.
  

얼굴 랜드마크는 무엇인가요?

얼굴 랜드마크는 눈썹, 눈, 코, 입 등 얼굴 이미지에서 식별되는 주요 특징을 의미합니다. 이러한 랜드마크는 얼굴의 기하학적 모양과 특징 위치를 설명할 수 있으며 표정, 감정, 피로 수준 및 집중력을 결정하는 딥 러닝 모델을 훈련하는 데 추가로 사용할 수 있습니다.
 

NuMicro® M55M1 ML MCU

NuMicro M55M1 시리즈는 Arm® Cortex®-M55 코어를 기반으로 하는 고성능 마이크로컨트롤러로, 1.5MB의 SRAM과 2MB의 플래시 메모리를 갖추고 있습니다. 이 제품의 주요 특징은 신경망 계산을 가속화하도록 특별히 설계된 Arm® Ethos™-U55 NPU를 통합한 것입니다. 클럭 주기당 256개의 다중 accum 연산을 실행할 수 있으며 컨볼루션 신경망(CNN) 및 순환 신경망(RNN)에서 필요한 연산을 하드웨어로 지원하여 MCU에서 수행하는 머신 러닝 추론의 효율성과 속도를 크게 향상시킵니다.

M55M1 MCU는 텐서플로우 프레임워크를 사용하여 훈련된 TFLite 형식의 신경망을 지원합니다. 신경망 가중치는 LiteRT 도구(이전의 TensorFlow Lite)를 사용하여 INT8 형식으로 양자화되고 Vela 컴파일러를 사용하여 Ethos-U55의 명령어로 컴파일되어 NPU에서 실행할 수 있습니다.
 

임베디드 시스템에서 얼굴 랜드마크 감지의 응용

임베디드 시스템의 얼굴 랜드마크 감지는 특히 인터랙티브 장난감, 스마트 홈, 피로 모니터링 시스템과 같은 제품에서 광범위한 잠재력을 가지고 있습니다. 이 기술은 M55M1 ML MCU를 활용하여 저전력 실시간 감정 인식 및 표현 분석을 구현하여 사용자에게 보다 개인화된 경험을 제공합니다.

예를 들어, 인터랙티브 장난감에서 얼굴 랜드마크 감지 기능을 사용하면 장난감이 아이의 감정 상태를 인식하고 그에 따라 반응할 수 있습니다. 장난감이 아이의 행복을 감지하면 경쾌한 음악을 재생하거나 상호 작용을 할 수 있는 반면, 슬픔이나 좌절감이 감지되면 위로가 되는 말이나 이야기를 들려주어 아이의 정서적 의사소통과 학습 경험을 향상시킬 수 있습니다. 텔레비전이나 컴퓨터 화면에서 이 기술은 피로 모니터링에 사용되어 사용자가 표정을 분석하여 휴식을 취하도록 상기시킬 수 있습니다.

M55M1 ML MCU는 완전한 컨트롤러 기능과 NPU의 가속 기능을 결합하여 리소스가 제한된 임베디드 시스템이 복잡한 딥 러닝 모델을 실행할 수 있도록 하여 상당한 실용적 가치를 보여줍니다. 얼굴 랜드마크 감지 기술과 M55M1 ML MCU의 도움으로 임베디드 시스템은 사용자 상태를 지능적으로 이해할 수 있어 다양한 제품에 인공 지능을 적용할 수 있습니다.

 

시스템 개발자는 누보톤 AI 웹페이지 www.nuvoton.com/ai "Contact Us" 양식을 통해 누보톤 팀에 연락하여 엔드포인트 AI의 새로운 가치를 함께 탐구할 수 있습니다.

Facial Landmark Detection-W600