ヌヴォトンテクノロジージャパン距離演算回路内蔵3D TOFセンサの量産開始

ヌヴォトンテクノロジージャパン距離演算回路内蔵3D TOFセンサの量産開始

【要旨】ヌヴォトンテクノロジージャパン株式会社(NTCJ)は、独自の画素設計技術と距離演算/ISP[1]技術により、屋内外の様々な環境でも正確に測距することで、人や物体の認識を可能にする1/4型VGA(640x480pixel)解像度の3D TOFセンサ[2]の量産を2024年7月に開始します。

【本製品による効果】

従来のイメージセンサでは白飛びしてしまうような10万ルクス環境(屋外晴天時相当)でも正確な測距が可能。
撮像から距離演算までを1フレーム内で完結させることにより、動く被写体でも測距誤差の原因となる距離(3D)画像のブレが発生せず、正確な測距が可能。
センサ内に距離演算回路と信号補正用ISPを内蔵し、センサから遅延なく高速(最大120フレーム/秒)で、距離(3D)画像を出力することが可能。更に、距離(3D)画像とIR(2D)画像を同時に出力することで、より高い認識精度を実現。
センサに安全機構を搭載し、ASIL B[3]に対応。機能安全が要求される車載センシングシステムの実現に貢献。
当社提供のリファレンス回路やソフトウェア開発キット(SDK[4])、システム側プロセッサの検知/認識用サンプルソフトウェアにより、お客様でのセンシングシステムの検討や、開発の効率化に貢献。

・商品の詳細はこちら︓

https://www.nuvoton.com/products/image-sensors/3d-tof-sensors/kw330-series/

現在、ドライバーや乗員の安全を守るため、自動車には多くのセンサが搭載されています。安全規制の強化や自動運転車の普及に伴い、今後はドライバーや乗員の状態、姿勢、位置、行動等をより正確に検知できるセンサが求められています。しかし、従来の2D画像センサを搭載したカメラシステム等では、奥行方向の情報が取得しにくい、また、太陽光等の外乱光の影響で画像が正確に撮像出来ない等、人や物体の認識が課題でした。

この課題を解決するため、当社は、屋内外問わず、人や物体の位置と形状を正確に認識できる距離演算回路内蔵3D TOFセンサの量産を開始します。自動車の安全性向上はもちろん、セキュリティ、省人化等の市場トレンドに対して、顔認証によるスマートドアロックや輸送作業の効率化等、幅広い分野での応用が可能です。

【当社新製品の特長】

4種類の撮像信号と背景光除去により、屋外10万ルクス環境下でも正確なセンシングを実現

今回開発したTOFセンサは、パルス光源を制御し撮像する機能と、背景光信号を同時に取得することが可能なパルスTOF方式に対応した画素を搭載しています。さらに当社独自のCMOSイメージセンサ画素技術とCCDメモリ技術により、5.6μm角の画素内にメモリを当社従来TOFセンサの3個から4個に集積し、測距に使用する撮像信号(距離光信号、背景光信号)を３種類から４種類 (図2)に増加させています。また、各画素内の撮像信号を蓄積するメモリ内に混入した太陽光等による外乱光ノイズを除去することで、屋外環境においても正確な測距を実現し、従来比で約3倍となる最大20m*の測距が可能となりました。

*光源の灯数、光源の視野角等により変わります

画素内に搭載した4個のメモリにより1フレームで距離(3D)画像を出力、動く被写体でも正確に測距

TOFセンサは、画素のシャッタータイミングを変えた撮像を行い、反射光や背景光といった複数の撮像信号を各画素に配置したメモリに格納します。一般的なTOFセンサは、撮像信号の数に対し画素内メモリが少なく、複数フレームを使った測距が必要になり、撮像したタイミングの違いによる誤差や動きブレが発生します。

当社のTOFセンサは画素内に4個のメモリを配置し、4種類の撮像信号を１フレーム内で同時に取得・距離演算することで、動く被写体でも動きブレなく正確に測距できます(図3)。この特長により、自律移動ロボットの障害物検知や、車のエアバッグ強度制御等、動作変化の多いアプリケーションでの検知・認識用途に適しています。

センサに距離演算回路を内蔵し、高速かつ認識精度の高いセンシングシステムを実現

当社のTOFセンサは距離演算回路と信号補正ISP(ノイズ除去、距離補正等)を内蔵(図4)しており、

センサから遅延なく高速(最大120フレーム/秒)で、距離(3D)画像を出力することができます。これにより、後段システムのプロセッサでの距離演算が不要になり、より高速なセンシングシステムを実現することができます。更に、センサから距離(3D)画像とIR(2D)画像を同時に出力することで、2種類の画像を用いて、より高い認識精度を必要とする用途に適しています。

当社独自の安全機構により車載/産業用途の安全システムへ幅広く展開が可能

当社のTOFセンサは、画素部を含むセンサ内の故障を網羅的に検出する安全機構を搭載しています。これにより、センシング機能に影響のある故障を後段システムのプロセッサに瞬時に通知することで、センシングシステムを安全な状態へリアルタイムに移行させることが可能となります。当社TOFセンサはASIL Bの第三者機関のアセスメントにより、安全な車載センシングシステムの早期立ち上げに貢献します。

リファレンス回路・SDKの提供で、お客様の商品化工数と期間を削減

お客様でのTOFカメラモジュールの開発に向けて、評価用カメラのリファレンス回路およびSDKを提供しております。リファレンス回路はお客様の用途に合わせたものを準備しており、さらにシステム側のプロセッサで実行する物体検知・認識などのサンプルソフトウェアも提供可能です。これらにより、お客様での開発工数・期間の削減に貢献します。

【用途】乗員検知、顔認証によるスマートドアロック、XR Headset、

　　　　　　　　　荷物サイズ計測、トラック積載容積率計測、Autonomous Mobile Robot　など

【対象品番】距離演算回路内蔵3D TOFセンサ

　　KW33000A1T、KW33000A1K、KW33000ARA

【仕　様】

　　　図_TOFspec

【製品写真】

図_TOFスペック

　【当社TOFセンサの動作イメージ】

図_1

図１. TOFの動作原理

図_2

図２. 画素内4メモリ集積化と4種類の撮像信号

図_3 　　　　　　　　　　　　　　

図３. １フレーム内4信号タイミングチャート

図_4

図４. TOFセンサ内ブロック図

【量産開始】 2024年7月

【お問い合せ先】　　　　　

　ヌヴォトンテクノロジージャパン株式会社

　　(報道内容) 　コーポレート戦略室　PR・コミュニケーション課　NTCJ_PR@nuvoton.com

　　(技術内容)　半導体サポートシステム　https://nuvoton.co.jp/semi-spt/general/?lang=ja

【用語説明】

[1] ISP (Image Signal Processor)：イメージセンサから送られる電気信号を画像データに変換する役割をもつ半導体素子。

[2] TOF (Time of Flight)センサ：光を対象物に照射し、その反射光をセンサで検出するまでの時間差を利用して対象物までの距離を測定するセンサ。

[3] ASIL (Automotive Safety Integrity Level)：自動車用安全度水準といわれ、自動車の安全性要求レベルをさす。ハザードの程度によってレベルが4段階(A～D)に分類されており、Dが最も厳しく、Aが最も緩い。

[4] SDK (Software Development Kit)：ソフトウェア開発の際に必要なプログラムやAPI、ドキュメント、サンプルコードなどをまとめてパッケージ化したもの。

【ヌヴォトンテクノロジージャパン株式会社について】

ヌヴォトンテクノロジージャパン株式会社（Nuvoton Technology Corporation Japan）は、2020年にNuvoton Groupに加わりました。NTCJは、世界的な半導体専門メーカーとして、設立以来60年超にわたって培われてきた技術とさまざまな製品、およびそれらを最適に組み合わせた空間センシングソリューションと電池応用ソリューションを提供しています。お客様やパートナーとの関係を大切にし、期待以上の付加価値を提供することで、社会、産業、人々の生活のさまざまな問題を解決するグローバルソリューション企業として活動しています。詳細については、https://www.nuvoton.co.jp/ をご参照ください。

ニュース

イベント