ARKit 6がさらに充実

4Kビデオ

ARKit 6では、ARKitセッション中にバックカメラを使用して4Kビデオフィードをキャプチャするオプションが導入されます。4Kビデオは、ソーシャルメディア、プロフェッショナルな映像編集、映画制作アプリなど、バーチャルコンテンツと現実世界のコンテンツを統合してビデオを制作するアプリに最適です。

iPhone 11以降またはiPad Pro（第5世代）が必要です。

Depth API

LiDARスキャナに内蔵された高度なシーン認識機能により、周囲の環境についての深度情報がピクセル単位で利用可能になります。この深度情報を、シーンジオメトリによって生成された3Dメッシュデータと合成することで、バーチャルオブジェクトを瞬時に配置して、周囲の物理的な環境とシームレスに溶け込ませることで、よりリアルなバーチャルオブジェクトオクルージョンを実現できます。これにより、さらに精密な測定をしたり、ユーザーの環境にエフェクトを適用するといった、新しい機能をアプリに搭載できるようになります。

インスタントAR

LiDARスキャナを使えば、平面を非常に素早く検出でき、スキャンせずにARオブジェクトを現実世界に即時に配置できます。即時のARオブジェクト配置は、ARKitで構築されたすべてのアプリに対して、iPhone 12 Pro、iPhone 12 Pro Max、iPad Pro上で自動的に有効になります。コード変更は必要ありません。

Depth APIおよびInstant ARは、LiDARスキャナが搭載されたデバイス専用です：iPad Pro 11インチ（第2世代）、iPad Pro 12.9インチ（第4世代）、iPhone 12 Pro、iPhone 12 Pro Max。

モーションキャプチャ

単体のカメラで人の動きをリアルタイムにキャプチャできます。体の位置と動きを関節と骨の連続体として認識することで、動きと姿勢をAR体験のインプットとして使用し、人をARの中心に据えることができます。iPhone 12、iPhone 12 Pro、iPad Proでは、ARKitで構築されたすべてのアプリで高度測定の機能が向上します。コード変更は必要ありません。

フロントカメラとバックカメラの同時使用

フロントカメラとバックカメラでフェイストラッキングとワールドトラッキングを同時に使うことで、新しい可能性が広がります。たとえば、顔の動きや表情だけでバックカメラビューのARコンテンツとのインタラクションが可能になります。

画像とビデオのキャプチャ機能強化

ARKit 6では、ARKitセッション中にバックグラウンドでの高解像度の画像キャプチャが可能になるため、より高品質なバーチャルオブジェクトの再構築や、最終画像の品質を最大限に高めて完璧なショットに仕上げる写真撮影アプリに最適です。またARKit 6は、HDRビデオに対応し、露出やホワイトバランスといったEXIFタグをすべてのARKitフレームに追加します。さらに、ARKitセッション中に露出設定、ホワイトバランス、カメラのフォーカスを直接制御できるようになりました。

シーンジオメトリ

周囲のスペースの地形図を作成し、床、壁、天井、窓、ドア、座席などを認識してラベルを付けることができます。このように現実世界への認識を深めることで、バーチャルオブジェクトに対するオブジェクトオクルージョンや現実世界の物理シミュレーションの適用が可能になり、ARのワークフローを充実させるための情報をより多く得られます。

ピープルオクルージョン

ARコンテンツが現実世界に実在する人の前や背後を通り過ぎるといったことを実現できます。これにより、AR体験がより臨場感あふれるものになり、ほぼすべての環境でグリーンスクリーンのような効果を得ることができます。iPhone 12、iPhone 12 Pro、iPad Proでは、ARKitで構築されたすべてのアプリで深度測定の機能が向上します。コード変更は必要ありません。

その他の改善点

モーションキャプチャで左右の耳のトラッキングが可能になったため、身体全体でのポーズ検出が向上します。最大100枚の画像を一度に検出して、画像内のオブジェクトの物理サイズを自動的に測定することができます。複雑な環境におけるオブジェクト認識能力が向上したため、3Dオブジェクトをより確実に検出できるようになりました。