Unity と Mediapipe でリアルタイム合成

公開日:2022/03/12

Webカメラの映像から人物だけ抽出したい、などの用途があると思います。

今回は、Mediapipeを使用してWebCameraからのリアルタイム動画をAIで解析し、人物抽出をしてみます。

MediapipeのSelfieSegmentation

mediapipe

 

1 User

3 Pockets

Selfie Segmentation

https://google.github.io/mediapipe/solutions/selfie_segmentation.html

Cross-platform, customizable ML solutions for live and streaming media.

Meidapipe for Unity

GitHub

 

1 User

8 Pockets

GitHub - homuler/MediaPipeUnityPlugin: Unity plugin to run MediaPipe graphs

https://github.com/homuler/MediaPipeUnityPlugin

Unity plugin to run MediaPipe graphs. Contribute to homuler/MediaPipeUnityPlugin development by creating an account on GitHub.

0.8.3 版ではデフォルトではSelfieSegmentationが入っていませんが、こちらを入れ込む実装を行いリビルドし直せば使えます。

背景の2Dと人物のリアルタイム合成した結果

MediapipeでDepthカメラがなくてもこれだけちゃんと人と認識してくれるんだから凄いですね！

公開日:2022/03/12