rPPG - DeepFake合成動画を見分ける斬新な方法
(venturebeat.com)<p>急速に発展したDeepFake技術は、エンターテインメント産業に大きく貢献する可能性がある一方で、フェイクニュースの深刻さをさらに高める問題を引き起こすおそれもあります。だからこそ、このようなDeepFakeを見分ける技術を確保することには重要な意味があります。<br />
<br />
来たる米国大統領選でフェイクニュースを防ぐためのMSの取り組み:<br />
https://ja.news.hada.io/topic?id=2767<br />
<br />
DeepFake動画を見分ける斬新な方法が紹介された記事を共有します。（英語） この方法は、人の顔から抽出した心拍信号をもとに、本物の人の顔とDeepFakeを見分けます。<br />
<br />
病院の非侵襲型酸素飽和度測定機器や、いまではかなり一般的になったスマートウォッチなどで人間の心拍数を測る方法を、専門用語でPPG(Photoplethysmography, 光電式容積脈波記録法)といいます。人間の身体に光を当てるとその光は吸収されますが、このとき吸収される程度は、その光が通る経路にある皮膚、組織、血液の体積に比例します。ところが、皮膚や組織の体積は急激に変わることはない一方、特定の位置の血管内の血液の体積は、心臓が収縮すると増え、心臓が拡張すると減ります。そこで、光が吸収されるパターンをグラフにし、ピーク値の間隔を測るだけで、それがそのまま心拍数になります。思ったより簡単でしょう。<br />
<br />
rPPG(Remote photoplethysmography, リモート光電式容積脈波記録法)は、ここからさらに一歩進みます。人間やカメラが物を見ることができるのは、どこかから出た光が物体に反射して目やカメラに入るからです。ところが、上で述べたPPGの原理を考えると、生きている人間の顔のような身体部位で反射して入ってくる光には、ごくわずかではあるものの、確かに脈拍パターンを反映した変化が隠れていると考えられます。この微かな変化を高度に増幅し、特別な測定機器や接触なしでも、カメラで撮影した顔の動画だけで心拍数を測るのがrPPGです。この方法は極めて微細な顔色の変化に依存しますが、近年のディープラーニングを適用したrPPGシステムは、圧縮率がかなり高い顔動画からでもこのような変化を抽出できることが知られています。<br />
<br />
では、このような方法で生体信号を抽出すれば、本物の人の顔とDeepFakeで作られた顔を見分けることもできるのではないでしょうか。そこで、最新のrPPG手法をもとにDeepFake顔動画を見分ける実験を行った結果に関する論文が最近発表されました。簡単に言えば、実際の人の顔とDeepFakeで生成された人の顔に現れるrPPG信号はパターンが明確に異なり、DeepFakeに使われたモデルの種類によって、抽出されるrPPG信号のパターンも異なります。したがって、この方法でDeepFake動画を見分けられただけでなく、具体的にどのモデルが使われたのかについても、かなり高い精度で特定できたそうです。<br />
<br />
該当論文の本文:<br />
https://arxiv.org/abs/2006.07634<br />
https://arxiv.org/abs/2008.11363</p>;
3件のコメント