Deepfake z pulsem: czy serce zdradzi cyfrowe oszustwo?

Interesują Cię najnowsze osiągnięcia w dziedzinie analizy obrazu, sygnałów biologicznych lub bezpieczeństwa cyfrowego w kontekście Twojego doktoratu?

Skontaktuj się z nami – pomożemy Ci zgłębić złożone problemy badawcze i przygotować innowacyjne rozwiązania!

Wstep

Żyjemy w erze, w której deepfake’i – zmanipulowane cyfrowo filmy i obrazy – stały się wszechobecne. Ich ilość i jakość rosną w zastraszającym tempie, sprawiając, że odróżnienie prawdy od fałszu gołym okiem jest coraz trudniejsze. Dotychczasowe badania nad wykrywaniem deepfake’ów często koncentrowały się na wizualnych artefaktach. Jednak co, jeśli deepfake’i zaczynają naśladować subtelne, fizjologiczne sygnały, takie jak bicie serca? Ten temat jest niezwykle ważny, ponieważ tradycyjne metody detekcji mogą okazać się niewystarczające w obliczu coraz bardziej zaawansowanych technik manipulacji. Czy serce deepfake’a zdradzi jego prawdziwą naturę? Przyjrzyjmy się najnowszym odkryciom naukowym.

Niewidzialny puls: jak zdalna fotopletyzmografia (rPPG) może pomóc?

Nasze serce, pompując krew, powoduje subtelne zmiany w objętości krwi w naczyniach krwionośnych, co z kolei wpływa na sposób, w jaki nasza skóra odbija światło. Te zmiany, choć niewidoczne gołym okiem, mogą być wychwytywane przez kamery i analizowane za pomocą techniki zwanej zdalną fotopletyzmografią (rPPG). Sygnał rPPG odzwierciedla nasz puls i może być wykorzystany do oszacowania tętna. Dotychczas zakładano, że proces generowania deepfake’ów niszczy te subtelne sygnały fizjologiczne, co czyniłoby je użytecznym narzędziem do wykrywania fałszerstw. Jeśli wideo nie wykazuje wiarygodnego sygnału pulsu, prawdopodobnie jest zmanipulowane. Ale czy to założenie jest nadal aktualne?

Gdy deepfake’i zyskują „serce”: zaskakujące wyniki badań

Najnowsze badanie przeprowadzone przez zespół naukowców z Fraunhofer Heinrich-Hertz-Institute i Humboldt University w Berlinie (Seibold et al., 2025, Frontiers in Imaging) podważa dotychczasowe przekonania. Badacze postanowili sprawdzić, czy wysokiej jakości deepfake’i, generowane za pomocą nowoczesnych metod, rzeczywiście pozbawione są sygnałów związanych z biciem serca.
W tym celu:

1. Stworzyli własny zbiór danych: Nagrali filmy twarzy osób zsynchronizowane z zapisem elektrokardiogramu (EKG), który służył jako wiarygodne odniesienie tętna.

2. Wygenerowali wysokiej jakości deepfake’i: Użyli zaawansowanych technik, aby stworzyć zmanipulowane wersje tych filmów.

3. Opracowali potok analizy sygnału rPPG: Stworzyli system do ekstrakcji sygnałów pulsu z filmów, uwzględniając kompensację ruchu i redukcję szumów tła.

4. Przeanalizowali dane: Porównali sygnały rPPG z oryginalnych filmów i deepfake’ów z danymi EKG oraz sygnałami z filmów źródłowych (tzw. „driver videos”), które posłużyły do animacji deepfake’a.

Wyniki badania okazały się przełomowe:

• Deepfake’i mają puls: Wysokiej jakości deepfake’i wykazywały wiarygodne sygnały tętna.

• Puls pochodzi ze źródła: Co najważniejsze, sygnały rPPG w deepfake’ach wykazywały znaczącą korelację z sygnałami rPPG z oryginalnego filmu źródłowego użytego do ich stworzenia. Oznacza to, że deepfake „dziedziczy” puls osoby z filmu, który napędza animację, a nie generuje go losowo lub go całkowicie traci.

• Dotyczy to również starszych deepfake’ów: Analiza publicznie dostępnego zbioru danych KoDF potwierdziła te obserwacje, wskazując, że nawet starsze metody generowania deepfake’ów mogą przenosić realistyczne sygnały fizjologiczne.

Poniższa tabela podsumowuje kluczowe obserwacje dotyczące jakości sygnału:

Wyniki te pokazują, że choć jakość sygnału rPPG w deepfake’ach jest generalnie niższa (niższy SNR, prawdopodobnie z powodu artefaktów generacji), to sam sygnał tętna jest obecny i – co kluczowe – odzwierciedla fizjologię osoby z filmu źródłowego.

Implikacje dla wykrywania deepfake’ów: poprzeczka idzie w górę

Odkrycia te mają fundamentalne znaczenie dla dziedziny wykrywania deepfake’ów. Dotychczasowe założenie, że brak wiarygodnego sygnału pulsu jest cechą charakterystyczną deepfake’ów, przestaje być aktualne dla nowoczesnych, wysokiej jakości manipulacji. Proste metody detekcji oparte wyłącznie na globalnej analizie tętna stają się niewystarczające.

Co dalej? nowe kierunki w walce z deepfake’ami

Autorzy badania sugerują, że przyszłość wykrywania deepfake’ów może leżeć w bardziej zaawansowanych analizach sygnałów fizjologicznych. Zamiast skupiać się na globalnym tętnie, proponują analizę lokalnych wzorców przepływu krwi na twarzy.

• Lokalne mapy rPPG: Wstępne eksperymenty z wykorzystaniem map cech związanych z rPPG (np. amplitudą, prędkością przepływu krwi w różnych obszarach twarzy) i trenowaniem na nich modeli detekcji (np. EfficientNet-B4) dały obiecujące wyniki (AUROC 87.4%).

• Większa interpretabilność: Analiza lokalnych wzorców może nie tylko poprawić skuteczność detekcji, ale także zwiększyć jej przejrzystość, pozwalając zrozumieć, które cechy sygnału wskazują na fałszerstwo.

Kluczowe jest również tworzenie lepszych i bardziej zróżnicowanych zbiorów danych treningowych, które będą uwzględniać najnowsze techniki generowania deepfake’ów oraz zawierać wiarygodne dane referencyjne (np. EKG) do walidacji metod detekcji.

Podsumowanie: wyścig zbrojeń trwa

Badanie „High-quality deepfakes have a heart!” pokazuje, że twórcy deepfake’ów stają się coraz lepsi w naśladowaniu nie tylko wyglądu, ale i subtelnych cech fizjologicznych człowieka. To odkrycie stanowi poważne wyzwanie dla badaczy pracujących nad metodami detekcji. Jednocześnie jednak otwiera nowe, obiecujące kierunki badań, koncentrujące się na bardziej szczegółowej analizie lokalnych sygnałów biologicznych. Wyścig zbrojeń między twórcami deepfake’ów a specjalistami od ich wykrywania trwa, a zrozumienie „fizjologii” deepfake’a może być kluczem do utrzymania przewagi.