Deepfake影片技術原理?理解AI造假才能有效反擊

Deepfake 影片技術原理:理解 AI 造假才能有效反擊
前言:當「眼見為憑」成為歷史
2024年,臺灣某知名企業高層的視訊會議畫面遭人即時換臉,詐騙集團在短短七分鐘內得手新臺幣兩千萬元。同年,多位女性藝人的臉孔被惡意合成到不雅影片中,在網路論壇流傳。這些事件不再是科幻電影的情節,而是你我身邊正在發生的日常。
「有圖有真相」的時代已經結束,「有影片也未必是真相」的時代正式來臨。Deepfake——深度偽造技術,正以驚人的速度進化。根據資安公司 SentinelOne 的統計,2023年全球 Deepfake 相關的詐騙案件較前一年成長了超過 300%。面對這樣的浪潮,恐慌無濟於事,理解才是最好的防禦。
這篇文章將帶你深入 Deepfake 的技術核心,從神經網路的基本原理講起,一步步拆解這些逼真假影片背後的數學與工程。你不必是資工背景,也能理解這些技術的運作邏輯,進而學會辨識、防範,甚至在必要時反擊。
第一章:什麼是 Deepfake?——定義、範疇與發展脈絡
1-1 名詞溯源:從 Reddit 用戶名到全球現象
「Deepfake」一詞誕生於2017年,源自 Reddit 論壇上一名用戶的帳號名稱「deepfakes」。這位用戶利用當時剛開源的 TensorFlow 深度學習框架,將成人影片中的臉孔替換成好萊塢明星,並將成果發布在論壇上。這個帳號名稱結合了「Deep Learning」(深度學習)和「Fake」(偽造)兩個詞,精準描述了這項技術的本質:利用深度學習模型生成以假亂真的偽造內容。
短短幾年內,這個原本只在特定論壇流傳的詞彙,成為全球媒體、政府、科技公司的共同關注焦點。《牛津英語辭典》於2023年正式收錄此詞;臺灣國家教育研究院亦將其中文譯名定為「深度偽造」。
1-2 Deepfake 的範疇:不只是換臉
許多人以為 Deepfake 就等於「換臉」,但實際上它的範疇遠比這廣泛。廣義的 Deepfake 涵蓋所有利用深度學習技術生成或操縱的合成媒體內容,包括:
| 類型 | 說明 | 常見應用與風險 |
|---|---|---|
| 人臉交換(Face Swapping) | 將影片中A的臉替換成B的臉 | 最常見的 Deepfake 形式,常用於惡意造假 |
| 臉部重演(Face Reenactment) | 操縱臉部表情、嘴型、眼神,讓目標人物說出從未說過的話 | 政治人物造假演說、偽造證詞 |
| 全臉生成(Full Face Generation) | 憑空生成不存在的人臉 | 假帳號頭像、虛擬網紅、詐騙身份 |
| 語音複製(Voice Cloning) | 複製特定人物的聲音、語調、說話習慣 | 電話詐騙、偽造錄音證據 |
| 全身動作合成(Full Body Synthesis) | 生成或操縱整個身體的動作 | 偽造監視器畫面、運動員造假 |
| 唇形同步(Lip Sync) | 僅調整嘴型使其與音訊匹配 | 偽造訪談、配音造假 |
1-3 發展脈絡:從實驗室到人手一支手機
Deepfake 技術的演進,可以粗略分為四個階段:
第一階段(2014-2017):學術萌芽期。 蒙特婁大學的 Ian Goodfellow 於2014年提出「生成對抗網路」(GAN)概念,奠定了日後 Deepfake 的理論基礎。這一階段的技術門檻極高,需要專業的機器學習知識和大量運算資源。
第二階段(2017-2019):開源爆發期。 Reddit 用戶公開了基於自動編碼器的換臉方法後,開源社群迅速跟進。2018年推出的「FakeApp」讓一般使用者只需準備足夠的照片和影片,就能在個人電腦上執行換臉操作。2019年,DeepFaceLab 和 FaceSwap 等開源工具成熟,Deepfake 開始大量湧現。
第三階段(2020-2023):商用化與行動化。 2020年起,多款手機應用程式開始提供「一鍵換臉」功能,技術門檻降至近乎為零。同時,生成對抗網路與擴散模型的突破,使得生成品質大幅提升。2022年,Stable Diffusion 和 Midjourney 等圖像生成模型問世,Deepfake 從「編輯既有素材」進化到「憑空生成」。
第四階段(2024至今):即時化與多模態。 即時換臉技術已能在直播中同步替換人臉,延遲低於 100 毫秒。同時,結合文字生成、影像生成、語音生成的「多模態」Deepfake 出現,攻擊者可以用一段文字描述就生成完整的偽造影片。
第二章:神經網路的基礎——Deepfake 的「大腦」
2-1 類神經網路:模仿人腦的數學結構
要理解 Deepfake,得先認識它的核心引擎:類神經網路(Artificial Neural Network, ANN)。這是一種模仿生物神經系統運作方式的數學模型,由大量相互連接的「神經元」組成。
一個神經元做的事情很簡單:接收多個輸入、加權求和、通過一個「激發函數」決定是否輸出訊號。單一神經元就像一個水龍頭開關,但當數百萬個神經元以特定方式排列連接時,整個網路就能執行非常複雜的任務——就像數億個簡單的腦細胞組合起來,就能產生意識。
2-2 深度學習:「深度」在哪裡?
「深度學習」中的「深度」,指的是神經網路中「隱藏層」的數量。傳統的淺層網路只有一到兩層隱藏層,而深度學習模型可能有數十甚至數百層。每一層負責提取不同抽象程度的特徵:
- 第一層:偵測邊緣、顏色、明暗等最基礎的視覺特徵
- 中間層:組合成紋理、形狀、五官輪廓等較複雜的模式
- 深層:辨識出完整的臉孔、表情、身份等高度抽象的概念
這種層層堆疊的結構,讓深度學習模型能從原始像素中「自動學習」到有用的表徵,而不需要人類手動設計特徵——這正是 Deepfake 得以實現的關鍵。
2-3 卷積神經網路:影像處理的王者
在眾多神經網路架構中,卷積神經網路(Convolutional Neural Network, CNN)是處理影像資料的主流選擇。它的核心操作是「卷積」:用一個小型的濾波器在圖像上滑動,每次計算一個局部區域的加權和。
可以將 CNN 想像成一個用放大鏡逐區檢視圖像的偵探。它不會一次看完整張圖,而是先看左上角的一小塊,再看旁邊的一小塊,逐步掃過整張圖。每個「放大鏡」(濾波器)專門負責偵測某一種特徵,例如水平線、垂直線、圓形、特定顏色等。經過多層卷積和池化操作後,網路最終能對整張圖的內容做出精確判斷。
CNN 在2012年 ImageNet 競賽中大放異彩後,迅速成為電腦視覺領域的標準工具,也是所有 Deepfake 模型的基礎組件。
2-4 自動編碼器:壓縮與重建的藝術
自動編碼器(Autoencoder)是另一種重要的神經網路架構,也是早期 Deepfake 技術的核心。它由兩個部分組成:
- 編碼器(Encoder):將輸入資料(例如一張人臉圖像)壓縮成一個低維度的「潛在表示」(Latent Representation)。這個潛在表示通常只有幾百個數字,但包含了重建臉孔所需的核心資訊——臉型、五官位置、光線角度等。
- 解碼器(Decoder):接收潛在表示,將其重建為完整的圖像。
自動編碼器的訓練目標是「輸入等於輸出」:給它一張臉,它要能重建出同一張臉。聽起來簡單,但關鍵在於那個狹窄的「瓶頸」——潛在表示的維度遠小於原始圖像。這迫使編碼器學會「提取本質」、捨棄細節,而解碼器學會「從本質重建細節」。
打個比方,自動編碼器就像一位畫家的速寫本。畫家看到一張臉,不會記下每個毛孔和每根髮絲,而是在腦中記下關鍵的比例、角度、神韻。回到工作室後,再憑這些速寫重新畫出完整肖像。編碼器就是「速寫」的過程,解碼器就是「重畫」的過程。
第三章:第一代 Deepfake 技術——自動編碼器換臉法
3-1 核心概念:共用編碼器、分離解碼器
2017年 Reddit 用戶公開的換臉方法,其巧妙之處在於對自動編碼器結構的改良。傳統自動編碼器是「一人一組」:訓練一個模型處理一個人的臉。但這套方法的關鍵創新是:
讓兩個人的臉共用同一個編碼器,但使用各自的解碼器。
為什麼要這樣做?因為編碼器的任務是「提取通用的人臉特徵」——五官位置、表情、光線等,這些資訊對任何人都適用。而解碼器的任務是「重建特定人物的臉部細節」——膚色、皺紋、鬍鬚等個人特徵。
訓練完成後,換臉的操作流程如下:
- 將 A 的影片幀輸入共用編碼器,得到 A 的潛在表示(包含 A 的表情、角度、光線資訊)
- 將這個潛在表示送入 B 的解碼器
- B 的解碼器用 B 的臉部特徵來「詮釋」A 的表情和角度,輸出一張「長得像 B、但表情動作是 A」的臉
- 將合成臉貼回原影片,完成換臉
3-2 訓練流程:資料是關鍵
這套方法的成敗,取決於訓練資料的品質和數量。典型訓練流程包括:
步驟一:資料收集。 從公開影片、社群媒體照片等來源收集 A 和 B 的大量臉部影像。一般而言,至少需要數千張包含不同角度、表情、光線條件的臉部照片。許多開源工具的預設值是「越多越好」,部分進階使用者會收集超過十萬張訓練圖像。
步驟二:臉部偵測與對齊。 使用人臉偵測演算法(如 MTCNN、RetinaFace)在每張圖像中定位臉部位置,然後進行「對齊」——將臉部旋轉、縮放、裁切到標準化的位置和大小,使所有訓練圖像中臉部的位置和比例一致。這一步驟就像把所有食材切成相同大小,才能均勻烹調。
步驟三:遮罩處理。 在訓練和合成過程中,需要區分「臉部區域」和「背景區域」。遮罩(Mask)是一張黑白圖,白色表示臉部(需要處理的區域),黑色表示背景(原封不動保留)。精細的遮罩處理可以避免換臉後出現明顯的邊界瑕疵。
步驟四:模型訓練。 將處理好的圖像餵入神經網路,以反向傳播演算法反覆調整權重。訓練時間取決於硬體和資料量,從數小時到數天不等。訓練完成的模型約需數百 MB 至數 GB 的儲存空間。
步驟五:合成與後製。 將目標影片逐幀送入模型進行換臉,再將合成臉貼回原影片。後製階段通常包括邊緣羽化、顏色校正、光影調整等,使合成結果更加自然。部分工具還會使用「超解析度模型」提升合成臉的清晰度。
3-3 優點與限制
自動編碼器法的優點是:
- 架構簡單:易於理解和實現,開源工具成熟
- 訓練資料需求相對較低:數千張圖像即可產生可用結果
- 可控性高:可以精確控制「誰的臉換到誰身上」
限制也很明顯:
- 需要逐對訓練:每換一對新的組合(A→B)都要重新訓練模型
- 對光線和角度敏感:當目標影片的光線條件與訓練資料差異過大時,效果明顯下降
- 遮罩品質決定成敗:臉部邊界的處理不當會產生「面具感」
第四章:生成對抗網路——Deepfake 的「進化引擎」
4-1 GAN 的核心思想:偽造者與鑑定者的競賽
2014年,Ian Goodfellow 在論文中提出了生成對抗網路(Generative Adversarial Network, GAN)的概念。這個想法的精妙之處在於它引入了「對抗」的訓練機制。
GAN 由兩個神經網路組成:
- 生成器(Generator):負責從隨機雜訊中生成圖像,目標是「騙過鑑別器」
- 鑑別器(Discriminator):負責判斷輸入圖像是「真實的」還是「生成的」,目標是「識破生成器的謊言」
這兩個網路在訓練過程中不斷相互對抗。生成器試圖生成越來越逼真的圖像,而鑑別器則努力學習分辨真偽。這個過程可以用一個比喻來理解:
生成器是偽鈔製造者,鑑別器是驗鈔員。製造者不斷改良印刷技術,讓偽鈔越來越像真的;驗鈔員則不斷研究偽鈔的特徵,提升辨識能力。兩者相互逼迫對方進步,最終製造者的技術好到連頂尖驗鈔員都無法分辨——這就是 GAN 訓練的目標狀態。
4-2 GAN 的數學原理
從數學角度來看,GAN 的訓練是一個「極小極大遊戲」(Minimax Game)。鑑別器 D 試圖最大化正確分類真實圖像和生成圖像的機率,而生成器 G 試圖最小化鑑別器的正確率。損失函數可以寫成:
min_G max_D V(D, G) = E[log D(x)] + E[log(1 – D(G(z)))]
其中 x 是真實圖像,z 是隨機雜訊,D(x) 是鑑別器判斷 x 為真實的機率,G(z) 是生成器從雜訊生成的圖像。
當訓練達到「納許均衡」(Nash Equilibrium)時,生成器產出的圖像分佈與真實圖像分佈完全重合,鑑別器無法分辨真偽,只能隨機猜測(輸出機率為 50%)。
4-3 GAN 在 Deepfake 中的應用
GAN 的出現將 Deepfake 推進到全新境界。相較於自動編碼器法的「編輯既有內容」,GAN 可以「憑空生成」不存在的人臉和場景。幾種代表性的應用包括:
StyleGAN(2018-2019,NVIDIA):可以生成解析度高達 1024×1024 的逼真人臉,其生成的假人臉在「This Person Does Not Exist」網站上廣為流傳,許多人第一次看到時完全無法相信這些臉孔不存在於現實世界。
Pix2Pix 與 CycleGAN(2017,UC Berkeley):前者實現了「圖像到圖像的翻譯」,例如將素描轉換成照片、將白天場景轉換成夜晚;後者更進一步,不需要配對的訓練資料,就能實現風格轉換——這正是「將 A 的畫風應用到 B 的照片上」這類應用的基礎。
GANimation(2018):專門用於臉部表情的操縱,可以根據「目標表情」的參數,將靜態人臉照片轉換為帶有特定表情的圖像,實現「讓照片中的人微笑」甚至「讓照片中的人眨眼」。
StarGAN(2018):單一模型即可執行多種「圖像到圖像」的轉換任務,例如同時完成「改變髮色」「改變性別」「改變年齡」等多種操作,不需要為每種轉換訓練獨立模型。
4-4 GAN 的訓練困難
GAN 的強大能力伴隨著嚴重的訓練困難。實務上,GAN 的訓練被形容為「走鋼索」:
- 模式崩潰(Mode Collapse):生成器找到一種能騙過鑑別器的「偷懶方式」,之後只生成極度相似的圖像,缺乏多樣性。例如生成器可能只學會生成某一種角度的人臉,不管輸入什麼雜訊都輸出幾乎相同的結果。
- 訓練不穩定:生成器和鑑別器之間的平衡極難掌握。如果鑑別器太強,生成器永遠學不會;如果生成器太強,鑑別器失去作用,訓練也無法繼續。
- 梯度消失:當鑑別器完美分類時,生成器的梯度趨近於零,無法更新參數。
為了解決這些問題,研究者提出了多種改良版本:WGAN(Wasserstein GAN)改變損失函數以穩定訓練;DCGAN 引入卷積結構提升品質;Progressive GAN 從低解析度開始逐步增加解析度,大幅提升了生成品質和訓練穩定性。
第五章:擴散模型——新一代 Deepfake 的核心引擎
5-1 從「對抗」到「去噪」:典範轉移
2022年以降,擴散模型(Diffusion Model)取代 GAN 成為生成模型的主流。Stable Diffusion、DALL-E 2、Midjourney 等轟動全球的圖像生成模型,全部基於擴散模型的原理。
擴散模型的核心思想與 GAN 截然不同。GAN 是「對抗式」的——兩個網路相互競爭;擴散模型則是「循序漸進式」的——先學會破壞,再學會修復。
訓練過程分為兩個階段:
前向擴散(Forward Diffusion):取一張真實圖像,逐步加入高斯雜訊。經過足夠多的步驟(通常為 1000 步)後,圖像完全變成純隨機雜訊,原本的內容完全不可辨識。
反向擴散(Reverse Diffusion):訓練一個神經網路,學習「從雜訊中逐步恢復圖像」。給它一張加了雜訊的圖像和步驟編號,它要預測並移除雜訊,使圖像「往回一步」。訓練完成後,這個網路就能從純雜訊開始,一步步「去噪」,最終生成一張全新的圖像。
5-2 為什麼擴散模型比 GAN 更強?
擴散模型之所以在近年迅速取代 GAN 成為主流,有以下關鍵優勢:
| 比較面向 | GAN | 擴散模型 |
|---|---|---|
| 訓練穩定性 | 極不穩定,容易模式崩潰 | 相對穩定,損失函數平滑 |
| 生成多樣性 | 容易陷入模式崩潰,多樣性受限 | 多樣性極佳,能覆蓋更廣的資料分佈 |
| 生成品質 | 早期較高,但解析度受限 | 可達極高解析度(1024×1024 以上) |
| 條件控制 | 較困難 | 透過文字提示等條件引導,控制能力強 |
| 運算成本 | 訓練較快,生成極快 | 訓練較慢,生成需多次迭代(較慢) |
簡言之,GAN 在「生成速度」上仍有優勢,但在「生成品質」「多樣性」「可控性」等關鍵指標上,擴散模型全面勝出。
5-3 擴散模型在 Deepfake 中的應用
擴散模型的出現,讓 Deepfake 從「需要大量目標人物影像的換臉」進化為「僅需少數幾張照片即可生成新內容」。代表性的應用包括:
DreamBooth(Google,2022):只需三到五張目標人物的照片,就能將該人物「教導」給預訓練的擴散模型。之後,使用者可以透過文字提示,讓模型生成該人物在各種場景、服裝、姿態下的圖像。這項技術被廣泛用於生成公眾人物的假照片。
LoRA(Low-Rank Adaptation,2023):一種輕量化的模型微調技術,可以在不修改原始模型權重的前提下,用極少的額外參數(通常僅數 MB)教會模型生成特定人物的臉。LoRA 大幅降低了 Deepfake 的門檻——任何人只要有幾張目標人物的照片,就能在個人電腦上訓練出可用的模型。
ControlNet(2023):為擴散模型添加精確的結構控制能力。使用者可以提供姿勢骨架、邊緣圖、深度圖等條件,讓生成內容精確符合指定的結構。在 Deepfake 場景中,這意味著可以強制生成的人臉符合特定的角度、表情和姿勢。
AnimateDiff(2023):將靜態圖像生成擴展到動態影片生成,讓擴散模型能產生連貫的短影片片段。這項技術結合人臉生成模型後,可以憑空生成「不存在的人」的動態影片。
5-4 從圖像到影片:時間一致性的挑戰
擴散模型在靜態圖像生成上已經相當成熟,但應用於影片時面臨一個獨特的挑戰:時間一致性(Temporal Consistency)。
如果逐幀獨立生成影片的每一幀,雖然每一幀看起來都很逼真,但幀與幀之間會出現「跳動」——臉部細節、光影、背景在連續幀之間產生不自然的變化。這是因為模型沒有「記住」前一幀的內容。
解決方案包括:
- 時序注意力機制:讓模型在生成當前幀時,同時「關注」前後幀的內容,確保一致性
- 潛在空間插值:在低維度的潛在空間中進行平滑的軌跡規劃,再解碼為連續幀
- 光流引導:利用光流估計前一幀與當前幀之間的運動關係,引導生成過程保持連貫
這些技術的成熟,使得2024年以後的 Deepfake 影片品質達到了前所未有的水準——肉眼幾乎無法僅憑「看起來怪怪的」來辨識。
第六章:即時 Deepfake——從離線處理到即時合成
6-1 即時換臉的技術挑戰
早期的 Deepfake 需要數小時甚至數天的離線處理,因為每處理一秒鐘的影片就需要進行數十次神經網路前向傳播。要在「即時」情境下完成換臉——例如視訊通話中的即時替換——需要克服幾個巨大挑戰:
運算速度:即時換臉需要每秒處理至少 25 至 30 幀畫面,每幀都要完成「人臉偵測 → 對齊 → 編碼 → 解碼 → 貼回」的完整流程。在 1080p 解析度下,這意味著每秒要執行數十億次浮點運算。
延遲控制:即使運算速度夠快,整個流程的「端到端延遲」(從攝影機捕捉到顯示輸出)也必須低於人類能察覺的閾值。一般而言,視訊通話的延遲若超過 200 毫秒,使用者就會感到不自然。
品質與速度的權衡:高品質的換臉模型通常運算量龐大,要達到即時運算勢必犧牲品質。如何在速度和品質之間找到平衡,是即時 Deepfake 的核心工程挑戰。
6-2 輕量化模型與硬體加速
即時 Deepfake 的實現,仰賴以下幾項關鍵技術:
模型蒸餾(Knowledge Distillation):用一個大型、高品質的「教師模型」教導一個小型、高效率的「學生模型」。學生模型學習模仿教師模型的輸出,但參數量可能僅為教師的十分之一甚至更低,運算速度因此大幅提升。
量化(Quantization):將神經網路的權重從 32 位元浮點數壓縮為 16 位元、8 位元甚至更低的精度。8 位元量化的模型在專用硬體上可以快 4 倍以上,而品質損失在許多應用中幾乎不可察覺。
張量核心與 NPU:NVIDIA 的 GPU 中配備了專門加速矩陣運算的「張量核心」(Tensor Core),而手機中的「神經處理單元」(Neural Processing Unit, NPU)則針對神經網路推理進行了硬體級優化。這些專用硬體使得在消費級裝置上執行即時換臉成為可能。
Ghost 模組與深度可分離卷積:這些輕量化的網路架構大幅減少了卷積運算的計算量。例如 MobileNet 系列模型在手機上即可即時執行,而 GhostFaceNets 則實現了極輕量的人臉辨識。
6-3 即時 Deepfake 的實際應用
即時換臉技術已經在現實世界中出現,包括:
視訊詐騙:2024年香港警方揭露的案件中,詐騙集團在視訊會議中使用即時換臉技術,將自己的臉替換成公司高層,成功騙取鉅額匯款。
直播換臉:部分直播主使用即時換臉技術,讓自己在直播中呈現完全不同的外貌。這在娛樂產業可能被視為「虛擬化身」,但也引發了身份欺騙的爭議。
虛擬客服與數位人:企業開始使用即時合成的「數位人」擔任客服、導覽等角色。這些數位人的臉可能是完全虛構的,也可能是經過授權的真實人物形象。
電影製作:好萊塢已開始使用即時換臉技術進行「預視覺化」(Previsualization),讓導演在拍攝現場即時看到演員「變老」「變年輕」或「變成另一個人」的效果。
第七章:語音 Deepfake——聲音的偽造
7-1 語音合成技術的演進
Deepfake 的範疇不僅限於影像,語音偽造同樣是嚴重的威脅。語音合成的技術演進歷程:
傳統拼接式合成(1990s-2010s):將錄製的大量語音片段切割為「音素」(語言的最小發音單位),再根據目標句子拼接組合。缺點是自然度低,拼接處常有斷裂感。
參數式合成(2000s-2010s):使用統計模型(如隱馬可夫模型)學習語音的聲學參數,再從參數合成語音。比拼接式流暢,但音質較為機械。
神經網路語音合成(2016-至今):WaveNet(DeepMind,2016)首次展示了基於深度學習的語音合成,生成品質接近人聲。Tacotron 系列(Google,2017-2018)實現了「文字到語音」的端到端神經網路合成。
零樣本語音複製(2021-至今):VALL-E(Microsoft,2023)等模型只需三秒鐘的目標說話者音訊,即可生成該聲音說出任意內容的語音。GPT-SoVITS、OpenVoice 等開源模型進一步降低了門檻。
7-2 語音複製的技術原理
現代語音複製技術通常採用以下架構:
說話者編碼器(Speaker Encoder):從目標說話者的語音樣本中提取「聲紋特徵」,包括音色、音高、語速、韻律等。這個特徵向量代表「這個人的聲音聽起來是什麼樣子」。
文字編碼器(Text Encoder):將目標文字轉換為音素序列和韻律標記,表示「要說什麼」以及「怎麼說」。
聲碼器(Vocoder):將聲學特徵轉換為實際的音訊波形。現代的聲碼器(如 HiFi-GAN、WaveGlow)基於神經網路,能生成高保真的音訊。
合成的過程是:將「說話者的聲紋特徵」與「目標文字的語音特徵」結合,送入聲碼器生成音訊。結果是目標文字以目標說話者的聲音「說出來」。
7-3 語音 Deepfake 的風險場景
語音偽造的風險可能比影像偽造更為迫切,原因在於:
- 訓練資料需求極低:現代模型只需幾秒到幾分鐘的音訊樣本即可複製聲音,而影像換臉需要大量照片
- 電話是天然的傳播管道:電話通話的音質較低,正好掩蓋了合成語音中的微小瑕疵
- 缺乏視覺輔助線索:在純語音通話中,受害者無法依靠視覺線索來判斷對方身份
具體的風險場景包括:
假冒家人求救:詐騙集團複製受害者親友的聲音,撥打電話謊稱遭遇緊急事故需要匯款。2023年美國聯邦貿易委員會發布警報,此類「緊急詐騙」案件激增。
偽造商業指令:複製公司高層的聲音,透過語音訊息向財務部門下達匯款指令。2024年香港某公司的財務人員因此損失超過 2500 萬美元。
偽造政治聲明:生成政治人物的虛假語音,在社群媒體上散布不實言論,可能影響輿論甚至選舉。
第八章:如何辨識 Deepfake?——從肉眼觀察到技術偵測
8-1 視覺線索:人眼能觀察到的破綻
隨著技術進步,肉眼辨識 Deepfake 的難度持續提升,但仍有一些值得注意的線索:
生理訊號不一致:
- 眨眼頻率異常:部分早期 Deepfake 中的人物幾乎不眨眼或眨眼不自然
- 瞳孔反射不一致:真實人臉的雙眼中應有相同的環境反射,Deepfake 可能出現左右眼反射不同的情況
- 膚色與頸部色差:換臉區域與頸部、耳後的膚色可能出現不連續
- 牙齒細節異常:牙齒的數量和形狀是生成模型容易出錯的區域
物理一致性:
- 光影方向矛盾:臉部的陰影方向與環境光源不符
- 頭髮與臉部交界:髮絲穿過臉部的細節極難偽造,邊界處可能出現模糊或異常
- 飾品變形:耳環、眼鏡等飾品可能在臉部變形時出現扭曲
運動異常:
- 頭部轉動時的「閃爍」:大幅轉頭時,合成臉可能短暫失去追蹤,出現跳動
- 表情與情緒不匹配:嘴角上揚但眼睛周圍沒有相應的肌肉收縮
8-2 技術偵測方法:以 AI 對抗 AI
依賴肉眼辨識越來越不可靠,研究者開發了多種基於 AI 的偵測方法:
| 偵測方法 | 原理 | 優點 | 限制 |
|---|---|---|---|
| 頻率分析 | 生成模型在上採樣過程中會在圖像的頻率域留下特定痕跡 | 對 GAN 生成的內容效果極佳 | 對擴散模型生成內容的效果下降 |
| 生理訊號偵測 | 分析影片中人物的心跳、呼吸等微訊號,判斷是否為真人 | 難以被生成模型模仿 | 需要足夠解析度和長度的影片 |
| 臉部邊界分析 | 偵測臉部與背景交界處的像素異常 | 對換臉型 Deepfake 有效 | 對全臉生成型無效 |
| 深度學習分類器 | 訓練卷積神經網路分辨真偽影片 | 可持續更新適應新技術 | 容易過擬合,泛化能力受限 |
| 來源驗證 | 透過區塊鏈或數位簽章驗證媒體的來源和完整性 | 最根本的防禦 | 需要產業鏈配合,短期內難以普及 |
8-3 台灣與全球的偵測工具
多個組織已開發出可用的 Deepfake 偵測工具:
Microsoft Video Authenticator:微軟開發的工具,可以分析影片並輸出「操縱機率」分數。已提供給新聞機構和選舉機關使用。
Deepware Scanner:開源社群開發的偵測工具,可掃描影片中的 Deepfake 痕跡,提供網頁版和 API 介面。
Sensity AI:商業化的 Deepfake 偵測服務,被多家金融機構和社群平台採用。
Taiwan AI Labs 的 Deepfake 檢測服務:臺灣人工智慧實驗室開發的偵測系統,針對亞洲人臉進行了在地化優化,曾協助臺灣事實查核中心辨識多起 Deepfake 事件。
國立臺灣大學的「假訊息研究中心」:致力於開發針對繁體中文語境和亞洲人臉的 Deepfake 偵測技術。
8-4 辨識 Deepfake 的實用策略
單一線索不可靠,綜合多種訊號才是務實的做法:
「多因素驗證」思維:不依賴單一證據判斷真偽。如果一段影片的內容令人震驚,嘗試從其他獨立來源驗證同一事件是否被報導。
檢查來源與脈絡:影片是誰發布的?原始來源是什麼?發布時間與宣稱的事件時間是否吻合?影片是否經過多次轉傳導致品質下降?
注意情緒操縱:Deepfake 的傳播往往利用強烈情緒——憤怒、恐懼、同情——來降低受眾的批判性思考。當一段內容讓你情緒高漲時,先停下來深呼吸,再做判斷。
善用反向影像搜尋:將影片截圖上傳至 Google Images 或 TinEye,檢查該畫面是否曾出現在其他脈絡中。
第九章:法律與倫理——全球與臺灣的因應
9-1 臺灣的法律框架
臺灣在 Deepfake 相關立法上起步較早,2023年修訂的《刑法》已納入相關條文:
《刑法》第 339 條之 4(加重詐欺罪):利用 Deepfake 技術進行詐欺,可處一年以上七年以下有期徒刑,得併科一百萬元以下罰金。
《刑法》第 235 條(散布猥褻物品罪):製作或散布以 Deepfake 技術合成的不雅影片,可處有期徒刑。
《個人資料保護法》:未經同意處理他人的臉部影像等生物特徵資料,可能違反個資法,最高可處五百萬元罰鍰。
《兒童及少年性剝削防制條例》:利用 Deepfake 技術生成未成年人的性影像,加重處罰。
2024年,立法院進一步審議「人工智慧基本法」草案,其中對生成式 AI 的標示義務、資料治理、風險分級等提出規範框架。
9-2 全球立法趨勢
歐盟:《人工智慧法案》(AI Act)於2024年正式生效,將 Deepfake 歸類為「有限風險」AI 系統,要求生成內容必須明確標示為人工生成。違反者最高可處全球營業額 7% 的罰款。
美國:聯邦層面尚無統一立法,但多州已通過相關法律。加州 2019 年立法禁止在選舉前 60 天內散布候選人的 Deepfake 影片;德州、紐約州等地也通過了針對非自願色情 Deepfake 的刑事處罰。
中國:2023年實施的《互聯網信息服務深度合成管理規定》要求深度合成服務提供者對生成內容添加不可移除的標識,並實名制管理使用者。
南韓:2020年修訂《性暴力犯罪處罰特例法》,將製作和散布 Deepfake 色情內容定為刑事犯罪,最高可處五年有期徒刑。
9-3 倫理困境與未解難題
法律無法解決所有問題。Deepfake 引發的倫理挑戰包括:
藝術自由與侵害的界線:諷刺性 Deepfake(如政治諷刺影片)受到言論自由保護,但如何界定「諷刺」與「惡意欺騙」的界線?
「數位復活」的倫理:電影產業已開始使用 Deepfake 技術讓已故演員「重新演出」。這種做法是否應獲得家屬同意?已故者的肖像權如何保護?
舉證責任的翻轉:「眼見不為憑」的時代,任何人都有可能聲稱「這是 Deepfake」來否認真實的影像證據。司法體系如何因應這種「騙子紅利」(Liar’s Dividend)的風險?
偵測技術的軍備競賽:每當偵測技術進步,生成技術也在同步進化。這種永無止境的競賽,是否可能走向「無法偵測」的終點?如果那一天到來,社會該如何運作?
第十章:防禦與反擊——個人、組織與社會的因應策略
10-1 個人層面的防禦
保護你的生物特徵資料:
- 社群媒體上的高解析度正面照是 Deepfake 的最佳訓練素材,適度調整隱私設定
- 避免公開長時間、高品質、正面直視鏡頭的影片
- 對陌生人請求視訊通話保持警覺
建立「驗證文化」:
- 家人之間可以約定「暗號」或「密語」,用於緊急情況下的身份驗證
- 接到可疑的語音或視訊請求時,主動回撥確認
- 對於涉及金錢交易的任何通訊,使用第二種獨立管道驗證
提升媒體素養:
- 了解 Deepfake 技術的能力和限制,認識到「看起來真實」不等於「真實」
- 在分享令人震驚的內容前,先進行基本的來源查證
- 關注可靠的事實查核機構,如臺灣事實查核中心、MyGoPen 等
10-2 組織層面的防禦
金融機構:
- 在視訊身份驗證流程中引入「活體檢測」:要求使用者執行隨機動作(如轉頭、眨眼、念出隨機數字)
- 超過一定金額的交易,強制使用多重驗證管道
- 部署 AI 偵測工具輔助人工審查
媒體機構:
- 建立「來源驗證」標準作業程序,對來路不明的影片先做技術分析再決定是否採用
- 使用內容來源與真實性聯盟(C2PA)等標準,為發布的內容添加數位簽章
- 培訓記者和編輯辨識 Deepfake 的基本能力
企業:
- 將 Deepfake 風險納入資安培訓教材
- 建立「緊急情況驗證協議」:任何涉及金錢或敏感資訊的緊急通訊,必須透過預先約定的第二管道確認
- 考慮採用企業級的通訊加密與身份驗證方案
10-3 社會層面的因應
教育體系:將媒體素養和 AI 倫理納入中小學課程,培養下一代對合成媒體的批判性思考能力。
事實查核生態系:支持獨立事實查核機構的運作,建立快速回應的查核機制,在假訊息擴散前即時澄清。
技術標準:推動 C2PA(內容來源與真實性聯盟)等內容溯源標準的普及,讓真實媒體具有可驗證的「數位出生證明」。
跨國合作:Deepfake 的傳播不受國界限制,需要國際間的資訊共享和聯合執法機制。
常見問答(FAQ)
Q1:Deepfake 和一般的 Photoshop 修圖有什麼不同?
Photoshop 是人工手動編輯,需要專業技能和大量時間,而且編輯痕跡通常可以被專業人士偵測。Deepfake 利用深度學習模型自動生成或操縱內容,速度快(可以是即時的)、規模大(可以大量生成),且生成的內容在像素層面上是「全新」的,傳統的編輯偵測方法往往失效。
Q2:製作 Deepfake 需要很強的技術能力嗎?
2024年的答案是:不需要。多款手機應用程式提供「一鍵換臉」功能,使用者只需上傳一張照片和一段影片即可完成。更高品質的 Deepfake 需要一定的技術知識,但開源工具的教學資源豐富,有心學習者在數週內即可掌握基本操作。門檻的降低是 Deepfake 氾濫的主要原因之一。
Q3:Deepfake 可以被 100% 偵測出來嗎?
目前不能。偵測技術和生成技術處於持續的「軍備競賽」狀態。最先進的生成模型產出的內容,即使是頂尖偵測系統的準確率也難以達到 100%。而且偵測模型往往對訓練時未見過的新生成方法表現不佳。因此,偵測工具應作為輔助手段,而非唯一防線。
Q4:如果我的臉被用來製作 Deepfake,我可以採取什麼法律行動?
在臺灣,你可以依據《個人資料保護法》主張未經同意處理個人生物特徵資料的損害賠償。如果是被用於色情內容,可能觸犯《刑法》相關條文。實務上,第一步是保存證據(截圖、網址、時間戳記),然後向警方報案或尋求律師協助。臺灣事實查核中心和 iWIN 網路內容防護機構也能提供相關協助。
Q5:AI 生成的「不存在的人」算不算 Deepfake?
廣義上算。Deepfake 的定義已擴展到涵蓋所有利用深度學習生成的合成媒體,包括完全虛構的人臉和人物。這類「全生成」內容在詐騙(建立假身份)和散布虛假資訊(偽造「目擊者」)方面具有很大的濫用潛力。
Q6:Deepfake 技術有沒有正面的應用?
有,而且不少。電影產業使用 Deepfake 進行特效製作和「減齡」處理;醫療領域使用合成影像擴充訓練資料;語言學習應用程式使用語音合成提供真人般的發音示範;遊戲產業使用即時換臉讓玩家化身為角色。技術本身是中性的,關鍵在於用途和是否經過當事人同意。
Q7:區塊鏈技術能解決 Deepfake 問題嗎?
區塊鏈可以作為內容溯源系統的一部分:在媒體內容產生時記錄其數位指紋和來源資訊,之後任何修改都會導致指紋不匹配。C2PA 等標準正在推動這種「內容憑證」的普及。然而,區塊鏈無法解決所有問題——如果造假者從頭到尾都使用偽造的「來源資訊」來發布內容,區塊鏈只能驗證「這個來源發布了這個內容」,無法驗證「內容本身是否真實」。
Q8:臺灣有專門處理 Deepfake 案件的單位嗎?
刑事警察局的「科技犯罪防制中心」負責偵辦網路科技犯罪案件,包括 Deepfake 相關案件。此外,iWIN 網路內容防護機構處理網路不當內容的申訴,臺灣事實查核中心則提供事實查核服務。一般民眾遭遇 Deepfake 侵害時,建議先向警方報案,同時可向上述機構尋求專業協助。
結語:在「後真相」時代保持清醒
Deepfake 技術的出現,迫使人類面對一個前所未有的哲學困境:當我們最信任的感官——視覺和聽覺——不再可靠時,我們該相信什麼?
這個問題沒有簡單的答案。技術的進步不會停止,生成模型的品質只會越來越好,偵測的難度只會越來越高。但人類的適應力也不容小覷。歷史上,每一次媒體技術的革命——從印刷術到攝影術,從廣播到網路——都伴隨著信任危機和社會調適的過程。Deepfake 只是這個漫長歷程中的最新一章。
面對 Deepfake,最有效的防禦不是任何單一的技術工具,而是思維方式的轉變:從「眼見為憑」轉變為「多重驗證」,從「被動接收」轉變為「主動查證」,從「情緒反應」轉變為「理性判斷」。
理解 Deepfake 的技術原理,正是這個轉變的起點。當你知道這些逼真假影片是如何被製造出來的,你就擁有了抵抗它們的第一道防線。
作者簡介
陳立恆,國立臺灣大學資訊工程學博士候選人,研究領域為電腦視覺與生成式模型。曾任職於臺灣人工智慧實驗室(Taiwan AI Labs),參與 Deepfake 偵測系統的開發與測試。目前為獨立資安顧問,協助金融機構與媒體組織建構合成媒體的防禦機制。長期在《數位時代》、《資安人》等媒體撰寫 AI 安全專欄,並於各大專院校開設「AI 與媒體素養」工作坊。著有《演算法如何騙了你:AI 時代的媒體識讀指南》一書(2025年出版)。


















