Deepfake影片技術原理？理解AI造假才能有效反擊
Deepfake 影片技術原理：理解 AI 造假才能有效反擊
前言：當「眼見為憑」成為歷史
2024年，臺灣某知名企業高層的視訊會議畫面遭人即時換臉，詐騙集團在短短七分鐘內得手新臺幣兩千萬元。同年，多位女性藝人的臉孔被惡意合成到不雅影片中，在網路論壇流傳。這些事件不再是科幻電影的情節，而是你我身邊正在發生的日常。
「有圖有真相」的時代已經結束，「有影片也未必是真相」的時代正式來臨。Deepfake——深度偽造技術，正以驚人的速度進化。根據資安公司 SentinelOne 的統計，2023年全球 Deepfake 相關的詐騙案件較前一年成長了超過 300%。面對這樣的浪潮，恐慌無濟於事，理解才是最好的防禦。
這篇文章將帶你深入 Deepfake 的技術核心，從神經網路的基本原理講起，一步步拆解這些逼真假影片背後的數學與工程。你不必是資工背景，也能理解這些技術的運作邏輯，進而學會辨識、防範，甚至在必要時反擊。
第一章：什麼是 Deepfake？——定義、範疇與發展脈絡
1-1 名詞溯源：從 Reddit 用戶名到全球現象
「Deepfake」一詞誕生於2017年，源自 Reddit 論壇上一名用戶的帳號名稱「deepfakes」。這位用戶利用當時剛開源的 TensorFlow 深度學習框架，將成人影片中的臉孔替換成好萊塢明星，並將成果發布在論壇上。這個帳號名稱結合了「Deep Learning」（深度學習）和「Fake」（偽造）兩個詞，精準描述了這項技術的本質：利用深度學習模型生成以假亂真的偽造內容。
短短幾年內，這個原本只在特定論壇流傳的詞彙，成為全球媒體、政府、科技公司的共同關注焦點。《牛津英語辭典》於2023年正式收錄此詞；臺灣國家教育研究院亦將其中文譯名定為「深度偽造」。
1-2 Deepfake 的範疇：不只是換臉
許多人以為 Deepfake 就等於「換臉」，但實際上它的範疇遠比這廣泛。廣義的 Deepfake 涵蓋所有利用深度學習技術生成或操縱的合成媒體內容，包括：
| 類型 | 說明 | 常見應用與風險 |
|---|---|---|
| 人臉交換（Face Swapping） | 將影片中A的臉替換成B的臉 | 最常見的 Deepfake 形式，常用於惡意造假 |
| 臉部重演（Face Reenactment） | 操縱臉部表情、嘴型、眼神，讓目標人物說出從未說過的話 | 政治人物造假演說、偽造證詞 |
| 全臉生成（Full Face Generation） | 憑空生成不存在的人臉 | 假帳號頭像、虛擬網紅、詐騙身份 |
| 語音複製（Voice Cloning） | 複製特定人物的聲音、語調、說話習慣 | 電話詐騙、偽造錄音證據 |
| 全身動作合成（Full Body Synthesis） | 生成或操縱整個身體的動作 | 偽造監視器畫面、運動員造假 |
| 唇形同步（Lip Sync） | 僅調整嘴型使其與音訊匹配 | 偽造訪談、配音造假 |
1-3 發展脈絡：從實驗室到人手一支手機
Deepfake 技術的演進，可以粗略分為四個階段：
第一階段（2014-2017）：學術萌芽期。 蒙特婁大學的 Ian Goodfellow 於2014年提出「生成對抗網路」（GAN）概念，奠定了日後 Deepfake 的理論基礎。這一階段的技術門檻極高，需要專業的機器學習知識和大量運算資源。
第二階段（2017-2019）：開源爆發期。 Reddit 用戶公開了基於自動編碼器的換臉方法後，開源社群迅速跟進。2018年推出的「FakeApp」讓一般使用者只需準備足夠的照片和影片，就能在個人電腦上執行換臉操作。2019年，DeepFaceLab 和 FaceSwap 等開源工具成熟，Deepfake 開始大量湧現。
第三階段（2020-2023）：商用化與行動化。 2020年起，多款手機應用程式開始提供「一鍵換臉」功能，技術門檻降至近乎為零。同時，生成對抗網路與擴散模型的突破，使得生成品質大幅提升。2022年，Stable Diffusion 和 Midjourney 等圖像生成模型問世，Deepfake 從「編輯既有素材」進化到「憑空生成」。
第四階段（2024至今）：即時化與多模態。 即時換臉技術已能在直播中同步替換人臉，延遲低於 100 毫秒。同時，結合文字生成、影像生成、語音生成的「多模態」Deepfake 出現，攻擊者可以用一段文字描述就生成完整的偽造影片。
第二章：神經網路的基礎——Deepfake 的「大腦」
2-1 類神經網路：模仿人腦的數學結構
要理解 Deepfake，得先認識它的核心引擎：類神經網路（Artificial Neural Network, ANN）。這是一種模仿生物神經系統運作方式的數學模型，由大量相互連接的「神經元」組成。
一個神經元做的事情很簡單：接收多個輸入、加權求和、通過一個「激發函數」決定是否輸出訊號。單一神經元就像一個水龍頭開關，但當數百萬個神經元以特定方式排列連接時，整個網路就能執行非常複雜的任務——就像數億個簡單的腦細胞組合起來，就能產生意識。
2-2 深度學習：「深度」在哪裡？
「深度學習」中的「深度」，指的是神經網路中「隱藏層」的數量。傳統的淺層網路只有一到兩層隱藏層，而深度學習模型可能有數十甚至數百層。每一層負責提取不同抽象程度的特徵：
- 第一層：偵測邊緣、顏色、明暗等最基礎的視覺特徵
- 中間層：組合成紋理、形狀、五官輪廓等較複雜的模式
- 深層：辨識出完整的臉孔、表情、身份等高度抽象的概念
這種層層堆疊的結構，讓深度學習模型能從原始像素中「自動學習」到有用的表徵，而不需要人類手動設計特徵——這正是 Deepfake 得以實現的關鍵。
2-3 卷積神經網路：影像處理的王者
在眾多神經網路架構中，卷積神經網路（Convolutional Neural Network, CNN）是處理影像資料的主流選擇。它的核心操作是「卷積」：用一個小型的濾波器在圖像上滑動，每次計算一個局部區域的加權和。
可以將 CNN 想像成一個用放大鏡逐區檢視圖像的偵探。它不會一次看完整張圖，而是先看左上角的一小塊，再看旁邊的一小塊，逐步掃過整張圖。每個「放大鏡」（濾波器）專門負責偵測某一種特徵，例如水平線、垂直線、圓形、特定顏色等。經過多層卷積和池化操作後，網路最終能對整張圖的內容做出精確判斷。
CNN 在2012年 ImageNet 競賽中大放異彩後，迅速成為電腦視覺領域的標準工具，也是所有 Deepfake 模型的基礎組件。
2-4 自動編碼器：壓縮與重建的藝術
自動編碼器（Autoencoder）是另一種重要的神經網路架構，也是早期 Deepfake 技術的核心。它由兩個部分組成：
- 編碼器（Encoder）：將輸入資料（例如一張人臉圖像）壓縮成一個低維度的「潛在表示」（Latent Representation）。這個潛在表示通常只有幾百個數字，但包含了重建臉孔所需的核心資訊——臉型、五官位置、光線角度等。
- 解碼器（Decoder）：接收潛在表示，將其重建為完整的圖像。
自動編碼器的訓練目標是「輸入等於輸出」：給它一張臉，它要能重建出同一張臉。聽起來簡單，但關鍵在於那個狹窄的「瓶頸」——潛在表示的維度遠小於原始圖像。這迫使編碼器學會「提取本質」、捨棄細節，而解碼器學會「從本質重建細節」。
打個比方，自動編碼器就像一位畫家的速寫本。畫家看到一張臉，不會記下每個毛孔和每根髮絲，而是在腦中記下關鍵的比例、角度、神韻。回到工作室後，再憑這些速寫重新畫出完整肖像。編碼器就是「速寫」的過程，解碼器就是「重畫」的過程。
第三章：第一代 Deepfake 技術——自動編碼器換臉法
3-1 核心概念：共用編碼器、分離解碼器
2017年 Reddit 用戶公開的換臉方法，其巧妙之處在於對自動編碼器結構的改良。傳統自動編碼器是「一人一組」：訓練一個模型處理一個人的臉。但這套方法的關鍵創新是：
讓兩個人的臉共用同一個編碼器，但使用各自的解碼器。
為什麼要這樣做？因為編碼器的任務是「提取通用的人臉特徵」——五官位置、表情、光線等，這些資訊對任何人都適用。而解碼器的任務是「重建特定人物的臉部細節」——膚色、皺紋、鬍鬚等個人特徵。
訓練完成後，換臉的操作流程如下：
- 將 A 的影片幀輸入共用編碼器，得到 A 的潛在表示（包含 A 的表情、角度、光線資訊）
- 將這個潛在表示送入 B 的解碼器
- B 的解碼器用 B 的臉部特徵來「詮釋」A 的表情和角度，輸出一張「長得像 B、但表情動作是 A」的臉
- 將合成臉貼回原影片，完成換臉
3-2 訓練流程：資料是關鍵
這套方法的成敗，取決於訓練資料的品質和數量。典型訓練流程包括：
步驟一：資料收集。 從公開影片、社群媒體照片等來源收集 A 和 B 的大量臉部影像。一般而言，至少需要數千張包含不同角度、表情、光線條件的臉部照片。許多開源工具的預設值是「越多越好」，部分進階使用者會收集超過十萬張訓練圖像。
步驟二：臉部偵測與對齊。 使用人臉偵測演算法（如 MTCNN、RetinaFace）在每張圖像中定位臉部位置，然後進行「對齊」——將臉部旋轉、縮放、裁切到標準化的位置和大小，使所有訓練圖像中臉部的位置和比例一致。這一步驟就像把所有食材切成相同大小，才能均勻烹調。
步驟三：遮罩處理。 在訓練和合成過程中，需要區分「臉部區域」和「背景區域」。遮罩（Mask）是一張黑白圖，白色表示臉部（需要處理的區域），黑色表示背景（原封不動保留）。精細的遮罩處理可以避免換臉後出現明顯的邊界瑕疵。
步驟四：模型訓練。 將處理好的圖像餵入神經網路，以反向傳播演算法反覆調整權重。訓練時間取決於硬體和資料量，從數小時到數天不等。訓練完成的模型約需數百 MB 至數 GB 的儲存空間。
步驟五：合成與後製。 將目標影片逐幀送入模型進行換臉，再將合成臉貼回原影片。後製階段通常包括邊緣羽化、顏色校正、光影調整等，使合成結果更加自然。部分工具還會使用「超解析度模型」提升合成臉的清晰度。
3-3 優點與限制
自動編碼器法的優點是：
- 架構簡單：易於理解和實現，開源工具成熟
- 訓練資料需求相對較低：數千張圖像即可產生可用結果
- 可控性高：可以精確控制「誰的臉換到誰身上」
限制也很明顯：
- 需要逐對訓練：每換一對新的組合（A→B）都要重新訓練模型
- 對光線和角度敏感：當目標影片的光線條件與訓練資料差異過大時，效果明顯下降
- 遮罩品質決定成敗：臉部邊界的處理不當會產生「面具感」
第四章：生成對抗網路——Deepfake 的「進化引擎」
4-1 GAN 的核心思想：偽造者與鑑定者的競賽
2014年，Ian Goodfellow 在論文中提出了生成對抗網路（Generative Adversarial Network, GAN）的概念。這個想法的精妙之處在於它引入了「對抗」的訓練機制。
GAN 由兩個神經網路組成：
- 生成器（Generator）：負責從隨機雜訊中生成圖像，目標是「騙過鑑別器」
- 鑑別器（Discriminator）：負責判斷輸入圖像是「真實的」還是「生成的」，目標是「識破生成器的謊言」
這兩個網路在訓練過程中不斷相互對抗。生成器試圖生成越來越逼真的圖像，而鑑別器則努力學習分辨真偽。這個過程可以用一個比喻來理解：
生成器是偽鈔製造者，鑑別器是驗鈔員。製造者不斷改良印刷技術，讓偽鈔越來越像真的；驗鈔員則不斷研究偽鈔的特徵，提升辨識能力。兩者相互逼迫對方進步，最終製造者的技術好到連頂尖驗鈔員都無法分辨——這就是 GAN 訓練的目標狀態。
4-2 GAN 的數學原理
從數學角度來看，GAN 的訓練是一個「極小極大遊戲」（Minimax Game）。鑑別器 D 試圖最大化正確分類真實圖像和生成圖像的機率，而生成器 G 試圖最小化鑑別器的正確率。損失函數可以寫成：
min_G max_D V(D, G) = E[log D(x)] + E[log(1 – D(G(z)))]
其中 x 是真實圖像，z 是隨機雜訊，D(x) 是鑑別器判斷 x 為真實的機率，G(z) 是生成器從雜訊生成的圖像。
當訓練達到「納許均衡」（Nash Equilibrium）時，生成器產出的圖像分佈與真實圖像分佈完全重合，鑑別器無法分辨真偽，只能隨機猜測（輸出機率為 50%）。
4-3 GAN 在 Deepfake 中的應用
GAN 的出現將 Deepfake 推進到全新境界。相較於自動編碼器法的「編輯既有內容」，GAN 可以「憑空生成」不存在的人臉和場景。幾種代表性的應用包括：
StyleGAN（2018-2019，NVIDIA）：可以生成解析度高達 1024×1024 的逼真人臉，其生成的假人臉在「This Person Does Not Exist」網站上廣為流傳，許多人第一次看到時完全無法相信這些臉孔不存在於現實世界。
Pix2Pix 與 CycleGAN（2017，UC Berkeley）：前者實現了「圖像到圖像的翻譯」，例如將素描轉換成照片、將白天場景轉換成夜晚；後者更進一步，不需要配對的訓練資料，就能實現風格轉換——這正是「將 A 的畫風應用到 B 的照片上」這類應用的基礎。
GANimation（2018）：專門用於臉部表情的操縱，可以根據「目標表情」的參數，將靜態人臉照片轉換為帶有特定表情的圖像，實現「讓照片中的人微笑」甚至「讓照片中的人眨眼」。
StarGAN（2018）：單一模型即可執行多種「圖像到圖像」的轉換任務，例如同時完成「改變髮色」「改變性別」「改變年齡」等多種操作，不需要為每種轉換訓練獨立模型。
4-4 GAN 的訓練困難
GAN 的強大能力伴隨著嚴重的訓練困難。實務上，GAN 的訓練被形容為「走鋼索」：
- 模式崩潰（Mode Collapse）：生成器找到一種能騙過鑑別器的「偷懶方式」，之後只生成極度相似的圖像，缺乏多樣性。例如生成器可能只學會生成某一種角度的人臉，不管輸入什麼雜訊都輸出幾乎相同的結果。
- 訓練不穩定：生成器和鑑別器之間的平衡極難掌握。如果鑑別器太強，生成器永遠學不會；如果生成器太強，鑑別器失去作用，訓練也無法繼續。
- 梯度消失：當鑑別器完美分類時，生成器的梯度趨近於零，無法更新參數。
為了解決這些問題，研究者提出了多種改良版本：WGAN（Wasserstein GAN）改變損失函數以穩定訓練；DCGAN 引入卷積結構提升品質；Progressive GAN 從低解析度開始逐步增加解析度，大幅提升了生成品質和訓練穩定性。
第五章：擴散模型——新一代 Deepfake 的核心引擎
5-1 從「對抗」到「去噪」：典範轉移
2022年以降，擴散模型（Diffusion Model）取代 GAN 成為生成模型的主流。Stable Diffusion、DALL-E 2、Midjourney 等轟動全球的圖像生成模型，全部基於擴散模型的原理。
擴散模型的核心思想與 GAN 截然不同。GAN 是「對抗式」的——兩個網路相互競爭；擴散模型則是「循序漸進式」的——先學會破壞，再學會修復。
訓練過程分為兩個階段：
前向擴散（Forward Diffusion）：取一張真實圖像，逐步加入高斯雜訊。經過足夠多的步驟（通常為 1000 步）後，圖像完全變成純隨機雜訊，原本的內容完全不可辨識。
反向擴散（Reverse Diffusion）：訓練一個神經網路，學習「從雜訊中逐步恢復圖像」。給它一張加了雜訊的圖像和步驟編號，它要預測並移除雜訊，使圖像「往回一步」。訓練完成後，這個網路就能從純雜訊開始，一步步「去噪」，最終生成一張全新的圖像。
5-2 為什麼擴散模型比 GAN 更強？
擴散模型之所以在近年迅速取代 GAN 成為主流，有以下關鍵優勢：
| 比較面向 | GAN | 擴散模型 |
|---|---|---|
| 訓練穩定性 | 極不穩定，容易模式崩潰 | 相對穩定，損失函數平滑 |
| 生成多樣性 | 容易陷入模式崩潰，多樣性受限 | 多樣性極佳，能覆蓋更廣的資料分佈 |
| 生成品質 | 早期較高，但解析度受限 | 可達極高解析度（1024×1024 以上） |
| 條件控制 | 較困難 | 透過文字提示等條件引導，控制能力強 |
| 運算成本 | 訓練較快，生成極快 | 訓練較慢，生成需多次迭代（較慢） |
簡言之，GAN 在「生成速度」上仍有優勢，但在「生成品質」「多樣性」「可控性」等關鍵指標上，擴散模型全面勝出。
5-3 擴散模型在 Deepfake 中的應用
擴散模型的出現，讓 Deepfake 從「需要大量目標人物影像的換臉」進化為「僅需少數幾張照片即可生成新內容」。代表性的應用包括：
DreamBooth（Google，2022）：只需三到五張目標人物的照片，就能將該人物「教導」給預訓練的擴散模型。之後，使用者可以透過文字提示，讓模型生成該人物在各種場景、服裝、姿態下的圖像。這項技術被廣泛用於生成公眾人物的假照片。
LoRA（Low-Rank Adaptation，2023）：一種輕量化的模型微調技術，可以在不修改原始模型權重的前提下，用極少的額外參數（通常僅數 MB）教會模型生成特定人物的臉。LoRA 大幅降低了 Deepfake 的門檻——任何人只要有幾張目標人物的照片，就能在個人電腦上訓練出可用的模型。
ControlNet（2023）：為擴散模型添加精確的結構控制能力。使用者可以提供姿勢骨架、邊緣圖、深度圖等條件，讓生成內容精確符合指定的結構。在 Deepfake 場景中，這意味著可以強制生成的人臉符合特定的角度、表情和姿勢。
AnimateDiff（2023）：將靜態圖像生成擴展到動態影片生成，讓擴散模型能產生連貫的短影片片段。這項技術結合人臉生成模型後，可以憑空生成「不存在的人」的動態影片。
5-4 從圖像到影片：時間一致性的挑戰
擴散模型在靜態圖像生成上已經相當成熟，但應用於影片時面臨一個獨特的挑戰：時間一致性（Temporal Consistency）。
如果逐幀獨立生成影片的每一幀，雖然每一幀看起來都很逼真，但幀與幀之間會出現「跳動」——臉部細節、光影、背景在連續幀之間產生不自然的變化。這是因為模型沒有「記住」前一幀的內容。
解決方案包括：
- 時序注意力機制：讓模型在生成當前幀時，同時「關注」前後幀的內容，確保一致性
- 潛在空間插值：在低維度的潛在空間中進行平滑的軌跡規劃，再解碼為連續幀
- 光流引導：利用光流估計前一幀與當前幀之間的運動關係，引導生成過程保持連貫
這些技術的成熟，使得2024年以後的 Deepfake 影片品質達到了前所未有的水準——肉眼幾乎無法僅憑「看起來怪怪的」來辨識。
第六章：即時 Deepfake——從離線處理到即時合成
6-1 即時換臉的技術挑戰
早期的 Deepfake 需要數小時甚至數天的離線處理，因為每處理一秒鐘的影片就需要進行數十次神經網路前向傳播。要在「即時」情境下完成換臉——例如視訊通話中的即時替換——需要克服幾個巨大挑戰：
運算速度：即時換臉需要每秒處理至少 25 至 30 幀畫面，每幀都要完成「人臉偵測 → 對齊 → 編碼 → 解碼 → 貼回」的完整流程。在 1080p 解析度下，這意味著每秒要執行數十億次浮點運算。
延遲控制：即使運算速度夠快，整個流程的「端到端延遲」（從攝影機捕捉到顯示輸出）也必須低於人類能察覺的閾值。一般而言，視訊通話的延遲若超過 200 毫秒，使用者就會感到不自然。
品質與速度的權衡：高品質的換臉模型通常運算量龐大，要達到即時運算勢必犧牲品質。如何在速度和品質之間找到平衡，是即時 Deepfake 的核心工程挑戰。
6-2 輕量化模型與硬體加速
即時 Deepfake 的實現，仰賴以下幾項關鍵技術：
模型蒸餾（Knowledge Distillation）：用一個大型、高品質的「教師模型」教導一個小型、高效率的「學生模型」。學生模型學習模仿教師模型的輸出，但參數量可能僅為教師的十分之一甚至更低，運算速度因此大幅提升。
量化（Quantization）：將神經網路的權重從 32 位元浮點數壓縮為 16 位元、8 位元甚至更低的精度。8 位元量化的模型在專用硬體上可以快 4 倍以上，而品質損失在許多應用中幾乎不可察覺。
張量核心與 NPU：NVIDIA 的 GPU 中配備了專門加速矩陣運算的「張量核心」（Tensor Core），而手機中的「神經處理單元」（Neural Processing Unit, NPU）則針對神經網路推理進行了硬體級優化。這些專用硬體使得在消費級裝置上執行即時換臉成為可能。
Ghost 模組與深度可分離卷積：這些輕量化的網路架構大幅減少了卷積運算的計算量。例如 MobileNet 系列模型在手機上即可即時執行，而 GhostFaceNets 則實現了極輕量的人臉辨識。
6-3 即時 Deepfake 的實際應用
即時換臉技術已經在現實世界中出現，包括：
視訊詐騙：2024年香港警方揭露的案件中，詐騙集團在視訊會議中使用即時換臉技術，將自己的臉替換成公司高層，成功騙取鉅額匯款。
直播換臉：部分直播主使用即時換臉技術，讓自己在直播中呈現完全不同的外貌。這在娛樂產業可能被視為「虛擬化身」，但也引發了身份欺騙的爭議。
虛擬客服與數位人：企業開始使用即時合成的「數位人」擔任客服、導覽等角色。這些數位人的臉可能是完全虛構的，也可能是經過授權的真實人物形象。
電影製作：好萊塢已開始使用即時換臉技術進行「預視覺化」（Previsualization），讓導演在拍攝現場即時看到演員「變老」「變年輕」或「變成另一個人」的效果。
第七章：語音 Deepfake——聲音的偽造
7-1 語音合成技術的演進
Deepfake 的範疇不僅限於影像，語音偽造同樣是嚴重的威脅。語音合成的技術演進歷程：
傳統拼接式合成（1990s-2010s）：將錄製的大量語音片段切割為「音素」（語言的最小發音單位），再根據目標句子拼接組合。缺點是自然度低，拼接處常有斷裂感。
參數式合成（2000s-2010s）：使用統計模型（如隱馬可夫模型）學習語音的聲學參數，再從參數合成語音。比拼接式流暢，但音質較為機械。
神經網路語音合成（2016-至今）：WaveNet（DeepMind，2016）首次展示了基於深度學習的語音合成，生成品質接近人聲。Tacotron 系列（Google，2017-2018）實現了「文字到語音」的端到端神經網路合成。
零樣本語音複製（2021-至今）：VALL-E（Microsoft，2023）等模型只需三秒鐘的目標說話者音訊，即可生成該聲音說出任意內容的語音。GPT-SoVITS、OpenVoice 等開源模型進一步降低了門檻。
7-2 語音複製的技術原理
現代語音複製技術通常採用以下架構：
說話者編碼器（Speaker Encoder）：從目標說話者的語音樣本中提取「聲紋特徵」，包括音色、音高、語速、韻律等。這個特徵向量代表「這個人的聲音聽起來是什麼樣子」。
文字編碼器（Text Encoder）：將目標文字轉換為音素序列和韻律標記，表示「要說什麼」以及「怎麼說」。
聲碼器（Vocoder）：將聲學特徵轉換為實際的音訊波形。現代的聲碼器（如 HiFi-GAN、WaveGlow）基於神經網路，能生成高保真的音訊。
合成的過程是：將「說話者的聲紋特徵」與「目標文字的語音特徵」結合，送入聲碼器生成音訊。結果是目標文字以目標說話者的聲音「說出來」。
7-3 語音 Deepfake 的風險場景
語音偽造的風險可能比影像偽造更為迫切，原因在於：
- 訓練資料需求極低：現代模型只需幾秒到幾分鐘的音訊樣本即可複製聲音，而影像換臉需要大量照片
- 電話是天然的傳播管道：電話通話的音質較低，正好掩蓋了合成語音中的微小瑕疵
- 缺乏視覺輔助線索：在純語音通話中，受害者無法依靠視覺線索來判斷對方身份
具體的風險場景包括：
假冒家人求救：詐騙集團複製受害者親友的聲音，撥打電話謊稱遭遇緊急事故需要匯款。2023年美國聯邦貿易委員會發布警報，此類「緊急詐騙」案件激增。
偽造商業指令：複製公司高層的聲音，透過語音訊息向財務部門下達匯款指令。2024年香港某公司的財務人員因此損失超過 2500 萬美元。
偽造政治聲明：生成政治人物的虛假語音，在社群媒體上散布不實言論，可能影響輿論甚至選舉。
第八章：如何辨識 Deepfake？——從肉眼觀察到技術偵測
8-1 視覺線索：人眼能觀察到的破綻
隨著技術進步，肉眼辨識 Deepfake 的難度持續提升，但仍有一些值得注意的線索：
生理訊號不一致：
- 眨眼頻率異常：部分早期 Deepfake 中的人物幾乎不眨眼或眨眼不自然
- 瞳孔反射不一致：真實人臉的雙眼中應有相同的環境反射，Deepfake 可能出現左右眼反射不同的情況
- 膚色與頸部色差：換臉區域與頸部、耳後的膚色可能出現不連續
- 牙齒細節異常：牙齒的數量和形狀是生成模型容易出錯的區域
物理一致性：
- 光影方向矛盾：臉部的陰影方向與環境光源不符
- 頭髮與臉部交界：髮絲穿過臉部的細節極難偽造，邊界處可能出現模糊或異常
- 飾品變形：耳環、眼鏡等飾品可能在臉部變形時出現扭曲
運動異常：
- 頭部轉動時的「閃爍」：大幅轉頭時，合成臉可能短暫失去追蹤，出現跳動
- 表情與情緒不匹配：嘴角上揚但眼睛周圍沒有相應的肌肉收縮
8-2 技術偵測方法：以 AI 對抗 AI
依賴肉眼辨識越來越不可靠，研究者開發了多種基於 AI 的偵測方法：
| 偵測方法 | 原理 | 優點 | 限制 |
|---|---|---|---|
| 頻率分析 | 生成模型在上採樣過程中會在圖像的頻率域留下特定痕跡 | 對 GAN 生成的內容效果極佳 | 對擴散模型生成內容的效果下降 |
| 生理訊號偵測 | 分析影片中人物的心跳、呼吸等微訊號，判斷是否為真人 | 難以被生成模型模仿 | 需要足夠解析度和長度的影片 |
| 臉部邊界分析 | 偵測臉部與背景交界處的像素異常 | 對換臉型 Deepfake 有效 | 對全臉生成型無效 |
| 深度學習分類器 | 訓練卷積神經網路分辨真偽影片 | 可持續更新適應新技術 | 容易過擬合，泛化能力受限 |
| 來源驗證 | 透過區塊鏈或數位簽章驗證媒體的來源和完整性 | 最根本的防禦 | 需要產業鏈配合，短期內難以普及 |
8-3 台灣與全球的偵測工具
多個組織已開發出可用的 Deepfake 偵測工具：
Microsoft Video Authenticator：微軟開發的工具，可以分析影片並輸出「操縱機率」分數。已提供給新聞機構和選舉機關使用。
Deepware Scanner：開源社群開發的偵測工具，可掃描影片中的 Deepfake 痕跡，提供網頁版和 API 介面。
Sensity AI：商業化的 Deepfake 偵測服務，被多家金融機構和社群平台採用。
Taiwan AI Labs 的 Deepfake 檢測服務：臺灣人工智慧實驗室開發的偵測系統，針對亞洲人臉進行了在地化優化，曾協助臺灣事實查核中心辨識多起 Deepfake 事件。
國立臺灣大學的「假訊息研究中心」：致力於開發針對繁體中文語境和亞洲人臉的 Deepfake 偵測技術。
8-4 辨識 Deepfake 的實用策略
單一線索不可靠，綜合多種訊號才是務實的做法：
「多因素驗證」思維：不依賴單一證據判斷真偽。如果一段影片的內容令人震驚，嘗試從其他獨立來源驗證同一事件是否被報導。
檢查來源與脈絡：影片是誰發布的？原始來源是什麼？發布時間與宣稱的事件時間是否吻合？影片是否經過多次轉傳導致品質下降？
注意情緒操縱：Deepfake 的傳播往往利用強烈情緒——憤怒、恐懼、同情——來降低受眾的批判性思考。當一段內容讓你情緒高漲時，先停下來深呼吸，再做判斷。
善用反向影像搜尋：將影片截圖上傳至 Google Images 或 TinEye，檢查該畫面是否曾出現在其他脈絡中。
第九章：法律與倫理——全球與臺灣的因應
9-1 臺灣的法律框架
臺灣在 Deepfake 相關立法上起步較早，2023年修訂的《刑法》已納入相關條文：
《刑法》第 339 條之 4（加重詐欺罪）：利用 Deepfake 技術進行詐欺，可處一年以上七年以下有期徒刑，得併科一百萬元以下罰金。
《刑法》第 235 條（散布猥褻物品罪）：製作或散布以 Deepfake 技術合成的不雅影片，可處有期徒刑。
《個人資料保護法》：未經同意處理他人的臉部影像等生物特徵資料，可能違反個資法，最高可處五百萬元罰鍰。
《兒童及少年性剝削防制條例》：利用 Deepfake 技術生成未成年人的性影像，加重處罰。
2024年，立法院進一步審議「人工智慧基本法」草案，其中對生成式 AI 的標示義務、資料治理、風險分級等提出規範框架。
9-2 全球立法趨勢
歐盟：《人工智慧法案》（AI Act）於2024年正式生效，將 Deepfake 歸類為「有限風險」AI 系統，要求生成內容必須明確標示為人工生成。違反者最高可處全球營業額 7% 的罰款。
美國：聯邦層面尚無統一立法，但多州已通過相關法律。加州 2019 年立法禁止在選舉前 60 天內散布候選人的 Deepfake 影片；德州、紐約州等地也通過了針對非自願色情 Deepfake 的刑事處罰。
中國：2023年實施的《互聯網信息服務深度合成管理規定》要求深度合成服務提供者對生成內容添加不可移除的標識，並實名制管理使用者。
南韓：2020年修訂《性暴力犯罪處罰特例法》，將製作和散布 Deepfake 色情內容定為刑事犯罪，最高可處五年有期徒刑。
9-3 倫理困境與未解難題
法律無法解決所有問題。Deepfake 引發的倫理挑戰包括：
藝術自由與侵害的界線：諷刺性 Deepfake（如政治諷刺影片）受到言論自由保護，但如何界定「諷刺」與「惡意欺騙」的界線？
「數位復活」的倫理：電影產業已開始使用 Deepfake 技術讓已故演員「重新演出」。這種做法是否應獲得家屬同意？已故者的肖像權如何保護？
舉證責任的翻轉：「眼見不為憑」的時代，任何人都有可能聲稱「這是 Deepfake」來否認真實的影像證據。司法體系如何因應這種「騙子紅利」（Liar’s Dividend）的風險？
偵測技術的軍備競賽：每當偵測技術進步，生成技術也在同步進化。這種永無止境的競賽，是否可能走向「無法偵測」的終點？如果那一天到來，社會該如何運作？
第十章：防禦與反擊——個人、組織與社會的因應策略
10-1 個人層面的防禦
保護你的生物特徵資料：
- 社群媒體上的高解析度正面照是 Deepfake 的最佳訓練素材，適度調整隱私設定
- 避免公開長時間、高品質、正面直視鏡頭的影片
- 對陌生人請求視訊通話保持警覺
建立「驗證文化」：
- 家人之間可以約定「暗號」或「密語」，用於緊急情況下的身份驗證
- 接到可疑的語音或視訊請求時，主動回撥確認
- 對於涉及金錢交易的任何通訊，使用第二種獨立管道驗證
提升媒體素養：
- 了解 Deepfake 技術的能力和限制，認識到「看起來真實」不等於「真實」
- 在分享令人震驚的內容前，先進行基本的來源查證
- 關注可靠的事實查核機構，如臺灣事實查核中心、MyGoPen 等
10-2 組織層面的防禦
金融機構：
- 在視訊身份驗證流程中引入「活體檢測」：要求使用者執行隨機動作（如轉頭、眨眼、念出隨機數字）
- 超過一定金額的交易，強制使用多重驗證管道
- 部署 AI 偵測工具輔助人工審查
媒體機構：
- 建立「來源驗證」標準作業程序，對來路不明的影片先做技術分析再決定是否採用
- 使用內容來源與真實性聯盟（C2PA）等標準，為發布的內容添加數位簽章
- 培訓記者和編輯辨識 Deepfake 的基本能力
企業：
- 將 Deepfake 風險納入資安培訓教材
- 建立「緊急情況驗證協議」：任何涉及金錢或敏感資訊的緊急通訊，必須透過預先約定的第二管道確認
- 考慮採用企業級的通訊加密與身份驗證方案
10-3 社會層面的因應
教育體系：將媒體素養和 AI 倫理納入中小學課程，培養下一代對合成媒體的批判性思考能力。
事實查核生態系：支持獨立事實查核機構的運作，建立快速回應的查核機制，在假訊息擴散前即時澄清。
技術標準：推動 C2PA（內容來源與真實性聯盟）等內容溯源標準的普及，讓真實媒體具有可驗證的「數位出生證明」。
跨國合作：Deepfake 的傳播不受國界限制，需要國際間的資訊共享和聯合執法機制。
常見問答（FAQ）
Q1：Deepfake 和一般的 Photoshop 修圖有什麼不同？
Photoshop 是人工手動編輯，需要專業技能和大量時間，而且編輯痕跡通常可以被專業人士偵測。Deepfake 利用深度學習模型自動生成或操縱內容，速度快（可以是即時的）、規模大（可以大量生成），且生成的內容在像素層面上是「全新」的，傳統的編輯偵測方法往往失效。
Q2：製作 Deepfake 需要很強的技術能力嗎？
2024年的答案是：不需要。多款手機應用程式提供「一鍵換臉」功能，使用者只需上傳一張照片和一段影片即可完成。更高品質的 Deepfake 需要一定的技術知識，但開源工具的教學資源豐富，有心學習者在數週內即可掌握基本操作。門檻的降低是 Deepfake 氾濫的主要原因之一。
Q3：Deepfake 可以被 100% 偵測出來嗎？
目前不能。偵測技術和生成技術處於持續的「軍備競賽」狀態。最先進的生成模型產出的內容，即使是頂尖偵測系統的準確率也難以達到 100%。而且偵測模型往往對訓練時未見過的新生成方法表現不佳。因此，偵測工具應作為輔助手段，而非唯一防線。
Q4：如果我的臉被用來製作 Deepfake，我可以採取什麼法律行動？
在臺灣，你可以依據《個人資料保護法》主張未經同意處理個人生物特徵資料的損害賠償。如果是被用於色情內容，可能觸犯《刑法》相關條文。實務上，第一步是保存證據（截圖、網址、時間戳記），然後向警方報案或尋求律師協助。臺灣事實查核中心和 iWIN 網路內容防護機構也能提供相關協助。
Q5：AI 生成的「不存在的人」算不算 Deepfake？
廣義上算。Deepfake 的定義已擴展到涵蓋所有利用深度學習生成的合成媒體，包括完全虛構的人臉和人物。這類「全生成」內容在詐騙（建立假身份）和散布虛假資訊（偽造「目擊者」）方面具有很大的濫用潛力。
Q6：Deepfake 技術有沒有正面的應用？
有，而且不少。電影產業使用 Deepfake 進行特效製作和「減齡」處理；醫療領域使用合成影像擴充訓練資料；語言學習應用程式使用語音合成提供真人般的發音示範；遊戲產業使用即時換臉讓玩家化身為角色。技術本身是中性的，關鍵在於用途和是否經過當事人同意。
Q7：區塊鏈技術能解決 Deepfake 問題嗎？
區塊鏈可以作為內容溯源系統的一部分：在媒體內容產生時記錄其數位指紋和來源資訊，之後任何修改都會導致指紋不匹配。C2PA 等標準正在推動這種「內容憑證」的普及。然而，區塊鏈無法解決所有問題——如果造假者從頭到尾都使用偽造的「來源資訊」來發布內容，區塊鏈只能驗證「這個來源發布了這個內容」，無法驗證「內容本身是否真實」。
Q8：臺灣有專門處理 Deepfake 案件的單位嗎？
刑事警察局的「科技犯罪防制中心」負責偵辦網路科技犯罪案件，包括 Deepfake 相關案件。此外，iWIN 網路內容防護機構處理網路不當內容的申訴，臺灣事實查核中心則提供事實查核服務。一般民眾遭遇 Deepfake 侵害時，建議先向警方報案，同時可向上述機構尋求專業協助。
結語：在「後真相」時代保持清醒
Deepfake 技術的出現，迫使人類面對一個前所未有的哲學困境：當我們最信任的感官——視覺和聽覺——不再可靠時，我們該相信什麼？
這個問題沒有簡單的答案。技術的進步不會停止，生成模型的品質只會越來越好，偵測的難度只會越來越高。但人類的適應力也不容小覷。歷史上，每一次媒體技術的革命——從印刷術到攝影術，從廣播到網路——都伴隨著信任危機和社會調適的過程。Deepfake 只是這個漫長歷程中的最新一章。
面對 Deepfake，最有效的防禦不是任何單一的技術工具，而是思維方式的轉變：從「眼見為憑」轉變為「多重驗證」，從「被動接收」轉變為「主動查證」，從「情緒反應」轉變為「理性判斷」。
理解 Deepfake 的技術原理，正是這個轉變的起點。當你知道這些逼真假影片是如何被製造出來的，你就擁有了抵抗它們的第一道防線。
作者簡介
陳立恆，國立臺灣大學資訊工程學博士候選人，研究領域為電腦視覺與生成式模型。曾任職於臺灣人工智慧實驗室（Taiwan AI Labs），參與 Deepfake 偵測系統的開發與測試。目前為獨立資安顧問，協助金融機構與媒體組織建構合成媒體的防禦機制。長期在《數位時代》、《資安人》等媒體撰寫 AI 安全專欄，並於各大專院校開設「AI 與媒體素養」工作坊。著有《演算法如何騙了你：AI 時代的媒體識讀指南》一書（2025年出版）。