Deepfake影片技術原理？理解AI造假才能有效反擊

Deepfake 影片技術原理：理解 AI 造假才能有效反擊

前言：當「眼見為憑」成為歷史

2024年，臺灣某知名企業高層的視訊會議畫面遭人即時換臉，詐騙集團在短短七分鐘內得手新臺幣兩千萬元。同年，多位女性藝人的臉孔被惡意合成到不雅影片中，在網路論壇流傳。這些事件不再是科幻電影的情節，而是你我身邊正在發生的日常。

「有圖有真相」的時代已經結束，「有影片也未必是真相」的時代正式來臨。Deepfake——深度偽造技術，正以驚人的速度進化。根據資安公司 SentinelOne 的統計，2023年全球 Deepfake 相關的詐騙案件較前一年成長了超過 300%。面對這樣的浪潮，恐慌無濟於事，理解才是最好的防禦。

這篇文章將帶你深入 Deepfake 的技術核心，從神經網路的基本原理講起，一步步拆解這些逼真假影片背後的數學與工程。你不必是資工背景，也能理解這些技術的運作邏輯，進而學會辨識、防範，甚至在必要時反擊。

---

第一章：什麼是 Deepfake？——定義、範疇與發展脈絡

1-1 名詞溯源：從 Reddit 用戶名到全球現象

「Deepfake」一詞誕生於2017年，源自 Reddit 論壇上一名用戶的帳號名稱「deepfakes」。這位用戶利用當時剛開源的 TensorFlow 深度學習框架，將成人影片中的臉孔替換成好萊塢明星，並將成果發布在論壇上。這個帳號名稱結合了「Deep Learning」（深度學習）和「Fake」（偽造）兩個詞，精準描述了這項技術的本質：利用深度學習模型生成以假亂真的偽造內容。

短短幾年內，這個原本只在特定論壇流傳的詞彙，成為全球媒體、政府、科技公司的共同關注焦點。《牛津英語辭典》於2023年正式收錄此詞；臺灣國家教育研究院亦將其中文譯名定為「深度偽造」。

1-2 Deepfake 的範疇：不只是換臉

許多人以為 Deepfake 就等於「換臉」，但實際上它的範疇遠比這廣泛。廣義的 Deepfake 涵蓋所有利用深度學習技術生成或操縱的合成媒體內容，包括：

類型	說明	常見應用與風險
人臉交換（Face Swapping）	將影片中A的臉替換成B的臉	最常見的 Deepfake 形式，常用於惡意造假
臉部重演（Face Reenactment）	操縱臉部表情、嘴型、眼神，讓目標人物說出從未說過的話	政治人物造假演說、偽造證詞
全臉生成（Full Face Generation）	憑空生成不存在的人臉	假帳號頭像、虛擬網紅、詐騙身份
語音複製（Voice Cloning）	複製特定人物的聲音、語調、說話習慣	電話詐騙、偽造錄音證據
全身動作合成（Full Body Synthesis）	生成或操縱整個身體的動作	偽造監視器畫面、運動員造假
唇形同步（Lip Sync）	僅調整嘴型使其與音訊匹配	偽造訪談、配音造假

1-3 發展脈絡：從實驗室到人手一支手機

Deepfake 技術的演進，可以粗略分為四個階段：

第一階段（2014-2017）：學術萌芽期。 蒙特婁大學的 Ian Goodfellow 於2014年提出「生成對抗網路」（GAN）概念，奠定了日後 Deepfake 的理論基礎。這一階段的技術門檻極高，需要專業的機器學習知識和大量運算資源。

第二階段（2017-2019）：開源爆發期。 Reddit 用戶公開了基於自動編碼器的換臉方法後，開源社群迅速跟進。2018年推出的「FakeApp」讓一般使用者只需準備足夠的照片和影片，就能在個人電腦上執行換臉操作。2019年，DeepFaceLab 和 FaceSwap 等開源工具成熟，Deepfake 開始大量湧現。

第三階段（2020-2023）：商用化與行動化。 2020年起，多款手機應用程式開始提供「一鍵換臉」功能，技術門檻降至近乎為零。同時，生成對抗網路與擴散模型的突破，使得生成品質大幅提升。2022年，Stable Diffusion 和 Midjourney 等圖像生成模型問世，Deepfake 從「編輯既有素材」進化到「憑空生成」。

第四階段（2024至今）：即時化與多模態。 即時換臉技術已能在直播中同步替換人臉，延遲低於 100 毫秒。同時，結合文字生成、影像生成、語音生成的「多模態」Deepfake 出現，攻擊者可以用一段文字描述就生成完整的偽造影片。

---

第二章：神經網路的基礎——Deepfake 的「大腦」

2-1 類神經網路：模仿人腦的數學結構

要理解 Deepfake，得先認識它的核心引擎：類神經網路（Artificial Neural Network, ANN）。這是一種模仿生物神經系統運作方式的數學模型，由大量相互連接的「神經元」組成。

一個神經元做的事情很簡單：接收多個輸入、加權求和、通過一個「激發函數」決定是否輸出訊號。單一神經元就像一個水龍頭開關，但當數百萬個神經元以特定方式排列連接時，整個網路就能執行非常複雜的任務——就像數億個簡單的腦細胞組合起來，就能產生意識。

2-2 深度學習：「深度」在哪裡？

「深度學習」中的「深度」，指的是神經網路中「隱藏層」的數量。傳統的淺層網路只有一到兩層隱藏層，而深度學習模型可能有數十甚至數百層。每一層負責提取不同抽象程度的特徵：

• 第一層：偵測邊緣、顏色、明暗等最基礎的視覺特徵
• 中間層：組合成紋理、形狀、五官輪廓等較複雜的模式
• 深層：辨識出完整的臉孔、表情、身份等高度抽象的概念

這種層層堆疊的結構，讓深度學習模型能從原始像素中「自動學習」到有用的表徵，而不需要人類手動設計特徵——這正是 Deepfake 得以實現的關鍵。

2-3 卷積神經網路：影像處理的王者

在眾多神經網路架構中，卷積神經網路（Convolutional Neural Network, CNN）是處理影像資料的主流選擇。它的核心操作是「卷積」：用一個小型的濾波器在圖像上滑動，每次計算一個局部區域的加權和。

可以將 CNN 想像成一個用放大鏡逐區檢視圖像的偵探。它不會一次看完整張圖，而是先看左上角的一小塊，再看旁邊的一小塊，逐步掃過整張圖。每個「放大鏡」（濾波器）專門負責偵測某一種特徵，例如水平線、垂直線、圓形、特定顏色等。經過多層卷積和池化操作後，網路最終能對整張圖的內容做出精確判斷。

CNN 在2012年 ImageNet 競賽中大放異彩後，迅速成為電腦視覺領域的標準工具，也是所有 Deepfake 模型的基礎組件。

2-4 自動編碼器：壓縮與重建的藝術

自動編碼器（Autoencoder）是另一種重要的神經網路架構，也是早期 Deepfake 技術的核心。它由兩個部分組成：

• 編碼器（Encoder）：將輸入資料（例如一張人臉圖像）壓縮成一個低維度的「潛在表示」（Latent Representation）。這個潛在表示通常只有幾百個數字，但包含了重建臉孔所需的核心資訊——臉型、五官位置、光線角度等。
• 解碼器（Decoder）：接收潛在表示，將其重建為完整的圖像。

自動編碼器的訓練目標是「輸入等於輸出」：給它一張臉，它要能重建出同一張臉。聽起來簡單，但關鍵在於那個狹窄的「瓶頸」——潛在表示的維度遠小於原始圖像。這迫使編碼器學會「提取本質」、捨棄細節，而解碼器學會「從本質重建細節」。

打個比方，自動編碼器就像一位畫家的速寫本。畫家看到一張臉，不會記下每個毛孔和每根髮絲，而是在腦中記下關鍵的比例、角度、神韻。回到工作室後，再憑這些速寫重新畫出完整肖像。編碼器就是「速寫」的過程，解碼器就是「重畫」的過程。

---

第三章：第一代 Deepfake 技術——自動編碼器換臉法

3-1 核心概念：共用編碼器、分離解碼器

2017年 Reddit 用戶公開的換臉方法，其巧妙之處在於對自動編碼器結構的改良。傳統自動編碼器是「一人一組」：訓練一個模型處理一個人的臉。但這套方法的關鍵創新是：

讓兩個人的臉共用同一個編碼器，但使用各自的解碼器。

為什麼要這樣做？因為編碼器的任務是「提取通用的人臉特徵」——五官位置、表情、光線等，這些資訊對任何人都適用。而解碼器的任務是「重建特定人物的臉部細節」——膚色、皺紋、鬍鬚等個人特徵。

訓練完成後，換臉的操作流程如下：

1. 將 A 的影片幀輸入共用編碼器，得到 A 的潛在表示（包含 A 的表情、角度、光線資訊）
2. 將這個潛在表示送入 B 的解碼器
3. B 的解碼器用 B 的臉部特徵來「詮釋」A 的表情和角度，輸出一張「長得像 B、但表情動作是 A」的臉
4. 將合成臉貼回原影片，完成換臉

3-2 訓練流程：資料是關鍵

這套方法的成敗，取決於訓練資料的品質和數量。典型訓練流程包括：

步驟一：資料收集。 從公開影片、社群媒體照片等來源收集 A 和 B 的大量臉部影像。一般而言，至少需要數千張包含不同角度、表情、光線條件的臉部照片。許多開源工具的預設值是「越多越好」，部分進階使用者會收集超過十萬張訓練圖像。

步驟二：臉部偵測與對齊。 使用人臉偵測演算法（如 MTCNN、RetinaFace）在每張圖像中定位臉部位置，然後進行「對齊」——將臉部旋轉、縮放、裁切到標準化的位置和大小，使所有訓練圖像中臉部的位置和比例一致。這一步驟就像把所有食材切成相同大小，才能均勻烹調。

步驟三：遮罩處理。 在訓練和合成過程中，需要區分「臉部區域」和「背景區域」。遮罩（Mask）是一張黑白圖，白色表示臉部（需要處理的區域），黑色表示背景（原封不動保留）。精細的遮罩處理可以避免換臉後出現明顯的邊界瑕疵。

步驟四：模型訓練。 將處理好的圖像餵入神經網路，以反向傳播演算法反覆調整權重。訓練時間取決於硬體和資料量，從數小時到數天不等。訓練完成的模型約需數百 MB 至數 GB 的儲存空間。

步驟五：合成與後製。 將目標影片逐幀送入模型進行換臉，再將合成臉貼回原影片。後製階段通常包括邊緣羽化、顏色校正、光影調整等，使合成結果更加自然。部分工具還會使用「超解析度模型」提升合成臉的清晰度。

3-3 優點與限制

自動編碼器法的優點是：

• 架構簡單：易於理解和實現，開源工具成熟
• 訓練資料需求相對較低：數千張圖像即可產生可用結果
• 可控性高：可以精確控制「誰的臉換到誰身上」

限制也很明顯：

• 需要逐對訓練：每換一對新的組合（A→B）都要重新訓練模型
• 對光線和角度敏感：當目標影片的光線條件與訓練資料差異過大時，效果明顯下降
• 遮罩品質決定成敗：臉部邊界的處理不當會產生「面具感」

---

第四章：生成對抗網路——Deepfake 的「進化引擎」

4-1 GAN 的核心思想：偽造者與鑑定者的競賽

2014年，Ian Goodfellow 在論文中提出了生成對抗網路（Generative Adversarial Network, GAN）的概念。這個想法的精妙之處在於它引入了「對抗」的訓練機制。

GAN 由兩個神經網路組成：

• 生成器（Generator）：負責從隨機雜訊中生成圖像，目標是「騙過鑑別器」
• 鑑別器（Discriminator）：負責判斷輸入圖像是「真實的」還是「生成的」，目標是「識破生成器的謊言」

這兩個網路在訓練過程中不斷相互對抗。生成器試圖生成越來越逼真的圖像，而鑑別器則努力學習分辨真偽。這個過程可以用一個比喻來理解：

生成器是偽鈔製造者，鑑別器是驗鈔員。製造者不斷改良印刷技術，讓偽鈔越來越像真的；驗鈔員則不斷研究偽鈔的特徵，提升辨識能力。兩者相互逼迫對方進步，最終製造者的技術好到連頂尖驗鈔員都無法分辨——這就是 GAN 訓練的目標狀態。

4-2 GAN 的數學原理

從數學角度來看，GAN 的訓練是一個「極小極大遊戲」（Minimax Game）。鑑別器 D 試圖最大化正確分類真實圖像和生成圖像的機率，而生成器 G 試圖最小化鑑別器的正確率。損失函數可以寫成：

min_G max_D V(D, G) = E[log D(x)] + E[log(1 – D(G(z)))]

其中 x 是真實圖像，z 是隨機雜訊，D(x) 是鑑別器判斷 x 為真實的機率，G(z) 是生成器從雜訊生成的圖像。

當訓練達到「納許均衡」（Nash Equilibrium）時，生成器產出的圖像分佈與真實圖像分佈完全重合，鑑別器無法分辨真偽，只能隨機猜測（輸出機率為 50%）。

4-3 GAN 在 Deepfake 中的應用

GAN 的出現將 Deepfake 推進到全新境界。相較於自動編碼器法的「編輯既有內容」，GAN 可以「憑空生成」不存在的人臉和場景。幾種代表性的應用包括：

StyleGAN（2018-2019，NVIDIA）：可以生成解析度高達 1024×1024 的逼真人臉，其生成的假人臉在「This Person Does Not Exist」網站上廣為流傳，許多人第一次看到時完全無法相信這些臉孔不存在於現實世界。

Pix2Pix 與 CycleGAN（2017，UC Berkeley）：前者實現了「圖像到圖像的翻譯」，例如將素描轉換成照片、將白天場景轉換成夜晚；後者更進一步，不需要配對的訓練資料，就能實現風格轉換——這正是「將 A 的畫風應用到 B 的照片上」這類應用的基礎。

GANimation（2018）：專門用於臉部表情的操縱，可以根據「目標表情」的參數，將靜態人臉照片轉換為帶有特定表情的圖像，實現「讓照片中的人微笑」甚至「讓照片中的人眨眼」。

StarGAN（2018）：單一模型即可執行多種「圖像到圖像」的轉換任務，例如同時完成「改變髮色」「改變性別」「改變年齡」等多種操作，不需要為每種轉換訓練獨立模型。

4-4 GAN 的訓練困難

GAN 的強大能力伴隨著嚴重的訓練困難。實務上，GAN 的訓練被形容為「走鋼索」：

• 模式崩潰（Mode Collapse）：生成器找到一種能騙過鑑別器的「偷懶方式」，之後只生成極度相似的圖像，缺乏多樣性。例如生成器可能只學會生成某一種角度的人臉，不管輸入什麼雜訊都輸出幾乎相同的結果。
• 訓練不穩定：生成器和鑑別器之間的平衡極難掌握。如果鑑別器太強，生成器永遠學不會；如果生成器太強，鑑別器失去作用，訓練也無法繼續。
• 梯度消失：當鑑別器完美分類時，生成器的梯度趨近於零，無法更新參數。

為了解決這些問題，研究者提出了多種改良版本：WGAN（Wasserstein GAN）改變損失函數以穩定訓練；DCGAN 引入卷積結構提升品質；Progressive GAN 從低解析度開始逐步增加解析度，大幅提升了生成品質和訓練穩定性。

---

第五章：擴散模型——新一代 Deepfake 的核心引擎

5-1 從「對抗」到「去噪」：典範轉移

2022年以降，擴散模型（Diffusion Model）取代 GAN 成為生成模型的主流。Stable Diffusion、DALL-E 2、Midjourney 等轟動全球的圖像生成模型，全部基於擴散模型的原理。

擴散模型的核心思想與 GAN 截然不同。GAN 是「對抗式」的——兩個網路相互競爭；擴散模型則是「循序漸進式」的——先學會破壞，再學會修復。

訓練過程分為兩個階段：

前向擴散（Forward Diffusion）：取一張真實圖像，逐步加入高斯雜訊。經過足夠多的步驟（通常為 1000 步）後，圖像完全變成純隨機雜訊，原本的內容完全不可辨識。

反向擴散（Reverse Diffusion）：訓練一個神經網路，學習「從雜訊中逐步恢復圖像」。給它一張加了雜訊的圖像和步驟編號，它要預測並移除雜訊，使圖像「往回一步」。訓練完成後，這個網路就能從純雜訊開始，一步步「去噪」，最終生成一張全新的圖像。

5-2 為什麼擴散模型比 GAN 更強？

擴散模型之所以在近年迅速取代 GAN 成為主流，有以下關鍵優勢：

比較面向	GAN	擴散模型
訓練穩定性	極不穩定，容易模式崩潰	相對穩定，損失函數平滑
生成多樣性	容易陷入模式崩潰，多樣性受限	多樣性極佳，能覆蓋更廣的資料分佈
生成品質	早期較高，但解析度受限	可達極高解析度（1024×1024 以上）
條件控制	較困難	透過文字提示等條件引導，控制能力強
運算成本	訓練較快，生成極快	訓練較慢，生成需多次迭代（較慢）

簡言之，GAN 在「生成速度」上仍有優勢，但在「生成品質」「多樣性」「可控性」等關鍵指標上，擴散模型全面勝出。

5-3 擴散模型在 Deepfake 中的應用

擴散模型的出現，讓 Deepfake 從「需要大量目標人物影像的換臉」進化為「僅需少數幾張照片即可生成新內容」。代表性的應用包括：

DreamBooth（Google，2022）：只需三到五張目標人物的照片，就能將該人物「教導」給預訓練的擴散模型。之後，使用者可以透過文字提示，讓模型生成該人物在各種場景、服裝、姿態下的圖像。這項技術被廣泛用於生成公眾人物的假照片。

LoRA（Low-Rank Adaptation，2023）：一種輕量化的模型微調技術，可以在不修改原始模型權重的前提下，用極少的額外參數（通常僅數 MB）教會模型生成特定人物的臉。LoRA 大幅降低了 Deepfake 的門檻——任何人只要有幾張目標人物的照片，就能在個人電腦上訓練出可用的模型。

ControlNet（2023）：為擴散模型添加精確的結構控制能力。使用者可以提供姿勢骨架、邊緣圖、深度圖等條件，讓生成內容精確符合指定的結構。在 Deepfake 場景中，這意味著可以強制生成的人臉符合特定的角度、表情和姿勢。

AnimateDiff（2023）：將靜態圖像生成擴展到動態影片生成，讓擴散模型能產生連貫的短影片片段。這項技術結合人臉生成模型後，可以憑空生成「不存在的人」的動態影片。

5-4 從圖像到影片：時間一致性的挑戰

擴散模型在靜態圖像生成上已經相當成熟，但應用於影片時面臨一個獨特的挑戰：時間一致性（Temporal Consistency）。

如果逐幀獨立生成影片的每一幀，雖然每一幀看起來都很逼真，但幀與幀之間會出現「跳動」——臉部細節、光影、背景在連續幀之間產生不自然的變化。這是因為模型沒有「記住」前一幀的內容。

解決方案包括：

• 時序注意力機制：讓模型在生成當前幀時，同時「關注」前後幀的內容，確保一致性
• 潛在空間插值：在低維度的潛在空間中進行平滑的軌跡規劃，再解碼為連續幀
• 光流引導：利用光流估計前一幀與當前幀之間的運動關係，引導生成過程保持連貫

這些技術的成熟，使得2024年以後的 Deepfake 影片品質達到了前所未有的水準——肉眼幾乎無法僅憑「看起來怪怪的」來辨識。

---

第六章：即時 Deepfake——從離線處理到即時合成

6-1 即時換臉的技術挑戰

早期的 Deepfake 需要數小時甚至數天的離線處理，因為每處理一秒鐘的影片就需要進行數十次神經網路前向傳播。要在「即時」情境下完成換臉——例如視訊通話中的即時替換——需要克服幾個巨大挑戰：

運算速度：即時換臉需要每秒處理至少 25 至 30 幀畫面，每幀都要完成「人臉偵測 → 對齊 → 編碼 → 解碼 → 貼回」的完整流程。在 1080p 解析度下，這意味著每秒要執行數十億次浮點運算。

延遲控制：即使運算速度夠快，整個流程的「端到端延遲」（從攝影機捕捉到顯示輸出）也必須低於人類能察覺的閾值。一般而言，視訊通話的延遲若超過 200 毫秒，使用者就會感到不自然。

品質與速度的權衡：高品質的換臉模型通常運算量龐大，要達到即時運算勢必犧牲品質。如何在速度和品質之間找到平衡，是即時 Deepfake 的核心工程挑戰。

6-2 輕量化模型與硬體加速

即時 Deepfake 的實現，仰賴以下幾項關鍵技術：

模型蒸餾（Knowledge Distillation）：用一個大型、高品質的「教師模型」教導一個小型、高效率的「學生模型」。學生模型學習模仿教師模型的輸出，但參數量可能僅為教師的十分之一甚至更低，運算速度因此大幅提升。

量化（Quantization）：將神經網路的權重從 32 位元浮點數壓縮為 16 位元、8 位元甚至更低的精度。8 位元量化的模型在專用硬體上可以快 4 倍以上，而品質損失在許多應用中幾乎不可察覺。

張量核心與 NPU：NVIDIA 的 GPU 中配備了專門加速矩陣運算的「張量核心」（Tensor Core），而手機中的「神經處理單元」（Neural Processing Unit, NPU）則針對神經網路推理進行了硬體級優化。這些專用硬體使得在消費級裝置上執行即時換臉成為可能。

Ghost 模組與深度可分離卷積：這些輕量化的網路架構大幅減少了卷積運算的計算量。例如 MobileNet 系列模型在手機上即可即時執行，而 GhostFaceNets 則實現了極輕量的人臉辨識。

6-3 即時 Deepfake 的實際應用

即時換臉技術已經在現實世界中出現，包括：

視訊詐騙：2024年香港警方揭露的案件中，詐騙集團在視訊會議中使用即時換臉技術，將自己的臉替換成公司高層，成功騙取鉅額匯款。

直播換臉：部分直播主使用即時換臉技術，讓自己在直播中呈現完全不同的外貌。這在娛樂產業可能被視為「虛擬化身」，但也引發了身份欺騙的爭議。

虛擬客服與數位人：企業開始使用即時合成的「數位人」擔任客服、導覽等角色。這些數位人的臉可能是完全虛構的，也可能是經過授權的真實人物形象。

電影製作：好萊塢已開始使用即時換臉技術進行「預視覺化」（Previsualization），讓導演在拍攝現場即時看到演員「變老」「變年輕」或「變成另一個人」的效果。

---

第七章：語音 Deepfake——聲音的偽造

7-1 語音合成技術的演進

Deepfake 的範疇不僅限於影像，語音偽造同樣是嚴重的威脅。語音合成的技術演進歷程：

傳統拼接式合成（1990s-2010s）：將錄製的大量語音片段切割為「音素」（語言的最小發音單位），再根據目標句子拼接組合。缺點是自然度低，拼接處常有斷裂感。

參數式合成（2000s-2010s）：使用統計模型（如隱馬可夫模型）學習語音的聲學參數，再從參數合成語音。比拼接式流暢，但音質較為機械。

神經網路語音合成（2016-至今）：WaveNet（DeepMind，2016）首次展示了基於深度學習的語音合成，生成品質接近人聲。Tacotron 系列（Google，2017-2018）實現了「文字到語音」的端到端神經網路合成。

零樣本語音複製（2021-至今）：VALL-E（Microsoft，2023）等模型只需三秒鐘的目標說話者音訊，即可生成該聲音說出任意內容的語音。GPT-SoVITS、OpenVoice 等開源模型進一步降低了門檻。

7-2 語音複製的技術原理

現代語音複製技術通常採用以下架構：

說話者編碼器（Speaker Encoder）：從目標說話者的語音樣本中提取「聲紋特徵」，包括音色、音高、語速、韻律等。這個特徵向量代表「這個人的聲音聽起來是什麼樣子」。

文字編碼器（Text Encoder）：將目標文字轉換為音素序列和韻律標記，表示「要說什麼」以及「怎麼說」。

聲碼器（Vocoder）：將聲學特徵轉換為實際的音訊波形。現代的聲碼器（如 HiFi-GAN、WaveGlow）基於神經網路，能生成高保真的音訊。

合成的過程是：將「說話者的聲紋特徵」與「目標文字的語音特徵」結合，送入聲碼器生成音訊。結果是目標文字以目標說話者的聲音「說出來」。

7-3 語音 Deepfake 的風險場景

語音偽造的風險可能比影像偽造更為迫切，原因在於：

• 訓練資料需求極低：現代模型只需幾秒到幾分鐘的音訊樣本即可複製聲音，而影像換臉需要大量照片
• 電話是天然的傳播管道：電話通話的音質較低，正好掩蓋了合成語音中的微小瑕疵
• 缺乏視覺輔助線索：在純語音通話中，受害者無法依靠視覺線索來判斷對方身份

具體的風險場景包括：

假冒家人求救：詐騙集團複製受害者親友的聲音，撥打電話謊稱遭遇緊急事故需要匯款。2023年美國聯邦貿易委員會發布警報，此類「緊急詐騙」案件激增。

偽造商業指令：複製公司高層的聲音，透過語音訊息向財務部門下達匯款指令。2024年香港某公司的財務人員因此損失超過 2500 萬美元。

偽造政治聲明：生成政治人物的虛假語音，在社群媒體上散布不實言論，可能影響輿論甚至選舉。

---

第八章：如何辨識 Deepfake？——從肉眼觀察到技術偵測

8-1 視覺線索：人眼能觀察到的破綻

隨著技術進步，肉眼辨識 Deepfake 的難度持續提升，但仍有一些值得注意的線索：

生理訊號不一致：

• 眨眼頻率異常：部分早期 Deepfake 中的人物幾乎不眨眼或眨眼不自然
• 瞳孔反射不一致：真實人臉的雙眼中應有相同的環境反射，Deepfake 可能出現左右眼反射不同的情況
• 膚色與頸部色差：換臉區域與頸部、耳後的膚色可能出現不連續
• 牙齒細節異常：牙齒的數量和形狀是生成模型容易出錯的區域

物理一致性：

• 光影方向矛盾：臉部的陰影方向與環境光源不符
• 頭髮與臉部交界：髮絲穿過臉部的細節極難偽造，邊界處可能出現模糊或異常
• 飾品變形：耳環、眼鏡等飾品可能在臉部變形時出現扭曲

運動異常：

• 頭部轉動時的「閃爍」：大幅轉頭時，合成臉可能短暫失去追蹤，出現跳動
• 表情與情緒不匹配：嘴角上揚但眼睛周圍沒有相應的肌肉收縮

8-2 技術偵測方法：以 AI 對抗 AI

依賴肉眼辨識越來越不可靠，研究者開發了多種基於 AI 的偵測方法：

偵測方法	原理	優點	限制
頻率分析	生成模型在上採樣過程中會在圖像的頻率域留下特定痕跡	對 GAN 生成的內容效果極佳	對擴散模型生成內容的效果下降
生理訊號偵測	分析影片中人物的心跳、呼吸等微訊號，判斷是否為真人	難以被生成模型模仿	需要足夠解析度和長度的影片
臉部邊界分析	偵測臉部與背景交界處的像素異常	對換臉型 Deepfake 有效	對全臉生成型無效
深度學習分類器	訓練卷積神經網路分辨真偽影片	可持續更新適應新技術	容易過擬合，泛化能力受限
來源驗證	透過區塊鏈或數位簽章驗證媒體的來源和完整性	最根本的防禦	需要產業鏈配合，短期內難以普及

8-3 台灣與全球的偵測工具

多個組織已開發出可用的 Deepfake 偵測工具：

Microsoft Video Authenticator：微軟開發的工具，可以分析影片並輸出「操縱機率」分數。已提供給新聞機構和選舉機關使用。

Deepware Scanner：開源社群開發的偵測工具，可掃描影片中的 Deepfake 痕跡，提供網頁版和 API 介面。

Sensity AI：商業化的 Deepfake 偵測服務，被多家金融機構和社群平台採用。

Taiwan AI Labs 的 Deepfake 檢測服務：臺灣人工智慧實驗室開發的偵測系統，針對亞洲人臉進行了在地化優化，曾協助臺灣事實查核中心辨識多起 Deepfake 事件。

國立臺灣大學的「假訊息研究中心」：致力於開發針對繁體中文語境和亞洲人臉的 Deepfake 偵測技術。

8-4 辨識 Deepfake 的實用策略

單一線索不可靠，綜合多種訊號才是務實的做法：

「多因素驗證」思維：不依賴單一證據判斷真偽。如果一段影片的內容令人震驚，嘗試從其他獨立來源驗證同一事件是否被報導。

檢查來源與脈絡：影片是誰發布的？原始來源是什麼？發布時間與宣稱的事件時間是否吻合？影片是否經過多次轉傳導致品質下降？

注意情緒操縱：Deepfake 的傳播往往利用強烈情緒——憤怒、恐懼、同情——來降低受眾的批判性思考。當一段內容讓你情緒高漲時，先停下來深呼吸，再做判斷。

善用反向影像搜尋：將影片截圖上傳至 Google Images 或 TinEye，檢查該畫面是否曾出現在其他脈絡中。

---

第九章：法律與倫理——全球與臺灣的因應

9-1 臺灣的法律框架

臺灣在 Deepfake 相關立法上起步較早，2023年修訂的《刑法》已納入相關條文：

《刑法》第 339 條之 4（加重詐欺罪）：利用 Deepfake 技術進行詐欺，可處一年以上七年以下有期徒刑，得併科一百萬元以下罰金。

《刑法》第 235 條（散布猥褻物品罪）：製作或散布以 Deepfake 技術合成的不雅影片，可處有期徒刑。

《個人資料保護法》：未經同意處理他人的臉部影像等生物特徵資料，可能違反個資法，最高可處五百萬元罰鍰。

《兒童及少年性剝削防制條例》：利用 Deepfake 技術生成未成年人的性影像，加重處罰。

2024年，立法院進一步審議「人工智慧基本法」草案，其中對生成式 AI 的標示義務、資料治理、風險分級等提出規範框架。

9-2 全球立法趨勢

歐盟：《人工智慧法案》（AI Act）於2024年正式生效，將 Deepfake 歸類為「有限風險」AI 系統，要求生成內容必須明確標示為人工生成。違反者最高可處全球營業額 7% 的罰款。

美國：聯邦層面尚無統一立法，但多州已通過相關法律。加州 2019 年立法禁止在選舉前 60 天內散布候選人的 Deepfake 影片；德州、紐約州等地也通過了針對非自願色情 Deepfake 的刑事處罰。

中國：2023年實施的《互聯網信息服務深度合成管理規定》要求深度合成服務提供者對生成內容添加不可移除的標識，並實名制管理使用者。

南韓：2020年修訂《性暴力犯罪處罰特例法》，將製作和散布 Deepfake 色情內容定為刑事犯罪，最高可處五年有期徒刑。

9-3 倫理困境與未解難題

法律無法解決所有問題。Deepfake 引發的倫理挑戰包括：

藝術自由與侵害的界線：諷刺性 Deepfake（如政治諷刺影片）受到言論自由保護，但如何界定「諷刺」與「惡意欺騙」的界線？

「數位復活」的倫理：電影產業已開始使用 Deepfake 技術讓已故演員「重新演出」。這種做法是否應獲得家屬同意？已故者的肖像權如何保護？

舉證責任的翻轉：「眼見不為憑」的時代，任何人都有可能聲稱「這是 Deepfake」來否認真實的影像證據。司法體系如何因應這種「騙子紅利」（Liar’s Dividend）的風險？

偵測技術的軍備競賽：每當偵測技術進步，生成技術也在同步進化。這種永無止境的競賽，是否可能走向「無法偵測」的終點？如果那一天到來，社會該如何運作？

---

第十章：防禦與反擊——個人、組織與社會的因應策略

10-1 個人層面的防禦

保護你的生物特徵資料：

• 社群媒體上的高解析度正面照是 Deepfake 的最佳訓練素材，適度調整隱私設定
• 避免公開長時間、高品質、正面直視鏡頭的影片
• 對陌生人請求視訊通話保持警覺

建立「驗證文化」：

• 家人之間可以約定「暗號」或「密語」，用於緊急情況下的身份驗證
• 接到可疑的語音或視訊請求時，主動回撥確認
• 對於涉及金錢交易的任何通訊，使用第二種獨立管道驗證

提升媒體素養：

• 了解 Deepfake 技術的能力和限制，認識到「看起來真實」不等於「真實」
• 在分享令人震驚的內容前，先進行基本的來源查證
• 關注可靠的事實查核機構，如臺灣事實查核中心、MyGoPen 等

10-2 組織層面的防禦

金融機構：

• 在視訊身份驗證流程中引入「活體檢測」：要求使用者執行隨機動作（如轉頭、眨眼、念出隨機數字）
• 超過一定金額的交易，強制使用多重驗證管道
• 部署 AI 偵測工具輔助人工審查

媒體機構：

• 建立「來源驗證」標準作業程序，對來路不明的影片先做技術分析再決定是否採用
• 使用內容來源與真實性聯盟（C2PA）等標準，為發布的內容添加數位簽章
• 培訓記者和編輯辨識 Deepfake 的基本能力

企業：

• 將 Deepfake 風險納入資安培訓教材
• 建立「緊急情況驗證協議」：任何涉及金錢或敏感資訊的緊急通訊，必須透過預先約定的第二管道確認
• 考慮採用企業級的通訊加密與身份驗證方案

10-3 社會層面的因應

教育體系：將媒體素養和 AI 倫理納入中小學課程，培養下一代對合成媒體的批判性思考能力。

事實查核生態系：支持獨立事實查核機構的運作，建立快速回應的查核機制，在假訊息擴散前即時澄清。

技術標準：推動 C2PA（內容來源與真實性聯盟）等內容溯源標準的普及，讓真實媒體具有可驗證的「數位出生證明」。

跨國合作：Deepfake 的傳播不受國界限制，需要國際間的資訊共享和聯合執法機制。

---

常見問答（FAQ）

Q1：Deepfake 和一般的 Photoshop 修圖有什麼不同？

Photoshop 是人工手動編輯，需要專業技能和大量時間，而且編輯痕跡通常可以被專業人士偵測。Deepfake 利用深度學習模型自動生成或操縱內容，速度快（可以是即時的）、規模大（可以大量生成），且生成的內容在像素層面上是「全新」的，傳統的編輯偵測方法往往失效。

Q2：製作 Deepfake 需要很強的技術能力嗎？

2024年的答案是：不需要。多款手機應用程式提供「一鍵換臉」功能，使用者只需上傳一張照片和一段影片即可完成。更高品質的 Deepfake 需要一定的技術知識，但開源工具的教學資源豐富，有心學習者在數週內即可掌握基本操作。門檻的降低是 Deepfake 氾濫的主要原因之一。

Q3：Deepfake 可以被 100% 偵測出來嗎？

目前不能。偵測技術和生成技術處於持續的「軍備競賽」狀態。最先進的生成模型產出的內容，即使是頂尖偵測系統的準確率也難以達到 100%。而且偵測模型往往對訓練時未見過的新生成方法表現不佳。因此，偵測工具應作為輔助手段，而非唯一防線。

Q4：如果我的臉被用來製作 Deepfake，我可以採取什麼法律行動？

在臺灣，你可以依據《個人資料保護法》主張未經同意處理個人生物特徵資料的損害賠償。如果是被用於色情內容，可能觸犯《刑法》相關條文。實務上，第一步是保存證據（截圖、網址、時間戳記），然後向警方報案或尋求律師協助。臺灣事實查核中心和 iWIN 網路內容防護機構也能提供相關協助。

Q5：AI 生成的「不存在的人」算不算 Deepfake？

廣義上算。Deepfake 的定義已擴展到涵蓋所有利用深度學習生成的合成媒體，包括完全虛構的人臉和人物。這類「全生成」內容在詐騙（建立假身份）和散布虛假資訊（偽造「目擊者」）方面具有很大的濫用潛力。

Q6：Deepfake 技術有沒有正面的應用？

有，而且不少。電影產業使用 Deepfake 進行特效製作和「減齡」處理；醫療領域使用合成影像擴充訓練資料；語言學習應用程式使用語音合成提供真人般的發音示範；遊戲產業使用即時換臉讓玩家化身為角色。技術本身是中性的，關鍵在於用途和是否經過當事人同意。

Q7：區塊鏈技術能解決 Deepfake 問題嗎？

區塊鏈可以作為內容溯源系統的一部分：在媒體內容產生時記錄其數位指紋和來源資訊，之後任何修改都會導致指紋不匹配。C2PA 等標準正在推動這種「內容憑證」的普及。然而，區塊鏈無法解決所有問題——如果造假者從頭到尾都使用偽造的「來源資訊」來發布內容，區塊鏈只能驗證「這個來源發布了這個內容」，無法驗證「內容本身是否真實」。

Q8：臺灣有專門處理 Deepfake 案件的單位嗎？

刑事警察局的「科技犯罪防制中心」負責偵辦網路科技犯罪案件，包括 Deepfake 相關案件。此外，iWIN 網路內容防護機構處理網路不當內容的申訴，臺灣事實查核中心則提供事實查核服務。一般民眾遭遇 Deepfake 侵害時，建議先向警方報案，同時可向上述機構尋求專業協助。

---

結語：在「後真相」時代保持清醒

Deepfake 技術的出現，迫使人類面對一個前所未有的哲學困境：當我們最信任的感官——視覺和聽覺——不再可靠時，我們該相信什麼？

這個問題沒有簡單的答案。技術的進步不會停止，生成模型的品質只會越來越好，偵測的難度只會越來越高。但人類的適應力也不容小覷。歷史上，每一次媒體技術的革命——從印刷術到攝影術，從廣播到網路——都伴隨著信任危機和社會調適的過程。Deepfake 只是這個漫長歷程中的最新一章。

面對 Deepfake，最有效的防禦不是任何單一的技術工具，而是思維方式的轉變：從「眼見為憑」轉變為「多重驗證」，從「被動接收」轉變為「主動查證」，從「情緒反應」轉變為「理性判斷」。

理解 Deepfake 的技術原理，正是這個轉變的起點。當你知道這些逼真假影片是如何被製造出來的，你就擁有了抵抗它們的第一道防線。

---

作者簡介

陳立恆，國立臺灣大學資訊工程學博士候選人，研究領域為電腦視覺與生成式模型。曾任職於臺灣人工智慧實驗室（Taiwan AI Labs），參與 Deepfake 偵測系統的開發與測試。目前為獨立資安顧問，協助金融機構與媒體組織建構合成媒體的防禦機制。長期在《數位時代》、《資安人》等媒體撰寫 AI 安全專欄，並於各大專院校開設「AI 與媒體素養」工作坊。著有《演算法如何騙了你：AI 時代的媒體識讀指南》一書（2025年出版）。