Deepfake 影片技術原理：理解 AI 造假才能有效反擊

前言：當「眼見為憑」成為歷史

2024年，臺灣某知名企業高層的視訊會議畫面遭人即時換臉，詐騙集團在短短七分鐘內得手新臺幣兩千萬元。同年，多位女性藝人的臉孔被惡意合成到不雅影片中，在網路論壇流傳。這些事件不再是科幻電影的情節，而是你我身邊正在發生的日常。

「有圖有真相」的時代已經結束，「有影片也未必是真相」的時代正式來臨。Deepfake——深度偽造技術，正以驚人的速度進化。根據資安公司 SentinelOne 的統計，2023年全球 Deepfake 相關的詐騙案件較前一年成長了超過 300%。面對這樣的浪潮，恐慌無濟於事，理解才是最好的防禦。

這篇文章將帶你深入 Deepfake 的技術核心，從神經網路的基本原理講起，一步步拆解這些逼真假影片背後的數學與工程。你不必是資工背景，也能理解這些技術的運作邏輯，進而學會辨識、防範，甚至在必要時反擊。

第一章：什麼是 Deepfake？——定義、範疇與發展脈絡

1-1 名詞溯源：從 Reddit 用戶名到全球現象

「Deepfake」一詞誕生於2017年，源自 Reddit 論壇上一名用戶的帳號名稱「deepfakes」。這位用戶利用當時剛開源的 TensorFlow 深度學習框架，將成人影片中的臉孔替換成好萊塢明星，並將成果發布在論壇上。這個帳號名稱結合了「Deep Learning」（深度學習）和「Fake」（偽造）兩個詞，精準描述了這項技術的本質：利用深度學習模型生成以假亂真的偽造內容。

短短幾年內，這個原本只在特定論壇流傳的詞彙，成為全球媒體、政府、科技公司的共同關注焦點。《牛津英語辭典》於2023年正式收錄此詞；臺灣國家教育研究院亦將其中文譯名定為「深度偽造」。

1-2 Deepfake 的範疇：不只是換臉

許多人以為 Deepfake 就等於「換臉」，但實際上它的範疇遠比這廣泛。廣義的 Deepfake 涵蓋所有利用深度學習技術生成或操縱的合成媒體內容，包括：

1-3 發展脈絡：從實驗室到人手一支手機

Deepfake 技術的演進，可以粗略分為四個階段：

第一階段（2014-2017）：學術萌芽期。 蒙特婁大學的 Ian Goodfellow 於2014年提出「生成對抗網路」（GAN）概念，奠定了日後 Deepfake 的理論基礎。這一階段的技術門檻極高，需要專業的機器學習知識和大量運算資源。

第二階段（2017-2019）：開源爆發期。 Reddit 用戶公開了基於自動編碼器的換臉方法後，開源社群迅速跟進。2018年推出的「FakeApp」讓一般使用者只需準備足夠的照片和影片，就能在個人電腦上執行換臉操作。2019年，DeepFaceLab 和 FaceSwap 等開源工具成熟，Deepfake 開始大量湧現。

第三階段（2020-2023）：商用化與行動化。 2020年起，多款手機應用程式開始提供「一鍵換臉」功能，技術門檻降至近乎為零。同時，生成對抗網路與擴散模型的突破，使得生成品質大幅提升。2022年，Stable Diffusion 和 Midjourney 等圖像生成模型問世，Deepfake 從「編輯既有素材」進化到「憑空生成」。

第四階段（2024至今）：即時化與多模態。 即時換臉技術已能在直播中同步替換人臉，延遲低於 100 毫秒。同時，結合文字生成、影像生成、語音生成的「多模態」Deepfake 出現，攻擊者可以用一段文字描述就生成完整的偽造影片。

第二章：神經網路的基礎——Deepfake 的「大腦」

2-1 類神經網路：模仿人腦的數學結構

要理解 Deepfake，得先認識它的核心引擎：類神經網路（Artificial Neural Network, ANN）。這是一種模仿生物神經系統運作方式的數學模型，由大量相互連接的「神經元」組成。

一個神經元做的事情很簡單：接收多個輸入、加權求和、通過一個「激發函數」決定是否輸出訊號。單一神經元就像一個水龍頭開關，但當數百萬個神經元以特定方式排列連接時，整個網路就能執行非常複雜的任務——就像數億個簡單的腦細胞組合起來，就能產生意識。

2-2 深度學習：「深度」在哪裡？

「深度學習」中的「深度」，指的是神經網路中「隱藏層」的數量。傳統的淺層網路只有一到兩層隱藏層，而深度學習模型可能有數十甚至數百層。每一層負責提取不同抽象程度的特徵：

• 第一層：偵測邊緣、顏色、明暗等最基礎的視覺特徵
• 中間層：組合成紋理、形狀、五官輪廓等較複雜的模式
• 深層：辨識出完整的臉孔、表情、身份等高度抽象的概念

這種層層堆疊的結構，讓深度學習模型能從原始像素中「自動學習」到有用的表徵，而不需要人類手動設計特徵——這正是 Deepfake 得以實現的關鍵。

2-3 卷積神經網路：影像處理的王者

在眾多神經網路架構中，卷積神經網路（Convolutional Neural Network, CNN）是處理影像資料的主流選擇。它的核心操作是「卷積」：用一個小型的濾波器在圖像上滑動，每次計算一個局部區域的加權和。

可以將 CNN 想像成一個用放大鏡逐區檢視圖像的偵探。它不會一次看完整張圖，而是先看左上角的一小塊，再看旁邊的一小塊，逐步掃過整張圖。每個「放大鏡」（濾波器）專門負責偵測某一種特徵，例如水平線、垂直線、圓形、特定顏色等。經過多層卷積和池化操作後，網路最終能對整張圖的內容做出精確判斷。

CNN 在2012年 ImageNet 競賽中大放異彩後，迅速成為電腦視覺領域的標準工具，也是所有 Deepfake 模型的基礎組件。

2-4 自動編碼器：壓縮與重建的藝術

自動編碼器（Autoencoder）是另一種重要的神經網路架構，也是早期 Deepfake 技術的核心。它由兩個部分組成：

• 編碼器（Encoder）：將輸入資料（例如一張人臉圖像）壓縮成一個低維度的「潛在表示」（Latent Representation）。這個潛在表示通常只有幾百個數字，但包含了重建臉孔所需的核心資訊——臉型、五官位置、光線角度等。
• 解碼器（Decoder）：接收潛在表示，將其重建為完整的圖像。

自動編碼器的訓練目標是「輸入等於輸出」：給它一張臉，它要能重建出同一張臉。聽起來簡單，但關鍵在於那個狹窄的「瓶頸」——潛在表示的維度遠小於原始圖像。這迫使編碼器學會「提取本質」、捨棄細節，而解碼器學會「從本質重建細節」。

打個比方，自動編碼器就像一位畫家的速寫本。畫家看到一張臉，不會記下每個毛孔和每根髮絲，而是在腦中記下關鍵的比例、角度、神韻。回到工作室後，再憑這些速寫重新畫出完整肖像。編碼器就是「速寫」的過程，解碼器就是「重畫」的過程。

第三章：第一代 Deepfake 技術——自動編碼器換臉法

3-1 核心概念：共用編碼器、分離解碼器

2017年 Reddit 用戶公開的換臉方法，其巧妙之處在於對自動編碼器結構的改良。傳統自動編碼器是「一人一組」：訓練一個模型處理一個人的臉。但這套方法的關鍵創新是：

讓兩個人的臉共用同一個編碼器，但使用各自的解碼器。

為什麼要這樣做？因為編碼器的任務是「提取通用的人臉特徵」——五官位置、表情、光線等，這些資訊對任何人都適用。而解碼器的任務是「重建特定人物的臉部細節」——膚色、皺紋、鬍鬚等個人特徵。

訓練完成後，換臉的操作流程如下：

1. 將 A 的影片幀輸入共用編碼器，得到 A 的潛在表示（包含 A 的表情、角度、光線資訊）
2. 將這個潛在表示送入 B 的解碼器
3. B 的解碼器用 B 的臉部特徵來「詮釋」A 的表情和角度，輸出一張「長得像 B、但表情動作是 A」的臉
4. 將合成臉貼回原影片，完成換臉

3-2 訓練流程：資料是關鍵

這套方法的成敗，取決於訓練資料的品質和數量。典型訓練流程包括：

步驟一：資料收集。 從公開影片、社群媒體照片等來源收集 A 和 B 的大量臉部影像。一般而言，至少需要數千張包含不同角度、表情、光線條件的臉部照片。許多開源工具的預設值是「越多越好」，部分進階使用者會收集超過十萬張訓練圖像。

步驟二：臉部偵測與對齊。 使用人臉偵測演算法（如 MTCNN、RetinaFace）在每張圖像中定位臉部位置，然後進行「對齊」——將臉部旋轉、縮放、裁切到標準化的位置和大小，使所有訓練圖像中臉部的位置和比例一致。這一步驟就像把所有食材切成相同大小，才能均勻烹調。

步驟三：遮罩處理。 在訓練和合成過程中，需要區分「臉部區域」和「背景區域」。遮罩（Mask）是一張黑白圖，白色表示臉部（需要處理的區域），黑色表示背景（原封不動保留）。精細的遮罩處理可以避免換臉後出現明顯的邊界瑕疵。

步驟四：模型訓練。 將處理好的圖像餵入神經網路，以反向傳播演算法反覆調整權重。訓練時間取決於硬體和資料量，從數小時到數天不等。訓練完成的模型約需數百 MB 至數 GB 的儲存空間。

步驟五：合成與後製。 將目標影片逐幀送入模型進行換臉，再將合成臉貼回原影片。後製階段通常包括邊緣羽化、顏色校正、光影調整等，使合成結果更加自然。部分工具還會使用「超解析度模型」提升合成臉的清晰度。

3-3 優點與限制

自動編碼器法的優點是：

• 架構簡單：易於理解和實現，開源工具成熟
• 訓練資料需求相對較低：數千張圖像即可產生可用結果
• 可控性高：可以精確控制「誰的臉換到誰身上」

限制也很明顯：

• 需要逐對訓練：每換一對新的組合（A→B）都要重新訓練模型
• 對光線和角度敏感：當目標影片的光線條件與訓練資料差異過大時，效果明顯下降
• 遮罩品質決定成敗：臉部邊界的處理不當會產生「面具感」

第四章：生成對抗網路——Deepfake 的「進化引擎」

4-1 GAN 的核心思想：偽造者與鑑定者的競賽

2014年，Ian Goodfellow 在論文中提出了生成對抗網路（Generative Adversarial Network, GAN）的概念。這個想法的精妙之處在於它引入了「對抗」的訓練機制。

GAN 由兩個神經網路組成：

• 生成器（Generator）：負責從隨機雜訊中生成圖像，目標是「騙過鑑別器」
• 鑑別器（Discriminator）：負責判斷輸入圖像是「真實的」還是「生成的」，目標是「識破生成器的謊言」

這兩個網路在訓練過程中不斷相互對抗。生成器試圖生成越來越逼真的圖像，而鑑別器則努力學習分辨真偽。這個過程可以用一個比喻來理解：

生成器是偽鈔製造者，鑑別器是驗鈔員。製造者不斷改良印刷技術，讓偽鈔越來越像真的；驗鈔員則不斷研究偽鈔的特徵，提升辨識能力。兩者相互逼迫對方進步，最終製造者的技術好到連頂尖驗鈔員都無法分辨——這就是 GAN 訓練的目標狀態。

4-2 GAN 的數學原理

從數學角度來看，GAN 的訓練是一個「極小極大遊戲」（Minimax Game）。鑑別器 D 試圖最大化正確分類真實圖像和生成圖像的機率，而生成器 G 試圖最小化鑑別器的正確率。損失函數可以寫成：

min_G max_D V(D, G) = E[log D(x)] + E[log(1 – D(G(z)))]

其中 x 是真實圖像，z 是隨機雜訊，D(x) 是鑑別器判斷 x 為真實的機率，G(z) 是生成器從雜訊生成的圖像。

當訓練達到「納許均衡」（Nash Equilibrium）時，生成器產出的圖像分佈與真實圖像分佈完全重合，鑑別器無法分辨真偽，只能隨機猜測（輸出機率為 50%）。

4-3 GAN 在 Deepfake 中的應用

GAN 的出現將 Deepfake 推進到全新境界。相較於自動編碼器法的「編輯既有內容」，GAN 可以「憑空生成」不存在的人臉和場景。幾種代表性的應用包括：

StyleGAN（2018-2019，NVIDIA）：可以生成解析度高達 1024×1024 的逼真人臉，其生成的假人臉在「This Person Does Not Exist」網站上廣為流傳，許多人第一次看到時完全無法相信這些臉孔不存在於現實世界。

Pix2Pix 與 CycleGAN（2017，UC Berkeley）：前者實現了「圖像到圖像的翻譯」，例如將素描轉換成照片、將白天場景轉換成夜晚；後者更進一步，不需要配對的訓練資料，就能實現風格轉換——這正是「將 A 的畫風應用到 B 的照片上」這類應用的基礎。

GANimation（2018）：專門用於臉部表情的操縱，可以根據「目標表情」的參數，將靜態人臉照片轉換為帶有特定表情的圖像，實現「讓照片中的人微笑」甚至「讓照片中的人眨眼」。

StarGAN（2018）：單一模型即可執行多種「圖像到圖像」的轉換任務，例如同時完成「改變髮色」「改變性別」「改變年齡」等多種操作，不需要為每種轉換訓練獨立模型。

4-4 GAN 的訓練困難

GAN 的強大能力伴隨著嚴重的訓練困難。實務上，GAN 的訓練被形容為「走鋼索」：

• 模式崩潰（Mode Collapse）：生成器找到一種能騙過鑑別器的「偷懶方式」，之後只生成極度相似的圖像，缺乏多樣性。例如生成器可能只學會生成某一種角度的人臉，不管輸入什麼雜訊都輸出幾乎相同的結果。
• 訓練不穩定：生成器和鑑別器之間的平衡極難掌握。如果鑑別器太強，生成器永遠學不會；如果生成器太強，鑑別器失去作用，訓練也無法繼續。
• 梯度消失：當鑑別器完美分類時，生成器的梯度趨近於零，無法更新參數。

為了解決這些問題，研究者提出了多種改良版本：WGAN（Wasserstein GAN）改變損失函數以穩定訓練；DCGAN 引入卷積結構提升品質；Progressive GAN 從低解析度開始逐步增加解析度，大幅提升了生成品質和訓練穩定性。

第五章：擴散模型——新一代 Deepfake 的核心引擎

5-1 從「對抗」到「去噪」：典範轉移

2022年以降，擴散模型（Diffusion Model）取代 GAN 成為生成模型的主流。Stable Diffusion、DALL-E 2、Midjourney 等轟動全球的圖像生成模型，全部基於擴散模型的原理。

擴散模型的核心思想與 GAN 截然不同。GAN 是「對抗式」的——兩個網路相互競爭；擴散模型則是「循序漸進式」的——先學會破壞，再學會修復。

訓練過程分為兩個階段：

前向擴散（Forward Diffusion）：取一張真實圖像，逐步加入高斯雜訊。經過足夠多的步驟（通常為 1000 步）後，圖像完全變成純隨機雜訊，原本的內容完全不可辨識。

反向擴散（Reverse Diffusion）：訓練一個神經網路，學習「從雜訊中逐步恢復圖像」。給它一張加了雜訊的圖像和步驟編號，它要預測並移除雜訊，使圖像「往回一步」。訓練完成後，這個網路就能從純雜訊開始，一步步「去噪」，最終生成一張全新的圖像。

5-2 為什麼擴散模型比 GAN 更強？

擴散模型之所以在近年迅速取代 GAN 成為主流，有以下關鍵優勢：

簡言之，GAN 在「生成速度」上仍有優勢，但在「生成品質」「多樣性」「可控性」等關鍵指標上，擴散模型全面勝出。

5-3 擴散模型在 Deepfake 中的應用

擴散模型的出現，讓 Deepfake 從「需要大量目標人物影像的換臉」進化為「僅需少數幾張照片即可生成新內容」。代表性的應用包括：

DreamBooth（Google，2022）：只需三到五張目標人物的照片，就能將該人物「教導」給預訓練的擴散模型。之後，使用者可以透過文字提示，讓模型生成該人物在各種場景、服裝、姿態下的圖像。這項技術被廣泛用於生成公眾人物的假照片。

LoRA（Low-Rank Adaptation，2023）：一種輕量化的模型微調技術，可以在不修改原始模型權重的前提下，用極少的額外參數（通常僅數 MB）教會模型生成特定人物的臉。LoRA 大幅降低了 Deepfake 的門檻——任何人只要有幾張目標人物的照片，就能在個人電腦上訓練出可用的模型。

ControlNet（2023）：為擴散模型添加精確的結構控制能力。使用者可以提供姿勢骨架、邊緣圖、深度圖等條件，讓生成內容精確符合指定的結構。在 Deepfake 場景中，這意味著可以強制生成的人臉符合特定的角度、表情和姿勢。

AnimateDiff（2023）：將靜態圖像生成擴展到動態影片生成，讓擴散模型能產生連貫的短影片片段。這項技術結合人臉生成模型後，可以憑空生成「不存在的人」的動態影片。

5-4 從圖像到影片：時間一致性的挑戰

擴散模型在靜態圖像生成上已經相當成熟，但應用於影片時面臨一個獨特的挑戰：時間一致性（Temporal Consistency）。

如果逐幀獨立生成影片的每一幀，雖然每一幀看起來都很逼真，但幀與幀之間會出現「跳動」——臉部細節、光影、背景在連續幀之間產生不自然的變化。這是因為模型沒有「記住」前一幀的內容。

解決方案包括：

• 時序注意力機制：讓模型在生成當前幀時，同時「關注」前後幀的內容，確保一致性
• 潛在空間插值：在低維度的潛在空間中進行平滑的軌跡規劃，再解碼為連續幀
• 光流引導：利用光流估計前一幀與當前幀之間的運動關係，引導生成過程保持連貫

這些技術的成熟，使得2024年以後的 Deepfake 影片品質達到了前所未有的水準——肉眼幾乎無法僅憑「看起來怪怪的」來辨識。

第六章：即時 Deepfake——從離線處理到即時合成

6-1 即時換臉的技術挑戰

早期的 Deepfake 需要數小時甚至數天的離線處理，因為每處理一秒鐘的影片就需要進行數十次神經網路前向傳播。要在「即時」情境下完成換臉——例如視訊通話中的即時替換——需要克服幾個巨大挑戰：

運算速度：即時換臉需要每秒處理至少 25 至 30 幀畫面，每幀都要完成「人臉偵測 → 對齊 → 編碼 → 解碼 → 貼回」的完整流程。在 1080p 解析度下，這意味著每秒要執行數十億次浮點運算。

延遲控制：即使運算速度夠快，整個流程的「端到端延遲」（從攝影機捕捉到顯示輸出）也必須低於人類能察覺的閾值。一般而言，視訊通話的延遲若超過 200 毫秒，使用者就會感到不自然。

品質與速度的權衡：高品質的換臉模型通常運算量龐大，要達到即時運算勢必犧牲品質。如何在速度和品質之間找到平衡，是即時 Deepfake 的核心工程挑戰。

6-2 輕量化模型與硬體加速

即時 Deepfake 的實現，仰賴以下幾項關鍵技術：

模型蒸餾（Knowledge Distillation）：用一個大型、高品質的「教師模型」教導一個小型、高效率的「學生模型」。學生模型學習模仿教師模型的輸出，但參數量可能僅為教師的十分之一甚至更低，運算速度因此大幅提升。

量化（Quantization）：將神經網路的權重從 32 位元浮點數壓縮為 16 位元、8 位元甚至更低的精度。8 位元量化的模型在專用硬體上可以快 4 倍以上，而品質損失在許多應用中幾乎不可察覺。

張量核心與 NPU：NVIDIA 的 GPU 中配備了專門加速矩陣運算的「張量核心」（Tensor Core），而手機中的「神經處理單元」（Neural Processing Unit, NPU）則針對神經網路推理進行了硬體級優化。這些專用硬體使得在消費級裝置上執行即時換臉成為可能。

Ghost 模組與深度可分離卷積：這些輕量化的網路架構大幅減少了卷積運算的計算量。例如 MobileNet 系列模型在手機上即可即時執行，而 GhostFaceNets 則實現了極輕量的人臉辨識。

6-3 即時 Deepfake 的實際應用

即時換臉技術已經在現實世界中出現，包括：

視訊詐騙：2024年香港警方揭露的案件中，詐騙集團在視訊會議中使用即時換臉技術，將自己的臉替換成公司高層，成功騙取鉅額匯款。

直播換臉：部分直播主使用即時換臉技術，讓自己在直播中呈現完全不同的外貌。這在娛樂產業可能被視為「虛擬化身」，但也引發了身份欺騙的爭議。

虛擬客服與數位人：企業開始使用即時合成的「數位人」擔任客服、導覽等角色。這些數位人的臉可能是完全虛構的，也可能是經過授權的真實人物形象。

電影製作：好萊塢已開始使用即時換臉技術進行「預視覺化」（Previsualization），讓導演在拍攝現場即時看到演員「變老」「變年輕」或「變成另一個人」的效果。

第七章：語音 Deepfake——聲音的偽造

7-1 語音合成技術的演進

Deepfake 的範疇不僅限於影像，語音偽造同樣是嚴重的威脅。語音合成的技術演進歷程：

傳統拼接式合成（1990s-2010s）：將錄製的大量語音片段切割為「音素」（語言的最小發音單位），再根據目標句子拼接組合。缺點是自然度低，拼接處常有斷裂感。

參數式合成（2000s-2010s）：使用統計模型（如隱馬可夫模型）學習語音的聲學參數，再從參數合成語音。比拼接式流暢，但音質較為機械。

神經網路語音合成（2016-至今）：WaveNet（DeepMind，2016）首次展示了基於深度學習的語音合成，生成品質接近人聲。Tacotron 系列（Google，2017-2018）實現了「文字到語音」的端到端神經網路合成。

零樣本語音複製（2021-至今）：VALL-E（Microsoft，2023）等模型只需三秒鐘的目標說話者音訊，即可生成該聲音說出任意內容的語音。GPT-SoVITS、OpenVoice 等開源模型進一步降低了門檻。

7-2 語音複製的技術原理

現代語音複製技術通常採用以下架構：

說話者編碼器（Speaker Encoder）：從目標說話者的語音樣本中提取「聲紋特徵」，包括音色、音高、語速、韻律等。這個特徵向量代表「這個人的聲音聽起來是什麼樣子」。

文字編碼器（Text Encoder）：將目標文字轉換為音素序列和韻律標記，表示「要說什麼」以及「怎麼說」。

聲碼器（Vocoder）：將聲學特徵轉換為實際的音訊波形。現代的聲碼器（如 HiFi-GAN、WaveGlow）基於神經網路，能生成高保真的音訊。

合成的過程是：將「說話者的聲紋特徵」與「目標文字的語音特徵」結合，送入聲碼器生成音訊。結果是目標文字以目標說話者的聲音「說出來」。

7-3 語音 Deepfake 的風險場景

語音偽造的風險可能比影像偽造更為迫切，原因在於：

• 訓練資料需求極低：現代模型只需幾秒到幾分鐘的音訊樣本即可複製聲音，而影像換臉需要大量照片
• 電話是天然的傳播管道：電話通話的音質較低，正好掩蓋了合成語音中的微小瑕疵
• 缺乏視覺輔助線索：在純語音通話中，受害者無法依靠視覺線索來判斷對方身份

具體的風險場景包括：

假冒家人求救：詐騙集團複製受害者親友的聲音，撥打電話謊稱遭遇緊急事故需要匯款。2023年美國聯邦貿易委員會發布警報，此類「緊急詐騙」案件激增。

偽造商業指令：複製公司高層的聲音，透過語音訊息向財務部門下達匯款指令。2024年香港某公司的財務人員因此損失超過 2500 萬美元。

偽造政治聲明：生成政治人物的虛假語音，在社群媒體上散布不實言論，可能影響輿論甚至選舉。

第八章：如何辨識 Deepfake？——從肉眼觀察到技術偵測

8-1 視覺線索：人眼能觀察到的破綻

隨著技術進步，肉眼辨識 Deepfake 的難度持續提升，但仍有一些值得注意的線索：

生理訊號不一致：

• 眨眼頻率異常：部分早期 Deepfake 中的人物幾乎不眨眼或眨眼不自然
• 瞳孔反射不一致：真實人臉的雙眼中應有相同的環境反射，Deepfake 可能出現左右眼反射不同的情況
• 膚色與頸部色差：換臉區域與頸部、耳後的膚色可能出現不連續
• 牙齒細節異常：牙齒的數量和形狀是生成模型容易出錯的區域

物理一致性：

• 光影方向矛盾：臉部的陰影方向與環境光源不符
• 頭髮與臉部交界：髮絲穿過臉部的細節極難偽造，邊界處可能出現模糊或異常
• 飾品變形：耳環、眼鏡等飾品可能在臉部變形時出現扭曲

運動異常：

• 頭部轉動時的「閃爍」：大幅轉頭時，合成臉可能短暫失去追蹤，出現跳動
• 表情與情緒不匹配：嘴角上揚但眼睛周圍沒有相應的肌肉收縮

8-2 技術偵測方法：以 AI 對抗 AI

依賴肉眼辨識越來越不可靠，研究者開發了多種基於 AI 的偵測方法：

8-3 台灣與全球的偵測工具

多個組織已開發出可用的 Deepfake 偵測工具：

Microsoft Video Authenticator：微軟開發的工具，可以分析影片並輸出「操縱機率」分數。已提供給新聞機構和選舉機關使用。

Deepware Scanner：開源社群開發的偵測工具，可掃描影片中的 Deepfake 痕跡，提供網頁版和 API 介面。

Sensity AI：商業化的 Deepfake 偵測服務，被多家金融機構和社群平台採用。

Taiwan AI Labs 的 Deepfake 檢測服務：臺灣人工智慧實驗室開發的偵測系統，針對亞洲人臉進行了在地化優化，曾協助臺灣事實查核中心辨識多起 Deepfake 事件。

國立臺灣大學的「假訊息研究中心」：致力於開發針對繁體中文語境和亞洲人臉的 Deepfake 偵測技術。

8-4 辨識 Deepfake 的實用策略

單一線索不可靠，綜合多種訊號才是務實的做法：

「多因素驗證」思維：不依賴單一證據判斷真偽。如果一段影片的內容令人震驚，嘗試從其他獨立來源驗證同一事件是否被報導。

檢查來源與脈絡：影片是誰發布的？原始來源是什麼？發布時間與宣稱的事件時間是否吻合？影片是否經過多次轉傳導致品質下降？

注意情緒操縱：Deepfake 的傳播往往利用強烈情緒——憤怒、恐懼、同情——來降低受眾的批判性思考。當一段內容讓你情緒高漲時，先停下來深呼吸，再做判斷。

善用反向影像搜尋：將影片截圖上傳至 Google Images 或 TinEye，檢查該畫面是否曾出現在其他脈絡中。

第九章：法律與倫理——全球與臺灣的因應

9-1 臺灣的法律框架

臺灣在 Deepfake 相關立法上起步較早，2023年修訂的《刑法》已納入相關條文：

《刑法》第 339 條之 4（加重詐欺罪）：利用 Deepfake 技術進行詐欺，可處一年以上七年以下有期徒刑，得併科一百萬元以下罰金。

《刑法》第 235 條（散布猥褻物品罪）：製作或散布以 Deepfake 技術合成的不雅影片，可處有期徒刑。

《個人資料保護法》：未經同意處理他人的臉部影像等生物特徵資料，可能違反個資法，最高可處五百萬元罰鍰。

《兒童及少年性剝削防制條例》：利用 Deepfake 技術生成未成年人的性影像，加重處罰。

2024年，立法院進一步審議「人工智慧基本法」草案，其中對生成式 AI 的標示義務、資料治理、風險分級等提出規範框架。

9-2 全球立法趨勢

歐盟：《人工智慧法案》（AI Act）於2024年正式生效，將 Deepfake 歸類為「有限風險」AI 系統，要求生成內容必須明確標示為人工生成。違反者最高可處全球營業額 7% 的罰款。

美國：聯邦層面尚無統一立法，但多州已通過相關法律。加州 2019 年立法禁止在選舉前 60 天內散布候選人的 Deepfake 影片；德州、紐約州等地也通過了針對非自願色情 Deepfake 的刑事處罰。

中國：2023年實施的《互聯網信息服務深度合成管理規定》要求深度合成服務提供者對生成內容添加不可移除的標識，並實名制管理使用者。

南韓：2020年修訂《性暴力犯罪處罰特例法》，將製作和散布 Deepfake 色情內容定為刑事犯罪，最高可處五年有期徒刑。

9-3 倫理困境與未解難題

法律無法解決所有問題。Deepfake 引發的倫理挑戰包括：

藝術自由與侵害的界線：諷刺性 Deepfake（如政治諷刺影片）受到言論自由保護，但如何界定「諷刺」與「惡意欺騙」的界線？

「數位復活」的倫理：電影產業已開始使用 Deepfake 技術讓已故演員「重新演出」。這種做法是否應獲得家屬同意？已故者的肖像權如何保護？

舉證責任的翻轉：「眼見不為憑」的時代，任何人都有可能聲稱「這是 Deepfake」來否認真實的影像證據。司法體系如何因應這種「騙子紅利」（Liar’s Dividend）的風險？

偵測技術的軍備競賽：每當偵測技術進步，生成技術也在同步進化。這種永無止境的競賽，是否可能走向「無法偵測」的終點？如果那一天到來，社會該如何運作？

第十章：防禦與反擊——個人、組織與社會的因應策略

10-1 個人層面的防禦

保護你的生物特徵資料：

• 社群媒體上的高解析度正面照是 Deepfake 的最佳訓練素材，適度調整隱私設定
• 避免公開長時間、高品質、正面直視鏡頭的影片
• 對陌生人請求視訊通話保持警覺

建立「驗證文化」：

• 家人之間可以約定「暗號」或「密語」，用於緊急情況下的身份驗證
• 接到可疑的語音或視訊請求時，主動回撥確認
• 對於涉及金錢交易的任何通訊，使用第二種獨立管道驗證

提升媒體素養：

• 了解 Deepfake 技術的能力和限制，認識到「看起來真實」不等於「真實」
• 在分享令人震驚的內容前，先進行基本的來源查證
• 關注可靠的事實查核機構，如臺灣事實查核中心、MyGoPen 等

10-2 組織層面的防禦

金融機構：

• 在視訊身份驗證流程中引入「活體檢測」：要求使用者執行隨機動作（如轉頭、眨眼、念出隨機數字）
• 超過一定金額的交易，強制使用多重驗證管道
• 部署 AI 偵測工具輔助人工審查

媒體機構：

• 建立「來源驗證」標準作業程序，對來路不明的影片先做技術分析再決定是否採用
• 使用內容來源與真實性聯盟（C2PA）等標準，為發布的內容添加數位簽章
• 培訓記者和編輯辨識 Deepfake 的基本能力

企業：

• 將 Deepfake 風險納入資安培訓教材
• 建立「緊急情況驗證協議」：任何涉及金錢或敏感資訊的緊急通訊，必須透過預先約定的第二管道確認
• 考慮採用企業級的通訊加密與身份驗證方案

10-3 社會層面的因應

教育體系：將媒體素養和 AI 倫理納入中小學課程，培養下一代對合成媒體的批判性思考能力。

事實查核生態系：支持獨立事實查核機構的運作，建立快速回應的查核機制，在假訊息擴散前即時澄清。

技術標準：推動 C2PA（內容來源與真實性聯盟）等內容溯源標準的普及，讓真實媒體具有可驗證的「數位出生證明」。

跨國合作：Deepfake 的傳播不受國界限制，需要國際間的資訊共享和聯合執法機制。

常見問答（FAQ）

Q1：Deepfake 和一般的 Photoshop 修圖有什麼不同？

Photoshop 是人工手動編輯，需要專業技能和大量時間，而且編輯痕跡通常可以被專業人士偵測。Deepfake 利用深度學習模型自動生成或操縱內容，速度快（可以是即時的）、規模大（可以大量生成），且生成的內容在像素層面上是「全新」的，傳統的編輯偵測方法往往失效。

Q2：製作 Deepfake 需要很強的技術能力嗎？

2024年的答案是：不需要。多款手機應用程式提供「一鍵換臉」功能，使用者只需上傳一張照片和一段影片即可完成。更高品質的 Deepfake 需要一定的技術知識，但開源工具的教學資源豐富，有心學習者在數週內即可掌握基本操作。門檻的降低是 Deepfake 氾濫的主要原因之一。

Q3：Deepfake 可以被 100% 偵測出來嗎？

目前不能。偵測技術和生成技術處於持續的「軍備競賽」狀態。最先進的生成模型產出的內容，即使是頂尖偵測系統的準確率也難以達到 100%。而且偵測模型往往對訓練時未見過的新生成方法表現不佳。因此，偵測工具應作為輔助手段，而非唯一防線。

Q4：如果我的臉被用來製作 Deepfake，我可以採取什麼法律行動？

在臺灣，你可以依據《個人資料保護法》主張未經同意處理個人生物特徵資料的損害賠償。如果是被用於色情內容，可能觸犯《刑法》相關條文。實務上，第一步是保存證據（截圖、網址、時間戳記），然後向警方報案或尋求律師協助。臺灣事實查核中心和 iWIN 網路內容防護機構也能提供相關協助。

Q5：AI 生成的「不存在的人」算不算 Deepfake？

廣義上算。Deepfake 的定義已擴展到涵蓋所有利用深度學習生成的合成媒體，包括完全虛構的人臉和人物。這類「全生成」內容在詐騙（建立假身份）和散布虛假資訊（偽造「目擊者」）方面具有很大的濫用潛力。

Q6：Deepfake 技術有沒有正面的應用？

有，而且不少。電影產業使用 Deepfake 進行特效製作和「減齡」處理；醫療領域使用合成影像擴充訓練資料；語言學習應用程式使用語音合成提供真人般的發音示範；遊戲產業使用即時換臉讓玩家化身為角色。技術本身是中性的，關鍵在於用途和是否經過當事人同意。

Q7：區塊鏈技術能解決 Deepfake 問題嗎？

區塊鏈可以作為內容溯源系統的一部分：在媒體內容產生時記錄其數位指紋和來源資訊，之後任何修改都會導致指紋不匹配。C2PA 等標準正在推動這種「內容憑證」的普及。然而，區塊鏈無法解決所有問題——如果造假者從頭到尾都使用偽造的「來源資訊」來發布內容，區塊鏈只能驗證「這個來源發布了這個內容」，無法驗證「內容本身是否真實」。

Q8：臺灣有專門處理 Deepfake 案件的單位嗎？

刑事警察局的「科技犯罪防制中心」負責偵辦網路科技犯罪案件，包括 Deepfake 相關案件。此外，iWIN 網路內容防護機構處理網路不當內容的申訴，臺灣事實查核中心則提供事實查核服務。一般民眾遭遇 Deepfake 侵害時，建議先向警方報案，同時可向上述機構尋求專業協助。

結語：在「後真相」時代保持清醒

Deepfake 技術的出現，迫使人類面對一個前所未有的哲學困境：當我們最信任的感官——視覺和聽覺——不再可靠時，我們該相信什麼？

這個問題沒有簡單的答案。技術的進步不會停止，生成模型的品質只會越來越好，偵測的難度只會越來越高。但人類的適應力也不容小覷。歷史上，每一次媒體技術的革命——從印刷術到攝影術，從廣播到網路——都伴隨著信任危機和社會調適的過程。Deepfake 只是這個漫長歷程中的最新一章。

面對 Deepfake，最有效的防禦不是任何單一的技術工具，而是思維方式的轉變：從「眼見為憑」轉變為「多重驗證」，從「被動接收」轉變為「主動查證」，從「情緒反應」轉變為「理性判斷」。

理解 Deepfake 的技術原理，正是這個轉變的起點。當你知道這些逼真假影片是如何被製造出來的，你就擁有了抵抗它們的第一道防線。

作者簡介

陳立恆，國立臺灣大學資訊工程學博士候選人，研究領域為電腦視覺與生成式模型。曾任職於臺灣人工智慧實驗室（Taiwan AI Labs），參與 Deepfake 偵測系統的開發與測試。目前為獨立資安顧問，協助金融機構與媒體組織建構合成媒體的防禦機制。長期在《數位時代》、《資安人》等媒體撰寫 AI 安全專欄，並於各大專院校開設「AI 與媒體素養」工作坊。著有《演算法如何騙了你：AI 時代的媒體識讀指南》一書（2025年出版）。