Whisper 教學與心得：中文轉逐字稿到底準不準，實測講給你聽

何佳勳 · 2026/08/16 · 約 1 分鐘

TL;DR

Whisper 是 OpenAI 開源的語音轉文字模型，能在本機把影片、podcast、會議錄音變逐字稿、支援 99 種語言、資料不上傳雲端。準確度：Large-v3 在乾淨英文標竿 WER 約 2.7%，真實世界（會議、podcast、電話）升到約 8 到 12%，冷門語言可能超過 25%，中文通常看字元錯誤率（CER）。實務心得：中文清楚、單人、環境安靜的錄音表現相當不錯；口音重、多人交疊、背景吵、專有名詞多就要花時間校稿，它是好的初稿產生器、不是零校稿魔法。怎麼跑比較快：用 CTranslate2 重寫的 Faster-Whisper，同準確度快 4 到 8 倍，還能用 INT8 量化加速，pip install faster-whisper，別用原版。要高品質批次轉稿、本機處理、資料不外流很好用；要即時串流字幕或自動分辨誰在講話就不是最佳解。

Whisper 準確度：Large-v3 乾淨英文 WER 約 2.7%，真實世界升到 8-12%，冷門語言可能超過 25%
中文心得：清楚、單人、安靜的錄音表現不錯；口音重、多人交疊、專有名詞多要花時間校稿
怎麼跑快：用 Faster-Whisper（CTranslate2 重寫），同準確度快 4-8 倍，別用原版
要高品質批次轉稿、本機處理、資料不外流很好用；要即時串流字幕或講者分離就不是最佳解

openai/whisper

Whisper 是 OpenAI 開源的語音轉文字模型，能在本機把影片、podcast、會議錄音變逐字稿、支援 99 種語言、資料不上傳雲端。準確度：Large v3 在乾淨英文標竿 WER 約 2.7%，真實世界（會議、podcast、電話）升到約 8 到 12%，冷門語言可能超過 25%，中文通常看字元錯誤率（CER）。實務心得：中文清楚、單人、環境安靜的錄音表現相當不錯；口音重、多人交疊、背景吵、專有名詞多就要花時間校稿，它是好的初稿產生器、不是零校稿魔法。怎麼跑比較快：用 CTranslate2 重寫的 Faster Whisper，同準確度快 4 到 8 倍，還能用 INT8 量化加速，pip install faster whisper，別用原版。要高品質批次轉稿、本機處理、資料不外流很好用；要即時串流字幕或自動分辨誰在講話就不是最佳解。

⭐ Star 107.3k🟢 活躍維護

pip install faster-whisper # 比原版快 4-8 倍，建議用這個

搜「Whisper 教學」的人，最想知道的通常就兩件事：中文到底準不準、以及怎麼跑比較快。這篇直接用實測數據回答你。

Whisper 是什麼

Whisper 是 OpenAI 開源的語音轉文字模型，可以在自己的電腦上把影片、podcast、會議錄音變成逐字稿，支援 99 種語言，資料不用上傳雲端。

中文準不準：先看數據

先給你一個底：Whisper 最大的 Large-v3 模型，在乾淨的英文標竿測試上錯誤率（WER）約 2.7%，但真實世界的英文（會議、podcast、電話）會升到大約 8 到 12%。語言之間差很多，主流西歐語言接近英文水準，冷門語言可能超過 25%。中文因為詞的邊界模糊，通常是看字元錯誤率（CER）而不是 WER。

實務上的心得是：中文清楚、單人、環境安靜的錄音，Whisper 表現相當不錯，可用度高；但一旦有口音重、多人交疊、背景吵、專有名詞多的情況，就要有心理準備要花時間校稿。它是很好的初稿產生器，不是零校稿的魔法。

怎麼跑比較快：用 Faster-Whisper

這是最多人不知道的重點。原版 Whisper 跑起來偏慢，但有一個用 CTranslate2 重寫的版本叫 Faster-Whisper，同樣的準確度下快 4 到 8 倍，還能用 INT8 量化在 CPU 或 GPU 上進一步加速。所以我的建議是：直接用 Faster-Whisper，別用原版。裝法也簡單，pip install faster-whisper。

我的建議

要高品質的批次轉逐字稿、又想在本機處理、資料不外流，Whisper（用 Faster-Whisper 跑）非常好用。但如果你要的是即時串流字幕、自動分辨誰在講話、或完全不想校稿的省事，它就不是最佳解。想先想清楚要不要自己跑，可搭我另一篇 Whisper 開箱。

想先用不用安裝的方式把「錄音變逐字稿」的流程跑起來，我在 AI101 也整理了一些工具，可先試手感。

覺得有用？分享給需要的人 👇

何佳勳的觀點

我自己這幾年最深的體悟是:會被 AI 取代的是工具操作,留得下來的是判斷力。當定價被壓縮、護城河被打穿,行銷人能賣的只剩判斷,不是會不會用軟體。

何佳勳的觀點

我自己也還在踩這條路，只是剛好多走了幾步。所以我寫東西寧可坦白「我吸收能力有限，卡點都在我自己身上」，也不裝得道高人。跟讀者站同一隊，比站在講台上更能被聽進去。

不想碰伺服器，只想要結果？

這個 GitHub 專案功能完整，但你得自己配 server、串 API 金鑰、扛維運。

如果你現在只是要 AI 幫你寫文案、拆工作流、生行銷內容，免安裝、開箱即用的線上工具會更快上手。

30 秒免費試用 AI101 挑戰平台 →

常見問題

Whisper 轉中文逐字稿準嗎？

看情況。Whisper Large-v3 在乾淨英文標竿的錯誤率約 2.7%，真實世界升到 8 到 12%。中文清楚、單人、環境安靜的錄音表現相當不錯、可用度高；但口音重、多人交疊、背景吵、專有名詞多時就需要花時間校稿。它適合當初稿產生器，而不是零校稿的魔法。

Whisper 怎麼跑比較快？

用 Faster-Whisper，這是以 CTranslate2 重寫的版本，在相同準確度下比原版 Whisper 快 4 到 8 倍，還能用 INT8 量化在 CPU 或 GPU 上進一步加速。安裝簡單：pip install faster-whisper。建議直接用它，不必用原版。

Whisper 適合什麼情況？不適合什麼？

適合需要高品質的批次轉逐字稿、想在本機處理、資料不外流、或要自己掌控轉錄流程的情況。比較不適合需要低延遲的即時串流字幕、自動分辨誰在講話（講者分離）、保證零幻覺，或想要零工程負擔的全託管企業流程。