如何清理並去重文字

你從郵件、試算表、PDF 和網頁貼上來的文字，幾乎從來都不乾淨。它帶著重複項目、空行、散落的空白，以及會弄壞搜尋和匯入的看不見的字元。本指南逐一帶你了解常見的清理任務，以及做每一件最快的辦法。

刪除重複行

合併後的清單 —— 郵箱地址、URL、產品編碼 —— 滿是重複。去重會保留每行的首次出現、丟掉其餘，這在匯入資料或群發郵件前必不可少。事先決定比對是否應 區分大小寫（把 Apple 和 apple 當作不同）。刪除重複行 工具一步搞定。

刪除空行

複製來的文字常帶著會撐大行數、弄壞排版的雙倍行距或空行。去掉 空行，能把清單壓回它真正的內容。

排序

排序讓清單便於掃讀，也讓重複項和異常值一目了然。字母序是預設，但對資料要留意 自然序 vs. 字典序：按字典序，item10 會排在 item2 前面，因為它是逐字元比較的。行排序 工具兩種方式都能處理。

看不見的搗蛋鬼

行尾空白（trailing whitespace）

行末的空格看不見卻真實存在 —— 它會讓兩行看著一模一樣卻被當作不同，令去重失效、令查找出錯。

不換行空格與智慧引號

從文字處理軟體和網頁複製來的文字，常含有不換行空格（看著像普通空格卻不是）以及取代直引號的「智慧」彎引號。它們是「可它看著一樣啊！」這類 bug 的經典成因。我們的 字元編碼指南 解釋它們從何而來，Unicode 轉換器 則揭示藏在你文字裡的實際碼點。

一套清理流程

1. 刪除空行以壓縮清單。
2. 排序，讓重複項彼此相鄰。
3. 刪除重複行。
4. 做一次有針對性的 尋找取代 來修正散落的字元。

把這些小小的文字工具串起來，能在一分鐘內把雜亂的貼上變成乾淨、可匯入的資料 —— 全在你的瀏覽器裡完成。