如何清理并去重文本

你从邮件、电子表格、PDF 和网页粘贴来的文本，几乎从来都不干净。它带着重复条目、空行、散落的空白，以及会弄坏搜索和导入的看不见的字符。本指南逐一带你了解常见的清理任务，以及做每一件最快的办法。

删除重复行

合并后的列表 —— 邮箱地址、URL、产品编码 —— 满是重复。去重会保留每行的首次出现、丢掉其余，这在导入数据或群发邮件前必不可少。事先决定匹配是否应 区分大小写（把 Apple 和 apple 当作不同）。删除重复行 工具一步搞定。

删除空行

复制来的文本常带着会撑大行数、弄坏排版的双倍行距或空行。去掉 空行，能把列表压回它真正的内容。

排序

排序让列表便于扫读，也让重复项和异常值一目了然。字母序是默认，但对数据要留意 自然序 vs. 字典序：按字典序，item10 会排在 item2 前面，因为它是逐字符比较的。行排序 工具两种方式都能处理。

看不见的捣蛋鬼

行尾空白（trailing whitespace）

行末的空格看不见却真实存在 —— 它会让两行看着一模一样却被当作不同，令去重失效、令查找出错。

不换行空格与智能引号

从文字处理软件和网页复制来的文本，常含有不换行空格（看着像普通空格却不是）以及取代直引号的“智能”弯引号。它们是“可它看着一样啊！”这类 bug 的经典成因。我们的 字符编码指南 解释它们从何而来，Unicode 转换器 则揭示藏在你文本里的实际码点。

一套清理流程

1. 删除空行以压缩列表。
2. 排序，让重复项彼此相邻。
3. 删除重复行。
4. 做一次有针对性的 查找替换 来修正散落的字符。

把这些小小的文本工具串起来，能在一分钟内把杂乱的粘贴变成干净、可导入的数据 —— 全在你的浏览器里完成。