テキストを整理して重複を除くには

メール、スプレッドシート、PDF、ウェブページから貼り付けるテキストは、ほぼ絶対にきれいではありません。重複した項目、空行、散らばった空白、そして検索や取り込みを壊す見えない文字とともにやって来ます。このガイドはよくある整理作業と、それぞれを行う最速の方法を案内します。

重複行の削除

統合されたリスト — メールアドレス、URL、商品コード — は繰り返しでいっぱいです。重複除去は各行の最初の出現だけを残して残りを捨てるもので、データを取り込む前やメール送信の前に必須です。マッチングが 大文字小文字を区別する べきか（Apple と apple を別物として）前もって決めましょう。重複行の削除 ツールがこれを一手でこなします。

空行の削除

コピーしたテキストはしばしば、行数を膨らませて書式を壊す二重の行間や空行を含みます。空行 を取り除くと、リストが実際の内容だけに畳み直されます。

並べ替え

並べ替えはリストを流し読みしやすくし、重複や外れ値を明白にします。アルファベット順が既定ですが、データでは 自然順 vs. 辞書式 の順序に注意してください: 辞書式では item10 が文字ごとに比較されるため item2 より前に来ます。行の並べ替え ツールが両方のやり方を扱います。

見えない厄介者たち

行末の空白（trailing whitespace）

行末の空白は見えませんが実在します — 同一に見える二行を別物として扱わせ、重複除去を無力にし、照合を壊します。

改行なし空白とスマート引用符

ワープロやウェブページからコピーしたテキストには、改行なし空白（通常の空白に見えますが違います）と、まっすぐな引用符の代わりの「スマート」な曲がった引用符がよく含まれます。これらは「でも同じに見えるのに!」というバグの古典的原因です。私たちの 文字エンコーディングガイド がそれらの出どころを説明し、Unicode 変換ツール がテキストに潜む実際のコードポイントを露わにします。

整理のワークフロー

1. 空行を削除してリストを畳みます。
2. 並べ替えて重複が隣り合うようにします。
3. 重複行を削除します。
4. 狙いを定めた 検索と置換 で散らばった文字を直します。

これらの小さなテキストツールをつなげれば、散らかった貼り付けが 1 分足らずできれいで取り込み可能なデータに変わります — すべてブラウザで。