텍스트 정리와 중복 제거하는 법

이메일, 스프레드시트, PDF, 웹 페이지에서 붙여 넣는 텍스트는 거의 절대 깨끗하지 않습니다. 중복 항목, 빈 줄, 흩어진 공백, 그리고 검색과 가져오기를 망가뜨리는 보이지 않는 문자와 함께 들어옵니다. 이 가이드는 흔한 정리 작업과 각각을 하는 가장 빠른 방법을 안내합니다.

중복 줄 제거

병합된 목록 — 이메일 주소, URL, 상품 코드 — 은 반복으로 가득합니다. 중복 제거는 각 줄의 첫 등장만 남기고 나머지를 버리는데, 데이터를 가져오거나 메일을 보내기 전에 필수입니다. 매칭이 대소문자 구분이어야 하는지(Apple과 apple을 다르게) 미리 정하세요. 중복 줄 제거 도구가 이걸 한 번에 해냅니다.

빈 줄 제거

복사한 텍스트는 종종 줄 수를 부풀리고 서식을 망가뜨리는 이중 간격이나 빈 행을 담고 있습니다. 빈 줄을 걷어내면 목록이 실제 내용만으로 다시 압축됩니다.

정렬

정렬은 목록을 훑기 좋게 만들고 중복과 이상치를 뚜렷하게 합니다. 알파벳순이 기본이지만, 데이터에서는 자연 정렬 vs. 사전식 순서를 유의하세요: 사전식으로는 item10이 문자별로 비교되기 때문에 item2보다 앞에 옵니다. 줄 정렬 도구가 양쪽 방식을 모두 처리합니다.

보이지 않는 말썽꾼들

끝 공백(trailing whitespace)

줄 끝의 공백은 보이지 않지만 실재합니다 — 똑같아 보이는 두 줄을 다르게 취급하게 만들어 중복 제거를 무력화하고 조회를 망가뜨립니다.

비분리 공백과 스마트 따옴표

워드 프로세서와 웹 페이지에서 복사한 텍스트에는 비분리 공백(보통 공백처럼 보이지만 아닌 것)과 곧은 따옴표 대신 “스마트” 곡선 따옴표가 자주 들어 있습니다. 이것들은 “근데 똑같아 보이는데!” 버그의 고전적 원인입니다. 우리 문자 인코딩 가이드가 그것들이 어디서 오는지 설명하고, 유니코드 변환기가 당신의 텍스트에 숨은 실제 코드 포인트를 드러냅니다.

정리 워크플로우

1. 빈 줄을 제거해 목록을 압축합니다.
2. 정렬해 중복이 서로 옆에 오게 합니다.
3. 중복 줄을 제거합니다.
4. 표적 찾아 바꾸기로 흩어진 문자를 고칩니다.

이 작은 텍스트 도구들을 이어 쓰면 지저분한 붙여넣기가 1분도 안 되어 깨끗하고 가져오기 준비된 데이터로 바뀝니다 — 전부 브라우저에서.