Codificación de caracteres: Unicode y UTF-8 explicados

Lo has visto: un nombre que debería leerse José aparece como José, o un emoji se convierte en una caja de signos de interrogación. Ese revoltijo tiene nombre — mojibake — y casi siempre es un desajuste de codificación de caracteres. Esta guía explica qué son de verdad los caracteres, Unicode y UTF-8, para que esos errores dejen de ser un misterio.

Las computadoras guardan números, no letras

En el nivel más bajo, una computadora solo guarda números (bytes). Para guardar texto necesitamos una tabla acordada que asigne cada carácter a un número, y de vuelta. Esa tabla es una codificación de caracteres. Si un programa escribe texto con una tabla y otro lo lee con una tabla distinta, los números se interpretan como los caracteres equivocados — y obtienes mojibake.

ASCII: el pequeño comienzo

La codificación original y extendida, ASCII, definió números para 128 caracteres: el alfabeto inglés, dígitos, puntuación y algunos códigos de control. Suficiente para el inglés, pero sin sitio para é, ü, ß, 你, 😀 ni las decenas de miles de caracteres de las lenguas del mundo. Durante décadas cada quien inventó sus propias extensiones incompatibles, y por eso el texto se rompía al cruzar entre sistemas.

Unicode: un número para cada carácter

Unicode es la solución universal: un único estándar que asigna un número único — llamado punto de código (code point) — a cada carácter de cada sistema de escritura, más símbolos y emoji. Los puntos de código se escriben como U+ seguido de un número hexadecimal:

A   →  U+0041
é   →  U+00E9
你  →  U+4F60
😀  →  U+1F600

Crucialmente, Unicode define los números pero no cómo guardarlos como bytes. Esa es una decisión aparte — y ahí es donde entra UTF-8.

UTF-8: cómo Unicode se convierte en bytes

UTF-8 es una forma de codificar los puntos de código Unicode en bytes, y es la que la web usa de forma abrumadora. Su diseño ingenioso es que es de longitud variable:

• Los 128 caracteres ASCII ocupan 1 byte cada uno — así que UTF-8 es retrocompatible con ASCII.
• La mayoría de los caracteres latinos con acento y los griegos/cirílicos ocupan 2 bytes.
• La mayoría de las demás escrituras, incluidas la china, la japonesa y la coreana, ocupan 3 bytes.
• Los emoji y los caracteres más raros ocupan 4 bytes.

Por eso una cadena de «100 caracteres» no siempre son 100 bytes: un carácter puede ser varios bytes. También explica el clásico error José — son los bytes UTF-8 de é leídos por error, byte a byte, como una codificación occidental más antigua.

Caracteres, puntos de código y bytes

Tres conceptos relacionados pero distintos hacen tropezar a la gente constantemente:

• Carácter (Character) — lo que ve una persona (la letra é).
• Punto de código (Code point) — el número Unicode para él (U+00E9).
• Byte — cómo se guarda (en UTF-8, los dos bytes 0xC3 0xA9).

Ver un punto de código escrito suele ser la forma más rápida de diagnosticar un problema de texto — por ejemplo, un «espacio» que resulta ser un espacio de no separación (U+00A0). Nuestro conversor Unicode muestra los puntos de código detrás de cualquier texto y convierte entre caracteres y secuencias de escape.

Cómo evitar el mojibake

• Usa UTF-8 en todas partes. Guarda los archivos como UTF-8 y decláralo — en páginas web, <meta charset="utf-8">; en HTTP, el charset de Content-Type; en bases de datos, una intercalación UTF-8.
• Mantenlo consistente de extremo a extremo. La mayoría de la corrupción ocurre en una frontera donde un lado asume una codificación distinta.
• Escapa para el contexto correcto. Para meter caracteres especiales de forma segura en HTML, usa entidades HTML; para meterlos en una URL, usa codificación de URL.

La versión corta: Unicode da a cada carácter un número, UTF-8 convierte esos números en bytes, y si todos acuerdan usar UTF-8, el texto deja de romperse.