广告位联系
返回顶部
分享到

在MySQL数据库中支持完整的Unicode的方法

Mysql 来源:互联网 作者:佚名 发布时间:2023-12-06 21:18:56 人浏览
摘要

在你的数据库中使用 MySQL 的 utf8 字符集吗? 在这篇文章中,我将解释为什么你应该改用 utf8mb4,以及如何去做。 UTF-8 UTF-8编码可以表示Unicode字符集中的每一个符号,范围从到。 那是

在你的数据库中使用 MySQL 的 utf8 字符集吗? 在这篇文章中,我将解释为什么你应该改用 utf8mb4,以及如何去做。

UTF-8

UTF-8编码可以表示Unicode字符集中的每一个符号,范围从到。 那是 1,114,112 个可能的符号。 (并非所有这些 Unicode 代码点都已分配字符,但这并不妨碍 UTF-8 能够对它们进行编码。)

UTF-8 是一种可变宽度编码;可以参考Unicode 字符集和 UTF-8、UTF-16、UTF-32 编码这篇文章 它使用一到四个 8 位字节对每个符号进行编码。 具有较低数字代码点值的符号使用较少的字节进行编码。 这样,UTF-8 针对使用 ASCII 字符和其他 BMP 符号(其代码点范围从 到 )的常见情况进行了优化——同时仍然允许星体符号(其代码点范围从 到 ) 被存储。

MySQL 中的 utf8

很长一段时间,我一直在为数据库、表和列使用 MySQL 的 utf8 字符集,假设它映射到上述 UTF-8 编码。 通过使用 utf8,我可以在我的数据库中存储我想要的任何符号——或者我是这么认为的。

在写 JavaScript 的内部字符编码时,我注意到无法将 符号插入到该站点后面的 MySQL 数据库中。 我尝试更新的列具有 排序规则,并且连接字符集设置为 utf8。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

mysql> SET NAMES utf8; # just to emphasize that the connection charset is set to `utf8`

Query OK, 0 rows affected (0.00 sec)

 

mysql> UPDATE database_name.table_name SET column_name = 'foo????bar' WHERE id = 9001;

Query OK, 1 row affected, 1 warning (0.00 sec)

Rows matched: 1  Changed: 1  Warnings: 1

 

mysql> SELECT column_name FROM database_name.table_name WHERE id = 9001;

+-------------+

| column_name |

+-------------+

| foo         |

+-------------+

1 row in set (0.00 sec)

内容在第一个 符号处被截断,在本例中为 — 因此,尝试插入 实际上插入的是 ,导致数据丢失(并可能引入安全问题;见下文)。 MySQL 也返回一条警告消息:

1

2

3

4

5

6

7

mysql> SHOW WARNINGS;

+---------+------+------------------------------------------------------------------------------+

| Level   | Code | Message                                                                      |

+---------+------+------------------------------------------------------------------------------+

| Warning | 1366 | Incorrect string value: '\xF0\x9D\x8C\x86' for column 'column_name' at row 1 |

+---------+------+------------------------------------------------------------------------------+

1 row in set (0.00 sec)

事实证明,MySQL 的 utf8 字符集仅部分实现了正确的 UTF-8 编码。 它只能存储由一到三个字节组成的 UTF-8 编码符号; 不支持占用四个字节的编码符号。

由于星体符号(其代码点范围从 到 )在 UTF-8 中均由四个字节组成,因此我们不能使用 MySQL 的 utf8 实现来存储它们。

这不仅会影响 字符,还会影响更重要的符号,例如 。 总共有 1,048,575 个可能的代码点是我们不能使用的。 事实上,MySQL 的 utf8 只允许我们存储所有可能的 Unicode 代码点的 5.88% 。 正确的 UTF-8 可以编码所有 Unicode 代码点的 100% 。

MySQL 中的 utf8mb4

幸运的是,MySQL 5.5.3(2010 年初发布)引入了一种名为 utf8mb4 的新编码,它映射到正确的 UTF-8,因此完全支持 Unicode,包括星体符号。

我们可以参考 MySQL 编码utf8 与 utf8mb4 utf8mb4_unicode_ci 与 utf8mb4_general_ci

总结

永远不要在 MySQL 中使用 utf8——总是使用 utf8mb4。 更新数据库和代码可能需要一些时间,但绝对值得付出努力。 为什么要任意限制可以在数据库中使用的符号集? 为什么每次用户输入星体符号作为评论或消息的一部分或我们存储在数据库中的任何内容时,都会丢失数据? 没有理由不在所有地方争取完全的 支持。 做正确的事,使用 utf8mb4。


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 :
相关文章
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计