《Mysql實(shí)例MySQL插入emoji表情失敗問(wèn)題的解決方法》要點(diǎn):
本文介紹了Mysql實(shí)例MySQL插入emoji表情失敗問(wèn)題的解決方法,希望對(duì)您有用。如果有疑問(wèn),可以聯(lián)系我們。
MYSQL應(yīng)用前言
MYSQL應(yīng)用之前一直認(rèn)為UTF-8是萬(wàn)能的字符集問(wèn)題辦理方案,直到最近遇到這個(gè)問(wèn)題.最近在做新浪微博的爬蟲(chóng), 在存庫(kù)的時(shí)候發(fā)現(xiàn)只要保持emoji表情,就回拋出以下異常:
MYSQL應(yīng)用
Incorrect string value: '\xF0\x90\x8D\x83\xF0\x90...'
MYSQL應(yīng)用眾所周知UTF-8是3個(gè)字節(jié), 其中已經(jīng)包括我們?nèi)粘D芤?jiàn)過(guò)的絕大多數(shù)字體. 但3個(gè)字節(jié)遠(yuǎn)遠(yuǎn)不夠容納所有的文字, 所以便有了utf8mb4, utf8mb4是utf8的超集, 占4個(gè)字節(jié), 向下兼容utf8. 我們?nèi)粘S玫膃moji表情就是4個(gè)字節(jié)了.
MYSQL應(yīng)用所以在此我們像utf8的數(shù)據(jù)表插入數(shù)據(jù)就會(huì)報(bào)出Incorrect string value
這個(gè)錯(cuò)誤.
MYSQL應(yīng)用Google一下很容易就找到了解決方案, 具體解決方法是如下:
MYSQL應(yīng)用一、修改數(shù)據(jù)表的字符集為utf8mb4
MYSQL應(yīng)用這點(diǎn)很簡(jiǎn)單, 修改語(yǔ)句網(wǎng)上找一大堆, 不過(guò)建議重新建表, 使用 mysqldump -uusername -ppassword database_name table_name > table.sql
備份相應(yīng)數(shù)據(jù)表, 并修改其中的建表語(yǔ)句的字符集為 utf8mb4 即可, 然后 mysql -uusername -ppassword database_name < table.sql
重新導(dǎo)入sql即可完成修改字符集操作.
MYSQL應(yīng)用二、MySQL數(shù)據(jù)庫(kù)版本要5.5.3及以上
MYSQL應(yīng)用網(wǎng)絡(luò)上所有的文章都說(shuō)明要MySQL 5.5.3以上的版本才支持utf8mb4, 不過(guò)我使用的數(shù)據(jù)庫(kù)版本為5.5.18, 最終仍能辦理問(wèn)題, 所以同學(xué)們不要急著找運(yùn)維哥哥升級(jí)數(shù)據(jù)庫(kù)先, 先試試能不能自己辦理問(wèn)題.
MYSQL應(yīng)用三、修改數(shù)據(jù)庫(kù)配置文件/etc/my.cnf并重啟mysql服務(wù)
MYSQL應(yīng)用主要是修改數(shù)據(jù)庫(kù)的默認(rèn)字符集, 以及連接, 查詢的字符集, [Mysql支持emoji 表情符號(hào) 升級(jí)編碼為UTF8MB4][1] 這篇文章有詳細(xì)的設(shè)置辦法, [深入Mysql字符集設(shè)置][2] 這篇文章有其中設(shè)置的各個(gè)字符集的作用, 大家可以科普下.
MYSQL應(yīng)用四、升級(jí)MySQL Connector到5.1.21及以上
MYSQL應(yīng)用以上所有的操作, 最關(guān)鍵的是步驟3, 修改數(shù)據(jù)庫(kù)的配置文件, 其中大概修改了
MYSQL應(yīng)用
[client]
# 客戶端來(lái)源數(shù)據(jù)的默認(rèn)字符集
default-character-set = utf8mb4
[mysqld]
# 服務(wù)端默認(rèn)字符集
character-set-server=utf8mb4
# 連接層默認(rèn)字符集
collation-server=utf8mb4_unicode_ci
[mysql]
# 數(shù)據(jù)庫(kù)默認(rèn)字符集
default-character-set = utf8mb4
MYSQL應(yīng)用這些配置指定了數(shù)據(jù)從客戶端到服務(wù)端所經(jīng)過(guò)的一條條管道使用的字符集, 其中每一個(gè)管道出現(xiàn)問(wèn)題都可能會(huì)導(dǎo)致插入失敗或者亂碼.
MYSQL應(yīng)用但很多時(shí)候, 線上的數(shù)據(jù)庫(kù)是不能隨便修改數(shù)據(jù)庫(kù)文件的, 所以我們的運(yùn)維同學(xué)很果斷的回絕了我修改數(shù)據(jù)庫(kù)配置文件的哀求(T_T)
MYSQL應(yīng)用所以就只能用代碼辦理了, 一開(kāi)始是準(zhǔn)備從JDBC連接時(shí)候就指定使用的字符集處下手.
MYSQL應(yīng)用
jdbc:mysql://localhost:3306/ding?characterEncoding=UTF-8
MYSQL應(yīng)用主要把UTF-8修改為utf8mb4對(duì)于的Java Style Charset字符串應(yīng)該就能辦理問(wèn)題吧?
MYSQL應(yīng)用不過(guò)很遺憾的是, Java JDBC并不存在utf8mb4對(duì)于的字符集. 使用UTF-8的時(shí)候可以兼容urf8mb4并自動(dòng)轉(zhuǎn)換字符集.
MYSQL應(yīng)用For example, to use 4-byte UTF-8 character sets with Connector/J, configure the MySQL server with character_set_server=utf8mb4, and leave characterEncoding out of the Connector/J connection string. Connector/J will then autodetect the UTF-8 setting. C [MySQL:Using Character Sets and Unicode][3]
MYSQL應(yīng)用后來(lái)科普了一下, 在每一次查詢哀求的時(shí)候, 可以顯式的指定使用的字符集, 使用 set names utf8mb4
可以指定本次鏈接的字符集為utf8mb4, 但這個(gè)設(shè)置在每次連接被釋放后都會(huì)失效.
MYSQL應(yīng)用目前的解決方法是, 在需要插入utf8mb4的時(shí)候, 顯示地調(diào)用執(zhí)行set names utf8mb4
, 如:
MYSQL應(yīng)用
jdbcTemplate.execute("set names utf8mb4");
jdbcTempalte.execute("...");
MYSQL應(yīng)用需要注意的是, 我們?cè)谑褂靡幌翺RM框架的時(shí)候, 因?yàn)樾阅軆?yōu)化原因, 框架會(huì)延遲提交, 除非事務(wù)結(jié)束或者用戶主動(dòng)調(diào)用強(qiáng)制提交, 負(fù)責(zé)執(zhí)行的set names utf8mb4
仍然不會(huì)生效.
MYSQL應(yīng)用在這里我使用的是myBatis, 以MessageDao為例
MYSQL應(yīng)用
// MessageDao
public interface MessageDao {
@Update("set names utf8mb4")
public void setCharsetToUtf8mb4();
@Insert("insert into tb_message ......")
public void insert(Message msg);
}
// test code
SqlSession sqlSession = sqlSessioFactory.openSession();
messageDao = sqlSession.getMapper(MessageDao.class);
messageDao.setCharsetToUtf8mb4();
// 強(qiáng)制提交
sqlSession.commit();
messageDao.insert(message);
MYSQL應(yīng)用至此, 問(wèn)題便辦理了..
MYSQL應(yīng)用哎, 如果世事能那么順利就好了, 在項(xiàng)目中, mybatis是實(shí)例是交由Spring去管理的, 也就是說(shuō)我拿不到sqlSession, 也就是強(qiáng)制提交不了. 并且因?yàn)镾pring事務(wù)框架的限制, 他并不允許用戶顯式調(diào)用強(qiáng)制提交. 目前還在糾結(jié)這個(gè)問(wèn)題.
MYSQL應(yīng)用有兩個(gè)辦理思路:
set names utf8mb4
, 但該方案還不能確定AOP的辦法會(huì)被Spring進(jìn)行事務(wù)管理么, 并且在前置辦法中,拿到的鏈接是否和接下來(lái)拿到的連接對(duì)象是同一個(gè)session.set names utf8mb4
, 這樣就保證每一次拿到的鏈接都是設(shè)置過(guò)字符集的.MYSQL應(yīng)用總結(jié)
MYSQL應(yīng)用以上就是這篇文章的全部?jī)?nèi)容了,待有時(shí)間再實(shí)驗(yàn)一下以上兩種方案.希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的贊助,如果有疑問(wèn)大家可以留言交流,謝謝大家對(duì)維易PHP的支持.
維易PHP培訓(xùn)學(xué)院每天發(fā)布《Mysql實(shí)例MySQL插入emoji表情失敗問(wèn)題的解決方法》等實(shí)戰(zhàn)技能,PHP、MYSQL、LINUX、APP、JS,CSS全面培養(yǎng)人才。
轉(zhuǎn)載請(qǐng)注明本頁(yè)網(wǎng)址:
http://www.fzlkiss.com/jiaocheng/12383.html