101個MySQL調(diào)試和優(yōu)化技巧

2015-01-21 12:06:13來源:開源中國社區(qū)作者:

MySQL是一個功能強大的開源數(shù)據(jù)庫。隨著越來越多的數(shù)據(jù)庫驅(qū)動的應用程序,人們一直在推動MySQL發(fā)展到它的極限。這里是101條調(diào)節(jié)和優(yōu)化MySQL安裝的技巧。一些技巧是針對特定的安裝環(huán)境的,但這些思路是通用的。我已經(jīng)把他們分成幾類,來幫助你掌握更多MySQL的調(diào)節(jié)和優(yōu)化技巧。

MySQL是一個功能強大的開源數(shù)據(jù)庫。隨著越來越多的數(shù)據(jù)庫驅(qū)動的應用程序,人們一直在推動MySQL發(fā)展到它的極限。這里是101條調(diào)節(jié)和優(yōu)化MySQL安裝的技巧。一些技巧是針對特定的安裝環(huán)境的,但這些思路是通用的。我已經(jīng)把他們分成幾類,來幫助你掌握更多MySQL的調(diào)節(jié)和優(yōu)化技巧。

MySQL 服務器硬件和操作系統(tǒng)調(diào)節(jié):

1. 擁有足夠的物理內(nèi)存來把整個InnoDB文件加載到內(nèi)存中——在內(nèi)存中訪問文件時的速度要比在硬盤中訪問時快的多。

2. 不惜一切代價避免使用Swap交換分區(qū) – 交換時是從硬盤讀取的,它的速度很慢。

3. 使用電池供電的RAM(注:RAM即隨機存儲器)。

4. 使用高級的RAID(注:Redundant Arrays of Inexpensive Disks,即磁盤陣列) – 最好是RAID10或更高。

5. 避免RAID5(注:一種存儲性能、數(shù)據(jù)安全和存儲成本兼顧的存儲解決方案) – 確保數(shù)據(jù)庫完整性的校驗是要付出代價的。

6. 將操作系統(tǒng)和數(shù)據(jù)分區(qū)分開,不僅僅是邏輯上,還包括物理上 – 操作系統(tǒng)的讀寫操作會影響數(shù)據(jù)庫的性能。

7. 把MySQL臨時空間和復制日志與數(shù)據(jù)放到不同的分區(qū) – 當數(shù)據(jù)庫后臺從磁盤進行讀寫操作時會影響數(shù)據(jù)庫的性能。

8. 更多的磁盤空間等于更快的速度。

9. 更好更快的磁盤。

10. 使用SAS(注: Serial Attached SCSI,即串行連接SCSI)代替SATA(注:SATA,即串口硬盤)。

11. 較小的硬盤 比 較大的硬盤快,尤其是在RAID配置的情況下。

12. 使用電池支持的高速緩存RAID控制器。

13. 避免使用軟件磁盤陣列。

14. 考慮為數(shù)據(jù)分區(qū)使用固態(tài)IO卡 (不是磁盤驅(qū)動器)  – 這些卡能夠為幾乎任何數(shù)量的數(shù)據(jù)支持2GB/s的寫入速度。

15. 在Linux中設置swappiness的值為0 – 在數(shù)據(jù)庫服務器中沒有理由緩存文件,這是一個服務器或臺式機的優(yōu)勢。

16. 如果可以的話,使用  noatime 和 nodirtime 掛載文件系統(tǒng) – 沒有理由更新訪問數(shù)據(jù)庫文件的修改時間。

17. 使用 XFS 文件系統(tǒng) – 一種比ext3更快、更小的文件系統(tǒng),并且有許多日志選項, 而且ext3 已被證實與MySQL有雙緩沖問題。

18. 調(diào)整 XFS 文件系統(tǒng)日志和緩沖變量 – 為了最高性能標準。

19. 在 Linux 系統(tǒng)中, 使用 NOOP 或者 DEADLINE IO 定時調(diào)度程序 – 同 NOOP 和 DEADLINE定時調(diào)度程序相比,這個 CFQ 和 ANTICIPATORY 定時調(diào)度程序 顯得非常慢。

20. 使用64位的操作系統(tǒng) – 對于MySQL,會有更大的內(nèi)存支持和使用。

21. 刪除服務器上未使用的安裝包和守護進程 – 更少的資源占用。

22. 把使用MySQL的host和你的MySQL host放到一個hosts文件中 – 沒有DNS查找。

23. 切勿強制殺死一個MySQL進程 – 你會損壞數(shù)據(jù)庫和正在運行備份的程序。

24. 把服務器貢獻給MySQL – 后臺進程和其他服務能夠縮短數(shù)據(jù)庫占用CPU的時間。

MySQL 配置:

25. 當寫入時,使用 innodb_flush_method=O_DIRECT 來避免雙緩沖。

26. 避免使用 O_DIRECT 和 EXT3 文件系統(tǒng) – 你將序列化所有要寫入的。

27. 分配足夠的 innodb_buffer_pool_size 來加載整個 InnoDB 文件到內(nèi)存中– 少從磁盤中讀取。

28. 不要將 innodb_log_file_size 參數(shù)設置太大, 這樣可以更快同時有更多的磁盤空間 – 丟掉多的日志通常是好的,在數(shù)據(jù)庫崩潰后可以降低恢復數(shù)據(jù)庫的時間。

29. 不要混用 innodb_thread_concurrency 和 thread_concurrency 參數(shù)– 這2個值是不兼容的。

30. 分配一個極小的數(shù)量給 max_connections 參數(shù) – 太多的連接會用盡RAM并鎖定MySQL服務。

31. 保持 thread_cache 在一個相對較高的數(shù)字,大約 16 – 防止打開連接時緩慢。

32. 使用skip-name-resolve參數(shù) – 去掉 DNS 查找。

33.如果你的查詢都是重復的,并且數(shù)據(jù)不常常發(fā)生變化,那么可以使用查詢緩存。但是如果你的數(shù)據(jù)經(jīng)常發(fā)生變化,那么使用查詢緩存會讓你感到失望。

34.增大temp_table_size值,以防止寫入磁盤

35.增大max_heap_table_size值,以防止寫入磁盤

36.不要把sort_buffer_size值設置的太高,否則的話你的內(nèi)存將會很快耗盡

37.根據(jù)key_read_requests和key_reads值來決定key_buffer的大小,一般情況下key_read_requests應該比key_reads值高,否則你不能高效的使用key_buffer

38.將innodb_flush_log_at_trx_commit設置為0將會提高性能,但是如果你要保持默認值(1)的話,那么你就要確保數(shù)據(jù)的完整性,同時你也要確保復制不會滯后。

39.你要有一個測試環(huán)境,來測試你的配置,并且在不影響正常生產(chǎn)的情況下,可以常常進行重啟。

MySQL模式優(yōu)化:

40. 保持你的數(shù)據(jù)庫整理性。

41. 舊數(shù)據(jù)歸檔 – 刪除多余的行返回或搜索查詢。

42. 將您的數(shù)據(jù)加上索引.

43. 不要過度使用索引,比較與查詢.

44. 壓縮文字和BLOB數(shù)據(jù)類型 – 以節(jié)省空間和減少磁盤讀取次數(shù).

45. UTF 8和UTF16都低于latin1執(zhí)行效率.

46. 有節(jié)制地使用觸發(fā)器.

47. 冗余數(shù)據(jù)保持到最低限度 – 不重復不必要的數(shù)據(jù).

48. 使用鏈接表,而不是擴展行.

49. 注意數(shù)據(jù)類型,在您的真實數(shù)據(jù)中,盡可能使用最小的一個.

50. 如果其他數(shù)據(jù)經(jīng)常被用于查詢時,而BLOB / TEXT數(shù)據(jù)不是,就把BLOB / TEXT數(shù)據(jù)從其他數(shù)據(jù)分離出來.

51.檢查和經(jīng)常優(yōu)化表.

52. 經(jīng)常重寫InnoDB表優(yōu)化.

53. 有時,當添加列時刪除索引,然后在添加回來索引,這樣就會更快.

54. 針對不同的需求,使用不同的存儲引擎.

55. 使用歸檔存儲引擎日志表或?qū)徲嫳?這是更有效地寫道.

56.  會話數(shù)據(jù)存儲在緩存(memcache)的而不是MySQL中 – 緩存允許自動自動填值的,并阻止您創(chuàng)建難以讀取和寫入到MySQL的時空數(shù)據(jù).

57.存儲可變長度的字符串時使用VARCHAR而不是CHAR – 節(jié)省空間,因為固定長度的CHAR,而VARCHAR長度不固定(UTF8不受此影響).

58. 逐步進行模式的變化 – 一個小的變化,可以有巨大的影響.

59.在開發(fā)環(huán)境中測試所有模式,反映生產(chǎn)變化.

60. 不要隨意更改你的配置文件中的值,它可以產(chǎn)生災難性的影響.

61. 有時候,在MySQL的configs少即是多.

62.有疑問時使用一個通用的MySQL配置文件.

MySQL metrics widget

MySQL查詢優(yōu)化:

63. 使用慢查詢?nèi)罩救グl(fā)現(xiàn)慢查詢。

64. 使用執(zhí)行計劃去判斷查詢是否正常運行。

65. 總是去測試你的查詢看看是否他們運行在最佳狀態(tài)下 –久而久之性能總會變化。

66. 避免在整個表上使用count(*),它可能鎖住整張表。

67. 使查詢保持一致以便后續(xù)相似的查詢可以使用查詢緩存。

68. 在適當?shù)那樾蜗率褂肎ROUP BY而不是DISTINCT。

69. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。

70. 保持索引簡單,不在多個索引中包含同一個列。

71. 有時候MySQL會使用錯誤的索引,對于這種情況使用USE INDEX。

72. 檢查使用SQL_MODE=STRICT的問題。

73. 對于記錄數(shù)小于5的索引字段,在UNION的時候使用LIMIT不是是用OR.

74. 為了 避免在更新前SELECT,使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去實現(xiàn)。

75. 不要使用 MAX,使用索引字段和ORDER BY子句。

76. 避免使用ORDER BY RAND().

77. LIMIT M,N實際上可以減緩查詢在某些情況下,有節(jié)制地使用。

78. 在WHERE子句中使用UNION代替子查詢。

79. 對于UPDATES(更新),使用 SHARE MODE(共享模式),以防止獨占鎖。

80. 在重新啟動的MySQL,記得來溫暖你的數(shù)據(jù)庫,以確保您的數(shù)據(jù)在內(nèi)存和查詢速度快。

81. 使用DROP TABLE,CREATE TABLE DELETE FROM從表中刪除所有數(shù)據(jù)。

82. 最小化的數(shù)據(jù)在查詢你需要的數(shù)據(jù),使用*消耗大量的時間。

83. 考慮持久連接,而不是多個連接,以減少開銷。

84. 基準查詢,包括使用服務器上的負載,有時一個簡單的查詢可以影響其他查詢。

85. 當負載增加您的服務器上,使用SHOW PROCESSLIST查看慢的和有問題的查詢。

86. 在開發(fā)環(huán)境中產(chǎn)生的鏡像數(shù)據(jù)中 測試的所有可疑的查詢。

MySQL 備份過程:

87. 從二級復制服務器上進行備份。

88. 在進行備份期間停止復制,以避免在數(shù)據(jù)依賴和外鍵約束上出現(xiàn)不一致。

89. 徹底停止MySQL,從數(shù)據(jù)庫文件進行備份。

90. 如果使用 MySQL dump進行備份,請同時備份二進制日志文件 – 確保復制沒有中斷。

91. 不要信任LVM 快照 – 這很可能產(chǎn)生數(shù)據(jù)不一致,將來會給你帶來麻煩。

92. 為了更容易進行單表恢復,以表為單位導出數(shù)據(jù) – 如果數(shù)據(jù)是與其他表隔離的。

93. 當使用mysqldump時請使用 –opt。

94. 在備份之前檢查和優(yōu)化表。

95. 為了更快的進行導入,在導入時臨時禁用外鍵約束。

96. 為了更快的進行導入,在導入時臨時禁用唯一性檢測。

97. 在每一次備份后計算數(shù)據(jù)庫,表以及索引的尺寸,以便更夠監(jiān)控數(shù)據(jù)尺寸的增長。

98. 通過自動調(diào)度腳本監(jiān)控復制實例的錯誤和延遲。

99. 定期執(zhí)行備份。

100. 定期測試你的備份。

最后 101: 執(zhí)行MySQL 監(jiān)控: Monitis Unveils The World’s First Free On-demand MySQL Monitoring.

Add MySQL Monitor

關鍵詞:MySQL