MySQL千萬級數據的大表優化解決方案
mysql數據庫中的表數據量幾千萬後，查詢速度會很慢，日常各種卡慢，嚴重影響使用體驗。在考慮升級數據庫或者換用大數據解決方案前，必須優化現有mysql數據庫表設計和sql語句。
1.數據庫設計和表創建時就要考慮性能
mysql數據庫本身高度靈活，造成性能不足，嚴重依賴開發人員能力。也就是說開發人員能力高，則mysql性能高。這也是很多關系型數據庫的通病。
設計表時要註意：
表字段避免null值出現，null值很難查詢優化且占用額外的索引空間，推薦默認數字0代替null。 盡量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。 使用枚舉或整數代替字符串類型 盡量使用TIMESTAMP而非DATETIME 單表不要有太多字段，建議在20以內 用整型來存IP
索引
索引並不是越多越好，要根據查詢有針對性的創建，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來查看是否用瞭索引還是全表掃描 應盡量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描 值分佈很稀少的字段不適合建索引，例如"性別"這種隻有兩三個值的字段 字符字段隻建前綴索引 字符字段最好不要做主鍵 不用外鍵，由程序保證約束 盡量不用UNIQUE，由程序保證約束 使用多列索引時主意順序和查詢條件保持一致，同時刪除不必要的單列索引
簡言之就是使用合適的數據類型，選擇合適的索引
選擇合適的數據類型 （1）使用可存下數據的最小的數據類型，整型 < date,time < char,varchar < blob （2）使用簡單的數據類型，整型比字符處理開銷更小，因為字符串的比較更復雜。如，int類型存儲時間類型，bigint類型轉ip函數 （3）使用合理的字段屬性長度，固定長度的表會更快。使用enum、char而不是varchar （4）盡可能使用not null定義字段 （5）盡量少用text，非用不可最好分表 選擇合適的索引列 （1）查詢頻繁的列，在where，group by，order by，on從句中出現的列 （2）where條件中<，<=，=，>，>=，between，in，以及like 字符串+通配符（%）出現的列 （3）長度小的列，索引字段越小越好，因為數據庫的存儲單位是頁，一頁中能存下的數據越多越好 （4）離散度大（不同的值多）的列，放在聯合索引前面。查看離散度，通過統計不同的列值來實現，count越大，離散程度越高：
引擎
目前廣泛使用的是MyISAM和InnoDB兩種引擎：
MyISAM
MyISAM引擎是MySQL 5.1及之前版本的默認引擎，它的特點是：
不支持行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對表加排它鎖 不支持事務 不支持外鍵 不支持崩潰後的安全恢復 在表有讀取查詢的同時，支持往表中插入新紀錄 支持BLOB和TEXT的前500個字符索引，支持全文索引 支持延遲更新索引，極大提升寫入性能 對於不會進行修改的表，支持壓縮表，極大減少磁盤空間占用
InnoDB
InnoDB在MySQL 5.5後成為默認索引，它的特點是
支持行鎖，采用MVCC來支持高並發 支持事務 支持外鍵 支持崩潰後的安全恢復 不支持全文索引
總體來講，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表。
2.sql的編寫需要註意優化
使用limit對查詢結果的記錄進行限定 避免select *，將需要查找的字段列出來 使用連接（join）來代替子查詢 拆分大的delete或insert語句 可通過開啟慢查詢日志來找出較慢的SQL 不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊 sql語句盡可能簡單：一條sql隻能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大sql可以堵死整個庫 OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內 不用函數和觸發器，在應用程序實現 避免%xxx式查詢 少用JOIN 使用同類型進行比較，比如用'123'和'123'比，123和123比 盡量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描 對於連續數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5 列表數據不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大
3.分區
MySQL在5.1版引入的分區是一種簡單的水平拆分，用戶需要在建表的時候加上分區參數，對應用是透明的無需修改代碼
對用戶來說，分區表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現分區的代碼實際上是通過對一組底層表的對象封裝，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現分區的方式也意味著索引也是按照分區的子表定義，沒有全局索引
用戶的SQL語句是需要針對分區表做優化，SQL條件中要帶上分區條件的列，從而使查詢定位到少量的分區上，否則就會掃描全部分區，可以通過EXPLAIN PARTITIONS來查看某條SQL語句會落在那些分區上，從而進行SQL優化，我測試，查詢時不帶分區條件的列，也會提高速度，故該措施值得一試。
分區的好處是：
可以讓單表存儲更多的數據 分區表的數據更容易維護，可以通過清楚整個分區批量刪除大量數據，也可以增加新的分區來支持新插入的數據。另外，還可以對一個獨立分區進行優化、檢查、修復等操作 部分查詢能夠從查詢條件確定隻落在少數分區上，速度會很快 分區表的數據還可以分佈在不同的物理設備上，從而搞笑利用多個硬件設備 可以使用分區表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問、ext3文件系統的inode鎖競爭 可以備份和恢復單個分區
分區的限制和缺點：
一個表最多隻能有1024個分區 如果分區字段中有主鍵或者唯一索引的列，那麼所有主鍵列和唯一索引列都必須包含進來 分區表無法使用外鍵約束 NULL值會使分區過濾無效 所有分區必須使用相同的存儲引擎
分區的類型：
我首先根據月份把上網記錄表RANGE分區瞭12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH分區，分瞭64個分區，查詢速度提升顯著。問題解決！
結果如下：PARTITION BY HASH (id)PARTITIONS 64
select count() from readroom_website; –11901336行記錄
/ 受影響行數: 0 已找到記錄: 1 警告: 0 持續時間 1 查詢: 5.734 sec. /
select * from readroom_website where month(accesstime) =11 limit 10;
/ 受影響行數: 0 已找到記錄: 10 警告: 0 持續時間 1 查詢: 0.719 sec. */
4.分表
分表就是把一張大表，按照如上過程都優化瞭，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然後把結果組合返回給用戶。
分表分為垂直拆分和水平拆分，通常以某個字段做拆分項。比如以id字段拆分為100張表： 表名為 tableName_id%100
但：分表需要修改源程序代碼，會給開發帶來大量工作，極大的增加瞭開發成本，故：隻適合在開發初期就考慮到瞭大量數據存在，做好瞭分表處理，不適合應用上線瞭再做修改，成本太高！！！
5.分庫
把一個數據庫分成多個，建議做個讀寫分離就行瞭，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用。
到此這篇關於MySQL千萬級數據的大表優化解決方案的文章就介紹到這瞭,更多相關MySQL大表優化方案內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！