亚洲综合原千岁中文字幕_国产精品99久久久久久久vr_无码人妻aⅴ一区二区三区浪潮_成人h动漫精品一区二区三

主頁 > 知識庫 > MySQL線程處于Opening tables的問題解決方法

MySQL線程處于Opening tables的問題解決方法

熱門標簽:電話機器人市場趨勢 百度地圖標注后不顯示 俄國地圖標注app 昆明電信400電話辦理 淄博400電話申請 電銷機器人 行業 南昌高頻外呼系統哪家公司做的好 溫州瑞安400電話怎么申請 電銷機器人各個細節介紹

問題描述

最近有一臺MySQL5.6.21的服務器,在應用發布后,并發線程Threads_running迅速升高,達到2000左右,大量線程處于等待Opening tables、closing tables狀態,應用端相關邏輯訪問超時。

【分析過程】

1、16:10應用發布結束后,Opened_tables不斷增加,如下圖所示:

查看當時故障期間抓取的pt-stalk日志文件,時間點2019-01-18 16:29:37,Open_tables 的值為3430,而table_open_cache的配置值為2000。

當Open_tables值大于table_open_cache值時,每次新的session打開表,有一些無法命中table cache,而不得不重新打開表。這樣反應出來的現象就是有大量的線程處于opening tables狀態。

2、這個實例下的表,加上系統數據庫下總計851張,遠小于table_open_cache的2000,為什么會導致Open_tables達到3430呢

從官方文檔中可以得到解釋,

https://dev.mysql.com/doc/refman/5.6/en/table-cache.html

table_open_cache is related to max_connections. For example, for 200 concurrent running connections, specify a table cache size of at least 200 * N, where N is the maximum number of tables per join in any of the queries which you execute.

當時并發線程數達到1980,假設這些并發連接中有30%是訪問2張表,其他都是單表,那么cache size就會達到(1980*30%*2+1980*70%*1)=2574

3、QPS在發布前后都比較平穩,從外部請求來看并沒有突增的連接請求,但在發布后threads_running上升到接近2000的高位,一直持續。猜測是由于某個發布的SQL語句觸發了問題。

4、查看當時抓取的processlist信息,有一句SQL并發訪問很高,查詢了8張物理表,SQL樣本如下:

code>select id,name,email from table1 left join table2br>union allbr>select id,name,email from table3 left join table4br>union allbr>select id,name,email from table5 left join table6br>union allbr>select id,name,email from table7 left join table8br>where id in ('aaa');/code>

5、在測試環境中創建相同的8張表,清空表緩存,單個session執行SQL前后對比,Open_tables的值會增加8,如果高并發的情況下,Open_tables的值就會大幅增加。

問題重現

在測試環境上模擬高并發訪問的場景,并發1000個線程同時執行上面的SQL語句,復現了生產環境類似的現象,Open_tables迅速達到3800,大量進程處于Opening tables、closing tables狀態。

優化方案

1、 定位到問題原因后,我們與開發同事溝通,建議優化該SQL,降低單句SQL查詢表的數量或大幅降低該SQL的并發訪問頻率。

不過開發同事還沒來的及優化,生產環境上故障又出現了。當時DBA排障時將table_open_cache從2000增加4000,CPU使用率上升,效果并不明顯,等待Opening tables的問題依然存在。

2、 分析故障期間抓取的pstack信息,用pt-pmp聚合后,看到大量線程在open_table時等待mutex資源:

#0 0x0000003f0900e334 in __lll_lock_wait () from /lib64/libpthread.so.0
#1 0x0000003f0900960e in _L_lock_995 () from /lib64/libpthread.so.0
#2 0x0000003f09009576 in pthread_mutex_lock () from /lib64/libpthread.so.0
#3 0x000000000069ce98 in open_table(THD*, TABLE_LIST*, Open_table_context*) ()
#4 0x000000000069f2ba in open_tables(THD*, TABLE_LIST**, unsigned int*, unsigned int, Prelocking_strategy*) ()
#5 0x000000000069f3df in open_normal_and_derived_tables(THD*, TABLE_LIST*, unsigned int) ()
#6 0x00000000006de821 in execute_sqlcom_select(THD*, TABLE_LIST*) ()
#7 0x00000000006e13cf in mysql_execute_command(THD*) ()
#8 0x00000000006e4d8f in mysql_parse(THD*, char*, unsigned int, Parser_state*) ()
#9 0x00000000006e62cb in dispatch_command(enum_server_command, THD*, char*, unsigned int) ()
#10 0x00000000006b304f in do_handle_one_connection(THD*) ()
#11 0x00000000006b3177 in handle_one_connection ()
#12 0x0000000000afe5ca in pfs_spawn_thread ()
#13 0x0000003f09007aa1 in start_thread () from /lib64/libpthread.so.0
#14 0x0000003f088e893d in clone () from /lib64/libc.so.6

這時table_cache_manager中的mutex沖突非常嚴重。

由于MySQL5.6.21下table_open_cache_instances參數的默認值為1,想到增大table_open_cache_instances參數,增加表緩存分區,應該可以緩解爭用。

3、 在測試環境上,我們調整兩個參數table_open_cache_instances=32,table_open_cache=6000,同樣并發1000個線程執行問題SQL,這次等待Opening tables、closing tables的線程消失了,MySQL的QPS也從12000上升到55000。
對比相同情況下,只調整table_open_cache=6000,等待Opening tables的進程數從861下降到203,問題有所緩解,有600多個進程已經從等待Opening tables變為運行狀態,QPS上升到40000左右,但不能根治。

源碼分析

查了下代碼有關table_open_cache的相關邏輯:

1、Table_cache::add_used_table函數如下,當新的連接打開的表在table cache中不存在時,打開表加入到used tables list:

bool Table_cache::add_used_table(THD *thd, TABLE *table)
{
 Table_cache_element *el;
 
 assert_owner();
 
 DBUG_ASSERT(table->in_use == thd);
 
 /*
 Try to get Table_cache_element representing this table in the cache
 from array in the TABLE_SHARE.
 */
 el= table->s->cache_element[table_cache_manager.cache_index(this)];
 
 if (!el)
 {
 /*
  If TABLE_SHARE doesn't have pointer to the element representing table
  in this cache, the element for the table must be absent from table the
  cache.
 
  Allocate new Table_cache_element object and add it to the cache
  and array in TABLE_SHARE.
 */
 DBUG_ASSERT(! my_hash_search(m_cache,
         (uchar*)table->s->table_cache_key.str,
         table->s->table_cache_key.length));
 
 if (!(el= new Table_cache_element(table->s)))
  return true;
 
 if (my_hash_insert(m_cache, (uchar*)el))
 {
  delete el;
  return true;
 }
 
 table->s->cache_element[table_cache_manager.cache_index(this)]= el;
 }
 
 /* Add table to the used tables list */ 
 el->used_tables.push_front(table);
 
 m_table_count++; free_unused_tables_if_necessary(thd);
 
 return false;
}

2、每次add_used_table會調用Table_cache::free_unused_tables_if_necessary函數,當滿足m_table_count > table_cache_size_per_instance m_unused_tables時,執行remove_table,清除m_unused_tables列表中多余的cache。其中table_cache_size_per_instance= table_cache_size / table_cache_instances,MySQL5.6的默認配置是2000/1=2000,當m_table_count值大于2000并且m_unused_tables非空時就執行remove_table,將m_unused_tables中的table cache清空。這樣m_table_count就是Open_tables的值正常會維持在2000上下。

void Table_cache::free_unused_tables_if_necessary(THD *thd)
{
 /*
 We have too many TABLE instances around let us try to get rid of them.
 
 Note that we might need to free more than one TABLE object, and thus
 need the below loop, in case when table_cache_size is changed dynamically,
 at server run time.
 */
 if (m_table_count > table_cache_size_per_instance  m_unused_tables)
 {
 mysql_mutex_lock(LOCK_open);
 while (m_table_count > table_cache_size_per_instance 
   m_unused_tables)
 {
  TABLE *table_to_free= m_unused_tables;  
  remove_table(table_to_free);
  intern_close_table(table_to_free);
  thd->status_var.table_open_cache_overflows++;
 }
 mysql_mutex_unlock(LOCK_open);
 }
}

3、增大table_cache_instances為32,當Open_tables超過(2000/32=62)時,就會滿足條件,加速上述邏輯中m_unused_tables的清理,使得table cache中數量進一步減少,會導致Table_open_cache_overflows升高。

4、當table_open_cache_instances從1增大到32時,1個LOCK_open鎖分散到32個m_lock的mutex上,大大降低了鎖的爭用。

/** Acquire lock on table cache instance. */
 void lock() { mysql_mutex_lock(m_lock); }
 /** Release lock on table cache instance. */
 void unlock() { mysql_mutex_unlock(m_lock); }

解決問題

我們生產環境同時采取下面優化措施,問題得以解決:
1、 讀寫分離,增加read節點,分散master庫的壓力;
2、 調整table_open_cache_instances=16;
3、 調整table_open_cache=6000;

總結

當出現Opening tables等待問題時,
1、建議找出打開表頻繁的SQL語句,優化該SQL,降低單句SQL查詢表的數量或大幅降低該SQL的并發訪問頻率。

2、設置合適的table cache,同時增大table_open_cache_instances和 table_open_cache參數的值。

您可能感興趣的文章:
  • mybatis學習之路mysql批量新增數據的方法
  • MySQL和Redis實現二級緩存的方法詳解
  • MySQL普通索引和唯一索引的深入講解
  • 使用MySQL的geometry類型處理經緯度距離問題的方法
  • mysql binlog(二進制日志)查看方法
  • Docker創建MySQL的講解
  • PHP date()格式MySQL中插入datetime方法
  • pymysql如何解決sql注入問題深入講解
  • mysql導出表的字段和相關屬性的步驟方法
  • MySQL limit性能分析與優化

標簽:洛陽 甘南 安徽 吐魯番 拉薩 嘉峪關 葫蘆島

巨人網絡通訊聲明:本文標題《MySQL線程處于Opening tables的問題解決方法》,本文關鍵詞  MySQL,線程,處于,Opening,tables,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《MySQL線程處于Opening tables的問題解決方法》相關的同類信息!
  • 本頁收集關于MySQL線程處于Opening tables的問題解決方法的相關信息資訊供網民參考!
  • 推薦文章
    黄视频网站免费观看| 精品视频在线看 | 国产一区二区福利久久| 国产国产人免费视频成69堂| 国产精品自拍在线观看| 免费国产在线观看不卡| 韩国毛片免费大片| 九九干| 欧美a免费| 精品国产香蕉伊思人在线又爽又黄| 亚飞与亚基在线观看| 久草免费在线色站| 九九九网站| 二级片在线观看| 久久久成人影院| 国产精品自拍一区| 精品久久久久久影院免费| 亚欧成人乱码一区二区| 美女被草网站| 亚欧乱色一区二区三区| 欧美α片无限看在线观看免费| 久久国产影院| 精品视频在线看| 国产视频一区二区在线播放| 欧美激情伊人| 九九久久99综合一区二区| 久久精品成人一区二区三区| a级毛片免费观看网站| 欧美国产日韩精品| 成人免费网站久久久| 午夜欧美成人久久久久久| 欧美一级视频免费| 97视频免费在线观看| 久久99爰这里有精品国产| 999精品在线| 日韩免费在线| 日本特黄一级| 精品国产三级a∨在线观看| 91麻豆tv| 韩国毛片| 成人av在线播放| 九九久久国产精品大片| 999久久狠狠免费精品| 午夜家庭影院| 日韩中文字幕一区二区不卡| 欧美一区二区三区在线观看| 欧美爱爱网| 国产一区二区精品在线观看| 国产精品自拍一区| 精品久久久久久中文字幕2017| 国产精品免费久久| 成人高清视频免费观看| 欧美另类videosbestsex视频| 黄色福利片| 日本伦理片网站| 国产精品自拍一区| 可以免费看毛片的网站| 欧美一区二区三区性| 国产国产人免费视频成69堂| 欧美激情一区二区三区在线| 成人免费福利片在线观看| 日韩免费片| 91麻豆tv| 尤物视频网站在线观看| 欧美激情在线精品video| 高清一级淫片a级中文字幕| 国产一级生活片| 亚洲精品中文字幕久久久久久| 国产亚洲免费观看| 一级女性大黄生活片免费| 国产麻豆精品免费密入口| 国产一区二区精品尤物| 欧美激情一区二区三区视频高清| 免费国产在线观看不卡| 一级女性全黄久久生活片| 久久国产精品永久免费网站| 欧美激情一区二区三区视频高清| 四虎影视久久久免费| 欧美另类videosbestsex久久 | 国产一区二区精品尤物| 欧美激情在线精品video| 香蕉视频亚洲一级| 美女免费精品高清毛片在线视| 国产美女在线观看| 免费的黄色小视频| 国产成a人片在线观看视频| 美女免费毛片| 成人免费网站久久久| 日韩中文字幕一区| 国产伦精品一区三区视频| 日本特黄一级| 成人影院一区二区三区| 国产麻豆精品免费密入口| 国产不卡在线看| 亚洲 国产精品 日韩| 一级女性全黄久久生活片| 天天做日日爱| 国产极品精频在线观看| 精品视频在线观看视频免费视频| 久久精品欧美一区二区| 成人影院一区二区三区| 欧美日本免费| 九九久久99| 欧美一级视频高清片| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 欧美大片aaaa一级毛片| 韩国毛片| 黄视频网站免费看| 久久99这里只有精品国产| 精品久久久久久中文字幕一区| 精品毛片视频| 亚洲天堂在线播放| 美女免费毛片| 日本在线不卡视频| 亚洲第一页色| 国产一区精品| 欧美国产日韩在线| 可以免费在线看黄的网站| 国产91素人搭讪系列天堂| 四虎影视久久久| 精品毛片视频| 久久久成人网| 国产欧美精品| 欧美激情一区二区三区视频高清 | 黄色免费三级| 99热精品一区| 99色播| 久草免费在线观看| 欧美一区二区三区性| 精品毛片视频| 黄色免费三级| 美女免费精品高清毛片在线视| 久久精品店| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 国产91素人搭讪系列天堂| 久久国产影视免费精品| 国产美女在线一区二区三区| 日韩免费在线| 黄色福利片| 青青久久国产成人免费网站| 精品国产香蕉在线播出| 免费的黄色小视频| 欧美另类videosbestsex久久| 国产综合成人观看在线| 国产国产人免费视频成69堂| 日韩中文字幕一区| 国产一区二区精品尤物| 国产一区二区精品久久91| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 成人免费观看的视频黄页| 日日夜夜婷婷| 免费国产一级特黄aa大片在线| 日韩中文字幕一区二区不卡| 一本高清在线| 久久久久久久免费视频| 999久久久免费精品国产牛牛| 黄视频网站在线免费观看| 精品在线观看国产| 尤物视频网站在线观看| 日韩在线观看视频免费| 欧美一级视频免费| 色综合久久天天综合观看| 久久国产精品永久免费网站| 一级女人毛片人一女人| 精品久久久久久综合网| 99热视热频这里只有精品| 日韩av成人| 日韩在线观看免费| 午夜在线亚洲男人午在线| 午夜在线亚洲男人午在线| 日本免费区| 日本在线播放一区| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 欧美a级片免费看| 国产视频网站在线观看| 99热视热频这里只有精品| 亚洲精品久久久中文字| 麻豆污视频| 精品久久久久久免费影院| 欧美国产日韩精品| 久久精品大片| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 999久久狠狠免费精品| 亚洲第一视频在线播放| 成人高清视频在线观看| 欧美a级片视频| 深夜做爰性大片中文| 可以在线看黄的网站| 99久久精品国产高清一区二区| 国产激情一区二区三区| 欧美大片一区| 欧美国产日韩一区二区三区| 一级毛片视频免费| 日本在线不卡视频| 成人高清免费| 精品视频在线观看视频免费视频| 国产网站免费视频| 四虎久久精品国产| 免费的黄色小视频| 天天做人人爱夜夜爽2020毛片|