亚洲综合原千岁中文字幕_国产精品99久久久久久久vr_无码人妻aⅴ一区二区三区浪潮_成人h动漫精品一区二区三

主頁 > 知識庫 > Redis全量復制與部分復制示例詳解

Redis全量復制與部分復制示例詳解

熱門標簽:廊坊外呼系統在哪買 臺灣電銷 b2b外呼系統 南京手機外呼系統廠家 高碑店市地圖標注app 四川穩定外呼系統軟件 400電話辦理的口碑 一個地圖標注多少錢 地圖標注工廠入駐

Redis 主從復制

  • Redis 實例劃分為主節點(master)和從節點(slave)
  • 默認情況下,Redis都是主節點
  • 每個從節點只能有一個主節點,而主節點可以同時具有多個從節點
  • 復制的數據流是單向的,只能由主節點復制到從節點
  • slaveof 命令在使用時,可以運行期動態配置,也可以提前寫到配置文件中
  • 主從復制

步驟 詳細描述
保存主節點信息 執行slaveof后從節點只保存主節點的地址信息便直接返回
主從建立socket連接 從節點(slave)內部通過每秒運行的定時任務維護復制相關邏輯,當定時任務發現存在新的主節點后,會嘗試與該節點建立網絡連接;從節點會建立一個socket套接字,專門用于接受住節點發送的復制命令;如果從節點無法建立連接,定時任務會無限重試直到連接成功或者執行 slaveof no one 取消復制
發送ping命令 連接建立成功后從節點發送ping請求進行首次通信,ping請求的目的:檢測主從之間套接字是否可用;檢測主節點當前是否可接受處理命令.如果發送ping命令后,從節點沒有收到主節點的pong回復或者超時,比如網絡超時或者主節點正在阻塞無法響應命令,從節點會端口復制連接,下次定時任務會發起重連
權限驗證 如果主節點設置了requirepass 參數,則需要密碼驗證,從節點必須配置masterauth參數保證與主節點相同的密碼才能通過驗證;如果驗證失敗復制將終止,從節點重新發起復制流程
同步數據集 主從復制連接正常通信后,對于首次建立復制的場景,主節點會把持有的數據全部發送給從節點.
命令持續復制 當主節點把當前的數據同步給從節點后,變成了復制的建立流程,接下來主節點會持續地把寫命令發送給從節點,保證主從數據一致性

  • 啟動6380、6381
  • 6381 執行命令
127.0.0.1:6381> slaveof 127.0.0.1 6380

Redis5.0.0 改為 : replicaof masterip> masterport>
  • 6380 啟動

6381 啟動

查看info replication

數據同步

類型 描述
全量復制 一般用于初次復制場景,Redis早期支持的復制功能只有全量復制,它會把主節點全部數據一次性發送給從節點,當數據量較大時,會對主從節點和網絡造成很大的開銷
部分復制 用于處理在主從復制中因網絡閃斷等原因造成的數據丟失場景,當從節點再次連上主節點后,如果條件允許,主節點會補發丟失數據給從節點。因為補發的數據遠遠小于全量數據,可以有效避免全量復制的過高開銷

復制偏移量

參數 描述
master_repl_offset 參與復制的主從節點都會維護自身復制偏移量。主節點(master)在處理完寫入命令后,會把命令的字節長度做累加記錄,統計信息在info replication中的master_repl_offset指標中
slave0 從節點(slave) 每秒鐘上報自身的復制偏移量給主節點,因此主節點也會保存從節點的復制偏移量
slave_repl_offset 從節點在接收到主節點發送的命令后,也會累加記錄自身的偏移量。

復制積壓緩沖區

  • 復制積壓緩沖區是保存在主節點上的一個固定長度的隊列,默認大小為1MB,當主節點有連接的從節點(slave)時被創建,這是主節點(master)響應寫命令時,不但會把命名發送給從節點,還會寫入復制積壓緩沖區
  • 由于緩沖區本質上是先進先出的定長隊列,所以能實現保存最近已復制數據的功能,用于部分復制和復制命令丟失的數據補救

參數 描述
repl_backlog_active:1 開啟復制緩沖區
repl_backlog_size:1048576 緩沖區最大長度
repl_backlog_first_byte_offset:1 起始偏移量,計算當前緩沖區可用范圍
repl_backlog_histlen:2301 已保存數據的有效長度
master_replid 主節點實例的master_replid相同
master_replid2 未發生切換,即主實例未發生過變化,所以初始值為0

psync 命令

從節點使用psync命令完成部分復制和全量復制功能

30227:M 05 Aug 2019 18:52:44.698 * Replica 127.0.0.1:6381 asks for synchronization
30227:M 05 Aug 2019 18:52:44.698 * Partial resynchronization not accepted: Replication ID mismatch (Replica asked for 'e7d71fb600183a175afadbd1354e97edddb2541a', my replication IDs are 'e24f6e42917e7c162ec45a713b0ee3872005ee8b' and '0000000000000000000000000000000000000000')

6381 從節點打印分析

31771:S 06 Aug 2019 12:21:40.213 * DB loaded from disk: 0.000 seconds
31771:S 06 Aug 2019 12:21:40.213 * Before turning into a replica, using my master parameters to synthesize a cached master: I may be able to synchronize with the new master with just a partial transfer.
#啟動成功
31771:S 06 Aug 2019 12:21:40.213 * Ready to accept connections
# 開始連接主節點
31771:S 06 Aug 2019 12:21:40.214 * Connecting to MASTER 127.0.0.1:6380
# 開始同步
31771:S 06 Aug 2019 12:21:40.214 * MASTER -> REPLICA sync started
31771:S 06 Aug 2019 12:21:40.214 * Non blocking connect for SYNC fired the event.
31771:S 06 Aug 2019 12:21:40.214 * Master replied to PING, replication can continue...
# 嘗試增量同步
31771:S 06 Aug 2019 12:21:40.214 * Trying a partial resynchronization (request 668b25f85e84c5900e1032e4b5e1f038f01cfa49:5895).
# 全量同步
31771:S 06 Aug 2019 12:21:40.215 * Full resync from master: c88cd043d66193e867929d9d5fadc952954371e5:0
31771:S 06 Aug 2019 12:21:40.215 * Discarding previously cached master state.
31771:S 06 Aug 2019 12:21:40.240 * MASTER -> REPLICA sync: receiving 224 bytes from master
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Flushing old data
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Loading DB in memory
31771:S 06 Aug 2019 12:21:40.241 * MASTER -> REPLICA sync: Finished with success

全量復制

  • 全量復制是Redis最早支持的復制方式,也是主從第一次建立復制時必須經歷的階段。觸發全量復制的命令是sync和psync
    • 發送psync命令進行數據同步,由于是第一次進行復制,從節點沒有復制偏移量和主節點的運行ID,所以發送psync-1
    • 主節點根據psync-1解析出當前為全量復制,回復+FULLRESYNC響應
    • 從節點接收主節點的響應數據保存運行ID和偏移量offset
    • 主節點執行bgsave保存RDB文件到本地
31651:M 06 Aug 2019 11:08:40.802 * Starting BGSAVE for SYNC with target: disk
31651:M 06 Aug 2019 11:08:40.802 * Background saving started by pid 31676
31676:C 06 Aug 2019 11:08:40.805 * DB saved on disk
31676:C 06 Aug 2019 11:08:40.806 * RDB: 0 MB of memory used by copy-on-write
31651:M 06 Aug 2019 11:08:40.886 * Background saving terminated with success
31651:M 06 Aug 2019 11:08:40.886 * Synchronization with replica 127.0.0.1:6381 succeeded
  • 主節點發送RDB給從節點,從節點把接收的RDB文件保存在本地并直接作為從節點的數據文件,接收完RDB后從節點打印相關日志
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: receiving 224 bytes from master
  • 對于從節點開始接收RDB快照到接收完成期間,主節點仍然響應讀寫命令,因此主節點會把這期間寫命令數據保存在復制客戶端緩沖區內,當從節點加載完RDB文件后,主節點再把緩沖區內的數據發送個從節點,保證主從之間數據一致性。
  • redis.conf 配置
client-output-buffer-limit replica 256mb 64mb 60
  • 如果主節點創建和傳輸RDB的時間過長,對于高流量寫入場景非常容易造成主節點復制客戶端緩沖區溢出。默認配置如上所示,如果60秒內緩沖區消耗持續大于64MB或者直接超過256MB時,主節點將直接關閉復制客戶端連接,造成全量同步失敗
  • 對于主節點,當發送完所有的數據后就認為全量復制完成.
31651:M 06 Aug 2019 11:08:40.886 * Synchronization with replica 127.0.0.1:6381 succeeded
  • 從節點接收完主節點傳送來的全部數據后會清空自身舊數據
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Flushing old data
  • 從節點清空數據后開始加載RDB文件,對于較大的RDB文件,這一步操作依然比較耗時,可以通過計算日志之間的時間差來判斷加載RDB的總耗時
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Loading DB in memory
31645:S 06 Aug 2019 11:08:40.886 * MASTER -> REPLICA sync: Finished with success
  • 從節點成功加載完RDB后,如果當前節點開啟了AOF持久化功能,它會立刻做bgrewriteaof操作,為了保證全量復制后AOF持久化文件立刻可用。
  • 全量復制耗時的原因:
    • 主節點bgsave時間
    • RDB文件網絡傳輸時間
    • 從節點清空數據時間
    • 可能的AOF重寫時間
  • 以下為Redis 3.0才會有

標識 含義
M 當前為主節點日志
S 當前為從節點日志
C 子進程日志

部分復制

  • 部分復制主要是Redis針對全量復制的過高開銷做出的一種優化措施,使用psync {runId}{offset}命令實現。當從節點(slave)正在復制主節點(master)時,如果出現網絡閃斷或者命令丟失等異常情況時,從節點會向主節點要求補發丟失的命令數據,如果主節點的復制積壓緩沖區內存咋這部分數據則直接發送給從節點,這樣就可以保持主從節點復制的一致性。補發的這部分數據一般遠遠小于全量數據.
    • 當主節點直接網絡出現中斷是,如果超過repl-timeout時間,主節點會認為從節點故障并中斷復制連接
31767:M 06 Aug 2019 14:13:26.096 # Connection with replica 127.0.0.1:6381 lost.
  • 主從連接中斷期間主節點依然響應命令,但因復制連接中斷命令無法發送給從節點,不過主節點內部存在的復制積壓緩沖區,依然可以保存最近一段時間的寫命令數據,默認最大緩存1MB,可以通過into replication 查看
  • 當從節點網絡恢復后,從節點會再次連上主節點
從節點打印:
31934:S 06 Aug 2019 14:20:54.745 * MASTER -> REPLICA sync started
31934:S 06 Aug 2019 14:20:54.745 * Non blocking connect for SYNC fired the event.
31934:S 06 Aug 2019 14:20:54.745 * Master replied to PING, replication can continue...
31934:S 06 Aug 2019 14:20:54.745 * Trying a partial resynchronization (request c88cd043d66193e867929d9d5fadc952954371e5:9996).
31934:S 06 Aug 2019 14:20:54.746 * Successful partial resynchronization with master.
31934:S 06 Aug 2019 14:20:54.746 * MASTER -> REPLICA sync: Master accepted a Partial Resynchronization.

主節點打印:
31767:M 06 Aug 2019 14:21:49.065 * Replica 127.0.0.1:6381 asks for synchronization
31767:M 06 Aug 2019 14:21:49.066 * Partial resynchronization request from 127.0.0.1:6381 accepted. Sending 0 bytes of backlog starting from offset 10066.
  • 當主從連接恢復后,由于從節點之前保存了自身已復制的偏移量和主節點的運行ID。因此會把它們當做psync參數發送個主節點,要求進行部分復制操作.從節點對應日志:
31938:S 06 Aug 2019 14:21:49.065 * Trying a partial resynchronization (request c88cd043d66193e867929d9d5fadc952954371e5:10066).
  • 主節點接到psync命令后首先核對參數runId是否與自身一致,如果一致,說明之前復制的是當前主節點;之后根據參數offset在自身復制積壓緩沖區查找,如果偏移量之后的數據存在緩沖區中,則對從節點發送+COUTINUE響應,表示可以進行部分復制。從節點接到回復打印如下:
31938:S 06 Aug 2019 14:21:49.066 * Successful partial resynchronization with master.
31938:S 06 Aug 2019 14:21:49.066 * MASTER -> REPLICA sync: Master accepted a Partial Resynchronization.
  • 主節點根據偏移量把復制積壓緩沖區里的數據發送給從節點,保證主從復制進入正常狀態。發送的數據量可以在主節點的日志獲取
31767:M 06 Aug 2019 14:21:49.065 * Replica 127.0.0.1:6381 asks for synchronization
31767:M 06 Aug 2019 14:21:49.066 * Partial resynchronization request from 127.0.0.1:6381 accepted. Sending 0 bytes of backlog starting from offset 10066.

心跳

  • 主從節點在建立復制后,它們之間維護著長連接并彼此發送心跳命令
  • 主從心跳判斷機制:
    • 主從節點彼此都有心跳檢測機制,各自模擬對方的客戶端進行通信,主節點的連接狀態為flags=M,從節點連接狀態為flags=S
    • 主節點默認每隔10秒對從節點發送ping命令,判斷從節點的存活性和連接狀態。可以通過repl-ping-replica-period 10 控制發送頻率
    • 從節點在主線程中每隔一秒發送replconf ack{offset} 命令,給主節點上報自身當前的復制偏移量。主節點根據replconf命令判斷從節點超時時間,體現在info replication 統計中的lag信息中,lag表示從節點最后一次通信延遲的秒數,正常延遲應該在0到1之間。如果超過repl-timeout配置的值(默認60秒),則判定從節點下線并斷開復制客戶端連接。即使主節點判定從節點下線后,如果從節點重新恢復,心跳檢測和繼續執行.

異步復制

  • 主節點不但負責數據讀寫,還負責把寫命令同步給從節點。寫命令的發送過程是異步完成,也就是說主節點自身處理完寫命令后直接返回給客戶端,并不等待從節點復制完成。

讀寫分離

  • 對于讀占比較高的場景,可以通過把一部分讀流量分攤到從節點(slave)來減輕主節點(master)壓力,同時需要注意永遠只對主節點執行寫操作
  • 建議大家在做讀寫分離之前,可以考慮使用Redis Cluster 等分布式解決方案

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。

您可能感興趣的文章:
  • 淺談Redis主從復制以及主從復制原理
  • 詳解Redis主從復制實踐
  • Redis持久化與主從復制的實踐
  • 使用Docker搭建Redis主從復制的集群
  • redis主從復制原理的深入講解
  • Redis主從復制詳解
  • CentoS6.5環境下redis4.0.1(stable)安裝和主從復制配置方法
  • Redis教程(九):主從復制配置實例
  • 詳解Redis復制原理

標簽:南寧 伊春 河源 泰州 拉薩 畢節 甘南 定州

巨人網絡通訊聲明:本文標題《Redis全量復制與部分復制示例詳解》,本文關鍵詞  Redis,全量,復制,與,部分,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Redis全量復制與部分復制示例詳解》相關的同類信息!
  • 本頁收集關于Redis全量復制與部分復制示例詳解的相關信息資訊供網民參考!
  • 推薦文章
    亚洲天堂一区二区三区四区| 久久精品免视看国产成人2021| 成人免费网站久久久| 一级毛片视频在线观看| 亚洲天堂一区二区三区四区| 久草免费在线色站| 久久成人亚洲| 国产网站麻豆精品视频| 欧美激情中文字幕一区二区| 国产精品1024永久免费视频 | 免费毛片播放| 国产不卡在线观看| 91麻豆国产级在线| 欧美大片a一级毛片视频| 日韩在线观看免费| 精品国产一区二区三区精东影业| 亚洲天堂一区二区三区四区| 日韩在线观看视频黄| 香蕉视频一级| 99热热久久| 亚洲天堂免费观看| 欧美大片aaaa一级毛片| 国产a免费观看| 日本特黄特黄aaaaa大片| 亚洲天堂在线播放| 免费毛片播放| 久久久久久久免费视频| 国产不卡福利| 欧美1卡一卡二卡三新区| 青青青草视频在线观看| 国产91精品一区二区| 四虎影视久久| 999久久66久6只有精品| 日本特黄一级| 999久久66久6只有精品| 美女免费毛片| 欧美一区二区三区性| 欧美1区| 午夜在线观看视频免费 成人| 国产视频一区在线| 免费毛片播放| 国产精品免费久久| 人人干人人草| 精品视频在线观看一区二区| a级精品九九九大片免费看| 欧美另类videosbestsex| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 精品久久久久久中文字幕一区 | 国产成人啪精品| 精品视频一区二区三区| 日韩在线观看视频黄| 日本伦理黄色大片在线观看网站| 国产一级强片在线观看| 午夜欧美福利| 在线观看导航| 九九免费高清在线观看视频| 天天做人人爱夜夜爽2020| 青青久热| 天天色成人| 日韩在线观看视频免费| 欧美日本二区| 免费国产在线观看| 欧美激情一区二区三区视频高清| 日韩专区亚洲综合久久| 色综合久久天天综线观看| 欧美国产日韩在线| 国产不卡精品一区二区三区| 国产伦精品一区三区视频| 一本伊大人香蕉高清在线观看| 日韩免费片| 麻豆网站在线看| 国产伦久视频免费观看视频| 欧美大片一区| 欧美日本免费| 精品毛片视频| 国产一区二区福利久久| 99久久精品国产麻豆| 国产网站免费视频| 国产福利免费观看| 欧美国产日韩一区二区三区| 国产麻豆精品hdvideoss| 欧美另类videosbestsex久久| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 日韩av成人| 精品久久久久久影院免费| 久久99这里只有精品国产| 色综合久久天天综合绕观看| 欧美国产日韩久久久| 九九久久99综合一区二区| 日韩av东京社区男人的天堂| 国产国产人免费视频成69堂| 黄视频网站在线看| 国产成人女人在线视频观看| 午夜在线亚洲| 亚州视频一区二区| 久久国产影院| 久久国产影视免费精品| 麻豆午夜视频| 一级女性大黄生活片免费| 色综合久久久久综合体桃花网| 天天做日日干| 一a一级片| 免费的黄视频| 国产精品自拍亚洲| 国产福利免费观看| 亚欧乱色一区二区三区| 日韩在线观看视频网站| 久久国产精品永久免费网站| 夜夜操天天爽| 国产麻豆精品| 可以免费在线看黄的网站| 999精品在线| 沈樵在线观看福利| 欧美a级成人淫片免费看| 成人高清免费| 国产高清在线精品一区a| 久久99这里只有精品国产| 午夜在线影院| 成人高清护士在线播放| 日韩中文字幕在线播放| 天天做日日爱| 国产高清视频免费观看| 韩国妈妈的朋友在线播放| 欧美日本韩国| 国产精品12| 九九干| 韩国三级一区| 毛片电影网| 免费国产在线视频| 91麻豆爱豆果冻天美星空| 亚洲第一视频在线播放| a级毛片免费全部播放| 欧美另类videosbestsex久久| 可以免费看污视频的网站| 精品视频在线观看一区二区| 日韩男人天堂| 欧美激情伊人| 久久国产影院| 欧美日本免费| 高清一级毛片一本到免费观看| 亚洲女人国产香蕉久久精品| 成人免费网站视频ww| 99色精品| 久久国产一区二区| 亚洲女人国产香蕉久久精品 | 欧美大片a一级毛片视频| 国产a免费观看| 日本特黄特色aa大片免费| a级精品九九九大片免费看| 亚洲第一色在线| 青青久久精品国产免费看| 久久久久久久久综合影视网| 可以免费在线看黄的网站| 日韩一级黄色| 一级女性全黄久久生活片| 国产a网| 韩国三级一区| 午夜久久网| 精品国产一区二区三区国产馆| 高清一级片| 欧美大片a一级毛片视频| 亚洲精品久久久中文字| 欧美大片aaaa一级毛片| 四虎影视久久| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 久草免费在线视频| 亚洲精品影院| 91麻豆精品国产自产在线| 精品视频在线观看免费| 国产一区二区精品久久| 日韩中文字幕在线播放| 久久国产精品永久免费网站| 国产一区二区高清视频| 在线观看成人网 | 免费一级生活片| 亚洲精品久久久中文字| 高清一级做a爱过程不卡视频| 一级女性全黄久久生活片| 二级特黄绝大片免费视频大片| 国产视频久久久久| 四虎影视久久| 成人免费网站久久久| 国产91精品一区二区| 成人免费观看视频| 四虎久久精品国产| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 国产激情一区二区三区| 九九精品久久| 国产91素人搭讪系列天堂| 国产精品自拍在线观看| 欧美日本二区| 欧美大片毛片aaa免费看| 日本特黄一级| 亚洲第一页乱| 国产高清在线精品一区a| 麻豆系列 在线视频| 国产成人精品一区二区视频| 中文字幕一区二区三区精彩视频 | 日本免费区| 欧美激情在线精品video|