最近有個(gè)哥們?cè)谌豪飭?wèn)，有一個(gè)日志，里面存的是IP地址（一行一個(gè)），如何將這些IP快速導(dǎo)入到Redis中。
我剛開(kāi)始的建議是Shell+redis客戶(hù)端。
今天，查看Redis官檔，發(fā)現(xiàn)文檔的首頁(yè)部分（http://www.redis.io/documentation）有一個(gè)專(zhuān)門(mén)的主題是講述“Redis Mass Insertion”的，才知道自己的建議很low。
官方給出的理由如下：
Using a normal Redis client to perform mass insertion is not a good idea for a few reasons: the naive approach of sending one command after the other is slow because you have to pay for the round trip time for every command. It is possible to use pipelining, but for mass insertion of many records you need to write new commands while you read replies at the same time to make sure you are inserting as fast as possible.
Only a small percentage of clients support non-blocking I/O, and not all the clients are able to parse the replies in an efficient way in order to maximize throughput. For all this reasons the preferred way to mass import data into Redis is to generate a text file containing the Redis protocol, in raw format, in order to call the commands needed to insert the required data.
大意是：
1> 每個(gè)redis客戶(hù)端命令之間有往返時(shí)延。
2> 只要一部分客戶(hù)端支持非阻塞I/O。
個(gè)人理解是，redis命令從執(zhí)行到結(jié)果返回，有一定的時(shí)延，即便采用多個(gè)redis客戶(hù)單并發(fā)插入，也很難提高吞吐量，因?yàn)椋挥蟹亲枞鸌/O只能針對(duì)有限個(gè)連接操作。
那么如何高效的插入呢？
官方在2.6版本推出了一個(gè)新的功能-pipe mode，即將支持Redis協(xié)議的文本文件直接通過(guò)pipe導(dǎo)入到服務(wù)端。
說(shuō)來(lái)拗口，具體實(shí)現(xiàn)步驟如下：
1. 新建一個(gè)文本文件，包含redis命令
SET Key0 Value0
SET Key1 Value1
...
SET KeyN ValueN
如果有了原始數(shù)據(jù)，其實(shí)構(gòu)造這個(gè)文件并不難，譬如shell，python都可以
2. 將這些命令轉(zhuǎn)化成Redis Protocol。
因?yàn)镽edis管道功能支持的是Redis Protocol，而不是直接的Redis命令。
如何轉(zhuǎn)化，可參考后面的腳本。
3. 利用管道插入
cat data.txt | redis-cli --pipe
Shell VS Redis pipe
下面通過(guò)測(cè)試來(lái)具體看看Shell批量導(dǎo)入和Redis pipe之間的效率。
測(cè)試思路：分別通過(guò)shell腳本和Redis pipe向數(shù)據(jù)庫(kù)中插入10萬(wàn)相同數(shù)據(jù)，查看各自所花費(fèi)的時(shí)間。
Shell
腳本如下：
#!/bin/bash
for ((i=0;i100000;i++))
do
echo -en "helloworld" | redis-cli -x set name$i >>redis.log
done
每次插入的值都是helloworld，但鍵不同，name0，name1...name99999。
Redis pipe
Redis pipe會(huì)稍微麻煩一點(diǎn)
1> 首先構(gòu)造redis命令的文本文件
在這里，我選用了python
#!/usr/bin/python
for i in range(100000):
print 'set name'+str(i),'helloworld'
# python 1.py > redis_commands.txt
# head -2 redis_commands.txt
set name0 helloworld
set name1 helloworld
2> 將這些命令轉(zhuǎn)化成Redis Protocol
在這里，我利用了github上一個(gè)shell腳本，
#!/bin/bash
while read CMD; do
# each command begins with *{number arguments in command}\r\n
XS=($CMD); printf "*${#XS[@]}\r\n"
# for each argument, we append ${length}\r\n{argument}\r\n
for X in $CMD; do printf "\$${#X}\r\n$X\r\n"; done
done redis_commands.txt
# sh 20.sh > redis_data.txt
# head -7 redis_data.txt
*3
$3
set
$5
name0
$10
helloworld
至此，數(shù)據(jù)構(gòu)造完畢。
測(cè)試結(jié)果
如下：
時(shí)間消耗完全不是一個(gè)量級(jí)的。
最后，來(lái)看看pipe的實(shí)現(xiàn)原理，
- redis-cli --pipe tries to send data as fast as possible to the server.
- At the same time it reads data when available, trying to parse it.
- Once there is no more data to read from stdin, it sends a special ECHO command with a random 20 bytes string: we are sure this is the latest command sent, and we are sure we can match the reply checking if we receive the same 20 bytes as a bulk reply.
- Once this special final command is sent, the code receiving replies starts to match replies with this 20 bytes. When the matching reply is reached it can exit with success.
即它會(huì)盡可能快的將數(shù)據(jù)發(fā)送到Redis服務(wù)端，并盡可能快的讀取并解析數(shù)據(jù)文件中的內(nèi)容，一旦數(shù)據(jù)文件中的內(nèi)容讀取完了，它會(huì)發(fā)送一個(gè)帶有20個(gè)字節(jié)的字符串的echo命令，Redis服務(wù)端即根據(jù)此命令來(lái)確認(rèn)數(shù)據(jù)已插入完畢。
總結(jié)：
后續(xù)有童鞋好奇，構(gòu)造redis命令的時(shí)間和將命令轉(zhuǎn)化為protocol的時(shí)間，這里一并貼下：
[root@mysql-server1 ~]# time python 1.py > redis_commands.txt
real 0m0.110s
user 0m0.070s
sys 0m0.040s
[root@mysql-server1 ~]# time sh 20.sh > redis_data.txt
real 0m7.112s
user 0m5.861s
sys 0m1.255s
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
