背景
要做IP地址歸屬地查詢，量比較大，所以想先從網(wǎng)上找到大部分的分配數(shù)據(jù)，寫個(gè)蜘蛛程序來抓取入庫，以后在程序的運(yùn)行中不斷進(jìn)行維護(hù)、更新、完善。
一些關(guān)鍵點(diǎn)
- goroutine的使用，讓程序并行運(yùn)行。
- 正則表達(dá)式分組信息提取的使用，正確的提取我們關(guān)注的信息。
- 數(shù)據(jù)庫批量插入操作。
- 數(shù)據(jù)庫批量更新操作。
代碼解析
按功能模塊對(duì)核心代碼進(jìn)行說明
ip.go
主進(jìn)程，實(shí)現(xiàn)goroutine的調(diào)用。
func main() {
//利用go基本庫封裝的網(wǎng)頁抓取函數(shù)，后面有說明
ctx := common.HttpGet("http://ips.chacuo.net/")
//正則表達(dá)式，有兩個(gè)分組（兩組小括號(hào)），分別取城市信息與url，具體分析代碼后面有說明
reg := regexp.MustCompile(`li>a title="[\S]+" href='([^']+?)'>([^]+?)/a>/li>`)
//取得頁面上所有的城市及相應(yīng)url
ips := reg.FindAllStringSubmatch(string(ctx), -1)
ch := make(chan string) //建立無緩沖字符串通道
for _, el := range ips { //一個(gè)協(xié)程處理一個(gè)具體頁面
go ipSpider.SpiderOnPage(el[1], el[2], ch)
}
for range ips { //阻塞等待所有抓取工作全部完成
fmt.Println(-ch)
}
}
正則表達(dá)式說明
主進(jìn)程針對(duì)所有省有入口頁面，取得每省的入口分配給一個(gè)協(xié)程去處理，每一個(gè)入口是這個(gè)樣子
a title="北京最新IP地址段" rel="external nofollow" >北京/a>
- 請(qǐng)注意，這里面變化只有三個(gè)部分（title內(nèi)容，href內(nèi)容，鏈接顯示內(nèi)容），其中兩個(gè)部分是我們需要的
- title內(nèi)容對(duì)應(yīng)正則為 [\S]+ ，非空白符
- href內(nèi)容對(duì)應(yīng)的正則為 ([^']+?) ，第一次遇到單引號(hào)結(jié)束，問號(hào)表示非貪婪匹配，括號(hào)是分組，能方便取出所匹配信息
- 鏈接顯示內(nèi)容對(duì)應(yīng)的正則為 ([^]+?) ， 第一次遇到時(shí)結(jié)束，第二個(gè)分組
- FindAllStringSubmatch函數(shù)可以取出所有子分組，子分組從下標(biāo)1開始，0為正則整體匹配的字符串
goroutine 流程
- 建立一個(gè)無緩沖字符串通道，作為所有協(xié)程與主進(jìn)程通信通道
- 循環(huán)正則匹配結(jié)果，為每一個(gè)省的頁面分配一個(gè)協(xié)程
- 協(xié)程獲取數(shù)據(jù)成功并批量寫數(shù)據(jù)庫，返回成功信息到通道
- 協(xié)程處理失敗，反回失敗信息到通道
- 主進(jìn)程阻塞等所有協(xié)程成功或失敗返回，并打印成功或失敗信息
獲取ip地址信息
與主進(jìn)程類似，注意無信息時(shí)處理。
IpSpider.go
//獲取頁面數(shù)據(jù)
ctx := common.HttpGet(url)
//reg := regexp.MustCompile(`li>a title="[\S]+" href='([^']+?)'>([^]+?)/a>/li>`)
//兩個(gè)分組分別對(duì)應(yīng)IP段開始與結(jié)束
reg := regexp.MustCompile(`dd>span class="v_l">([^]+?)/span>span class="v_r">([^]+?)/span>div class="clearfix">/div>/dd>`)
//dd>span class="v_l">49.64.0.0/span>span class="v_r">49.95.255.255/span>div class="clearfix">/div>/dd>
//取得所有匹配的分組信息
ip := reg.FindAllStringSubmatch(string(ctx), -1)
//沒有取得任何信息，提前返回，很重要，不然主進(jìn)程會(huì)一直等待結(jié)束不了
if len(ip) == 0 {
ch - "There are no data exist."
return nil
}
數(shù)據(jù)庫表結(jié)構(gòu)生成語句
CREATE TABLE `ip_addr_info` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引，自動(dòng)增長',
`ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段開始',
`ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段結(jié)束',
`province` varchar(32) DEFAULT '' COMMENT '所屬省',
`ip_comp` varchar(32) DEFAULT '' COMMENT '運(yùn)營商',
PRIMARY KEY (`id`),
UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';
批量寫入數(shù)據(jù)庫
循環(huán)處理抓取數(shù)據(jù)，生成批量寫入語句及輸入?yún)?shù)，請(qǐng)簽到出到afc9ebd版本。
var vs [] interface{} //存儲(chǔ)輸入?yún)?shù)的接口數(shù)組
var vss string //待拼接的輸入?yún)?shù)占位符字符串
for _, el := range ip { //處理所有的數(shù)據(jù)
vs = append(vs, el[1], el[2], province) //每一列包括開始地址、結(jié)束地址與省份
vss += "(?,?,?)," //占位符
}
vss = vss[0:len(vss) -1] //去掉最后的逗號(hào)
var configs interface{} //從配置文件取數(shù)據(jù)庫信息
fr, err := os.Open("./configs.json") //配置文件內(nèi)容請(qǐng)參照上篇文章《golang實(shí)現(xiàn)mysql數(shù)據(jù)庫備份》
if err != nil {
ch - err.Error()
return err
}
decoder := json.NewDecoder(fr)
err = decoder.Decode(configs)
confs := configs.(map[string]interface{})
dialect := confs["database_dialect"].(string)
dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
dbHost := dbConf["db_host"].(string)
dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
dbUser := dbConf["db_user"].(string)
dbPass := dbConf["db_pass"].(string)
dbName := dbConf["db_name"].(string)
dbCharset := dbConf["db_charset"].(string)
dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
defer dao.Close()
if err != nil {
ch - err.Error()
return err
}
//批量插入語句拼接
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
stmt, err := dao.Prepare(sqlstr) //預(yù)處理帶參數(shù)的sql語句
rs, err := stmt.Exec(vs...) //帶參數(shù)執(zhí)行sql語句
if err != nil { //出錯(cuò)，返回錯(cuò)誤信息
ch - err.Error()
return err
}else { //成功，返回成功信息
affect, _ := rs.RowsAffected()
ch - "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}
批量修改數(shù)據(jù)庫
數(shù)據(jù)庫中的ip_comp字段，是代表運(yùn)營商信息，需要從運(yùn)營商頁面進(jìn)入進(jìn)行數(shù)據(jù)獲取，只需改一下入口url重新運(yùn)行程序就能正確抓取，但這時(shí)入庫就不是新增了，而是更新，請(qǐng)簽出到4729e66版本。
//前提數(shù)據(jù)庫表定義要設(shè)定唯一索引，主鍵或其它定義的unique索引
...
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
//提供更新（唯一索引沖突時(shí)）時(shí)要對(duì)應(yīng)原字段與值
" ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
stmt, err := dao.Prepare(sqlstr)
rs, err := stmt.Exec(vs...)
if err != nil {
ch - err.Error()
return err
}else {
affect, _ := rs.RowsAffected()
ch - "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}
待改進(jìn)的方面
把入口url提到配置中，使用策略模式，讓匹配規(guī)則抽象成策略，目標(biāo)是不改程序，調(diào)整配置文件就可以抓取不同的網(wǎng)頁。
項(xiàng)目地址
https://github.com/zhoutk/goTools
使用方法
git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run ip.go
go buid ip.go
./ip
小結(jié)
熟悉了golang語言，了解了一種全新的并發(fā)編程模式，熟悉了具體的數(shù)據(jù)庫操作方法，給自己生成了一個(gè)方便的工具。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
您可能感興趣的文章:- Go語言通過http抓取網(wǎng)頁的方法
- go語言實(shí)現(xiàn)一個(gè)簡單的http客戶端抓取遠(yuǎn)程url的方法
- golang抓取網(wǎng)頁并分析頁面包含的鏈接方法
