亚洲综合原千岁中文字幕_国产精品99久久久久久久vr_无码人妻aⅴ一区二区三区浪潮_成人h动漫精品一区二区三

主頁(yè) > 知識(shí)庫(kù) > Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)

Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)

熱門(mén)標(biāo)簽:預(yù)覽式外呼系統(tǒng) 銀川電話(huà)機(jī)器人電話(huà) 電銷(xiāo)機(jī)器人錄音要學(xué)習(xí)什么 外賣(mài)地址有什么地圖標(biāo)注 企業(yè)彩鈴地圖標(biāo)注 上海正規(guī)的外呼系統(tǒng)最新報(bào)價(jià) 如何地圖標(biāo)注公司 煙臺(tái)電話(huà)外呼營(yíng)銷(xiāo)系統(tǒng) 長(zhǎng)春極信防封電銷(xiāo)卡批發(fā)

介紹

這篇文章主要是用 Python 實(shí)現(xiàn)了簡(jiǎn)單的中文分詞的同音字糾錯(cuò),目前的案例中只允許錯(cuò)一個(gè)字,自己如果有興趣可以繼續(xù)優(yōu)化下去。具體步驟如下所示:

  • 先準(zhǔn)備一個(gè)文件,里面每一行中放一個(gè)中文分詞,我這里的文件是下面代碼中的 /Users/wys/Desktop/token.txt ,你們可以改成自己,再運(yùn)行代碼
  • 將構(gòu)建一個(gè)前綴樹(shù)類(lèi),實(shí)現(xiàn)插入功能,將所有的標(biāo)準(zhǔn)分詞都插入到前綴樹(shù)中,另外實(shí)現(xiàn)一個(gè)搜索功能,用來(lái)搜索分詞
  • 將輸入的錯(cuò)誤分詞中的每個(gè)字都找出 10 個(gè)同音字,將每個(gè)字都用 10 個(gè)同音字替換,結(jié)果可以最多得到 n*10 個(gè)分詞,n 為分詞的長(zhǎng)度,因?yàn)橛械囊艨赡軟](méi)有 10 個(gè)同音字。
  • 將這些分詞都經(jīng)過(guò)前綴樹(shù)的查找,如果能搜到,將其作為正確糾正就過(guò)返回

代碼

import re,pinyin
from Pinyin2Hanzi import DefaultDagParams
from Pinyin2Hanzi import dag

class corrector():
    def __init__(self):
        self.re_compile = re.compile(r'[\u4e00-\u9fff]')
        self.DAG = DefaultDagParams()

    # 將文件中的詞讀取
    def getData(self):
        words = []
        with open("/Users/wys/Desktop/token.txt") as f:
            for line in f.readlines():
                word = line.split(" ")[0]
                if word and len(word) > 2:
                    res = self.re_compile.findall(word)
                    if len(res) == len(word): ## 保證都是漢字組成的分詞
                        words.append(word)
        return words

    # 將每個(gè)拼音轉(zhuǎn)換成同音的 10 個(gè)候選漢字,
    def pinyin_2_hanzi(self, pinyinList):
        result = []
        words = dag(self.DAG, pinyinList, path_num=10)
        for item in words:
            res = item.path  # 轉(zhuǎn)換結(jié)果
            result.append(res[0])
        return result

    # 獲得詞經(jīng)過(guò)轉(zhuǎn)換的候選結(jié)結(jié)果
    def getCandidates(self, phrase):
        chars = {}
        for c in phrase:
            chars[c] = self.pinyin_2_hanzi(pinyin.get(c, format='strip', delimiter=',').split(','))
        replaces = []
        for c in phrase:
            for x in chars[c]:
                replaces.append(phrase.replace(c, x))
        return set(replaces)

    # 獲得糾錯(cuò)之后的正確結(jié)果
    def getCorrection(self, words):
        result = []
        for word in words:
            for word in self.getCandidates(word):
                if Tree.search(word):
                    result.append(word)
                    break
        return result

class Node:
    def __init__(self):
        self.word = False
        self.child = {}


class Trie(object):
    def __init__(self):
        self.root = Node()

    def insert(self, words):
        for word in words:
            cur = self.root
            for w in word:
                if w not in cur.child:
                    cur.child[w] = Node()
                cur = cur.child[w]

            cur.word = True

    def search(self, word):
        cur = self.root
        for w in word:
            if w not in cur.child:
                return False
            cur = cur.child[w]

        if cur.word == False:
            return False
        return True

if __name__ == '__main__':
    # 初始化糾正器
    c = corrector()
    # 獲得單詞
    words = c.getData()
    # 初始化前綴樹(shù)
    Tree = Trie()
    # 將所有的單詞都插入到前綴樹(shù)中
    Tree.insert(words)
    # 測(cè)試
    print(c.getCorrection(['專(zhuān)塘街道','轉(zhuǎn)塘姐道','轉(zhuǎn)塘街到']))

結(jié)果

打印結(jié)果為:
['轉(zhuǎn)塘街道', '轉(zhuǎn)塘街道', '轉(zhuǎn)塘街道']

可以看出都糾正成功了,有一定的效果 ,之后會(huì)繼續(xù)優(yōu)化。

到此這篇關(guān)于Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python中文糾錯(cuò)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Python容錯(cuò)的前綴樹(shù)實(shí)現(xiàn)中文糾錯(cuò)

標(biāo)簽:盤(pán)錦 珠海 西寧 湖北 上饒 宜昌 潮州 佳木斯

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)》,本文關(guān)鍵詞  Python,中文,糾,錯(cuò)的,簡(jiǎn)單,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)》相關(guān)的同類(lèi)信息!
  • 本頁(yè)收集關(guān)于Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    国产伦久视频免费观看视频| 午夜在线影院| 麻豆午夜视频| 国产视频一区在线| 国产91素人搭讪系列天堂| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 亚洲天堂在线播放| 九九九国产| 天天做日日干| 青草国产在线观看| 日本伦理片网站| 国产成人欧美一区二区三区的| 日本伦理黄色大片在线观看网站| 成人在免费观看视频国产| 99色播| 亚洲天堂在线播放| 久久精品成人一区二区三区| 亚洲精品影院久久久久久| 在线观看导航| 99久久视频| 超级乱淫伦动漫| 99久久精品国产高清一区二区| 韩国毛片| 日本在线不卡视频| 国产亚洲精品成人a在线| 精品久久久久久中文| 韩国毛片| 色综合久久天天综合观看| 欧美激情一区二区三区视频| 欧美日本免费| 国产伦精品一区二区三区无广告 | 国产网站免费在线观看| 天堂网中文在线| 国产伦理精品| 日韩在线观看视频网站| 亚洲第一视频在线播放| 日韩男人天堂| 日韩在线观看免费完整版视频| 国产极品白嫩美女在线观看看| a级毛片免费观看网站| 国产国语对白一级毛片| 国产欧美精品午夜在线播放| 国产91精品系列在线观看| 免费国产在线视频| 国产成人啪精品视频免费软件| 成人免费观看视频| 999精品影视在线观看| 精品视频在线观看免费| 久久久久久久男人的天堂| 亚洲 激情| 国产一区精品| 欧美α片无限看在线观看免费| 黄视频网站在线免费观看| 免费毛片播放| 欧美一级视频免费观看| 台湾美女古装一级毛片| 二级片在线观看| 麻豆网站在线看| 免费一级生活片| 国产91精品系列在线观看| 九九干| 九九干| 国产91丝袜在线播放0| 99色视频| 亚洲精品中文一区不卡| 日韩中文字幕在线亚洲一区| 日韩在线观看免费| 欧美电影免费| 亚洲精品永久一区| 麻豆午夜视频| 日韩字幕在线| a级精品九九九大片免费看| 成人av在线播放| 成人免费观看男女羞羞视频| 国产一区二区精品久久| 午夜久久网| 国产a免费观看| 国产极品精频在线观看| 九九九国产| 精品久久久久久综合网| 黄视频网站在线免费观看| 精品视频在线观看免费| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 国产麻豆精品高清在线播放| 美女免费毛片| 亚洲 欧美 成人日韩| 99热视热频这里只有精品| 国产a免费观看| 欧美日本免费| 精品在线免费播放| 国产激情一区二区三区| 99色播| 黄视频网站在线看| 国产精品免费久久| 欧美激情一区二区三区在线播放 | 日韩av片免费播放| 麻豆午夜视频| 香蕉视频一级| 精品在线观看一区| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 精品视频免费在线| 日本在线播放一区| 久久国产一久久高清| 尤物视频网站在线| 国产伦精品一区三区视频| 欧美a级成人淫片免费看| 久久久久久久久综合影视网| 日韩av成人| 日日夜夜婷婷| 色综合久久手机在线| 天天色色网| 精品视频在线观看免费| 免费一级片在线| 国产网站免费视频| 国产麻豆精品hdvideoss| 亚洲第一页色| 四虎影视库| 日韩av片免费播放| 久久99爰这里有精品国产| 国产精品自拍亚洲| 国产一区免费观看| 精品国产一区二区三区免费 | 黄色短视屏| 999久久66久6只有精品| 999精品在线| 欧美国产日韩久久久| 美女免费精品高清毛片在线视| 欧美一级视频高清片| 国产不卡福利| 国产91丝袜高跟系列| 精品国产一区二区三区免费| 精品国产一区二区三区精东影业| 二级片在线观看| 久久久久久久网| 二级片在线观看| 一本伊大人香蕉高清在线观看| 久久久成人网| 日韩中文字幕在线亚洲一区| 高清一级做a爱过程不卡视频| 成人影院一区二区三区| 亚洲第一色在线| 欧美国产日韩久久久| 精品国产一区二区三区精东影业| 九九久久99| 午夜在线亚洲男人午在线| 日本伦理黄色大片在线观看网站| 国产视频网站在线观看| 欧美另类videosbestsex久久| 麻豆系列 在线视频| 美国一区二区三区| 91麻豆tv| 国产一区二区精品尤物| 一级女性大黄生活片免费| 欧美一区二区三区在线观看| 九九久久国产精品大片| 精品视频在线观看一区二区三区| 精品国产一区二区三区免费| 日本特黄特色aaa大片免费| 精品在线观看一区| 亚洲第一视频在线播放| 国产精品自拍在线| 九九久久99| 91麻豆tv| 国产亚洲免费观看| 国产美女在线一区二区三区| 999精品在线| 91麻豆精品国产自产在线观看一区 | 久久国产精品只做精品| 日韩男人天堂| 亚洲爆爽| 亚洲精品永久一区| 九九干| 国产网站免费视频| 香蕉视频久久| 国产伦久视频免费观看 视频| 午夜在线亚洲男人午在线| 亚飞与亚基在线观看| 日韩一级黄色片| 欧美激情一区二区三区在线播放 | a级精品九九九大片免费看| 99久久精品国产国产毛片| 二级特黄绝大片免费视频大片| 91麻豆tv| 毛片的网站| 天天色成人| 欧美激情一区二区三区视频高清 | 精品国产一区二区三区久| 精品久久久久久综合网| 精品视频一区二区三区免费| 国产成人精品综合| 99久久精品国产国产毛片| 青青久久精品国产免费看| 精品视频在线观看免费| 国产一区二区精品久久| 色综合久久天天综合绕观看| 青青青草影院| 国产原创视频在线| 成人免费观看男女羞羞视频| 日本在线不卡视频| 国产不卡在线观看视频|