最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。
首先，自然语言处理，英文是(Nature Language Process)，简称“NLP"。是人工智能发展的的热门方向，也是和人交互最为相关的人工智能的应用方向。因为是和人打交道，那么需要以人的交流方式–语言来进行交互。
下面给大家介绍NLP里面最基础的算法–分词算法。
一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。比如，“吃饭”，“睡觉”等。从而过滤掉那些没有实际意义的词。比如，“的是”，“是吃”等。
目前比较熟著名且成熟的词典有：
搜狗实验室发布的互联网词库（SogouW，其中有15万个词条）
清华大学开放中文词库（THUOCL）
码农场千万级巨型汉语词库（千万级词条）
这里介绍常用的切分算法，具体分为完全切分、正向最长匹配、逆向最长匹配、双向最长匹配算法。
2.1 完全切分完全切分指的是，找出一段文本中的所有有意义单词，不是标准意义上的分词。
具体实现在代码实现部分的fully_segment的函数部分
就是说从前往后，递增查词，优先输出更长的单词。
具体实现在代码实现部分的forward_segment的函数部分
与正向最长匹配相反，从后往前，递减查词，优先输出更长的单词，据统计这种方法更具可靠性。
具体实现在代码实现部分的backward_segment的函数部分
属于对正向最长匹配和逆向匹配的折中方案。属于融合两种匹配方法的复杂规则集，流程如下：
1.同时执行正向最长匹配和逆向最长匹配，若两者的次数不同，则返回次数更少的那一个。
2.如果相等，返回两者中单字更少的那一个，当单子数也相同时，优先返回逆向最长匹配的结果。
具体实现在代码实现部分的all_segment的函数部分
这里引用了几个经典的例子。读者可以自行修改体验。运行代码时，要输入的句子可以是“项目的研究”“商品和服务”“研究生命起源”“当下雨天地面积水”“结婚的和尚未结婚的”“欢迎新老师生前来就餐”。
def select_word(text):
result = 0
for i in text:
if(len(i)==1):
result += 1
return result
def fully_segment(text,dic):
word_list = []
for i in range(len(text)):
for j in range(i+1,len(text)+1):
word=text[i:j]
if word in dic:
word_list.append(word)
return word_list
def forward_segment(text,dic):
word_list = []
i = 0
while(ilen(longest_word):
longest_word = word
word_list.append(longest_word)
i += len(longest_word)
return word_list
def backward_segment(text,dic):
word_list = []
i = len(text)-1
while(i>=0):
longest_word = text[i]
for j in range(0,i):
word = text[j:i+1]
if word in dic:
if len(word)>len(longest_word):
longest_word = word
word_list.insert(0,longest_word)
i -= len(longest_word)
return word_list
def all_segment(text,dic):
list_forward = forward_segment(text,dic)
list_backward = backward_segment(text,dic)
list_final = []
if(len(list_forward)>len(list_backward)):
list_final = list_backward[:]
elif(len(list_forward)select_word(list_backward)):
list_final = list_backward[:]
elif(select_word(list_forward)
输出结果分析
序号 原文 正向最长匹配 逆向最长匹配 双向最长匹配 1 项目的研究 [‘项目’, ‘的’, ‘研究’] [‘项’, ‘目的’, ‘研究’] [‘项’, ‘目的’, ‘研究’] 2 商品和服务 [‘商品’, ‘和服’, ‘务’] [‘商品’, ‘和’, ‘服务’] [‘商品’, ‘和’, ‘服务’] 3 研究生命起源 [‘研究生’, ‘命’, ‘起源’] [‘研究’, ‘生命’, ‘起源’] [‘研究’, ‘生命’, ‘起源’] 4 当下雨天地面积水 [‘当下’, ‘雨天’, ‘地面’, ‘积水’] [‘当’, ‘下雨天’, ‘地面’, ‘积水’] [‘当下’, ‘雨天’, ‘地面’, ‘积水’] 5 结婚的和尚未结婚的 [‘结婚’, ‘的’, ‘和尚’, ‘未’, ‘结婚’, ‘的’] [‘结婚’, ‘的’, ‘和’, ‘尚未’, ‘结婚’, ‘的’] [‘结婚’, ‘的’, ‘和’, ‘尚未’, ‘结婚’, ‘的’] 6 欢迎新老师生前来就餐 [‘欢迎’, ‘新’, ‘老师’, ‘生前’, ‘来’, ‘就餐’] [‘欢’, ‘迎新’, ‘老’, ‘师生’, ‘前来’, ‘就餐’] [‘欢’, ‘迎新’, ‘老’, ‘师生’, ‘前来’, ‘就餐’]
