我爱自然语言处理

Beautiful Data-统计语言模型的应用三：分词3

52nlp — Tue, 09 Mar 2010 16:47:49 +0000

　　本节我们进入《Beautiful Data》中分词的编码阶段，完整的程序及数据大家可以在“Natural Language Corpus Data: Beautiful Data”上下载ngrams.zip，我这里主要做一些解读。程序由python实现，无论在Linux或者Windows平台下，只要安装了相应的python版本，程序均可以通过测试，不过我所使用的是python2.6，注意，在python3.0上会有一些问题。
　　首先新建一个segment.py文件，依据上一节的思路，我们定义一个segment函数：
　　
　　def segment( text ):

　　　　”"”Return a list of words that is the best segmentation of text.”"”

　　　　if not text : return []

　　　　candidates = ( [first] + segment( rem ) for first, rem in splits( text ) )

　　　　return max( candidates, key = Pwords )

　　segment函数的目标就是“ 对于所有的候选切分，选择P(first) × P(remaining) 乘积最高的那一个作为最佳切分”，事实上它里面包括了递归调用，最终返回的是最佳的分词短语，这个我们暂且不说，且看看它另外调用的两个函数splits和Pwords，在segment.py中加入如下的代码：

　　def splits( text, L = 20 ):

　　　　”"”Return a list of all possible ( first, rem ) pairs, len( first ) <=L"""

　　　　return [ ( text[:i+1], text[i+1:] ) for i in range( min(len(text), L ) ) ]

　　def Pwords( words ):

　　　　pass

　　splits函数的作用是返回所有可能的将字符串切分成首词和剩余字符串切分结果，Pwords稍后再论，暂且”pass”，我们利用python解释器来测试一下splits函数：
　　nlp@52nlp:~/python/beautiful$ python

　　Python 2.6.2 (release26-maint, Apr 19 2009, 01:56:41)

　　[GCC 4.3.3] on linux2

　　Type "help", "copyright", "credits" or "license" for more information.

　　>>> import segment

　　>>> split = segment.splits( “12345″ )

　　>>> print split

　　[('1', '2345'), ('12', '345'), ('123', '45'), ('1234', '5'), ('12345', '')]

　　>>> split = segment.splits( “wheninthecourse” )

　　>>> print split

　　[('w', 'heninthecourse'), ('wh', 'eninthecourse'), ('whe', 'ninthecourse'), ('when', 'inthecourse'), ('wheni', 'nthecourse'), ('whenin', 'thecourse'), ('whenint', 'hecourse'), ('wheninth', 'ecourse'), ('wheninthe', 'course'), ('wheninthec', 'ourse'), ('whenintheco', 'urse'), ('wheninthecou', 'rse'), ('wheninthecour', 'se'), ('wheninthecours', 'e'), ('wheninthecourse', '')]

　　当然，你也可以测试一下:
　　>>> split = segment.splits
( “wheninthecourseofhumaneventsitbecomesnecessary” )
　　print之后的结果会比较长。

　　再来看Pwords函数，在segment.py中将其修改为：
　　def Pwords( words ):

　　　　”"”The Naive Bayes probability of a sequence of words.”"”

　　　　return product( Pw(w) for w in words )

　　《Beautiful Data》中的标准解释是“The Naive Bayes probability of a sequence of words”，既“单词序列的朴素贝叶斯（Naive Bayes，简称NB）概率“，朴素贝叶斯概率的核心在于它假设向量的所有分量之间是独立的，这里的向量是单词序列，故假设的是所有单词之间是独立的，这也是我们利用一元语言模型的一个前提假设。回顾’wheninrome’这个分词例子，它有很多候选分词短语，譬如“when in rome”，利用一元语言模型，只需计算P(when) × P(in) × P(rome)。
　　不过Pwords函数同样调用了两个辅助函数:product和Pw(w)，在segment.py中加入如下的代码：
　　def product( nums ):

　　　　”"”Return the product of a sequence of numbers.”"”

　　　　return reduce( operator.mul, nums, 1 )

　　def Pw( word ):

　　　　pass

　　并且在segment.py的开始处加入：
　　import operator

　　因为product函数调用了operator模块中的二元乘积mul函数：
　　operator.mul(a, b)
　　operator.__mul__(a, b)
　　　　Return a * b, for a and b numbers.
　　事实上operator.mul是被producet中的reduce函数调用的，reduce在python2.6中是内建函数（注意在python3.0中已不是，需要“from functools import reduce”）:
　　reduce(func,seq[,init])：func 为二元函数，将func作用于seq序列的元素，每次携带一对（先前的结果以及下一个序列的元素），连续的将现有的结果和下一个值作用在获得的随后的结果上，最后减少我们的序列为一个单一的返回值：如果初始值init给定，第一个比较会是init和第一个序列元素而不是序列的头两个元素。
　　这里的func为operator.mul，最终reduce返回给product的结果是数字序列的乘积结果，可以在python的解释器中做如下验证：
　　>>> reload( segment )
　　
　　>>> segment.product( [1, 2, 3, 4, 5] )

　　120

未完待续…

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/beautiful-data-统计语言模型的应用三分词3

感谢ExWebs，回归Host2ez

52nlp — Sat, 06 Mar 2010 16:38:35 +0000

　　晚上把“我爱自然语言处理”从ExWebs提供的免费空间上转移到Host2ez，加上前两天已经转移了“自然语言处理百科”，至此，从去年4月5日至今的11个月里，对于ExWebs所提供的免费空间，无论访问速度还是稳定性，我个人非常满意，这里表示感谢！
　　事实上，去年10月下旬ExWebs曾给我提供了又一年的免费使用机会，但是由于新的一期免费计划所在主机在国内，我最终选择了放弃。而之后，Host2ez悄然归来，当我1月份选择虚拟主机时，就决定回归Host2ez。而此前我已陆续将52nlp.org，52nlp.com以及博客镜像搬进了Host2ez的虚拟空间里，目前体验依然满意。
　　顺便记录一下wordpress以及mediawiki的搬家记录，其实很简单：
　　1.在旧的空间导出原有数据库；
　　2.在新的空间建一个新数据库，并导入原有数据库（注意，如果不换域名，直接导入即可，换域名的话里利用一些文本编辑工具替换域名后再导入）；
　　3.备份原wordpress或mediawiki文件夹，上传到新空间；
　　4.修改数据库信息即可。
　　总之，平时的备份很重要，尤其是数据库的备份。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/感谢exwebs-回归host2ez

砖石，还是露水

52nlp — Sat, 06 Mar 2010 07:40:09 +0000

　　本文转自哈工大信息检索研究室刘挺老师的博客，是关于创新的，举了两个例子：基于字标注的中文分词方法和搜狗输入法，感觉写得很有启发性，读者也可以对比一下《自然语言处理领域的两种创新观念》。刘老师是国内自然语言处理领域的重量级人物，他的博文估计很多都早已被读者熟悉，这里就不多说了。

　　　　　　　　　　　砖石，还是露水
　　　　　　　　　　　　作者：刘挺
　　我们一天忙到晚，自己耗费了很多精力不说，也消耗着国家的财力物力。我们除了培养了一批学生外，是否为学术进步或技术发展做出了点滴贡献，我们的工作成果是科学技术大厦里的梁柱、砖石，坚固而持久地发挥着作用，还是墙角的露水、楼顶的轻烟，转瞬间就蒸发消散了。

　　要想作出有价值的工作，是需要有一些清晰而坚定的理念支撑的，否则很容易匆匆忙忙地迷失在短期的压力里。我心中好的研究成果是什么样的呢？我想应该具备一下几个特征：
　　1、创新性：与以往的方法有本质的不同
　　2、高性能：解决了旧方法无法解决的问题，导致性能指标有显著性提高
　　3、简单：同行一听就能明白，并认同该方法在原理上的长处，纷纷感叹自己为什么没有想到
　　4、换代：新方法一出，业内大部分产品都纷纷抛弃旧方法，采用这种新方法
　　5、足够的影响面：能够抽象到一定高度，不局限于某个产品的细节

　　举两个例子：

　　1、算法：薛念文基于字标注的汉语分词方法
　　未登录词识别是最影响汉语分词精度的问题，它的影响超过分词歧义处理。以往的方法先用词表把已登录的词先识别出来，然后在“散串”中去找未登录词。这样做的缺陷在于两方面，一是“分词歧义”和“未登录词识别”这两个问题的参数权重估价标准无法统一，二是未登录词中有时候会包含已登录词，或者未登录词和已登录词的交界处有歧义。由于这些不足无法克服，汉语分词的精度一直徘徊不前，方法上没有实质性创新，大多是修修补补。
　　薛念文2002年提出了“基于字标注的汉语分词方法”，这种方法把以往用于短语识别的BIES标注方法（B-短语开头词，I-短语中间词，E-短语末尾词，S-单独成为短语的词）用到了分词上，对汉字进行标注（B-词中开头字，I-词中中间字，E-词中末尾字，S-单独成词的字），汉字得到标注，分词结果立现。对已登录词和未登录词中的字标注形式是一样的，这样就建立了统一的分词模型，而且不需要词表，只要有足够大的经过人工校对的分词语料即可。实验效果明显提高，凡是自然语言处理领域的人都知道BIES，一听就懂了，几年下来，多数商用的汉语分词系统都在采用基于字标注的方法了，分词是中文处理的基础问题，影响面足够大。
　　这种方法的创新路线是“移植”，它把分词问题从匹配切分问题转换为标注问题，把紧邻“短语识别”中的方法移植过来，取得了成功。

　　2、产品：搜狗拼音输入法
　　在搜狗拼音以前，拼音输入法已经有很多种，如智能ABC，微软拼音等。2000年前后昙花一现的“智能狂拼”用大规模语料提高音字转换的精度，但提高是有限的，并没有产生换代的效果。拼音输入法似乎已经做到了极致，尽管不能让人很满意，但似乎也就只能停留在这个水平上了。
　　2006年，搜狗拼音横空出世了，它利用网络收集广大输入法用户贡献的新词，什么“李宇春”、“张靓颖”，什么“蜗居”、“蚁族”，当你想输入时，早有网友贡献过该词，输入速度大幅度提升。拼音输入法最头疼的未登录词输入的准确性被大幅度提高了。　　
　　原理如此简单，效果如此明显，谷歌立即效仿，还惹上了侵权的麻烦，腾讯不甘落后，输入法在绝顶上又攀上了天梯，技术真的没有止境。搜狗由于率先创新，以先发优势横扫输入法市场，输入法是比较有粘性的产品，但也挡不住输入速度和体验大幅度提升的诱惑，在较短的时间内，搜狗输入法的市场占有率超过了70%。这是典型的由于技术创新带来的市场狂澜，好产品会说话。输入是计算机最基本的功能，搜狗通过输入法抢占客户端，影响颇大，为未来的产品拓展勾勒出广阔的空间。
　　有的研究者喜欢开创新领域，找出新方向，用20%的力气作出80%的效果，然后又去开拓别的方向，因为最后20%的路程要用80%的努力才能完成，费力不讨好。搜狗输入法的成功告诉我们，最后5-10%的技术门槛里照样孕育这无穷的商机，只要方法得当，密切观察环境的变化，原来在单机条件下的确做不动的技术，在网络环境下有可能获得突破性的进展。跨越式的发展，不能靠补丁落补丁的量变积累，要有更纯净的一揽子解决问题的革命性方案。

　　衷心期盼80后、90后的青年学者们，不满足于小的改良，不满足于使用机器学习领域最新研制的“秘密武器”，而是满怀颠覆式的技术梦想，抓住根本性问题，洞悉技术环境的变化，移植嫁接，化繁为简，做出让人眼前一亮、拍案叫绝的创新成果来。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/砖石-还是露水

Beautiful Data-统计语言模型的应用三：分词2

52nlp — Tue, 02 Mar 2010 13:06:15 +0000

　　现在，我们就可以应用这个方法来进行分词了。首先定义一个函数：segment，其输入是一串没有空格的字符串，而输出则是一个单词列表，既最好的分词结果：

　　>>> segment(‘choosespain’)
　　['choose', 'spain']

　　让我们从第一步概率语言模型开始。一个单词序列的概率是给定单词的上下文——在这里是前面的所有的单词——每一个单词概率之积。用数学公式可以如下表达：

　　P(W1:n) = Πk=1:nP(Wk | W1:k–1)

　　我们没有足够的数据来准确计算这个概率，所以我们可以通过使用小一点的语料库来近似地计算这个概率（公式）。由于Google语言模型最大到5元(5-grams),所以我们可以使用5-grams来计算整个单词序列的概率，故一个n-word序列的概率等于给定前4个单词（并不是前面所有单词）每一个单词的概率之积。
　　关于5元语言模型，存在三个困难。首先，Google语言模型中5-gram数据大约有30G，一般机器的内存是无法加载的。其次，很多5元短语的计数为0，我们需要一些方法来回退（或者平滑），既使用较短的（短语）序列来估计这些计数为0的5元短语概率。第三，候选短语的搜索空间将会很大，因为其所依赖的单词数目达到4个。当然，只要想点办法，所有的这三个困难都是可以克服的。但是我们可以先简化一下这个问题，仅考虑一元(unigram)语言模型，这样就能立即解决这三个问题。利用一元语言模型，单词序列的概率就等于每一个单词自身（没有依赖）概率之积，而每一个单词概率与其他单词概率是独立的：

　　 P(W1:n) = Πk=1:nP(Wk)

　　相应的，我们来看’wheninrome’这个分词例子，它有很多候选分词短语，譬如“when in rome”，利用一元语言模型，只需计算P(when) × P(in) × P(rome)。如果这个乘积结果比其他任何候选短语的乘积都高，那么“when in rome”就是最好的分词结果。
　　一个包含n个字符的字符串有2^(n-1)种不同的分词方案（在字符之间有n-1个位置，每一个位置既可以作为单词边界也可以不作为边界）。因此，对于字符串“ wheninthecourseofhumaneventsitbecomesnecessary”,有35万亿(trillion)种切分方法。但是可以肯定，你能够在几秒钟之内找到正确的分词形式，并且不需要枚举所有的候选分词短语。首先扫描“w”,然后是”wh”以及”whe”,并且拒绝这些不大可能的“单词”，但是接受“when”作为可能的“单词”。之后再扫描剩余的部分，与前面同理，依次找到可能的分词，并最终找到最佳的分词短语。一旦我们对问题做了简化，既每一个单词相互是独立的，那么也就意味着我们不需要考虑单词之间的所有组合。
　　这给了我们一个大致的分词函数轮廓：考虑将字符串切分成首词和剩余字符串所有分法（可以任意限定最长的单词长度，例如，L＝20字符）。对于每一种可能的分法，搜索剩余字符串最好的切分方法。对于所有的候选切分， P(first) × P(remaining) 乘积最高的那一个就是最佳分法。

未完待续…

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/beautiful-data-统计语言模型的应用三分词2

Beautiful Data-统计语言模型的应用三：分词1

52nlp — Fri, 26 Feb 2010 15:43:45 +0000

　　本节我们开始《Beautiful Data》中的“Word Segmentation”之旅，虽然Peter Norvig大牛从中文分词的需求讲起，但本节事实上讲得是英文分词，毕竟Google语言模型是以英文语料库为基础的，用中文分词举例Google语言模型就无用武之地了。一般说来，英文是不需要分词的，基本上tokenization就够了。但是某些时候，譬如英文网址（URLs)就没有空格，对于搜索引擎或者文字处理程序来说正确的分词就很重要了。不过，无论英文分词还是中文分词，利用统计语言模型来分词的思想本质是一样的。
　　首先来看一个例子，如“choosespain.com”，这是一个希望说服你“choose Spain”(选择西班牙）作为旅游目的地的网站。如果被分成“chooses pain”（选择痛苦），其结果可想而知。对于人类来说，凭借多年的经验，做出正确的分词应该没什么问题，但是对于计算机，将这些经验进行编码几乎是不可能的任务。不过还是有“捷径”可以走的：对于这两条候选的分词短语，在Google语言模型中的二元（bigram）表中进行查找，其中“choose Spain”出现了3,210次，而”chooses pain”则没有出现，这也就意味着”chooses pain”在Google的trillion-word语料库中出现的次数少于40次。因此，“choose Spain”至少有80倍的可能作为正确的分词结果。
　　再来看另一个例子，假设存在这样一个未分词的短语“insufficientnumbers”，如果我们不考虑Google语言模型里的单词的大小写问题，以下两种分法的计数结果是：

　　insufficient numbers 20751
　　in sufficient numbers 32378

　　虽然后者比前者多了大约50％，但是相对于Google语料库的规模，区别不是很明显，尽管我们可以猜测哪一个是正确的分词结果，却不能肯定这个猜测。对于不确定的问题，我们没有任何办法计算出一个百分百正确的答案，也没有一个完整的模型使得只有一个结果是正确的，事实上对于人类专家来说也是如此。不过，对于解决这类不确定的问题，还是有一套既定的方法：
　　1.定义一个概率模型。我们不能通过定义所有的要素（语义、语法、词汇等）来决定“choose Spain”是否是一个更好的候选分词结果，但是可以通过一个简化的模型给出一个近似的概率。对于较短的候选短语如“choose Spain”,可以通过在语料库数据中查找n-gram次数的方式来决定其概率。对于较长的候选短语，可以通过将其分解为较小短语的方式来得到相关的概率。至于未登录词，也可以通过一些方法估计其概率。这里的关键点就是定义一个语言模型(language model)——一个覆盖了大多数字符串的某种语言的概率分布——并且通过语料库数据学习相关的参数，然后利用该模型来决定每一个候选短语的概率。
　　2.枚举候选短语。我们不能确定”insufficient numbers”或者”in sufficient numbers”中哪一个是更可能的分词短语，但是我们可以将这两个均看作是候选短语，甚至““in suffi cient numb ers”也是候选。在这一步里，我们暂时不做判断，而是尽可能多的枚举各种可能的候选短语，或者仔细的挑选样本。
　　3.选择最可能的候选短语。对于每一个候选短语，利用语言模型计算其概率，然后选择获得最高概率的那一个短语作为最佳结果。
　　如果你喜欢数学公式，那么这个方法可以定义为：
　　　best = argmax c∈candidates P(c)
　　或者，如果你喜欢计算机编码（我们将使用Pythyon)，也可以如下描述：
　　　best = max(c in candidates, key=P)

未完待续：分词2

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/beautiful-data-统计语言模型的应用三分词1

立委随笔：机器学习和自然语言处理

52nlp — Mon, 22 Feb 2010 16:35:05 +0000

　　不小心撞上了科学网上李维老师的博客，读了他个人履历和几篇文章，只能用“敬佩”二字对李维老师表示敬意。作为年后开工的第一篇博文，本无转载计划的，但是这里还是选用李维老师的随笔《机器学习和自然语言处理》，这是一位计算语言学学者和自然语言处理实践者多年来的经验之谈，没有相当的积累，纸上是谈不来的。不过，更推荐有兴趣的读者读读《朝华午拾：在美国写基金申请的酸甜苦辣》，虽然很长，我还是一气呵成读完的，除了佩服李维老师的行文能力外，也能看到成功背后的付出和汗水是多么的巨大。

　　　　　　　　《立委随笔：机器学习和自然语言处理》
　　　　　　　　　　　　　　作者：李维

有脚客介绍人工智能（AI）现状 ( http://rl.rockiestech.com/node/636 )，认为由于机器学习（ML）技术的长足进步，人工智能正进入繁荣期，并且开始成功用于自然语言处理（NLP). 除了调子过分乐观了一些，这是个不错的介绍。下面的随笔是根据我自己的经验和体会而来。

AI, ML and NLP

NLP 中过分强调 AI 曾经是斜途，其实现在我认为也还是斜途, 我很久以前就有过这个看法，现在觉得并没过时：

机器翻译的另一极是建立在充分理解基础上, 毋须转换的自动翻译, 这是从实质上对人的翻译过程的模拟。这时候, 源语分析才是真正的自然语言理解, 机器翻译才真正属于人工智能。然而, 这里遇到两个难题: 一是知识处理问题; 二是所谓元语言问题。

考察人的翻译活动, 可以发现, 人是靠丰富的知识在理解的基础上从事翻译的。这些知识既包括语言知识, 也包括世界知识(常识、专业知识等)。如何组织这些包罗万象的百科全书一样的知识, 以便适应机器处理和运用的需要, 是人工智能所面临的根本性课题。
……

总之, 虽然机器翻译的最终出路在于人工智能的理论和技术的突破, 但在条件不成熟的时候过份强调机器翻译的人工智能性质, 一味追求基于知识和理解的自动翻译,对于应用型机器翻译系统的研制, 往往没有益处。
摘自【立委科普：机器翻译】: http://www.starlakeporch.net/bbs/read.php?45,18361

AI 里面调子最高的一派是 Doug Lenat，他的 cyc 项目进行了多年，获得了政府和许多 high profile sponsors 的多年资助，一直无法实用，尽管他自己10年前就宣扬已经接近应用前夜了。对于 Doug Lenat，我打心底钦佩，这种基于常识推理的 AI 需要苦功夫，是对人的智能（一个侧面）的逼真模拟。

多数学者对此不以为然，对这种 “纯粹AI” 不看好，大家大都转向以统计为基础的机器学习（ML）。基本上是把人的智能看成黑箱，不再试图从本质上模拟人脑的过程，包括逻辑推理，而是把每一个具体的智能活动定义为一个任务，一个从输入转换成所求的输出的任务，而这是可以客观度量的。只要机器能够训练成尽可能逼近所需的输出，人的智能就局部实现了。

ML 和 NLP

如今，NLP（包括机器翻译MT）也基本上已经被搞机器学习的人统治了，传统的规则方法只能打边鼓。他们也确实弄出一些名堂来，尤其是语音处理，分类(classification)，和知识习得(knowledge acquisition) 方面。

目前的情况是，有指导的学习（supervised learning）比较成熟，但遭遇知识瓶颈，就是需要大数据量的 labeled data 的问题。如果问题单纯，features 选取容易，又有海量数据，学习的结果真地可以很接近人工水平。我们曾经做过一项研究（碰巧的是，IBM 也大体同时做了这项研究，不如我们深入，但大同小异，结果也类似），找到了一个很好的应用领域做大小写恢复工作（Case Restoration），效果奇好。过去很多档案文字的电子版本是全大写的，网络上现在还有很多文件也是不分大小写的（譬如很多语音识别出来的材料，标题，还有论坛和电子邮件的非正式文字，等等），这就给自然语言处理和信息抽取造成困难，因为多数语言处理系统 assume 的 input 是正常大小写夹杂的文字，一旦输入文件没有大小写的区别，一切就乱套了。连最基础的词类区分（POS: Part-of-Speech tagging）和专名识别（NE: named entity tagging）都寸步难行（因为最重要的一个识别专名边界的clue就是大写）。为了解决这个问题，以前的研究者就设计两套系统，比如BBN就把大小写的features统统弃置重新训练一套NE系统来对付没有大小写的input, 除了 overhead, 系统性能也下降很多。我们想，如果我们先把大小写恢复，然后再做 NLP 不就成了。这个恢复大小写的任务相对比较单纯，训练文本几乎是无限的，因为网上文字大多是区分大小写的。我们利用这些现成的 “labeled” data, 用最简单的HMM算法，学出了一个高效能的系统，解决了这个问题，结果超出预料地好。（Niu, C., W. Li, J. Ding, and R. Rohini. 2004. Orthographic Case Restoration Using Supervised Learning Without Manual Annotation. International Journal of Artificial Intelligence Tools, Vol. 13, No. 1, 2004.）

不过，这样讨巧的事并不多 (一个类似可以讨巧的是某些classification的任务：比如想训练一个给评语分类的系统，就可以上网找到很多客户回馈的记录，这些记录除了文字外，常常还有星号标识，以1个星号表示很差，5星表示很好)。多数任务会遇到 lebeling data 的瓶颈。统计界的共识之一就是，data, data and data. 很多时候，算法的优劣是其次的，主要还是要足够多的 data 和合适的 feature design. 数据量大了，学习的效果自然就好了。所以，labeled data 是 supervised learning 的真正知识瓶颈。我就见过这样的系统，本来是指望随时重新训练以适应新情况的，结果 data 跟不上，成了一个只训练一次的死系统，任何后续的改进都不是经过增加数据重新训练，而是在系统外部打各种补丁。机器学习的优势就失去了。

无须指导的学习（Unsupervised learning）因此引起学者的兴趣，成为热点，因为所需的训练材料无须标注。在网络世界，有的是 raw data. 对某个对象进行 clustering 就可以用 unsupervised leaning, 出了很多有意思的结果。Clustering 有别于 classification, 前者没有预定一个目标，而是根据features，只要长得象的就归在一起，后者是有预定的 tag set 作为分类的目标。只要设计者心中有个大致的目标，features 选取得当，可以控制 clustering 的结果的粗细，然后去现实世界或使用者中印证clustering的合理性和含义。反正是 unsupervised learning, 不妨多来几次，选取最好的结果作为方向，这样就可以把 clustering 转化成具有广泛应用的 classification. （在人类智能活动中，分类是最常用的技能，也是应用最广泛，相对单纯，比较易于机器学习和模拟成功的任务。大千世界，林林总总，为了把握它，人类第一个要做的就是分类。分类以后，才好缩小范围，集中到某个子领域，钻进去仔细分析。）

正如自如所述，目前很多研究者对所谓 weakly supervised learning 情有独衷，觉得这是一个具有突破性的研究方向。传统的 supervised learning 有知识瓶颈而为人诟病，完全没有指导的学习效率不高，因此尝试利用有限 labeled data 作为种子（seeds）, 怎样引导学习程序一步一步向指定方向去，这是一个充满魅力的路子。这方面的成果令人鼓舞，但总体还在探索阶段，只有少部分课题已经接近临床实用，譬如分类和词典习得（lexicon acqusition）.

机器学习的缺点和局限等有时间再接着谈。先说一点，任务一复杂，ML 就麻烦。遇到复杂的难以分解的任务，基本是没戏，譬如自然语言的深度结构分析（deep parsing）。而任务相对单纯的浅层分析（shallow parsing），ML 的效果就很好，可以媲美人工系统。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/立委随笔-机器学习和自然语言处理

祝福大家虎年吉祥如意

52nlp — Thu, 11 Feb 2010 15:45:48 +0000

　　回家过年，博客暂停更新！
　　提前祝大家虎年吉祥如意，家人平安幸福！
　　以下是利用微软对联为52nlp生成的虎年春联，上联选“自然语言处理”，下联是挑来组去自动生成的：

　　关于新版本的微软对联，可以看看周明老师的《微软新对联·欢乐庆春节》，主要做了如下的改进：
　　1．对联搜索。可以通过关键字搜索古今中外名联。
　　2．更加强大的对对联引擎。可以对多达15字的对联。而且对联速度和质量也进一步提升。
　　3．作品发表。可以把您的对联作品发布出来，供其它网友欣赏和评价。
　　4．免费短信分享。可以用短信把您的对联作品分发给您的好友。
　　不过我感觉核心的对联引擎没有多大改变，但无论如何，微软对联是一个非常有创意的产品，尤其能与统计机器翻译联系起来，实在太佩服MSRA的创新能力了！

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/祝福大家虎年吉祥如意

机器翻译：多一点宽容

52nlp — Wed, 10 Feb 2010 11:05:14 +0000

　　这两天“我爱自然语言处理”的一些访问来源于CSDN的推介，于是查了一下，发现与CSDN的一则新闻有关：《Google研发手机翻译软件人类有望无需学外语》，里面除了原始新闻的简单摘译外，附加了Franz Och的介绍——引用了《统计机器翻译英雄谱一：Franz Josef Och》中的部分内容。
　　“东芝开发智能手机翻译软件”刚过去不久，这次又轮到Google，看来移动终端的争夺是大势所趋，估计过不了多久微软也会抛出一个基于Windows CE开发的手机翻译软件。不过无论这些大企业如何宣传，我对机器翻译尤其是统计机器翻译的态度依然是：完全智能化的翻译是远大目标，是人工智能的终极体现，但目前机器翻译还不能取代人，只能辅助人。
　　Google在线翻译是统计机器翻译的一个典型应用，其翻译质量在目前的机器翻译中的算是比较不错的了，但即使如此，如果指望Google翻译来完成翻译工作，除非完全不懂那门外语，否则肯定是脑子锈透了。多数人用Google翻译主要是协助自己工作，机助人译大概是目前机器翻译所能发挥的最大作用了，所以虽然常常见到有些人拿“古诗词”来考验Google，甚至一句话在Google翻译中跑一圈，然后再拿结果来嘲笑“Google翻译”，但是嘲笑归嘲笑，我估计他们过后还是依然用Google。
　　回头再来看这则新闻，事实上英文原始新闻的题目是《Google leaps language barrier with translator phone》，也许CSDN的编辑为了吸引眼球，就加了后半句“人类有望无需学外语”，不过与英文原文对比起来，CSDN的这则新闻实在有些简化，因此所表达的意思估计重点就成了“人类有望无需学外语”，所以评论多以批评、嘲讽为主。读了一下英文原文，发现Franz Och主要强调的是以下几点：
　　1）“We think speech-to-speech translation should be possible and work reasonably well in a few years’ time”
　　2) Clearly, for it to work smoothly, you need a combination of high-accuracy machine translation and high-accuracy voice recognition, and that’s what we’re working on.
　　3) Although automatic text translators are now reasonably effective, voice recognition has proved more challenging.
　　Franz Och主要表达了未来几年手机上语音到语音自动翻译的可能性，并强调了目前文本机器翻译reasonably effective，而挑战再于语音识别。我觉得“reasonably effective”是值得推敲的，目前统计机器翻译在一些受限领域的翻译是可以达到“reasonably effective”的。另外，虽然Google翻译目前对于汉语和英语的翻译结果不是很理想，但是在那些区别相对较小的语言对里，如英语和法语，统计机器翻译的效果也许要好一些，有可能“reasonably effective”。恰好，我看到了英文原文的一条评论：

Google Translate between English, French, German, Spanish is absolutely amazingly good. Anyone criticizing it has not tried it recently. The reason why those translations are now very good is because Google has enormous amounts of professionally translated texts from the European Union and the United Nations, where by just adding more and more examples to Google’s database, the translations become better and better.

Also, Google can use their search technology to analyse the probable context of every bit of translation. Thus increasing the probable quality.
…

　　虽然那里面的评论不乏一些批评，但是这些批评往往不是无端指责和嘲讽，更多的时候有理有据，甚至写得很长。这条评论很长，对“reasonably effective”最有利的佐证就是“Google Translate between English, French, German, Spanish is absolutely amazingly good.”。我曾经利用Moses及欧洲议会平行语料库搭建过法英统计机器翻译平台，虽然不懂法语，但是试着翻译一些法语句子，印象深刻的就是翻译的英文句子可读性比较好。而对于Google来说，其平行数据的规模及处理能力非常人能及，所以Franz Och说Google 翻译“reasonably effective”还是有一定依据的。
　　机器翻译的“巴别塔(Tower of Babel)”不是一朝一夕建成的，对于Franz Och及Google翻译，求全责备不太应该，我们不能指望“这个软件如果研发成功，将有望改变全球说各种不同语言（据估计目前世界在使用的语言有6000 多种）的人之间的沟通方式，人们也不再需要为了与人口头交流而去学习外语”，只是希望在机器翻译这条路上，Franz Och及Google能带给我们更多的惊喜和技术体验；而对于CSDN这则机器翻译新闻，大可以一笑了之。

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/机器翻译多一点宽容

Beautiful Data-统计语言模型的应用二：背景

52nlp — Tue, 09 Feb 2010 11:30:51 +0000

　　本节我们进入《Beautiful Data》的正题，将沿着其第14章Peter Norvig大牛的“Natural Language Corpus Data”的轨迹介绍统计语言模型的三个应用：分词、解码及拼写检查。不过《Beautiful Data》中这三个应用依赖着Google的海量语言模型，所以Peter Norvig研究员首先介绍的也是Google语言模型的一些基本情况和背景。
　　虽然Google声称“All Our N-gram are Belong to You”，但是这个语言模型最终是通过语言数据联盟LDC (Linguistic Data Consortium)提供给用户的，因此如果使用，仍需要一些费用。在LDC的“Web 1T 5-gram Version 1”这个页面上，大家可以找到Google语言模型的基本信息，包括简介、来源、规模、编码及费用等情况：

This data set, contributed by Google Inc., contains English word n-grams and their observed frequency counts. The length of the n-grams ranges from unigrams (single words) to five-grams. We expect this data will be useful for statistical language modeling, e.g., for machine translation or speech recognition, as well as for other uses.

　　之所以说1T，应该是压缩的24G Google语言模型解压之后的大小，这样大的语言资源对多数人来说收藏的意义远大于使用，毕竟对于绝大多数个人电脑甚至是很多服务器来说，内存这一关都无法过去。其实去年8月份的时候水木社区自然语言处理版有好心人通过Emule共享过“Google Web 1t 5-gram”，如果读者对此语言模型很有兴趣，可以去找找，不知现在是否还能下载。
　　关于Google语言模型（语料库）的一些细节：
　　1）包括1万亿的“词例”及1千3百万的“词型”（a trillion tokens and 13 million types）；
　　2）出现次数少于200次的单词被认为是未登录词，用符号代替，而出现次数少于40次的N-grams被去除；
　　3）多数词型出现的次数很小，最常见的10个词型（或者说单词）占去了几乎1/3的词例数，最常见的前1000个词型占去了2/3，而排名前100000的词型占去了98%，不知读者是否会想起著名的Zipf 法则;
　　既然Peter Norvig大牛要在《Beautiful Data》中展示Google语言模型的美丽，除了他的解释：

Why would I say this data is beautiful, and not merely mundane? Each individual count is mundane. But the aggregation of the counts—billions of counts—is beautiful, because it says so much, not just about the English language, but about the world that speakers inhabit. The data is beautiful because it represents much of what is worth saying.

　　更重要的是如何通过应用这个语言模型来让读者领略“语言数据的美”，但是1T的语言模型如何用？答案在他专门为本章准备的网页上：Natural Language Corpus Data: Beautiful Data，包括了所有的程序及资源文件，最最重要的两个文件就是从Google语言模型中简化了的两个分别为5M左右的1-gram和2-gram及其频率统计的文件：count_1w.txt和count_2w.txt。前者包含了前333333个高频词及其在语料库中统计的频率，并按词频排序；后者包含了前286358个2-grams，不过按的是词典顺序排序。
　　让我们来看一下count_1w.txt中的前十个最常见的英文单词：

the 23135851162
of 13151942776
and 12997637966
to 12136980858
a 9081174698
in 8469404971
for 5933321709
is 4705743816
on 3750423199
that 3400031103
…

　　注意数字代表了这些英文单词在语料库中出现的次数，浏览这个文件，你会发现排名靠前的单词都是我们日常经常用到的单词，而排名靠后的单词很多都不认识，如果学习或者背单词的时候按这个顺序，估计会很实用，这大概也能算做Google语言模型的一个应用吧！好了，本节到此为止，下一节我们正式进入到统计语言模型的应用层面。

未完待续：分词1

注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/beautiful-data-统计语言模型的应用二背景

自然语言处理与医疗健康

52nlp — Thu, 04 Feb 2010 12:12:53 +0000

　　自然语言处理与医疗健康看起来似乎不搭边，不过如果读者还记着《HMM在自然语言处理中的应用一：词性标注4》中的Philip Resnik教授的话——他利用自然语言处理来提高医用编码（medical coding）的水平——大概也不会太吃惊。而今天看到和讯科技的一则新闻：《多领域IT技术研究推动改善数字健康与医疗》，讲的是“2010微软亚洲研究院数字健康与医疗研讨会”，文中提到了与数字医疗健康相关的领域，其中就包括自然语言处理：

自然语言处理:由于医疗信息和病人的病史以自由文本格式保存在病历里,自然语言处理可以帮助医生从庞大的记录中萃取出关键信息,并将文本转化为可使用的知识。

　　这促使我Google了一下国内外的相关研究情况。国内我只找了一篇07年的文章：《基于自然语言处理技术的消化科内窥镜检查报告的结构化》：

以消化科内窥镜检查报告为例.介绍一种基于自然语言处理技术的结构化实现方法.利用现有的自然语言处理技术,并引入消化科内窥镜检查术语标准 MST(Minimal Standard Terminology).实现了胃镜的叙述性检查报告到基于MST的结构化报告的转化,表述准确率达到92.3%.

　　不太明白，也没找原始文献，就没有深究了。
　　而国外的研究情况远超我想象，本以为这个交叉方向很新，没想到找到了一篇94年的paper“Natural Language Processing and the Representation of Clinical Data”，网上将其列为医学信息学经典论文，目前的引用次数已达150次，没有深究最早将NLP和医学结合的论文，但是看来这个方向至少不会比统计机器翻译晚多少。
　　既然称其为“数字医疗健康”，那么时下很多流行的词汇就可以用上了，和讯的这则新闻又列出了如下的几个相关领域，有兴趣的读者可以追踪一下：

数据挖掘:随着存储和处理的医疗数据不断增多,在数据挖掘技术的应用方面还有很大的发展潜力。利用创新技术可以整合电子病历、个人生理数据以及累积的社区数据并提炼出有价值的信息。

移动设备/躯感网:用移动设备和传感器可以捕捉人们的生理状态,如体力活动水平、血压、心跳、葡萄糖水平以及其他重要指数,从而帮助人们建立健康的生活方式。

信号处理:随着收集和记录能力不断增强,信号数据（包括时间序列比如心电图轨迹和其他医学图像数据）正在以惊人的速度增长。在医学图像增强技术、目标识别、异常状况监测以及医学时间序列分析等领域的研究可以有效改善信号处理。

数据可视化:采用创新方法可以使大量数据实现可视化和可操控性,用于展示医学数据或者与医学数据进行互动。

医学成像:随着医学成像技术的不断进步,将电脑技术应用到医学成像领域以帮助医生获取、分析和处理医学图像的机会越来越大。由于医学成像的迅速数字化,通过高级运算来增强和理解医学图像能力,从而预防疾病也将成为可能。

注：转载请注明出处“我爱自然语言处理”：www.52nlp.cn

本文链接地址：http://www.52nlp.cn/自然语言处理与医疗健康