了解搜索引擎之了解中文分詞

　　分詞是中文搜索引擎特有的步驟。搜索引擎存儲(chǔ)和處理頁(yè)面，以及用戶搜索都是以詞為基礎(chǔ)。英文等語(yǔ)言單詞與單詞之間有空格分隔，搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒(méi)有任何分隔符，一個(gè)句子中的所有字和詞都是連在一起的。搜索引擎必須首先分辨哪幾個(gè)字組成一個(gè)詞，哪些字本身就是一個(gè)詞。比如“網(wǎng)站建設(shè)”將被分詞為“網(wǎng)站”和“建設(shè)”兩個(gè)詞。

　　中文分詞方法基本上有兩種，一是基于詞典匹配，另一個(gè)是基于統(tǒng)計(jì)。

　　基于詞典匹配的方法是指，將待分析的一段漢字與一個(gè)事先造好的詞典中的詞條進(jìn)行匹配，在待分析漢字串中掃描到詞典中已有的詞條則匹配成功，或者說(shuō)切分出一個(gè)單詞。

　　按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長(zhǎng)度優(yōu)先級(jí)的不同，又可以分為大匹配和小匹配。將掃描方向和長(zhǎng)度優(yōu)先混合，又可以產(chǎn)生正向大匹配、逆向大匹配等不同方法。詞典匹配方法計(jì)算簡(jiǎn)單，其準(zhǔn)確度很大程度上取決于詞典的完整性和更新情況?；诮y(tǒng)計(jì)的分詞方法指的是分析大量文字樣本，計(jì)算出字與字相鄰出現(xiàn)的統(tǒng)計(jì)概率，幾個(gè)字相鄰出現(xiàn)越多，就越可能形成一個(gè)單詞?；诮y(tǒng)計(jì)的方法優(yōu)勢(shì)是對(duì)新出現(xiàn)的詞反應(yīng)更快速，也有利于消除歧義。

　　基于詞典匹配和統(tǒng)計(jì)的兩種分詞方法各有優(yōu)劣，實(shí)際使用中的分詞系統(tǒng)都是混合使用兩種方法，達(dá)到快速高效，又能識(shí)別生詞、新詞，消除歧義。中文分詞的準(zhǔn)確性往往影響搜索引擎排名的相關(guān)性。比如在百度搜索“搜索引擎優(yōu)化”：

　　從快照中可以看到，百度把“搜索引擎優(yōu)化”這六個(gè)字當(dāng)成一個(gè)詞。而在Google 搜索同樣的詞：快照顯示Google 將其分切為“搜索”，“引擎”和“優(yōu)化”三個(gè)詞。顯然百度切分得更為合理，搜索引擎優(yōu)化是一個(gè)完整的概念。Google 分詞時(shí)傾向于更為細(xì)碎。

　　再舉一個(gè)更明顯的例子。在Google 搜索“新圖聞”四個(gè)字：

　　快照顯示Google 將其切分為“佳”，“速”及“網(wǎng)絡(luò)”三個(gè)詞?！靶聢D聞”這個(gè)中文領(lǐng)域知名的品牌，顯然并沒(méi)有進(jìn)入Google 的詞典中。在百度搜索“新圖聞”時(shí)會(huì)發(fā)現(xiàn)，百度將“新圖聞”當(dāng)作一個(gè)詞。

　　這種分詞上的不同很可能是一些關(guān)鍵詞排名在不同搜索引擎有不同表現(xiàn)的原因之一。比如百度更喜歡搜索詞完整匹配地出現(xiàn)在頁(yè)面上，也就是說(shuō)搜索“新圖聞”時(shí)，這四個(gè)字連續(xù)完整出現(xiàn)更容易在百度獲得好的排名。Google 就與此不同，不太要求完整匹配。一些頁(yè)面出現(xiàn)“新圖聞”和“網(wǎng)絡(luò)”兩個(gè)詞，但不必完整匹配地出現(xiàn)，“新圖聞”出現(xiàn)在前面，“網(wǎng)絡(luò)”出現(xiàn)在頁(yè)面的其他地方，這樣的頁(yè)面在Google 搜索“新圖聞”時(shí)，也可以獲得不錯(cuò)的排名。

　　搜索引擎對(duì)頁(yè)面的分詞取決于詞庫(kù)的規(guī)模、準(zhǔn)確性和分詞算法的好壞，而不是取決于頁(yè)面本身如何，所以SEO 人員對(duì)分詞所能做的很少。唯一能做的是在頁(yè)面上用某種形式提示搜索引擎，某幾個(gè)字應(yīng)該被當(dāng)作一個(gè)詞處理，尤其是可能產(chǎn)生歧義的時(shí)候，比如在頁(yè)面標(biāo)題、h1 標(biāo)簽以及黑體中出現(xiàn)關(guān)鍵詞。如果頁(yè)面是關(guān)于“網(wǎng)站”的內(nèi)容，那么可以把“網(wǎng)站”這兩個(gè)字特意標(biāo)為黑體。如果頁(yè)面是關(guān)于“大連網(wǎng)站建設(shè)”，可以把“網(wǎng)站建設(shè)”兩個(gè)字標(biāo)為黑體。這樣，搜索引擎對(duì)頁(yè)面進(jìn)行分析時(shí)就知道標(biāo)為黑體的應(yīng)該是一個(gè)詞。

——新圖聞技術(shù)團(tuán)隊(duì)為您服務(wù)！

       新圖聞（ ） 服務(wù)全國(guó) ！   大連網(wǎng)站建設(shè)  首選品牌！轉(zhuǎn)載請(qǐng)注明來(lái)路。