機(jī)械小模型

引言：近期的人工智能項(xiàng)目中，涉及到抽取小范圍時(shí)間內(nèi)的相似文本的需求，故小編應(yīng)V粉們請(qǐng)求，運(yùn)用java語言編寫以下小程序，在此分享。

把文本轉(zhuǎn)化成數(shù)學(xué)模型，通過數(shù)學(xué)方法處理文本的先決條件，此過程稱為文本特征抽取。其中，向量作為一種基本的數(shù)學(xué)模型，是文本特征抽取的一種常見方法。

文本的向量空間模型（VSM)

向量空間模型中將文本表達(dá)為一個(gè)向量，看作向量空間中的一個(gè)點(diǎn)。

詞權(quán)重

句子中的每個(gè)詞在決定句子的含義時(shí)貢獻(xiàn)度并不相同，表明每個(gè)詞的權(quán)重不同，例如：

· * 重要的詞：世界杯、國足

· * 不重要的詞：球迷、亞洲杯

詞權(quán)重：反映每個(gè)詞的重要性的度量。那么如何計(jì)算權(quán)重呢?下面由小編向大家介紹注明的TF/IDF計(jì)算方法。

TF-IDF與余弦相似性

首先，讓我們從一個(gè)實(shí)例開始：假如現(xiàn)在有一篇文章《假如國足獲得世界杯冠軍》，我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞，這個(gè)問題涉及到文本處理、數(shù)據(jù)挖掘、信息檢索等多個(gè)領(lǐng)域，但是這是一個(gè)非常簡單的經(jīng)典算法。找到出現(xiàn)次數(shù)最多的詞，是一個(gè)最容易考慮到的想法，如果某個(gè)詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。

其次，我們進(jìn)行"詞頻"（縮寫為TF）統(tǒng)計(jì)。出現(xiàn)次數(shù)最多的詞是"的"、"是"、"在"這一類最常用的詞。它們叫做"停用詞"，表示對(duì)找到結(jié)果毫無幫助、必須過濾掉的詞。假設(shè)我們把它們都過濾掉了，只考慮剩下的有實(shí)際意義的詞。問題又隨即出現(xiàn)，"國足"、"世界杯"、"冠軍"這三個(gè)詞的出現(xiàn)次數(shù)一樣多。是否意味著，作為關(guān)鍵詞，它們的重要性是一樣的？顯然不是。因?yàn)?國足"是很常見的詞，相對(duì)而言，"冠軍"和"世界杯"不那么常見。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，"冠軍"和"世界杯"的重要程度要大于"國足"，也就是說，在關(guān)鍵詞排序上面，"冠軍"和"足球"應(yīng)該排在"中國"的前面。

最后，我們需要一個(gè)重要性調(diào)整系數(shù)來衡量一個(gè)詞是不是常見詞。如果某個(gè)詞比較少見，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性，表明它正是我們所需要的關(guān)鍵詞。

用統(tǒng)計(jì)學(xué)語言表達(dá)，即在詞頻的基礎(chǔ)上，要對(duì)每個(gè)詞分配一個(gè)"重要性"權(quán)重。最常見的詞（"的"、"是"、"在"）給予最小的權(quán)重，較常見的詞（"中國"）給予較小的權(quán)重，較少見的詞（"冠軍"、"世界杯"）給予較大的權(quán)重。這個(gè)權(quán)重叫做"逆文檔頻率"（IDF），它的大小與一個(gè)詞的常見程度成反比。知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個(gè)值相乘，就得到了一個(gè)詞的TF-IDF值。某個(gè)詞對(duì)文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個(gè)詞，就是這篇文章的關(guān)鍵詞。

偽碼如下：

計(jì)算余弦夾角：

計(jì)算結(jié)果：

通過以上實(shí)驗(yàn)，我們由此判斷，文章越相似，閥值越高。

精選10款機(jī)械設(shè)備模型，其中包含SMT全自動(dòng)涂覆機(jī)、彈性薄板自動(dòng)焊接機(jī)、全自貼標(biāo)簽設(shè)備等模型免費(fèi)下載！

SMT全自動(dòng)涂覆機(jī)

彈性薄板自動(dòng)焊接機(jī)

全自貼標(biāo)簽設(shè)備

設(shè)備密封性試驗(yàn)機(jī)

液壓注塑機(jī)