很多時(shí)候，需要僅針對(duì)文件中存在的唯一單詞分析文本。 因此，我們需要從文本中刪除重復(fù)的單詞 這是通過使用nltk中可用的單詞標(biāo)記化和集合功能來實(shí)現(xiàn)的。

不保留順序

在下面的例子中，我們首先將句子標(biāo)記為單詞。 然后應(yīng)用set()函數(shù)創(chuàng)建一個(gè)無序的唯一元素集合。結(jié)果一個(gè)不排序的唯一單詞。

import nltk
word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour." 

# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)

# Applying Set
no_order = list(set(nltk_tokens))

print no_order

當(dāng)執(zhí)行上面代碼，得到以下結(jié)果 -

['blue', 'Rainbow', 'is', 'Sky', 'colour', 'ocean', 'also', 'a', '.', 'The', 'has', 'the']

保留順序

要在刪除重復(fù)項(xiàng)之后獲取單詞但仍然保留句子中單詞的順序，我們將讀取單詞并通過附加單詞將其添加到列表中。

import nltk
word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour." 
# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)

ordered_tokens = set()
result = []
for word in nltk_tokens:
    if word not in ordered_tokens:
        ordered_tokens.add(word)
        result.append(word)

print result

當(dāng)執(zhí)行上面代碼，得到以下結(jié)果 -

['The', 'Sky', 'is', 'blue', 'also', 'the', 'ocean', 'Rainbow', 'has', 'a', 'colour', '.']