NLP數學基礎

自然語言處理(簡稱NLP),目前比較成熟的應用場景包括:

NLP數學基礎

1。句法語義分析:對於給定的句子,進行分詞、詞性標記、句法分析、語義

2。資訊抽取:從給定文字中抽取重要的資訊,涉及到實體識別、時間抽取、因果關係抽取等關鍵技術。

3。文字挖掘(或者文字資料探勘):包括文字分類、摘要、情感分析。

4。機器翻譯:把輸入的源語言文字透過自動翻譯獲得另外一種語言的文字。

5。資訊檢索:對大規模的文件進行索引。

6。問答系統: 對一個自然語言表達的問題,由問答系統給出一個精準的答案。

7。對話系統:系統透過一系列的對話,跟使用者進行聊天、回答、完成某一項任務。

NLP數學基礎

NLP所用到的機率論知識點吧:

最大似然估計(maximum likelihood estimation)

條件機率(conditional probability)

全機率公式(full probability)

貝葉斯相關理論與法則(Bayesian decision theory)

二項式分佈(binomial distribution)

期望(expectation)

方差(variance)

然而要弄懂上面9點, 還需要理解以下概念:

排列組合

頻率與機率

古典概型與幾何概型

一維和二維離散型隨機變數

一維和二維連續隨機變數

協方差和相關係數

大數定律及中心極限定理

樣本與抽樣分佈

點估計

向量化

矩陣

距離計算

線性代數,機率論與數理統計 ,微積分