人工神經(jīng)網(wǎng)絡(luò)，或簡稱為神經(jīng)網(wǎng)絡(luò)，并不是一個(gè)新想法。 它已經(jīng)存在了大約80年。

直到2011年，當(dāng)深度神經(jīng)網(wǎng)絡(luò)因使用新技術(shù)，龐大的數(shù)據(jù)集可用性和功能強(qiáng)大的計(jì)算機(jī)而變得流行時(shí)。

神經(jīng)網(wǎng)絡(luò)模擬神經(jīng)元，其具有樹突，核，軸突和末端軸突。

對于網(wǎng)絡(luò)，我們需要兩個(gè)神經(jīng)元。 這些神經(jīng)元通過突觸之間的突觸和另一個(gè)突觸軸突傳遞信息。

一個(gè)人造神經(jīng)元的可能模型看起來像這樣 -

神經(jīng)網(wǎng)絡(luò)將如下所示 -

圓是神經(jīng)元或節(jié)點(diǎn)，它們在數(shù)據(jù)上的功能和連接它們的線/邊是傳遞的權(quán)重/信息。

每一列都是一個(gè)圖層。 數(shù)據(jù)的第一層是輸入層。 然后，輸入層和輸出層之間的所有層都是隱藏層。

如果有一個(gè)或幾個(gè)隱藏層，那么有一個(gè)淺層的神經(jīng)網(wǎng)絡(luò)。 如果有很多隱藏層，那么有一個(gè)深層的神經(jīng)網(wǎng)絡(luò)。

在這個(gè)模型中，有輸入數(shù)據(jù)，加權(quán)它，并通過神經(jīng)元中被稱為閾值函數(shù)或激活函數(shù)的函數(shù)傳遞它。

基本上，它是將所有值與某個(gè)值進(jìn)行比較后的總和。 如果發(fā)射一個(gè)信號(hào)，那么結(jié)果是(1)，或者什么都沒有被觸發(fā)，然后是(0)。 然后加權(quán)并傳遞給下一個(gè)神經(jīng)元，并運(yùn)行相同類型的函數(shù)。

我們可以有一個(gè)S形(S形)功能作為激活功能。

至于權(quán)重，它們只是隨機(jī)開始的，而且它們對于節(jié)點(diǎn)/神經(jīng)元的每個(gè)輸入都是唯一的。

在一個(gè)典型的“前饋”，最基本的神經(jīng)網(wǎng)絡(luò)類型中，信息直接通過您創(chuàng)建的網(wǎng)絡(luò)，并將輸出與您希望輸出使用樣本數(shù)據(jù)的結(jié)果進(jìn)行比較。

從這里開始，需要調(diào)整權(quán)重以幫助您獲得符合要求的輸出的輸出。

直接通過神經(jīng)網(wǎng)絡(luò)發(fā)送數(shù)據(jù)的行為稱為前饋神經(jīng)網(wǎng)絡(luò)。

我們的數(shù)據(jù)依次從輸入到圖層，然后依次輸出到輸出。

當(dāng)我們倒退并開始調(diào)整權(quán)重以最小化損失/成本時(shí)，這稱為反向傳播。

這是一個(gè)優(yōu)化問題。有了神經(jīng)網(wǎng)絡(luò)，在實(shí)際操作中，我們必須處理成千上萬的變量，或數(shù)百萬甚至更多的變量。

第一個(gè)解決方案是使用隨機(jī)梯度下降作為優(yōu)化方法?，F(xiàn)在，有AdaGrad，Adam Optimizer等選項(xiàng)。無論哪種方式，這是一個(gè)巨大的計(jì)算操作。這就是為什么神經(jīng)網(wǎng)絡(luò)在半個(gè)多世紀(jì)內(nèi)大部分被擱置在書架上的原因。直到最近，我們甚至已經(jīng)在我們的機(jī)器中擁有能力和體系結(jié)構(gòu)，甚至可以考慮執(zhí)行這些操作，并且要匹配正確大小的數(shù)據(jù)集。

對于簡單的分類任務(wù)，神經(jīng)網(wǎng)絡(luò)在性能上與其他簡單算法(如K最近鄰居)的性能相當(dāng)接近。當(dāng)我們有更大的數(shù)據(jù)和更復(fù)雜的問題時(shí)，神經(jīng)網(wǎng)絡(luò)的實(shí)際效用就會(huì)實(shí)現(xiàn)，這兩個(gè)問題都超過了其他機(jī)器學(xué)習(xí)模型。