Штучний нейрон і нейронна мережа; функції активації

📌 Про що ця тема

Тут перевіряють розуміння будови найпростішого елемента штучного інтелекту — штучного нейрона — і того, як із нейронів складається нейронна мережа. Ключові поняття: ваги, зважена сума, функція активації, шари мережі й навчання. Це основа сучасного машинного навчання.

📖 Головне

• Штучний нейрон — математична модель біологічного нейрона. Він приймає кілька вхідних сигналів, обробляє їх і видає один вихідний сигнал.

• Кожен вхід x має свою вагу w — число, що показує важливість цього входу. Чим більша вага, тим сильніше вхід впливає на результат.

• Зміщення (bias, b) — додатковий доданок, що зсуває результат; дозволяє нейрону спрацьовувати навіть при нульових входах.

• Робота нейрона у два кроки: спочатку обчислюється зважена сума S = x₁·w₁ + x₂·w₂ + … + xₙ·wₙ + b, потім до неї застосовується функція активації: y = f(S).

• Функція активації перетворює зважену суму у вихід і вводить нелінійність — без неї мережа не змогла б розвʼязувати складні задачі.

• Основні функції активації:

• Порогова (ступінчаста): якщо S ≥ 0, то y = 1, інакше y = 0. Проста, але «грубий» вихід.

• Сигмоїда: y = 1/(1 + e⁻ˢ). Видає значення від 0 до 1, плавна, зручна для ймовірностей.

• ReLU: y = max(0, S). Повертає 0 для відʼємних і саме значення для додатних. Найпоширеніша у глибоких мережах.

• Гіперболічний тангенс (tanh): видає значення від −1 до 1.

• Нейронна мережа — сукупність звʼязаних нейронів, упорядкованих у шари.

• Типи шарів: вхідний (отримує дані), приховані (обробляють), вихідний (дає відповідь).

• Навчання мережі — це процес підбору ваг і зміщень так, щоб вихід мережі збігався з правильними відповідями на навчальних даних.

🔢 Як це працює на прикладі

Нейрон має входи x₁ = 1, x₂ = 0 з вагами w₁ = 0,6, w₂ = 0,9 і зміщенням b = −0,5.

Крок 1 — зважена сума: S = 1·0,6 + 0·0,9 + (−0,5) = 0,1.

Крок 2 — застосуємо порогову функцію: S = 0,1 ≥ 0, отже y = 1.

Якби застосували ReLU: y = max(0; 0,1) = 0,1.

Якби сигмоїду: y = 1/(1 + e⁻⁰·¹) ≈ 0,525.

⚠️ Типові помилки

• Забувають додати зміщення b при обчисленні зваженої суми.

• Плутають вагу (множник кожного входу) зі зміщенням (один спільний доданок).

• Застосовують функцію активації до кожного входу окремо, а не до готової суми S.

• Вважають, що мережа «запрограмована» вручну — насправді ваги підбираються під час навчання.

• Плутають сигмоїду (0…1) і tanh (−1…1) за діапазоном значень.

🎯 Що завчити напамʼять

• S = Σ(xᵢ·wᵢ) + b, потім y = f(S).

• Сигмоїда: 1/(1 + e⁻ˢ), діапазон 0…1.

• ReLU: max(0, S).

• Порогова функція: 1 при S ≥ 0, інакше 0.

• Три типи шарів: вхідний, прихований, вихідний.

🧠 Перевір себе

1. Що вводить у мережу функція активації й навіщо вона потрібна?

2. Обчисли вихід нейрона з ReLU при x₁=2, x₂=1, w₁=0,5, w₂=−1, b=0.

3. Чим відрізняються діапазони сигмоїди і tanh?

4. Що саме змінюється під час навчання мережі?

Відповіді: 1 — нелінійність; без неї мережа не розвʼязувала б складні (нелінійні) задачі. 2 — S = 2·0,5 + 1·(−1) + 0 = 0; y = max(0;0) = 0. 3 — сигмоїда 0…1, tanh −1…1. 4 — значення ваг і зміщень.