Алгоритми навчання з підкріпленням

Reading time: 7 minutes

Навчання з підкріпленням

Навчання з підкріпленням (RL) — це тип машинного навчання, де агент навчається приймати рішення, взаємодіючи з середовищем. Агент отримує зворотний зв'язок у формі винагород або покарань на основі своїх дій, що дозволяє йому з часом навчитися оптимальної поведінки. RL особливо корисний для задач, де рішення передбачає послідовне прийняття рішень, таких як робототехніка, ігри та автономні системи.

Q-Навчання

Q-Навчання — це алгоритм навчання з підкріпленням без моделі, який навчається оцінювати цінність дій у даному стані. Він використовує Q-таблицю для зберігання очікуваної корисності виконання конкретної дії в конкретному стані. Алгоритм оновлює Q-значення на основі отриманих винагород і максимальних очікуваних майбутніх винагород.

1. Ініціалізація: Ініціалізуйте Q-таблицю з довільними значеннями (часто нулями).
2. Вибір дії: Виберіть дію, використовуючи стратегію дослідження (наприклад, ε-жадібну, де з ймовірністю ε вибирається випадкова дія, а з ймовірністю 1-ε вибирається дія з найвищим Q-значенням).

• Зверніть увагу, що алгоритм завжди може вибрати відому найкращу дію, враховуючи стан, але це не дозволить агенту досліджувати нові дії, які можуть принести кращі винагороди. Саме тому використовується змінна ε-жадібна для балансування дослідження та експлуатації.

3. Взаємодія з середовищем: Виконайте вибрану дію в середовищі, спостерігайте наступний стан і винагороду.

• Зверніть увагу, що в цьому випадку, залежно від ймовірності ε-жадібної, наступний крок може бути випадковою дією (для дослідження) або найкращою відомою дією (для експлуатації).

4. Оновлення Q-значення: Оновіть Q-значення для пари стан-дія, використовуючи рівняння Беллмана:

Q(s, a) = Q(s, a) + α * (r + γ * max(Q(s', a')) - Q(s, a))

де:

• Q(s, a) — це поточне Q-значення для стану s і дії a.
• α — це швидкість навчання (0 < α ≤ 1), яка визначає, наскільки нова інформація переважає над старою.
• r — це винагорода, отримана після виконання дії a у стані s.
• γ — це коефіцієнт дисконтування (0 ≤ γ < 1), який визначає важливість майбутніх винагород.
• s' — це наступний стан після виконання дії a.
• max(Q(s', a')) — це максимальне Q-значення для наступного стану s' серед усіх можливих дій a'.

5. Ітерація: Повторюйте кроки 2-4, поки Q-значення не зійдуться або не буде досягнуто критерію зупинки.

Зверніть увагу, що з кожною новою вибраною дією таблиця оновлюється, що дозволяє агенту навчатися на своїх досвідах з часом, намагаючись знайти оптимальну політику (найкращу дію для виконання в кожному стані). Однак Q-таблиця може стати великою для середовищ з багатьма станами та діями, що робить її непрактичною для складних задач. У таких випадках можна використовувати методи апроксимації функцій (наприклад, нейронні мережі) для оцінки Q-значень.

SARSA (Стан-Дія-Винагорода-Стан-Дія)

SARSA — це ще один алгоритм навчання з підкріпленням без моделі, який схожий на Q-Навчання, але відрізняється тим, як оновлює Q-значення. SARSA означає Стан-Дія-Винагорода-Стан-Дія, і він оновлює Q-значення на основі дії, виконаної в наступному стані, а не максимального Q-значення.

1. Ініціалізація: Ініціалізуйте Q-таблицю з довільними значеннями (часто нулями).
2. Вибір дії: Виберіть дію, використовуючи стратегію дослідження (наприклад, ε-жадібну).
3. Взаємодія з середовищем: Виконайте вибрану дію в середовищі, спостерігайте наступний стан і винагороду.

• Зверніть увагу, що в цьому випадку, залежно від ймовірності ε-жадібної, наступний крок може бути випадковою дією (для дослідження) або найкращою відомою дією (для експлуатації).

4. Оновлення Q-значення: Оновіть Q-значення для пари стан-дія, використовуючи правило оновлення SARSA. Зверніть увагу, що правило оновлення схоже на Q-Навчання, але воно використовує дію, яка буде виконана в наступному стані s', а не максимальне Q-значення для цього стану:

Q(s, a) = Q(s, a) + α * (r + γ * Q(s', a') - Q(s, a))

де:

• Q(s, a) — це поточне Q-значення для стану s і дії a.
• α — це швидкість навчання.
• r — це винагорода, отримана після виконання дії a у стані s.
• γ — це коефіцієнт дисконтування.
• s' — це наступний стан після виконання дії a.
• a' — це дія, виконана в наступному стані s'.

5. Ітерація: Повторюйте кроки 2-4, поки Q-значення не зійдуться або не буде досягнуто критерію зупинки.

Softmax проти ε-жадібного вибору дій

На додаток до ε-жадібного вибору дій, SARSA також може використовувати стратегію вибору дій softmax. У виборі дій softmax ймовірність вибору дії є пропорційною її Q-значенню, що дозволяє більш тонко досліджувати простір дій. Ймовірність вибору дії a у стані s визначається так:

P(a|s) = exp(Q(s, a) / τ) / Σ(exp(Q(s, a') / τ))

де:

• P(a|s) - ймовірність вибору дії a у стані s.
• Q(s, a) - Q-значення для стану s та дії a.
• τ (тау) - параметр температури, який контролює рівень дослідження. Вища температура призводить до більшого дослідження (більш рівномірні ймовірності), тоді як нижча температура призводить до більшого використання (вищі ймовірності для дій з вищими Q-значеннями).

Навчання на основі політики vs Навчання поза політикою

SARSA є методом навчання на основі політики, що означає, що він оновлює Q-значення на основі дій, виконаних поточною політикою (ε-жадібною або софтмакс політикою). На відміну від цього, Q-Learning є методом навчання поза політикою, оскільки він оновлює Q-значення на основі максимального Q-значення для наступного стану, незалежно від дії, виконаної поточною політикою. Це розрізнення впливає на те, як алгоритми навчаються та адаптуються до середовища.

Методи на основі політики, такі як SARSA, можуть бути більш стабільними в певних середовищах, оскільки вони навчаються на основі дій, які фактично виконуються. Однак вони можуть сходитися повільніше в порівнянні з методами поза політикою, такими як Q-Learning, які можуть навчатися з більшого діапазону досвіду.