- Компиляторы
-
Обучение
Изучить Python Запускаемые примеры, NumPy, pandas и другое Изучить ИИНейросети, ML и LLM с нуля Изучить C и C++ Указатели, память, STL и современный C++ Изучить C#Основы C#, ООП, LINQ, async и упражнения .NET Изучить MatplotlibЛинейные, столбчатые, точечные и круговые диаграммы с визуализацией Алгоритмы на Python Поиск, сортировка, рекурсия и визуализация O(n) Алгоритмы на C и C++ Сравнение реализаций на C и C++ Программирование для детей Учись программировать, играя!
- ЗадачиНовое
- УчителямНовое
- Обновления
- Угостить кофе
Q-learning учится только на опыте, насколько хорошо каждое действие в каждом состоянии, Q(s, a). После действия a в состоянии s, получения reward и перехода в состояние s':
- target = reward, если эпизод закончился (
done= 1) - target = reward + gamma × максимум по a' от Q(s', a'), иначе
- Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))
Начните со всех значений Q, равных 0, и применяйте переходы по порядку.
Реализуйте q_learning(num_states, num_actions, transitions, alpha, gamma).
Входные данные
num_states, num_actions: Размер таблицы.
transitions: По одной строке [state, action, reward, next_state, done] на шаг.
alpha: Скорость обучения.
gamma: Коэффициент дисконтирования.
Выходные данные
Верните таблицу Q в виде матрицы с одной строкой на состояние и одним столбцом на действие.
Ограничения
1 ≤ num_states, num_actions ≤ 100, 0 ≤ число переходов ≤ 10 000
-100 ≤ reward ≤ 100, done равно 0 или 1
0 < alpha ≤ 1, 0 ≤ gamma ≤ 1
Примеры
Пример 1
Ввод:
num_states = 2
num_actions = 2
transitions = [
[0, 1, 0, 1, 0],
[1, 0, 10, 0, 1]
]
alpha = 0.5
gamma = 0.9
Ожидаемый вывод:
[
[0.0, 0.0],
[5.0, 0.0]
]
Пояснение
На первом шаге награды ещё нет: target = 0 + 0.9 × max(Q[1]) = 0, поэтому Q[0][1] остаётся 0. Второй шаг завершает эпизод с наградой 10: Q[1][0] = 0 + 0.5 × (10 - 0) = 5.
Пример 2
Ввод:
num_states = 2
num_actions = 2
transitions = [
[1, 0, 10, 0, 1],
[0, 1, 0, 1, 0]
]
alpha = 0.5
gamma = 0.9
Ожидаемый вывод:
[
[0.0, 2.25],
[5.0, 0.0]
]
Пояснение
Те же шаги в обратном порядке. Q[1][0] сначала становится 5, поэтому шаг из состояния 0 его видит: target = 0 + 0.9 × 5 = 4.5 и Q[0][1] = 0.5 × 4.5 = 2.25. Награда распространилась на одно состояние назад.
Ссылки
-
Пример 1 Не запущеноВвод:
num_states = 2 num_actions = 2 transitions = [ [0, 1, 0, 1, 0], [1, 0, 10, 0, 1] ] alpha = 0.5 gamma = 0.9Ожидаемый вывод:[ [0.0, 0.0], [5.0, 0.0] ]Ваш вывод -
Пример 2 Не запущеноВвод:
num_states = 2 num_actions = 2 transitions = [ [1, 0, 10, 0, 1], [0, 1, 0, 1, 0] ] alpha = 0.5 gamma = 0.9Ожидаемый вывод:[ [0.0, 2.25], [5.0, 0.0] ]Ваш вывод
При отправке также выполняются ещё 4 скрытых теста. Если код не пройдёт один из них, вы увидите этот тест. Решите задачу, чтобы увидеть все.
Swift онлайн: запуск кода без Xcode
Write, run, and debug Swift code online using a command-line Swift environment. Manage multiple files, save your workspace, and share code without installing Xcode.
🚀 19,043 всего выполнений (611 в этом месяце)
Практикуйте Swift на задачах
Решайте задачи прямо в редакторе: запускайте тесты, отправляйте решение и получайте AI-рецензию.
🍎 Об этом онлайн-исполнителе Swift
CodeUtility Swift Executor позволяет писать и запускать Swift‑код прямо в браузере - без Xcode, SDK или настройки macOS. Он использует реальные компиляторы Swift в изолированных песочницах, обеспечивая точное, нативное поведение Swift.
Инструмент поддерживает несколько версий Swift - 5.7, 5.9 и последнюю - это даёт вам гибкость изучать новые возможности языка и сохранять совместимость со старыми кодовыми базами Swift.
Идеально подходит для разработчиков, изучающих синтаксис Swift, тестирующих алгоритмы или экспериментирующих с кодом для iOS, macOS и серверного Swift без необходимости устанавливать локальные инструменты или симуляторы.
Каждый фрагмент выполняется безопасно в контейнеризированной среде Swift, обеспечивая реальные сообщения компилятора и безопасное выполнение кода.
Больше, чем просто запуск кода
В одном редакторе есть всё для работы: несколько файлов, изолированный терминал, библиотеки для выбранной версии, сохранение проектов, общий доступ по ссылке и совместная работа в реальном времени.
Как пользоваться редактором
Выберите версию языка, откройте или создайте файл, напишите код и нажмите «Запустить». Результат появится в терминале. После входа в аккаунт можно хранить файлы в рабочем пространстве, устанавливать библиотеки и работать над кодом вместе с другими.
- Выберите версию и отредактируйте текущий файл или откройте другой файл рабочего пространства.
- Запустите код, при необходимости введите данные в терминале и просмотрите сохранённую историю запусков.
- Используйте библиотеки, инструменты рабочего пространства, общий доступ и чат, когда для задачи требуется несколько фрагментов кода.
💡 Руководство по основам Swift для начинающих
1. Объявление переменных и констант
В Swift используйте var для переменных и let для констант.
var age = 30
let pi = 3.14159
var name = "Alice"
let isActive = true
// Константам нельзя присваивать новое значение
// pi = 3.14 // ❌ Ошибка
2. Условия (if / switch)
Используйте if, else if, else для логики, а switch - для нескольких ветвей.
let number = 2
if number == 1 {
print("Один")
} else if number == 2 {
print("Два")
} else {
print("Другое")
}
switch number {
case 1:
print("Один")
case 2:
print("Два")
default:
print("Другое")
}
3. Циклы
В Swift есть циклы for-in, while и repeat-while.
for i in 0..<3 {
print(i)
}
var n = 3
while n > 0 {
print(n)
n -= 1
}
4. Массивы
Массивы хранят упорядоченные коллекции значений.
var numbers = [10, 20, 30]
print(numbers[1])
5. Работа с массивами
Используйте методы массивов, такие как append и removeLast.
var nums = [1, 2, 3]
nums.append(4)
nums.removeLast()
for n in nums {
print(n)
}
6. Ввод/вывод в консоль
Для вывода используйте print(). Ввод требует дополнительной работы в Swift Playgrounds или Xcode.
let name = "Alice"
print("Привет, \(name)")
7. Функции
Определяйте переиспользуемые функции с параметрами и возвращаемыми значениями.
func add(a: Int, b: Int) -> Int {
return a + b
}
print(add(a: 3, b: 4))
8. Словари
Словари хранят пары ключ‑значение.
var ages = ["Alice": 30]
print(ages["Alice"] ?? 0)
9. Обработка ошибок
В Swift для обработки ошибок используется do-catch.
enum MyError: Error {
case runtimeError(String)
}
do {
throw MyError.runtimeError("Что-то пошло не так")
} catch let error {
print(error)
}
10. Файловый ввод/вывод
В Swift для файлового ввода/вывода используются FileManager или методы String.
let text = "Привет, файл"
try text.write(toFile: "file.txt", atomically: true, encoding: .utf8)
let content = try String(contentsOfFile: "file.txt")
print(content)
11. Работа со строками
Используйте методы вроде count, contains, uppercased() и др.
let text = "Hello World"
print(text.count)
print(text.contains("World"))
print(text.uppercased())
12. Классы и объекты
Swift поддерживает ООП с помощью class и init.
class Person {
var name: String
init(name: String) {
self.name = name
}
func greet() {
print("Привет, я \(name)")
}
}
let p = Person(name: "Alice")
p.greet()
13. Опционалы
В Swift для работы с опциональными значениями используются ? и !.
var name: String? = "Alice"
print(name ?? "Неизвестно")
if let unwrappedName = name {
print(unwrappedName)
}