Q 学習の更新

Q 学習は、各状態で各行動がどれだけ良いか Q(s, a) を経験だけから学習します。状態 s で行動 a を取り、reward を受け取って状態 s' に移ったら:

エピソードが終了した場合 (done = 1) は target = reward
そうでなければ target = reward + gamma × (a' についての Q(s', a') の最大値)
Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))

すべての Q 値を 0 から始め、遷移を順に適用します。

q_learning(num_states, num_actions, transitions, alpha, gamma) を実装してください。

入力

num_states, num_actions: 表の大きさ。

transitions: 1 ステップにつき 1 行の [state, action, reward, next_state, done]。

alpha: 学習率。

gamma: 割引率。

出力

状態ごとに 1 行、行動ごとに 1 列の行列として Q 表を返します。

制約

1 ≤ num_states, num_actions ≤ 100、0 ≤ 遷移の数 ≤ 10,000

-100 ≤ reward ≤ 100、done は 0 または 1

0 < alpha ≤ 1、0 ≤ gamma ≤ 1

例

例 1

入力：
num_states = 2
num_actions = 2
transitions = [
    [0, 1, 0, 1, 0],
    [1, 0, 10, 0, 1]
]
alpha = 0.5
gamma = 0.9

期待される出力：
[
    [0.0, 0.0],
    [5.0, 0.0]
]

解説

最初のステップではまだ報酬がありません。target = 0 + 0.9 × max(Q[1]) = 0 なので Q[0][1] は 0 のままです。2 番目のステップは報酬 10 でエピソードを終えます。Q[1][0] = 0 + 0.5 × (10 - 0) = 5。

例 2

入力：
num_states = 2
num_actions = 2
transitions = [
    [1, 0, 10, 0, 1],
    [0, 1, 0, 1, 0]
]
alpha = 0.5
gamma = 0.9

期待される出力：
[
    [0.0, 2.25],
    [5.0, 0.0]
]

解説

同じステップを逆の順に適用します。先に Q[1][0] が 5 になるので、状態 0 からのステップはそれを参照できます。target = 0 + 0.9 × 5 = 4.5、Q[0][1] = 0.5 × 4.5 = 2.25。報酬が 1 つ前の状態へ伝わりました。

参考資料

提出せずにサンプルテストでコードを確認できます。

例 1 未実行

入力：

num_states = 2
num_actions = 2
transitions = [
    [0, 1, 0, 1, 0],
    [1, 0, 10, 0, 1]
]
alpha = 0.5
gamma = 0.9

期待される出力：

[
    [0.0, 0.0],
    [5.0, 0.0]
]

あなたの出力

例 2 未実行

入力：

num_states = 2
num_actions = 2
transitions = [
    [1, 0, 10, 0, 1],
    [0, 1, 0, 1, 0]
]
alpha = 0.5
gamma = 0.9

期待される出力：

[
    [0.0, 2.25],
    [5.0, 0.0]
]

あなたの出力

提出時に非公開テスト4件も実行されます。失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。

Run Swift Online

Write, run, and debug Swift code online using a command-line Swift environment. Manage multiple files, save your workspace, and share code without installing Xcode.

バージョン

プリインストール済みライブラリ

🚀 19,043 合計実行 (611 今月)

出力

Swiftのコーディングチャレンジで練習

このエディタで実践的な問題を解こう。サンプルテストを実行し、提出してAIコードレビューを受けられます。

すべてのSwiftチャレンジ

簡単

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

学べること算術戻り値

BeginnerLearning-pathVariables

解答を見る（12 件）

簡単

Distance Between Points

Compute the straight-line distance between two points.

学べること三平方の定理平方根

BeginnerFunctionsLearning-pathmath

解答を見る（7 件）

簡単

Days in a Month

Return how many days a month has, including leap years.

学べること暦の規則補助関数

BeginnerConditionsFunctionsLearning-path

解答を見る（6 件）

簡単

Average of Three

Average three whole numbers.

学べること算術除算

BeginnerLearning-pathVariables

解答を見る（6 件）

簡単

2つのベクトルの内積

2つのベクトルを要素ごとに掛けて合計します。すべてのニューロンの中心となる計算です。

学べることベクトル内積

ニューラルネットワークai機械学習

解答を見る（4 件）

簡単

Largest of Three

Pick the largest of three numbers without a built-in max.

学べること比較条件の組み合わせ

BeginnerConditionsLearning-path

解答を見る（4 件）

簡単

素数判定

数が素数かどうかを判定してください。

学べること割り切れるかの判定ループの最適化

BeginnerLoopsNumbersStudent-beginner

解答を見る（3 件）

簡単

Number Triangle

Build a triangle of increasing numbers.

学べること長くなる行行をまたぐカウンター

BeginnerLearning-pathNested-loopsPatterns

解答を見る（3 件）

簡単

アームストロング数

数が、その各桁の値を桁数乗して合計した値と等しいかどうかを判定します。

学べること桁の取り出し累乗

BeginnerNumbersStudent-beginner

解答を見る（3 件）

簡単

Row Sums

Add up every row of a grid.

学べること 2 次元リスト入れ子のループ

BeginnerGridsLearning-path

解答を見る（3 件）

簡単

Min and Max Together

Find the smallest and largest value in one pass.

学べること 1 回の走査複数の戻り値

ArraysBeginnerFunctionsLearning-path

解答を見る（3 件）

簡単

Count Pairs With a Sum

Count pairs of positions whose values add up to a target.

学べることインデックスの組二重カウントの回避

ArraysBeginnerLearning-pathNested-loops

解答を見る（3 件）

🍎 この Swift オンライン実行ツールについて

CodeUtility Swift Executor は、ブラウザ上で直接 Swift コードを書いて実行できるツールです - Xcode や SDK、macOS のセットアップは不要です。実際の Swift コンパイラを隔離されたサンドボックスで動かし、正確でネイティブな Swift の挙動を提供します。

このツールは複数の Swift バージョン - 5.7、5.9、そして最新リリース - をサポートしており、新しい言語機能を試しつつ、既存の Swift コードベースとの互換性も維持できます。

Swift の文法学習、アルゴリズムのテスト、iOS・macOS・サーバーサイド Swift のコードを試す用途に最適で、ローカルのツールやシミュレータをインストールする必要はありません。

すべてのスニペットはコンテナ化された Swift 環境で安全に実行され、実際のコンパイラからのフィードバックと安全な実行を保証します。

単なるコードランナーではありません

同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。

この実行環境の使い方

ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。

バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。

コーディングを開始する

バージョン実行する前にランタイムを選択します。インストールされたライブラリは、選択した言語バージョンに属します。
「開いているファイル」には、開いていないテキストファイルがリストされます。1 つを選択すると、利用可能なエディタータブで開きます。
「実行」は、プログラムで使用可能なワークスペースを使用してアクティブなファイルを実行します。
Stop は、制限時間前に現在の実行を終了します。
詳細モードでは、ファイルエクスプローラーと移動可能でサイズ変更可能なターミナルを備えた IDE レイアウトが開きます。

ワークスペースとライブラリ

新しいファイルは、選択した親ディレクトリにファイルを作成し、エディタで開きます。
新しいフォルダーは、サポートされているネストの深さまでのディレクトリを作成します。
ファイルをアップロードすると、1 つ以上の安全なファイルがディレクトリに追加されます。
ダウンロードでは、ファイルまたは圧縮されたディレクトリがデバイスに保存されます。
コピーは、ワークスペースファイルまたはディレクトリを複製します。
[名前の変更] を実行すると、ファイル名が変更され、開いているタブと履歴が更新されます。
Move は項目を再配置します。ファイルやディレクトリもドラッグできます。
削除は、確認後に項目を削除し、開いているエディタータブを閉じます。
プリインストールされたライブラリには、このランタイムにすでに含まれているパッケージが表示されます。
Add Lib は、アカウントと選択したランタイム用のプライベートパッケージをインストールします。

ターミナルとサポート

実行履歴により、前と次の保存された出力が開きます。
出力をコピーすると、現在の端末テキストがコピーされます。
出力をクリアすると、確認後に保存されている実行出力がすべて削除されます。
Explain ではアクティブなコードを要約します。
[最近] では、最近の説明と結果が開きます。
設定により、フォント、テーマ、表示されるツールバーボタンが変更されます。

共有とコラボレーション

共有は、現在のファイル、ディレクトリ、またはワークスペース全体をスナップショットまたはライブワークスペースとして公開します。リンクへのアクセスと変更を保存できるユーザーを制御します。
ログには、共有ワークスペースに保存されたコラボレーターのアクションが記録されます。
チャットを共有すると、サインインした参加者はメッセージを送信したり、メンバーにメンションしたり、コードブロックを共有したり、オンラインまたは入力中のメンバーを確認したりできます。
ライブコラボレーションでは、コラボレーターのカーソルと保存されたファイルの更新が表示されます。表示専用ユーザーは、最新バージョンをロードすることも、一時的な編集を保存することもできます。

割り当てと制限

実行時間は、サーバーの実行ごとに 20 秒に制限されます。より早く終了したい場合は、「停止」を使用します。
ワークスペースストレージでは、サインインしているユーザーのワークスペースと言語ごとに、ファイル 100 個、ディレクトリ 100 個、合計 10 MiB が許可されます。
ファイルとフォルダーは、ファイルごとに 1 MiB、ネストされたディレクトリレベルは 5 に制限されます。コードによって生成されたファイルは、同じクォータに従います。
プライベートライブラリは、アカウントおよびランタイムごとにインストールされるパッケージが 10 個に制限されています。
共有スナップショットには、ファイルあたり 1 MiB、合計 2 MiB まで、最大 100 個のファイルを含めることができます。
共有の招待は、共有ごとに最大 25 人をサポートし、アクセス権と保存権限は個別に管理されます。
チャットの共有では、メッセージあたり 2,000 文字、共有あたり 10,000 メッセージが許可されます。
クォータの強制は、コードの実行中にも適用されます。ファイル数、サイズ、ストレージ、またはネストの制限を超える書き込みは安全に拒否されます。

知っておくと便利 信頼できるコードのみを実行し、パッケージをインストールしてください。実行は分離され制限されていますが、プログラムは強制クォータまで書き込み可能なワークスペース内のファイルを変更できます。

💡 初心者向け Swift 基本ガイド

1. 変数と定数の宣言

Swift では変数に var、定数に let を使います。

var age = 30
let pi = 3.14159
var name = "Alice"
let isActive = true

// 定数は再代入できません
// pi = 3.14 // ❌ エラー

2. 条件分岐 (if / switch)

ロジックには if、else if、else、分岐が多い場合は switch を使います。

let number = 2
if number == 1 {
    print("1")
} else if number == 2 {
    print("2")
} else {
    print("その他")
}

switch number {
case 1:
    print("1")
case 2:
    print("2")
default:
    print("その他")
}

3. ループ

Swift は for-in、while、repeat-while のループをサポートしています。

for i in 0..<3 {
    print(i)
}

var n = 3
while n > 0 {
    print(n)
    n -= 1
}

4. 配列

配列は値の順序付きコレクションを保持します。

var numbers = [10, 20, 30]
print(numbers[1])

5. 配列の操作

append や removeLast などのメソッドを使います。

var nums = [1, 2, 3]
nums.append(4)
nums.removeLast()

for n in nums {
    print(n)
}

6. コンソール入出力

出力は print() を使います。入力は Swift Playgrounds や Xcode で別途対応が必要です。

let name = "Alice"
print("こんにちは、\(name)")

7. 関数

パラメータや戻り値を持つ再利用可能な関数を定義します。

func add(a: Int, b: Int) -> Int {
    return a + b
}

print(add(a: 3, b: 4))

8. 辞書

辞書はキーと値のペアを保持します。

var ages = ["Alice": 30]
print(ages["Alice"] ?? 0)

9. エラーハンドリング

Swift では do-catch でエラー処理を行います。

enum MyError: Error {
    case runtimeError(String)
}

do {
    throw MyError.runtimeError("問題が発生しました")
} catch let error {
    print(error)
}

10. ファイル入出力

ファイル操作には FileManager や String のメソッドを使います。

let text = "こんにちは、ファイル"
try text.write(toFile: "file.txt", atomically: true, encoding: .utf8)
let content = try String(contentsOfFile: "file.txt")
print(content)

11. 文字列操作

count、contains、uppercased() などのメソッドを使います。

let text = "Hello World"
print(text.count)
print(text.contains("World"))
print(text.uppercased())

12. クラスとオブジェクト

Swift は class と init を使った OOP をサポートしています。

class Person {
    var name: String
    init(name: String) {
        self.name = name
    }
    func greet() {
        print("こんにちは、\(name)です")
    }
}

let p = Person(name: "Alice")
p.greet()

13. オプショナル

Swift では ? と ! でオプショナル値を扱います。

var name: String? = "Alice"
print(name ?? "不明")

if let unwrappedName = name {
    print(unwrappedName)
}