マルチヘッドアテンションにより、Transformer は複数のことに同時に注目できます。入力 X(n トークン × d 列)と d × d の重み行列について:
- Q = X × w_q、K = X × w_k、V = X × w_v
- d 列を
num_heads個のヘッドに分けます。各ヘッドは連続する d_k = d / num_heads 列を持ちます(ヘッド h は列 h×d_k から (h+1)×d_k - 1 を使う)。 - 各ヘッドで、その列だけを使ってスケールド・ドット積アテンションを実行します。トークン i について、そのヘッドの列で score_j = (Q_i · K_j) / √d_k を計算し、n 個すべてのトークン j でソフトマックスをとり、出力 = Σ weight_j × V_j(そのヘッドの列)。
- 各ヘッドの出力を元の列に戻し(連結し)、w_o を掛けます。
multi_head_attention(x, w_q, w_k, w_v, w_o, num_heads) を実装してください。
入力
x: n × d の入力行列。
w_q, w_k, w_v, w_o: d × d の重み行列。
num_heads: ヘッドの数(d はこの数で割り切れる)。
出力
n × d の出力行列を返してください。
制約
1 ≤ n ≤ 30、1 ≤ d ≤ 32、1 ≤ num_heads ≤ d で、d は num_heads で割り切れる
-5 ≤ 各値 ≤ 5
例
入力:
x = [
[1.0, 0.0],
[0.0, 1.0]
]
w_q = [
[0.0, 0.0],
[0.0, 0.0]
]
w_k = [
[1.0, 0.0],
[0.0, 1.0]
]
w_v = [
[1.0, 0.0],
[0.0, 1.0]
]
w_o = [
[1.0, 0.0],
[0.0, 1.0]
]
num_heads = 1
期待される出力:
[
[0.5, 0.5],
[0.5, 0.5]
]
解説
w_q がすべて 0 なので、スコアはすべて 0 となり、各トークンは値の行の平均になります。V = X なので、両方の行が [0.5, 0.5] になります。
入力:
x = [
[2.0, 4.0]
]
w_q = [
[1.0, 0.0],
[0.0, 1.0]
]
w_k = [
[1.0, 0.0],
[0.0, 1.0]
]
w_v = [
[1.0, 0.0],
[0.0, 1.0]
]
w_o = [
[0.0, 1.0],
[1.0, 0.0]
]
num_heads = 2
期待される出力:
[
[4.0, 2.0]
]
解説
トークンが1つだけなので各ヘッドは自分自身だけに注目し、連結した出力は V = [2, 4] です。w_o が2つの列を入れ替えるので [4, 2] になります。
参考資料
-
例 1 未実行入力:
x = [ [1.0, 0.0], [0.0, 1.0] ] w_q = [ [0.0, 0.0], [0.0, 0.0] ] w_k = [ [1.0, 0.0], [0.0, 1.0] ] w_v = [ [1.0, 0.0], [0.0, 1.0] ] w_o = [ [1.0, 0.0], [0.0, 1.0] ] num_heads = 1期待される出力:[ [0.5, 0.5], [0.5, 0.5] ]あなたの出力 -
例 2 未実行入力:
x = [ [2.0, 4.0] ] w_q = [ [1.0, 0.0], [0.0, 1.0] ] w_k = [ [1.0, 0.0], [0.0, 1.0] ] w_v = [ [1.0, 0.0], [0.0, 1.0] ] w_o = [ [0.0, 1.0], [1.0, 0.0] ] num_heads = 2期待される出力:[ [4.0, 2.0] ]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Run Swift Online
Write, run, and debug Swift code online using a command-line Swift environment. Manage multiple files, save your workspace, and share code without installing Xcode.
🍎 この Swift オンライン実行ツールについて
CodeUtility Swift Executor は、ブラウザ上で直接 Swift コードを書いて実行できるツールです - Xcode や SDK、macOS のセットアップは不要です。実際の Swift コンパイラを隔離されたサンドボックスで動かし、 正確でネイティブな Swift の挙動を提供します。
このツールは複数の Swift バージョン - 5.7、5.9、そして最新リリース - をサポートしており、新しい言語機能を試しつつ、既存の Swift コードベースとの互換性も維持できます。
Swift の文法学習、アルゴリズムのテスト、iOS・macOS・サーバーサイド Swift のコードを試す用途に最適で、 ローカルのツールやシミュレータをインストールする必要はありません。
すべてのスニペットはコンテナ化された Swift 環境で安全に実行され、実際のコンパイラからのフィードバックと安全な実行を保証します。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、[実行]を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 初心者向け Swift 基本ガイド
1. 変数と定数の宣言
Swift では変数に var、定数に let を使います。
var age = 30
let pi = 3.14159
var name = "Alice"
let isActive = true
// 定数は再代入できません
// pi = 3.14 // ❌ エラー
2. 条件分岐 (if / switch)
ロジックには if、else if、else、分岐が多い場合は switch を使います。
let number = 2
if number == 1 {
print("1")
} else if number == 2 {
print("2")
} else {
print("その他")
}
switch number {
case 1:
print("1")
case 2:
print("2")
default:
print("その他")
}
3. ループ
Swift は for-in、while、repeat-while のループをサポートしています。
for i in 0..<3 {
print(i)
}
var n = 3
while n > 0 {
print(n)
n -= 1
}
4. 配列
配列は値の順序付きコレクションを保持します。
var numbers = [10, 20, 30]
print(numbers[1])
5. 配列の操作
append や removeLast などのメソッドを使います。
var nums = [1, 2, 3]
nums.append(4)
nums.removeLast()
for n in nums {
print(n)
}
6. コンソール入出力
出力は print() を使います。入力は Swift Playgrounds や Xcode で別途対応が必要です。
let name = "Alice"
print("こんにちは、\(name)")
7. 関数
パラメータや戻り値を持つ再利用可能な関数を定義します。
func add(a: Int, b: Int) -> Int {
return a + b
}
print(add(a: 3, b: 4))
8. 辞書
辞書はキーと値のペアを保持します。
var ages = ["Alice": 30]
print(ages["Alice"] ?? 0)
9. エラーハンドリング
Swift では do-catch でエラー処理を行います。
enum MyError: Error {
case runtimeError(String)
}
do {
throw MyError.runtimeError("問題が発生しました")
} catch let error {
print(error)
}
10. ファイル入出力
ファイル操作には FileManager や String のメソッドを使います。
let text = "こんにちは、ファイル"
try text.write(toFile: "file.txt", atomically: true, encoding: .utf8)
let content = try String(contentsOfFile: "file.txt")
print(content)
11. 文字列操作
count、contains、uppercased() などのメソッドを使います。
let text = "Hello World"
print(text.count)
print(text.contains("World"))
print(text.uppercased())
12. クラスとオブジェクト
Swift は class と init を使った OOP をサポートしています。
class Person {
var name: String
init(name: String) {
self.name = name
}
func greet() {
print("こんにちは、\(name)です")
}
}
let p = Person(name: "Alice")
p.greet()
13. オプショナル
Swift では ? と ! でオプショナル値を扱います。
var name: String? = "Alice"
print(name ?? "不明")
if let unwrappedName = name {
print(unwrappedName)
}