Auto-attention multi-têtes

L'attention multi-têtes permet à un Transformer de s'intéresser à plusieurs choses à la fois. Avec l'entrée X (n tokens × d colonnes) et des matrices de poids d × d :

Q = X × w_q, K = X × w_k, V = X × w_v
Découpez les d colonnes en num_heads têtes de d_k = d / num_heads colonnes consécutives (la tête h utilise les colonnes h×d_k à (h+1)×d_k - 1).
Pour chaque tête, exécutez l'attention par produit scalaire mis à l'échelle sur ses colonnes : pour le token i, score_j = (Q_i · K_j) / √d_k sur les colonnes de cette tête, softmax sur les n tokens j, et sortie = Σ weight_j × V_j (colonnes de cette tête).
Replacez les sorties des têtes dans leurs colonnes (concaténation) et multipliez par w_o.

Implémentez multi_head_attention(x, w_q, w_k, w_v, w_o, num_heads).

Entrée

x : Matrice d'entrée n × d.

w_q, w_k, w_v, w_o : Matrices de poids d × d.

num_heads : Le nombre de têtes (d est divisible par ce nombre).

Sortie

Renvoyez la matrice de sortie n × d.

Contraintes

1 ≤ n ≤ 30, 1 ≤ d ≤ 32, 1 ≤ num_heads ≤ d et d est divisible par num_heads

-5 ≤ chaque valeur ≤ 5

Exemples

Exemple 1

Entrée :
x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

Sortie attendue :
[
    [0.5, 0.5],
    [0.5, 0.5]
]

Explication

w_q ne contient que des zéros, donc tous les scores valent 0 et chaque token fait la moyenne des lignes de valeurs : V = X, donc les deux lignes deviennent [0.5, 0.5].

Exemple 2

Entrée :
x = [
    [2.0, 4.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
num_heads = 2

Sortie attendue :
[
    [4.0, 2.0]
]

Explication

Avec un seul token, chaque tête ne s'intéresse qu'à elle-même, donc la sortie concaténée est V = [2, 4]. w_o échange les deux colonnes : [4, 2].

Références

Exécutez les tests d’exemple pour vérifier votre code sans le soumettre.

Exemple 1 Non exécuté

Entrée :

x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

Sortie attendue :

[
    [0.5, 0.5],
    [0.5, 0.5]
]

Votre sortie

Exemple 2 Non exécuté

Entrée :

x = [
    [2.0, 4.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
num_heads = 2

Sortie attendue :

[
    [4.0, 2.0]
]

Votre sortie

4 tests cachés seront aussi exécutés lors de la soumission. Si votre code en échoue un, vous verrez ce test. Résolvez le défi pour tous les voir.

Run Swift Online

Write, run, and debug Swift code online using a command-line Swift environment. Manage multiple files, save your workspace, and share code without installing Xcode.

Version

Bibliothèques préinstallées

🚀 19,043 exécutions totales (611 ce mois-ci)

Sortie

Pratiquez Swift avec des défis de code

Résolvez des problèmes concrets dans cet éditeur : lancez les tests, soumettez et recevez une relecture IA.

Tous les défis Swift

Facile

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

Vous apprendrez ArithmétiqueValeurs de retour

BeginnerLearning-pathVariables

Voir les solutions (12)

Facile

Distance entre deux points

Calculez la distance en ligne droite entre deux points.

Vous apprendrez Théorème de PythagoreRacines carrées

BeginnerFunctionsLearning-pathmath

Voir les solutions (7)

Facile

Days in a Month

Return how many days a month has, including leap years.

Vous apprendrez Règles du calendrierFonctions utilitaires

BeginnerConditionsFunctionsLearning-path

Voir les solutions (6)

Facile

Average of Three

Average three whole numbers.

Vous apprendrez ArithmétiqueDivision

BeginnerLearning-pathVariables

Voir les solutions (6)

Facile

Produit scalaire de deux vecteurs

Multipliez deux vecteurs élément par élément et additionnez les résultats, l'opération de base de tout neurone.

Vous apprendrez VecteursProduit scalaire

Réseaux de neuronesaiapprentissage automatique

Voir les solutions (4)

Facile

Largest of Three

Pick the largest of three numbers without a built-in max.

Vous apprendrez ComparaisonsCombiner des conditions

BeginnerConditionsLearning-path

Voir les solutions (4)

Facile

Vérification de nombre premier

Déterminez si un nombre est premier.

Vous apprendrez DivisibilitéOptimiser une boucle

BeginnerLoopsNumbersStudent-beginner

Voir les solutions (3)

Facile

Number Triangle

Build a triangle of increasing numbers.

Vous apprendrez Lignes croissantesCompteur entre les lignes

BeginnerLearning-pathNested-loopsPatterns

Voir les solutions (3)

Facile

Nombre d'Armstrong

Vérifiez si un nombre est égal à la somme de ses chiffres élevés à la puissance du nombre de chiffres.

Vous apprendrez Extraction des chiffresPuissances

BeginnerNumbersStudent-beginner

Voir les solutions (3)

Facile

Row Sums

Add up every row of a grid.

Vous apprendrez Listes 2DBoucles imbriquées

BeginnerGridsLearning-path

Voir les solutions (3)

Facile

Min and Max Together

Find the smallest and largest value in one pass.

Vous apprendrez Un seul passagePlusieurs valeurs de retour

ArraysBeginnerFunctionsLearning-path

Voir les solutions (3)

Facile

Count Pairs With a Sum

Count pairs of positions whose values add up to a target.

Vous apprendrez Paires d'indicesÉviter les doubles comptes

ArraysBeginnerLearning-pathNested-loops

Voir les solutions (3)

🍎 À propos de cet exécuteur Swift en ligne

Le CodeUtility Swift Executor vous permet d’écrire et d’exécuter du code Swift directement dans votre navigateur - aucune installation de Xcode, de SDK ou de macOS n’est requise. Il exécute de vrais compilateurs Swift dans des environnements sandbox isolés pour offrir un comportement Swift natif et fidèle.

Cet outil prend en charge plusieurs versions de Swift - 5.7, 5.9 et la dernière version - vous donnant la flexibilité d’explorer les nouvelles fonctionnalités du langage et de maintenir la compatibilité avec des bases de code Swift plus anciennes.

C’est parfait pour les développeurs qui apprennent la syntaxe Swift, testent des algorithmes ou expérimentent du code pour iOS, macOS et Swift côté serveur sans avoir besoin d’installer des outils locaux ou des simulateurs.

Chaque extrait s’exécute en toute sécurité dans un environnement Swift conteneurisé, garantissant de vrais retours du compilateur et une exécution de code sûre.

Bien plus qu’un exécuteur de code

Utilisez depuis le même exécuteur un éditeur multifichier, un terminal d’exécution isolé, des bibliothèques propres à chaque environnement, des espaces de travail persistants, le partage et la collaboration en temps réel.

Comment utiliser cet exécuteur ?

Choisissez un environnement d’exécution, ouvrez ou créez un fichier, écrivez votre code, puis sélectionnez Exécuter. La sortie s’affiche dans le terminal ; les utilisateurs connectés peuvent conserver leurs fichiers dans un espace de travail, installer des bibliothèques et collaborer grâce aux partages.

Sélectionnez une version et modifiez le fichier actuel, ou ouvrez un autre fichier de l’espace de travail.
Exécutez le code, saisissez les données demandées dans le terminal et consultez l’historique des exécutions enregistrées.
Utilisez les bibliothèques, les outils de l’espace de travail, le partage et le chat lorsque votre tâche nécessite plusieurs extraits de code.

Commencez à coder

VersionSélectionnez un environnement d'exécution avant de l'exécuter.Les bibliothèques installées appartiennent à la version linguistique sélectionnée.
Les fichiers ouverts répertorient les fichiers texte non ouverts.Sélectionnez-en un pour l’ouvrir dans un onglet d’éditeur disponible.
Run exécute le fichier actif avec son espace de travail disponible pour le programme.
Stop termine l'exécution en cours avant son terme.
Le mode avancé ouvre la disposition IDE avec un explorateur de fichiers et un terminal mobile et redimensionnable.

Espace de travail et bibliothèques

Nouveau fichier crée un fichier dans le répertoire parent sélectionné et l'ouvre dans l'éditeur.
Un nouveau dossier crée un répertoire, jusqu'à la profondeur d'imbrication prise en charge.
Télécharger des fichiers ajoute un ou plusieurs fichiers sécurisés à un répertoire.
Le téléchargement enregistre un fichier ou un répertoire compressé sur votre appareil.
Copier duplique un fichier ou un répertoire d'espace de travail.
Renommer modifie le nom d'un fichier et met à jour son onglet ouvert et son historique.
Déplacer déplace un élément ;les fichiers et les répertoires peuvent également être glissés.
Supprimer supprime un élément après confirmation et ferme son onglet d'éditeur ouvert.
Les bibliothèques préinstallées affichent les packages déjà inclus dans ce runtime.
Add Lib installe un package privé pour votre compte et le runtime sélectionné.

Borne et assistance

L’historique d’exécution ouvre les sorties enregistrées précédentes et suivantes.
La sortie Copier copie le texte actuel du terminal.
Effacer la sortie supprime toutes les sorties d’exécution enregistrées après confirmation.
Explain résume le code actif.
Récents ouvre les explications et les résultats récents.
Les paramètres modifient les polices, les thèmes et les boutons visibles de la barre d'outils.

Partage et collaboration

Partager publie le fichier actuel, un répertoire ou l'ensemble de l'espace de travail sous forme d'instantané ou d'espace de travail actif.Vous contrôlez l’accès aux liens et qui peut enregistrer les modifications.
Les journaux enregistrent les actions enregistrées des collaborateurs dans un espace de travail partagé.
Partager le chat permet aux participants connectés d'envoyer des messages, de mentionner des personnes, de partager des blocs de code et de voir les membres en ligne ou en train de saisir.
La collaboration en direct affiche les curseurs des collaborateurs et les mises à jour des fichiers enregistrés.Les utilisateurs en lecture seule peuvent charger la dernière version ou conserver les modifications temporaires.

Quotas et limites

Le temps d'exécution est limité à 20 secondes par exécution du serveur.Utilisez Stop lorsque vous souhaitez y mettre fin plus tôt.
Le stockage de l'espace de travail autorise 100 fichiers, 100 répertoires et 10 Mio au total pour chaque espace de travail et langue d'utilisateur connecté.
Les fichiers et dossiers sont limités à 1 Mo par fichier et à 5 niveaux de répertoires imbriqués.Les fichiers générés par votre code suivent le même quota.
Les bibliothèques privées sont limitées à 10 packages installés pour chaque compte et runtime.
Les instantanés partagés peuvent contenir jusqu'à 100 fichiers, 1 Mio par fichier et 2 Mio au total .
Les invitations à partager prennent en charge jusqu'à 25 personnes par partage, avec des autorisations d'accès et d'enregistrement gérées séparément.
Le chat partagé autorise 2 000 caractères par message et 10 000 messages par partage.
L'application des quotas s'applique également pendant l'exécution du code.Une écriture qui dépasse le nombre de fichiers, la taille, le stockage ou les limites d'imbrication est rejetée en toute sécurité.

Bon à savoir Exécutez uniquement du code et installez les packages en qui vous avez confiance.L'exécution est isolée et limitée, mais votre programme peut toujours modifier les fichiers dans un espace de travail accessible en écriture jusqu'à concurrence de son quota appliqué.

💡 Guide des bases de Swift pour débutants

1. Déclarer des variables et des constantes

Utilisez var pour les variables et let pour les constantes en Swift.

var age = 30
let pi = 3.14159
var name = "Alice"
let isActive = true

// Les constantes ne peuvent pas être réaffectées
// pi = 3.14 // ❌ Erreur

2. Conditionnelles (if / switch)

Utilisez if, else if, else pour la logique, et switch pour plusieurs branches.

let number = 2
if number == 1 {
    print("Un")
} else if number == 2 {
    print("Deux")
} else {
    print("Autre")
}

switch number {
case 1:
    print("Un")
case 2:
    print("Deux")
default:
    print("Autre")
}

3. Boucles

Swift prend en charge les boucles for-in, while et repeat-while.

for i in 0..<3 {
    print(i)
}

var n = 3
while n > 0 {
    print(n)
    n -= 1
}

4. Tableaux

Les tableaux stockent des collections de valeurs ordonnées.

var numbers = [10, 20, 30]
print(numbers[1])

5. Manipulation de tableaux

Utilisez des méthodes de tableau comme append et removeLast.

var nums = [1, 2, 3]
nums.append(4)
nums.removeLast()

for n in nums {
    print(n)
}

6. Entrée/Sortie console

Utilisez print() pour la sortie. L’entrée nécessite un travail supplémentaire dans Swift Playgrounds ou Xcode.

let name = "Alice"
print("Bonjour, \(name)")

7. Fonctions

Définissez des fonctions réutilisables avec paramètres et valeurs de retour.

func add(a: Int, b: Int) -> Int {
    return a + b
}

print(add(a: 3, b: 4))

8. Dictionnaires

Les dictionnaires stockent des paires clé-valeur.

var ages = ["Alice": 30]
print(ages["Alice"] ?? 0)

9. Gestion des erreurs

Swift utilise do-catch pour la gestion des erreurs.

enum MyError: Error {
    case runtimeError(String)
}

do {
    throw MyError.runtimeError("Un problème est survenu")
} catch let error {
    print(error)
}

10. Entrées/Sorties de fichiers

Swift utilise FileManager ou des méthodes de String pour l’E/S de fichiers.

let text = "Bonjour fichier"
try text.write(toFile: "file.txt", atomically: true, encoding: .utf8)
let content = try String(contentsOfFile: "file.txt")
print(content)

11. Manipulation de chaînes

Utilisez des méthodes comme count, contains, uppercased(), etc.

let text = "Bonjour le monde"
print(text.count)
print(text.contains("monde"))
print(text.uppercased())

12. Classes et objets

Swift prend en charge la POO avec class et init.

class Person {
    var name: String
    init(name: String) {
        self.name = name
    }
    func greet() {
        print("Salut, je suis \(name)")
    }
}

let p = Person(name: "Alice")
p.greet()

13. Optionnels

Swift utilise ? et ! pour gérer les valeurs optionnelles.

var name: String? = "Alice"
print(name ?? "Inconnu")

if let unwrappedName = name {
    print(unwrappedName)
}