🏗️Exemple concret
Traduction automatique : pour traduire le mot 'bank' en français, le mécanisme d'attention regarde tous les autres mots de la phrase. Si 'money', 'account', 'deposit' ont des scores d'attention élevés 'banque'. Si 'river', 'swim', 'shore' ont des scores élevés 'rive'. La même architecture gère les deux sens.
∑ Concept clé
Attention(Q,K,V) = softmax(QKᵬ / d_k) V. Q=requêtes, K=clés, V=valeurs. Multi-head : concatène h têtes d'attention en parallèle pour capturer différents types de relations.
🎯Quand l'utiliser ?
✓Toute architecture Transformer (LLM, BERT, Vision Transformer)
✓Compréhension de séquences avec dépendances longues
✓Traduction, résumé, question-réponse
✅ Avantages
+Capture les dépendances à longue distance (impossible avec RNN)
+Parallélisable (contrairement aux RNN séquentiels)
+Interprétable : visualiser les poids d'attention révèle ce que le modèle 'regarde'
⚠️ Limites
−Coût quadratique O(n²) par rapport à la longueur de séquence
−Longues séquences coûteuses en mémoire GPU
−Attention locale pour contourner : sliding window, sparse attention
🛠️ Outils principaux
HuggingFace Transformers
PyTorch (torch.nn.MultiheadAttention)
BertViz (visualisation des attentions)
Deep LearningTransformersNLPLLMArchitecture