Öz Dikkat

Öz dikkat, bir modelin tek bir girdi dizisi içindeki farklı unsurların önemini tartmasını sağlayan bir mekanizmadır. Girdinin her parçasını eşit olarak ele almak yerine, modelin belirli bir öğeyi işlerken seçici olarak en ilgili parçalara odaklanmasını sağlar. Bu yetenek, bağlamı, uzun menzilli bağımlılıkları ve veri içindeki ilişkileri anlamak için çok önemlidir ve başta Transformer olmak üzere birçok modern Yapay Zeka (AI) mimarisinin temelini oluşturur. Doğal Dil İşleme (NLP) alanında devrim yaratan "Attention Is All You Need" adlı ufuk açıcı makalede ünlü bir şekilde tanıtılmıştır.

Öz Dikkat Nasıl Çalışır?

Özünde, selfattention, o anda işlenmekte olan öğeye göre girdi dizisindeki diğer her öğeye bir "dikkat puanı" atayarak çalışır. Bu, her girdi öğesi için üç vektör oluşturularak gerçekleştirilir: bir Sorgu (Q), bir Anahtar (K) ve bir Değer (V).

1. Sorgu: Bağlamı "arayan" mevcut öğeyi temsil eder.
2. Anahtar: İlgili bilgileri bulmak için Sorgunun karşılaştırılabileceği dizideki tüm öğeleri temsil eder.
3. Değer: Dikkat puanlarına göre toplanacak olan her bir öğenin gerçek içeriğini temsil eder.

Belirli bir Sorgu için mekanizma, dizideki tüm Anahtarlarla benzerliğini hesaplar. Bu benzerlik puanları daha sonra ağırlıklara dönüştürülür (genellikle bir softmax işlevi kullanılarak) ve bu da her bir öğenin Değerine ne kadar odaklanılması gerektiğini belirler. Sorgu için nihai çıktı, tüm Değerlerin ağırlıklı bir toplamıdır ve bu öğenin tüm diziden bağlamla zenginleştirilmiş yeni bir temsilini oluşturur. Bu süreç, Büyük Dil Modellerinin (LLM'ler) nasıl çalıştığının önemli bir parçasıdır. Bu Q-K-V sürecinin mükemmel bir görsel açıklaması Jay Alammar'ın blogu gibi kaynaklarda bulunabilir.

Öz-Dikkat ve Dikkat Mekanizması

Kendi kendine dikkat, belirli bir dikkat mekanizması türüdür. Temel ayrım, Sorgu, Anahtar ve Değer vektörlerinin kaynağıdır.

• Öz Dikkat: Her üç vektör de (Q, K, V) aynı girdi dizisinden türetilir. Bu, bir modelin tek bir cümle veya görüntü içindeki iç ilişkileri analiz etmesini sağlar.
• Genel Dikkat (veya Çapraz Dikkat): Sorgu vektörü bir diziden gelirken Anahtar ve Değer vektörleri başka bir diziden gelebilir. Bu, kod çözücünün (çevrilen metni üreten) kodlayıcının kaynak metni temsiline dikkat ettiği makine çevirisi gibi diziden diziye görevlerde yaygındır.

Yapay Zeka ve Bilgisayarla Görme Uygulamaları

İlk olarak metin özetleme ve çeviri gibi görevler için NLP'de popüler hale gelmiş olsa da, öz dikkatin bilgisayarla görme (CV) alanında da oldukça etkili olduğu kanıtlanmıştır.

• Doğal Dil İşleme: "Robot İngiliz anahtarını ağır olduğu için aldı" gibi bir cümlede, öz dikkat modelin "o" kelimesini "robot" yerine "İngiliz anahtarı" ile doğru bir şekilde ilişkilendirmesini sağlar. Bu anlayış BERT ve GPT-4 gibi modeller için temeldir.
• Bilgisayarla Görme: Vision Transformer (ViT) modeli, bir görüntünün yamalarına kendi dikkatini uygulayarak görüntü sınıflandırması gibi görevler için görsel sahnenin farklı bölümleri arasındaki ilişkileri öğrenmesini sağlar. Bazı nesne algılama modelleri, özellik haritalarını iyileştirmek ve doğruluğu artırmak için dikkat tabanlı modüller de içerir. YOLO12 gibi bazı modeller dikkati kullanırken, çoğu kullanım durumu için sağlam ve verimli Ultralytics YOLO11 'i öneriyoruz.

Gelecekteki Yönelimler

Araştırmalar, daha fazla hesaplama verimliliği (örneğin, FlashAttention ve seyrek dikkat varyantları gibi yöntemler) ve daha geniş uygulanabilirlik hedefleyerek kendi kendine dikkat mekanizmalarını iyileştirmeye devam etmektedir. YZ modellerinin karmaşıklığı arttıkça, kendi kendine dikkatin, robotik gibi özel YZ uygulamalarından Yapay Genel Zeka (AGI) arayışına kadar alanlarda ilerlemeyi sağlayan bir köşe taşı teknolojisi olmaya devam etmesi beklenmektedir. Ultralytics HUB gibi araçlar ve platformlar, genellikle Hugging Face gibi depolarda bulunan ve PyTorch ve TensorFlow gibi çerçevelerle geliştirilen bu gelişmiş teknikleri içeren modellerin eğitimini ve dağıtımını kolaylaştırır.