AKTS - Uygulamalı Büyük Dil Modelleri

AKTS ve TYYÇ Kataloğu

Uygulamalı Büyük Dil Modelleri (CMPE454) Ders Detayları

Ders Adı Ders Kodu Dönemi Saati Uygulama Saati Laboratuar Hours Kredi AKTS
Uygulamalı Büyük Dil Modelleri CMPE454 Alan Seçmeli 3 0 0 3 5
Ön Koşul Ders(ler)i
N/A
Dersin Dili İngilizce
Dersin Türü Seçmeli Dersler
Dersin Seviyesi Lisans
Ders Verilme Şekli Yüz Yüze
Dersin Öğrenme ve Öğretme Teknikleri Anlatım, Soru Yanıt, Uygulama-Alıştırma, Sorun/Problem Çözme.
Dersin Koordinatörü
Dersin Öğretmen(ler)i
  • Dr. Öğr. Üyesi Arda Sezen
Dersin Asistan(lar)ı
Dersin Amacı Dersin amacı, öğrencilerin Üretken Yapay Zeka teknolojilerini, özellikle Büyük Dil Modelleri (LLM’ler), Transformer mimarileri ve Hugging Face gibi yaygın geliştirme ekosistemlerini derinlemesine anlamalarını sağlamaktır. Öğrencilerin temel kavramları, uygulamalı deneyimleri ve gerçek dünya LLM uygulamalarını keşfetmeleridir.
Dersin Eğitim Çıktıları Bu dersi başarıyla tamamlayabilen öğrenciler;
  • Üretken Yapay Zeka ve LLM’lerin temellerini ve etkilerini anlamak.
  • Hugging Face araçları, NLP (Doğal Dil İşleme) pipelines ve belirteçleme konularında uygulamalı deneyim kazanmak.
  • Transformer mimarisini ve autoregressive eğitimdeki rolünü analiz etmek.
  • Ölçekleme yasalarını, ön eğitim yöntemlerini ve insan geri bildirimiyle pekiştirmeli öğrenmeyi incelemek.
  • Parametre-verimli ince ayar yöntemlerini ve LLM bileşenlerinin sistemlere entegrasyonunu uygulamak.
  • LLM agents ve bileşik sistemlerin gerçek dünya görevlerinde kullanımını keşfetmek.
Dersin İçeriği Büyük Dil Modelleri (LLM'ler), Üretken Yapay Zeka, belirteçleme, embeddings, NLP pipelines, attention mekanizması, Transformer mimarisi, autoregressive eğitim, LLM ölçekleme ve ince ayar, insan geri bildirimi ile pekiştirmeli öğrenme (RLHF), LLM sistem tasarımı, Hugging Face ekosistemi ve dağıtım.

Haftalık Konular ve İlgili Ön Hazırlık Çalışmaları

Hafta Konular Ön Hazırlık
1 Ders Tanıtımı, Üretken Yapay Zekaya Giriş Ders Kitabı – Bölüm 1
2 Hugging Face Araçları ve Modellerine Giriş, NLP ve Dil Modelleri Natural Language Processing with Transformers, Revised Edition – Bölüm 1
3 Token ve Belirteçleme, Kelimelerin Vektör Temsilleri Ders Kitabı – Bölüm 2
4 Kelimelerin Vektör Temsilleri, Tokenler ve NLP ile Deneyler Ders Kitabı – Bölüm 2
5 Dil Modelleri ve Attention Mekanizması Ders Kitabı – Bölüm 3
6 Transformer Mimarisi Ders Kitabı – Bölüm 3, Build a Large Language Model – Bölüm 4
7 Ara Sınav
8 Autoregressive Eğitimli Transformer LLM’ler Ders Notları, Natural Language Processing with Transformers, Revised Edition – Bölüm 10
9 LLM Mimari Varyantları, Eğitimde Ölçekleme Yasaları, Daha Büyük LLM’ler için Eğitim Verileri Natural Language Processing with Transformers, Revised Edition – Bölüm 8, Bölüm 11
10 Birinci Kısım: Ön Eğitim, Devam Eden Ön Eğitim, Görev Bazlı Eğitim İkinci Kısım: İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (Chat hazırlığı) Ders Kitabı – Bölüm 10, Build a Large Language Model – Bölüm 5
11 Parametre-Verimli İnce Ayar Yöntemleri Ders Kitabı – Bölüm 12
12 LLM Bileşenleri Ders Notları, Ders Kitabı – Bölüm 5
13 LLM Bileşik Sistemler Ders Kitabı – Bölüm 7
14 LLM Agents Ders Kitabı – Bölüm 7
15 Ders Tekrarı
16 Final Sınavı

Kaynaklar

Ders Kitabı 1. Hands-On Large Language Models: Language Understanding and Generation, 1st Edition by Jay Alammar and Maarten Grootendorst, Publisher: O'Reilly Media, Oct. 15, 2024.
Diğer Kaynaklar 2. NVIDIA Deep Learning Institute: https://www.nvidia.com/en-us/training/
3. Natural Language Processing with Transformers, Revised Edition, by Lewis Tunstall, Leandro von Werra, and Thomas Wolf, Publisher: O'Reilly Media, July. 5, 2022.
4. Build a Large Language Model (From Scratch), 1st Edition by Sebastian Raschka, Publisher: Manning, Sep., 2024.
5. Hugging Face web page: https://huggingface.co/
6. PyTorch web page: https://pytorch.org/
7. TensorFlow web page: https://www.tensorflow.org/

Değerlendirme System

Çalışmalar Sayı Katkı Payı
Devam/Katılım - -
Laboratuar - -
Uygulama - -
Alan Çalışması - -
Derse Özgü Staj - -
Küçük Sınavlar/Stüdyo Kritiği - -
Ödevler 1 20
Sunum - -
Projeler - -
Rapor - -
Seminer - -
Ara Sınavlar/Ara Juri 1 35
Genel Sınav/Final Juri 1 45
Toplam 3 100
Yarıyıl İçi Çalışmalarının Başarı Notu Katkısı 55
Yarıyıl Sonu Çalışmalarının Başarı Notuna Katkısı 45
Toplam 100

Kurs Kategorisi

Temel Meslek Dersleri X
Uzmanlık/Alan Dersleri
Destek Dersleri
İletişim ve Yönetim Becerileri Dersleri
Aktarılabilir Beceri Dersleri

Dersin Öğrenim Çıktılarının Program Yeterlilikleri ile İlişkisi

# Program Yeterlilikleri / Çıktıları Katkı Düzeyi
1 2 3 4 5
1 Matematik, fen bilimleri ve yazılım mühendisliği disiplinine özgü konularda yeterli bilgi birikimi; bu alanlardaki kuramsal ve uygulamalı bilgileri, karmaşık mühendislik problemlerinde kullanabilme becerisini kazanır.
2 Karmaşık mühendislik problemlerini tanımlama, formüle etme ve çözme becerisi; bu amaçla uygun analiz ve modelleme yöntemlerini seçme ve uygulama becerisini edinir.
3 Karmaşık bir sistemi, süreci, cihazı veya ürünü gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlama becerisi; bu amaçla modern tasarım yöntemlerini uygulama becerisini kazanır.
4 Yazılım mühendisliği uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları seçme ve kullanma becerisi; bilişim teknolojilerini etkin bir şekilde kullanma becerisini gösterir.
5 Karmaşık mühendislik problemlerinin veya yazılım mühendisliği disiplinine özgü araştırma konularının incelenmesi için, deney tasarlama, deney yapma, veri toplama, sonuçları analiz etme ve yorumlama becerisini geliştirir.
6 Yazlım mühendisliği ile ilgili alanlarda disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışabilme becerisi; bireysel çalışma becerisi gösterir.
7 Türkçe sözlü ve yazılı etkin iletişim kurma becerisi; etkin rapor yazma ve yazılı raporları anlama, tasarım ve üretim raporları hazırlayabilme, etkin sunum yapabilme, açık ve anlaşılır talimat verme ve alma becerisi gösterir.
8 En az bir yabancı dil bilgisi alır; etkin rapor yazma ve yazılı raporları anlama, tasarım ve üretim raporları hazırlayabilme, etkin sunum yapabilme, açık ve anlaşılır talimat verme ve alma becerisi kazanır.
9 Yaşam boyu öğrenmenin gerekliliği knousnda farkındalık; bilgiye erişebilme, bilim ve teknolojideki gelişmeleri izleme ve kendini sürekli yenileme becerisini edinir.
10 Etik ilkelerine uygun davranma, mesleki ve etik sorumluluk hakkında bilgi sahip olur.
11 Yazılım mühendisliği uygulamalarında kullanılan standartlar hakkında bilgi sahibi olur.
12 Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatı uygulamaları hakkında bilgi sahibi olur.
13 Girişimcilik ve yenilikçilik hakkında farkındalık kazanır.
14 Sürdürülebilir kalkınma hakkında bilgi sahibi olur.
15 Yazılım mühendisliği uygulamalarının evrensel ve toplumsal boyutlarda sağlık, çevre ve güvenlik üzerindeki etkileri ve çağın mühendislik alanına yansıyan sorunları hakkında bilgi sahibi olur.
16 Mühendislik çözümlerinin hukuksal sonuçları konusunda farkındalık kazanır.
17 Yazılım alternatiflerini irdeleyerek bilgisayar tabanlı sistemlerin modellenmesi ve tasarımında, algoritma prensiplerini, matematiksel temelleri ve bilgisayar bilimleri teorisini uygulama becerisini uygular.
18 Yazılım sistemlerinin analiz, tasarım, uygulama, doğrulama, geçerleme ve bakım süreçlerini uygulayarak geliştirilmesinde mühendislik yaklaşımlarını uygulama becerisi kazanır.

ECTS/İş Yükü Tablosu

Aktiviteler Sayı Süresi (Saat) Toplam İş Yükü
Ders saati (Sınav haftası dahildir: 16 x toplam ders saati) 16 3 48
Laboratuar
Uygulama
Derse Özgü Staj
Alan Çalışması
Sınıf Dışı Ders Çalışma Süresi 16 2 32
Sunum/Seminer Hazırlama
Projeler
Raporlar
Ödevler 1 18 18
Küçük Sınavlar/Stüdyo Kritiği
Ara Sınavlara/Ara Juriye Hazırlanma Süresi 1 12 12
Genel Sınava/Genel Juriye Hazırlanma Süresi 1 15 15
Toplam İş Yükü 125