AKTS - Uygulamalı Büyük Dil Modelleri

Uygulamalı Büyük Dil Modelleri (CMPE454) Ders Detayları

Ders Adı	Ders Kodu	Dönemi	Saati	Uygulama Saati	Laboratuar Hours	Kredi	AKTS
Uygulamalı Büyük Dil Modelleri	CMPE454	Alan Seçmeli	3	0	0	3	5

Ön Koşul Ders(ler)i
N/A

Dersin Dili	İngilizce
Dersin Türü	Seçmeli Dersler
Dersin Seviyesi	Fen Bilimleri Yüksek Lisans
Ders Verilme Şekli	Yüz Yüze
Dersin Öğrenme ve Öğretme Teknikleri	Anlatım, Soru Yanıt, Uygulama-Alıştırma, Sorun/Problem Çözme.
Dersin Koordinatörü
Dersin Öğretmen(ler)i	Dr. Öğr. Üyesi Arda Sezen
Dersin Asistan(lar)ı
Dersin Amacı	Dersin amacı, öğrencilerin Üretken Yapay Zeka teknolojilerini, özellikle Büyük Dil Modelleri (LLM’ler), Transformer mimarileri ve Hugging Face gibi yaygın geliştirme ekosistemlerini derinlemesine anlamalarını sağlamaktır. Öğrencilerin temel kavramları, uygulamalı deneyimleri ve gerçek dünya LLM uygulamalarını keşfetmeleridir.
Dersin Eğitim Çıktıları	Bu dersi başarıyla tamamlayabilen öğrenciler; Üretken Yapay Zeka ve LLM’lerin temellerini ve etkilerini anlamak. Hugging Face araçları, NLP (Doğal Dil İşleme) pipelines ve belirteçleme konularında uygulamalı deneyim kazanmak. Transformer mimarisini ve autoregressive eğitimdeki rolünü analiz etmek. Ölçekleme yasalarını, ön eğitim yöntemlerini ve insan geri bildirimiyle pekiştirmeli öğrenmeyi incelemek. Parametre-verimli ince ayar yöntemlerini ve LLM bileşenlerinin sistemlere entegrasyonunu uygulamak. LLM agents ve bileşik sistemlerin gerçek dünya görevlerinde kullanımını keşfetmek.
Dersin İçeriği	Büyük Dil Modelleri (LLM'ler), Üretken Yapay Zeka, belirteçleme, embeddings, NLP pipelines, attention mekanizması, Transformer mimarisi, autoregressive eğitim, LLM ölçekleme ve ince ayar, insan geri bildirimi ile pekiştirmeli öğrenme (RLHF), LLM sistem tasarımı, Hugging Face ekosistemi ve dağıtım.

Haftalık Konular ve İlgili Ön Hazırlık Çalışmaları

Hafta	Konular	Ön Hazırlık
1	Ders Tanıtımı, Üretken Yapay Zekaya Giriş	Ders Kitabı – Bölüm 1
2	Hugging Face Araçları ve Modellerine Giriş, NLP ve Dil Modelleri	Natural Language Processing with Transformers, Revised Edition – Bölüm 1
3	Token ve Belirteçleme, Kelimelerin Vektör Temsilleri	Ders Kitabı – Bölüm 2
4	Kelimelerin Vektör Temsilleri, Tokenler ve NLP ile Deneyler	Ders Kitabı – Bölüm 2
5	Dil Modelleri ve Attention Mekanizması	Ders Kitabı – Bölüm 3
6	Transformer Mimarisi	Ders Kitabı – Bölüm 3, Build a Large Language Model – Bölüm 4
7	Ara Sınav
8	Autoregressive Eğitimli Transformer LLM’ler	Ders Notları, Natural Language Processing with Transformers, Revised Edition – Bölüm 10
9	LLM Mimari Varyantları, Eğitimde Ölçekleme Yasaları, Daha Büyük LLM’ler için Eğitim Verileri	Natural Language Processing with Transformers, Revised Edition – Bölüm 8, Bölüm 11
10	Birinci Kısım: Ön Eğitim, Devam Eden Ön Eğitim, Görev Bazlı Eğitim İkinci Kısım: İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (Chat hazırlığı)	Ders Kitabı – Bölüm 10, Build a Large Language Model – Bölüm 5
11	Parametre-Verimli İnce Ayar Yöntemleri	Ders Kitabı – Bölüm 12
12	LLM Bileşenleri	Ders Notları, Ders Kitabı – Bölüm 5
13	LLM Bileşik Sistemler	Ders Kitabı – Bölüm 7
14	LLM Agents	Ders Kitabı – Bölüm 7
15	Ders Tekrarı
16	Final Sınavı

Kaynaklar

Ders Kitabı	1. Hands-On Large Language Models: Language Understanding and Generation, 1st Edition by Jay Alammar and Maarten Grootendorst, Publisher: O'Reilly Media, Oct. 15, 2024.
Diğer Kaynaklar	2. NVIDIA Deep Learning Institute: https://www.nvidia.com/en-us/training/
	3. Natural Language Processing with Transformers, Revised Edition, by Lewis Tunstall, Leandro von Werra, and Thomas Wolf, Publisher: O'Reilly Media, July. 5, 2022.
	4. Build a Large Language Model (From Scratch), 1st Edition by Sebastian Raschka, Publisher: Manning, Sep., 2024.
	5. Hugging Face web page: https://huggingface.co/
	6. PyTorch web page: https://pytorch.org/
	7. TensorFlow web page: https://www.tensorflow.org/

Değerlendirme System

Çalışmalar	Sayı	Katkı Payı
Devam/Katılım	-	-
Laboratuar	-	-
Uygulama	-	-
Alan Çalışması	-	-
Derse Özgü Staj	-	-
Küçük Sınavlar/Stüdyo Kritiği	-	-
Ödevler	1	20
Sunum	-	-
Projeler	-	-
Rapor	-	-
Seminer	-	-
Ara Sınavlar/Ara Juri	1	35
Genel Sınav/Final Juri	1	45
Toplam	3	100

Yarıyıl İçi Çalışmalarının Başarı Notu Katkısı	55
Yarıyıl Sonu Çalışmalarının Başarı Notuna Katkısı	45
Toplam	100

Kurs Kategorisi

Temel Meslek Dersleri	X
Uzmanlık/Alan Dersleri
Destek Dersleri
İletişim ve Yönetim Becerileri Dersleri
Aktarılabilir Beceri Dersleri

Dersin Öğrenim Çıktılarının Program Yeterlilikleri ile İlişkisi

#	Program Yeterlilikleri / Çıktıları	Katkı Düzeyi
#	Program Yeterlilikleri / Çıktıları	1	2	3	4	5
1	Matematik, fen bilgisi ve mühendislik bilgilerini uygular.
2	Deney tasarlar, deney yapar, deney sonuçlarını analiz eder ve yorumlar.
3	Belirlenen gereksinimlere göre bir sistemi, bileşeni veya süreci tasarlar.
4	Disiplinler arası alanlarda etkin biçimde çalışır.
5	Mühendislik problemlerini belirler, formüle eder ve çözer.
6	Mesleki ve etik sorumluluk bilincine sahiptir.
7	Etkili iletişim kurar.
8	Yaşam boyu öğrenmenin gerekliliğini tanır ve bu sürece katılır.
9	Çağdaş konular hakkında bilgi sahibidir.
10	Mühendislik uygulamaları için gerekli modern araç, teknik ve becerileri kullanır.
11	Proje yönetimi becerilerine ve uluslararası standartlar ile metodolojilere ilişkin bilgiye sahiptir.
12	Gerçek dünya problemleri için mühendislik ürünleri ve prototipleri geliştirir.
13	Mesleki bilgiye katkı sağlar.
14	Yöntemsel ve bilimsel araştırma yapar.
15	Orijinal ya da mevcut bilgi kümesi çerçevesinde bilimsel bir yapıt üretir, raporlar ve sunar.
16	Ürettiği özgün fikri savunur.

ECTS/İş Yükü Tablosu

Aktiviteler	Sayı	Süresi (Saat)	Toplam İş Yükü
Ders saati (Sınav haftası dahildir: 16 x toplam ders saati)	16	3	48
Laboratuar
Uygulama
Derse Özgü Staj
Alan Çalışması
Sınıf Dışı Ders Çalışma Süresi	16	2	32
Sunum/Seminer Hazırlama
Projeler
Raporlar
Ödevler	1	18	18
Küçük Sınavlar/Stüdyo Kritiği
Ara Sınavlara/Ara Juriye Hazırlanma Süresi	1	12	12
Genel Sınava/Genel Juriye Hazırlanma Süresi	1	15	15
Toplam İş Yükü			125