AKTS - Uygulamalı Büyük Dil Modelleri
Uygulamalı Büyük Dil Modelleri (CMPE454) Ders Detayları
| Ders Adı | Ders Kodu | Dönemi | Saati | Uygulama Saati | Laboratuar Hours | Kredi | AKTS |
|---|---|---|---|---|---|---|---|
| Uygulamalı Büyük Dil Modelleri | CMPE454 | Alan Seçmeli | 3 | 0 | 0 | 3 | 5 |
| Ön Koşul Ders(ler)i |
|---|
| N/A |
| Dersin Dili | İngilizce |
|---|---|
| Dersin Türü | Seçmeli Dersler |
| Dersin Seviyesi | Fen Bilimleri Yüksek Lisans |
| Ders Verilme Şekli | Yüz Yüze |
| Dersin Öğrenme ve Öğretme Teknikleri | Anlatım, Soru Yanıt, Uygulama-Alıştırma, Sorun/Problem Çözme. |
| Dersin Öğretmen(ler)i |
|
| Dersin Amacı | Dersin amacı, öğrencilerin Üretken Yapay Zeka teknolojilerini, özellikle Büyük Dil Modelleri (LLM’ler), Transformer mimarileri ve Hugging Face gibi yaygın geliştirme ekosistemlerini derinlemesine anlamalarını sağlamaktır. Öğrencilerin temel kavramları, uygulamalı deneyimleri ve gerçek dünya LLM uygulamalarını keşfetmeleridir. |
| Dersin Eğitim Çıktıları |
Bu dersi başarıyla tamamlayabilen öğrenciler;
|
| Dersin İçeriği | Büyük Dil Modelleri (LLM'ler), Üretken Yapay Zeka, belirteçleme, embeddings, NLP pipelines, attention mekanizması, Transformer mimarisi, autoregressive eğitim, LLM ölçekleme ve ince ayar, insan geri bildirimi ile pekiştirmeli öğrenme (RLHF), LLM sistem tasarımı, Hugging Face ekosistemi ve dağıtım. |
Haftalık Konular ve İlgili Ön Hazırlık Çalışmaları
| Hafta | Konular | Ön Hazırlık |
|---|---|---|
| 1 | Ders Tanıtımı, Üretken Yapay Zekaya Giriş | Ders Kitabı – Bölüm 1 |
| 2 | Hugging Face Araçları ve Modellerine Giriş, NLP ve Dil Modelleri | Natural Language Processing with Transformers, Revised Edition – Bölüm 1 |
| 3 | Token ve Belirteçleme, Kelimelerin Vektör Temsilleri | Ders Kitabı – Bölüm 2 |
| 4 | Kelimelerin Vektör Temsilleri, Tokenler ve NLP ile Deneyler | Ders Kitabı – Bölüm 2 |
| 5 | Dil Modelleri ve Attention Mekanizması | Ders Kitabı – Bölüm 3 |
| 6 | Transformer Mimarisi | Ders Kitabı – Bölüm 3, Build a Large Language Model – Bölüm 4 |
| 7 | Ara Sınav | |
| 8 | Autoregressive Eğitimli Transformer LLM’ler | Ders Notları, Natural Language Processing with Transformers, Revised Edition – Bölüm 10 |
| 9 | LLM Mimari Varyantları, Eğitimde Ölçekleme Yasaları, Daha Büyük LLM’ler için Eğitim Verileri | Natural Language Processing with Transformers, Revised Edition – Bölüm 8, Bölüm 11 |
| 10 | Birinci Kısım: Ön Eğitim, Devam Eden Ön Eğitim, Görev Bazlı Eğitim İkinci Kısım: İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (Chat hazırlığı) | Ders Kitabı – Bölüm 10, Build a Large Language Model – Bölüm 5 |
| 11 | Parametre-Verimli İnce Ayar Yöntemleri | Ders Kitabı – Bölüm 12 |
| 12 | LLM Bileşenleri | Ders Notları, Ders Kitabı – Bölüm 5 |
| 13 | LLM Bileşik Sistemler | Ders Kitabı – Bölüm 7 |
| 14 | LLM Agents | Ders Kitabı – Bölüm 7 |
| 15 | Ders Tekrarı | |
| 16 | Final Sınavı |
Kaynaklar
| Ders Kitabı | 1. Hands-On Large Language Models: Language Understanding and Generation, 1st Edition by Jay Alammar and Maarten Grootendorst, Publisher: O'Reilly Media, Oct. 15, 2024. |
|---|---|
| Diğer Kaynaklar | 2. NVIDIA Deep Learning Institute: https://www.nvidia.com/en-us/training/ |
| 3. Natural Language Processing with Transformers, Revised Edition, by Lewis Tunstall, Leandro von Werra, and Thomas Wolf, Publisher: O'Reilly Media, July. 5, 2022. | |
| 4. Build a Large Language Model (From Scratch), 1st Edition by Sebastian Raschka, Publisher: Manning, Sep., 2024. | |
| 5. Hugging Face web page: https://huggingface.co/ | |
| 6. PyTorch web page: https://pytorch.org/ | |
| 7. TensorFlow web page: https://www.tensorflow.org/ |
Değerlendirme System
| Çalışmalar | Sayı | Katkı Payı |
|---|---|---|
| Devam/Katılım | - | - |
| Laboratuar | - | - |
| Uygulama | - | - |
| Alan Çalışması | - | - |
| Derse Özgü Staj | - | - |
| Küçük Sınavlar/Stüdyo Kritiği | - | - |
| Ödevler | 1 | 20 |
| Sunum | - | - |
| Projeler | - | - |
| Rapor | - | - |
| Seminer | - | - |
| Ara Sınavlar/Ara Juri | 1 | 35 |
| Genel Sınav/Final Juri | 1 | 45 |
| Toplam | 3 | 100 |
| Yarıyıl İçi Çalışmalarının Başarı Notu Katkısı | 55 |
|---|---|
| Yarıyıl Sonu Çalışmalarının Başarı Notuna Katkısı | 45 |
| Toplam | 100 |
Kurs Kategorisi
| Temel Meslek Dersleri | X |
|---|---|
| Uzmanlık/Alan Dersleri | |
| Destek Dersleri | |
| İletişim ve Yönetim Becerileri Dersleri | |
| Aktarılabilir Beceri Dersleri |
Dersin Öğrenim Çıktılarının Program Yeterlilikleri ile İlişkisi
| # | Program Yeterlilikleri / Çıktıları | Katkı Düzeyi | ||||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 1 | İleri düzey hesaplama ve/veya bilişim bilgilerini yazılım mühendisliği problemlerini çözmede uygulama becerisi kazanır. | |||||
| 2 | Farklı teknolojiler, yazılım mimarileri ve yaşam-döngüsü yaklaşımları kullanarak çözümler geliştirir. | |||||
| 3 | Bir yazılım sistemini, bileşenini, sürecini veya programını, modern teknikler ve yazılım mühendisliği uygulamalarına yönelik mühendislik araçlarını kullanarak, tasarlama, gerçekleştirme ve değerlendirme becerisi kazanır. | |||||
| 4 | Yazılım gereksinimlerini anlamak için, veri toplama, analiz etme ve yorumlama becerisi kazanır. | |||||
| 5 | Yazılım projeleri üzerindeki çalışmalar kapsamında ortaya çıkan problemler üzerinde etkin sözlü ve yazılı iletişim ve kritik düşünme becerileri kazanır. | |||||
| 6 | Bilim ve teknoloji alanındaki güncel gelişmeleri izlemede bilgiye erişim becerisi kazanır ve yazılım mühendisliği alanında bilimsel araştırma yapar ve bir projeyi gerçekleştirir. | |||||
| 7 | Yazılım Mühendisliği ile ilgili profesyonel, hukuksal, sosyal ve sorumluluklar konularında anlayış edinir. | |||||
| 8 | Proje ve risk yönetim becerisi edinir ve girişimciliğin, yenilikçilik ve sürdürülebilir kalkınmanın önemi, uluslararası standartlar ve yöntemleri hakkında farkındalık kazanır; | |||||
| 9 | Yazılım Mühendisliği çözümlerinin, karar verme boyutunda, küresel, sosyal ve hukuki boyutları üzerindeki etkisini anlar. | |||||
| 10 | Yazılım Mühendisliği uygulamaları için mükemmellik standartlarının geliştirilmesi, benimsenmesi ve sürekli kullanımının desteklenmesi konularında farkındalık kazanır. | |||||
ECTS/İş Yükü Tablosu
| Aktiviteler | Sayı | Süresi (Saat) | Toplam İş Yükü |
|---|---|---|---|
| Ders saati (Sınav haftası dahildir: 16 x toplam ders saati) | 16 | 3 | 48 |
| Laboratuar | |||
| Uygulama | |||
| Derse Özgü Staj | |||
| Alan Çalışması | |||
| Sınıf Dışı Ders Çalışma Süresi | 16 | 2 | 32 |
| Sunum/Seminer Hazırlama | |||
| Projeler | |||
| Raporlar | |||
| Ödevler | 1 | 18 | 18 |
| Küçük Sınavlar/Stüdyo Kritiği | |||
| Ara Sınavlara/Ara Juriye Hazırlanma Süresi | 1 | 12 | 12 |
| Genel Sınava/Genel Juriye Hazırlanma Süresi | 1 | 15 | 15 |
| Toplam İş Yükü | 125 | ||