AKTS - Uygulamalı Büyük Dil Modelleri
Uygulamalı Büyük Dil Modelleri (CMPE454) Ders Detayları
| Ders Adı | Ders Kodu | Dönemi | Saati | Uygulama Saati | Laboratuar Hours | Kredi | AKTS |
|---|---|---|---|---|---|---|---|
| Uygulamalı Büyük Dil Modelleri | CMPE454 | Alan Seçmeli | 3 | 0 | 0 | 3 | 5 |
| Ön Koşul Ders(ler)i |
|---|
| N/A |
| Dersin Dili | İngilizce |
|---|---|
| Dersin Türü | Seçmeli Dersler |
| Dersin Seviyesi | Lisans |
| Ders Verilme Şekli | Yüz Yüze |
| Dersin Öğrenme ve Öğretme Teknikleri | Anlatım, Soru Yanıt, Uygulama-Alıştırma, Sorun/Problem Çözme. |
| Dersin Öğretmen(ler)i |
|
| Dersin Amacı | Dersin amacı, öğrencilerin Üretken Yapay Zeka teknolojilerini, özellikle Büyük Dil Modelleri (LLM’ler), Transformer mimarileri ve Hugging Face gibi yaygın geliştirme ekosistemlerini derinlemesine anlamalarını sağlamaktır. Öğrencilerin temel kavramları, uygulamalı deneyimleri ve gerçek dünya LLM uygulamalarını keşfetmeleridir. |
| Dersin Eğitim Çıktıları |
Bu dersi başarıyla tamamlayabilen öğrenciler;
|
| Dersin İçeriği | Büyük Dil Modelleri (LLM'ler), Üretken Yapay Zeka, belirteçleme, embeddings, NLP pipelines, attention mekanizması, Transformer mimarisi, autoregressive eğitim, LLM ölçekleme ve ince ayar, insan geri bildirimi ile pekiştirmeli öğrenme (RLHF), LLM sistem tasarımı, Hugging Face ekosistemi ve dağıtım. |
Haftalık Konular ve İlgili Ön Hazırlık Çalışmaları
| Hafta | Konular | Ön Hazırlık |
|---|---|---|
| 1 | Ders Tanıtımı, Üretken Yapay Zekaya Giriş | Ders Kitabı – Bölüm 1 |
| 2 | Hugging Face Araçları ve Modellerine Giriş, NLP ve Dil Modelleri | Natural Language Processing with Transformers, Revised Edition – Bölüm 1 |
| 3 | Token ve Belirteçleme, Kelimelerin Vektör Temsilleri | Ders Kitabı – Bölüm 2 |
| 4 | Kelimelerin Vektör Temsilleri, Tokenler ve NLP ile Deneyler | Ders Kitabı – Bölüm 2 |
| 5 | Dil Modelleri ve Attention Mekanizması | Ders Kitabı – Bölüm 3 |
| 6 | Transformer Mimarisi | Ders Kitabı – Bölüm 3, Build a Large Language Model – Bölüm 4 |
| 7 | Ara Sınav | |
| 8 | Autoregressive Eğitimli Transformer LLM’ler | Ders Notları, Natural Language Processing with Transformers, Revised Edition – Bölüm 10 |
| 9 | LLM Mimari Varyantları, Eğitimde Ölçekleme Yasaları, Daha Büyük LLM’ler için Eğitim Verileri | Natural Language Processing with Transformers, Revised Edition – Bölüm 8, Bölüm 11 |
| 10 | Birinci Kısım: Ön Eğitim, Devam Eden Ön Eğitim, Görev Bazlı Eğitim İkinci Kısım: İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (Chat hazırlığı) | Ders Kitabı – Bölüm 10, Build a Large Language Model – Bölüm 5 |
| 11 | Parametre-Verimli İnce Ayar Yöntemleri | Ders Kitabı – Bölüm 12 |
| 12 | LLM Bileşenleri | Ders Notları, Ders Kitabı – Bölüm 5 |
| 13 | LLM Bileşik Sistemler | Ders Kitabı – Bölüm 7 |
| 14 | LLM Agents | Ders Kitabı – Bölüm 7 |
| 15 | Ders Tekrarı | |
| 16 | Final Sınavı |
Kaynaklar
| Ders Kitabı | 1. Hands-On Large Language Models: Language Understanding and Generation, 1st Edition by Jay Alammar and Maarten Grootendorst, Publisher: O'Reilly Media, Oct. 15, 2024. |
|---|---|
| Diğer Kaynaklar | 2. NVIDIA Deep Learning Institute: https://www.nvidia.com/en-us/training/ |
| 3. Natural Language Processing with Transformers, Revised Edition, by Lewis Tunstall, Leandro von Werra, and Thomas Wolf, Publisher: O'Reilly Media, July. 5, 2022. | |
| 4. Build a Large Language Model (From Scratch), 1st Edition by Sebastian Raschka, Publisher: Manning, Sep., 2024. | |
| 5. Hugging Face web page: https://huggingface.co/ | |
| 6. PyTorch web page: https://pytorch.org/ | |
| 7. TensorFlow web page: https://www.tensorflow.org/ |
Değerlendirme System
| Çalışmalar | Sayı | Katkı Payı |
|---|---|---|
| Devam/Katılım | - | - |
| Laboratuar | - | - |
| Uygulama | - | - |
| Alan Çalışması | - | - |
| Derse Özgü Staj | - | - |
| Küçük Sınavlar/Stüdyo Kritiği | - | - |
| Ödevler | 1 | 20 |
| Sunum | - | - |
| Projeler | - | - |
| Rapor | - | - |
| Seminer | - | - |
| Ara Sınavlar/Ara Juri | 1 | 35 |
| Genel Sınav/Final Juri | 1 | 45 |
| Toplam | 3 | 100 |
| Yarıyıl İçi Çalışmalarının Başarı Notu Katkısı | 55 |
|---|---|
| Yarıyıl Sonu Çalışmalarının Başarı Notuna Katkısı | 45 |
| Toplam | 100 |
Kurs Kategorisi
| Temel Meslek Dersleri | |
|---|---|
| Uzmanlık/Alan Dersleri | X |
| Destek Dersleri | |
| İletişim ve Yönetim Becerileri Dersleri | |
| Aktarılabilir Beceri Dersleri |
Dersin Öğrenim Çıktılarının Program Yeterlilikleri ile İlişkisi
| # | Program Yeterlilikleri / Çıktıları | Katkı Düzeyi | ||||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 1 | Matematik, fen bilimleri ve bilgisayar mühendisliği disiplinine özgü konularda yeterli bilgi birikimine sahip olur; bu alanlardaki kuramsal ve uygulamalı bilgileri, karmaşık mühendislik problemlerinde kullanır. | X | ||||
| 2 | Karmaşık mühendislik problemlerini saptar, tanımlar, formüle eder ve çözer; bu amaçla uygun analiz ve modelleme yöntemlerini seçer ve uygular. | X | ||||
| 3 | Karmaşık bir sistemi, süreci, cihazı veya ürünü gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlar; bu amaçla modern tasarım yöntemlerini uygular. | X | ||||
| 4 | Bilgisayar mühendisliği uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları geliştirir, seçer ve kullanır; bilişim teknolojilerini etkin bir şekilde kullanır. | X | ||||
| 5 | Karmaşık mühendislik problemlerinin veya bilgisayar mühendisliği disiplinine özgü araştırma konularının incelenmesi için deney tasarlar, deney yapar, veri toplar, sonuçları analiz eder ve yorumlar. | X | ||||
| 6 | Disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışır; bireysel çalışma becerisini kazanır. | |||||
| 7 | Türkçe sözlü ve yazılı etkin iletişim kurar; etkin rapor yazar ve yazılı raporları anlar, tasarım ve üretim raporları hazırlar, etkin sunum yapar, açık ve anlaşılır talimat verir ve alır. | |||||
| 8 | En az bir yabancı dil bilir; etkin rapor yazar ve yazılı raporları anlar, tasarım ve üretim raporları hazırlar, etkin sunum yapar, açık ve anlaşılır talimat verir ve alır. | |||||
| 9 | Yaşam boyu öğrenmenin gerekliliği bilincine sahip olur; bilgiye erişir, bilim ve teknolojideki gelişmeleri izler ve kendini sürekli yeniler. | X | ||||
| 10 | Etik ilkelerine uygun davranır, mesleki ve etik sorumluluk bilincine sahip olur. | |||||
| 11 | Bilgisayar mühendisliği uygulamalarında kullanılan standartlar hakkında bilgiye sahip olur. | X | ||||
| 12 | Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatındaki uygulamalar hakkında bilgiye sahip olur. | |||||
| 13 | Girişimcilik, yenilikçilik hakkında farkındalık kazanır. | |||||
| 14 | Sürdürülebilir kalkınma hakkında bilgiye sahip olur. | |||||
| 15 | Bilgisayar mühendisliği uygulamalarının evrensel ve toplumsal boyutlarda sağlık, çevre ve güvenlik üzerindeki etkileri ve çağın mühendislik alanına yansıyan sorunlar hakkında bilgiye sahip olur. | X | ||||
| 16 | Mühendislik çözümlerinin hukuksal sonuçları konusunda farkındalık kazanır. | |||||
| 17 | Sayısal hesaplama ve sayısal gösterim sistemlerini analiz eder, tasarlar ve ifade eder. | X | ||||
| 18 | Hesaplama problemlerinin çözülmesinde programlama dillerini ve uygun bilgisayar mühendisliği kavramlarını kullanır. | X | ||||
ECTS/İş Yükü Tablosu
| Aktiviteler | Sayı | Süresi (Saat) | Toplam İş Yükü |
|---|---|---|---|
| Ders saati (Sınav haftası dahildir: 16 x toplam ders saati) | 16 | 3 | 48 |
| Laboratuar | |||
| Uygulama | |||
| Derse Özgü Staj | |||
| Alan Çalışması | |||
| Sınıf Dışı Ders Çalışma Süresi | 16 | 2 | 32 |
| Sunum/Seminer Hazırlama | |||
| Projeler | |||
| Raporlar | |||
| Ödevler | 1 | 18 | 18 |
| Küçük Sınavlar/Stüdyo Kritiği | |||
| Ara Sınavlara/Ara Juriye Hazırlanma Süresi | 1 | 12 | 12 |
| Genel Sınava/Genel Juriye Hazırlanma Süresi | 1 | 15 | 15 |
| Toplam İş Yükü | 125 | ||