Industri vs Akademia: Menjalankan Kursus tentang Transformer dalam Dua Pengaturan

Digest komparatif kursus Transformer 15 sesi yang disampaikan kepada audiens akademik dan industri, dengan wawasan tentang desain kurikulum, kompetisi praktis, dan pembaruan iteratif.

Irina Nikishina; M. Tikhonova; Viktoriia Chekalina; Alexey Zaytsev; Artem Vazhentsev; Alexander Panchenko· TEACHINGNLP· 2024· DOI 10.18653/v1/2024.teachingnlp-1.3

Masalah inti

Makalah ini membahas tantangan mengajarkan arsitektur Transformer kepada pembelajar yang memiliki pengalaman Python, Machine Learning, dan Deep Learning tetapi sedikit atau tidak sama sekali terpapar Transformer. Kursus ini menyasar kelompok beragam dari akademik dan industri, bertujuan menjembatani kesenjangan antara dasar teoretis dan aplikasi praktis. Kursus ini mencakup ikhtisar komprehensif aplikasi Transformer NLP dan perluasannya ke tipe data lain. Struktur kursus mencakup 15 sesi, masing-masing dengan kuliah dan bagian praktik, serta dua tugas rumah yang diselenggarakan sebagai kompetisi CodaLab. Enam sesi pertama berfokus pada arsitektur Transformer dan variannya (encoder, decoder, encoder-decoder) serta teknik penyetelan model. Sesi berikutnya mencakup multibahasa, multimodalitas (teks dan gambar), efisiensi, urutan peristiwa, dan data tabular. Kursus ini pertama kali dijalankan pada 2022 dan diperbarui secara iteratif hingga 2024 dengan temuan yang muncul tentang GPT-4, LLM, RLHF, dll. Kursus ini telah disampaikan enam kali: empat kali di industri dan dua kali di akademik, menerima umpan balik positif dari kedua audiens.

Inovasi

Kursus ini disampaikan enam kali: empat kali kepada audiens industri dan dua kali kepada mahasiswa akademik. Umpan balik dari kedua kelompok positif, menunjukkan efektivitas kurikulum dan format kompetisi praktis. Pembaruan iteratif memastikan relevansi, memasukkan perkembangan terkini seperti GPT-4, LLM, dan RLHF. Kursus ini berhasil melayani pembelajar dengan latar belakang beragam, terbukti dari penerimaan positif. Tidak ada metrik kuantitatif (misalnya, nilai ujian, tingkat penyelesaian) yang dilaporkan dalam abstrak, tetapi umpan balik kualitatif menunjukkan kepuasan tinggi. Fokus ganda kursus pada teori dan praktik, dengan kompetisi memberikan pengalaman langsung, kemungkinan berkontribusi pada keberhasilannya. Penulis mencatat bahwa kursus ini terus diperbarui, mencerminkan sifat bidang yang bergerak cepat.

Makalah ini membahas tantangan mengajarkan arsitektur Transformer kepada pembelajar yang memiliki pengalaman Python, Machine Learning, dan Deep Learning tetapi sedikit atau tidak sama sekali terpapar Transformer. Kursus ini menyasar kelompok beragam dari akademik dan industri, bertujuan menjembatani kesenjangan antara dasar teoretis dan aplikasi praktis. Kursus ini mencakup ikhtisar komprehensif aplikasi Transformer NLP dan perluasannya ke tipe data lain. Struktur kursus mencakup 15 sesi, masing-masing dengan kuliah dan bagian praktik, serta dua tugas rumah yang diselenggarakan sebagai kompetisi CodaLab. Enam sesi pertama berfokus pada arsitektur Transformer dan variannya (encoder, decoder, encoder-decoder) serta teknik penyetelan model. Sesi berikutnya mencakup multibahasa, multimodalitas (teks dan gambar), efisiensi, urutan peristiwa, dan data tabular. Kursus ini pertama kali dijalankan pada 2022 dan diperbarui secara iteratif hingga 2024 dengan temuan yang muncul tentang GPT-4, LLM, RLHF, dll. Kursus ini telah disampaikan enam kali: empat kali di industri dan dua kali di akademik, menerima umpan balik positif dari kedua audiens.

Desain kursus mengikuti pendekatan modular dengan 15 sesi, masing-masing menggabungkan kuliah dan praktik langsung. Enam sesi pertama memperkenalkan arsitektur Transformer dan variannya, termasuk:

Mengapa penting

Makalah ini menyoroti pentingnya menyesuaikan konten kursus dengan audiens yang berbeda. Pembelajar industri mungkin memprioritaskan aplikasi praktis dan efisiensi, sementara mahasiswa akademik mungkin mencari pemahaman teoretis yang lebih mendalam. Penggunaan kompetisi CodaLab menjembatani kesenjangan ini dengan menawarkan pemecahan masalah dunia nyata. Proses pembaruan iteratif sangat penting dalam bidang yang berkembang pesat seperti NLP, di mana arsitektur dan teknik baru sering muncul. Cakupan kursus tentang multimodalitas dan data tabular menunjukkan fleksibilitas Transformer di luar NLP. Tantangan termasuk menjaga materi tetap mutakhir dan mengelola latar belakang pembelajar yang beragam. Arah masa depan dapat melibatkan jalur pembelajaran yang lebih personal dan cakupan yang diperluas dari topik-topik yang muncul seperti reinforcement learning from human feedback (RLHF). Umpan balik positif dari kedua pengaturan menunjukkan bahwa model kursus ini efektif dan dapat direplikasi untuk topik lanjutan lainnya. Pengalaman penulis menegaskan nilai perbaikan berkelanjutan dan keterlibatan praktis dalam pendidikan teknis.

Siapa yang sebaiknya membaca

Praktisi dan peneliti ilmu komputer

Membuka konten member…