[ID] Implementasi Arsitektur Mixture of Low-Rank Adapter Experts (X-LoRA) dalam Adaptasi Cross-Lingual Inggris-Indonesia dengan Qwen2.5-0.5B
- Membangun Model Bilingual (EN-ID) menggunakan Arsitektur X-LoRA dengan Base Model Qwen2.5-0.5B-Instruct
About
Model backend didasarkan pada Qwen2.5-0.5B-Instruct, bagian dari keluarga model bahasa open-weight Qwen2.5 yang mendukung banyak bahasa dan menunjukkan kinerja yang kuat di berbagai benchmark NLP. Model lumicero/Qwen2.5-bilingual-xlora adalah varian yang disempurnakan menggunakan Arsitektur X-LoRA (Mixture of Low-Rank Adapter Experts) yang dirancang untuk mengikuti instruksi bilingual Inggris-Indonesia. Adapter dilatih menggunakan dataset indonlp/cendol_collection_v2 (untuk bahasa Indonesia) & Open-Orca/OpenOrca (untuk bahasa Inggris). Proses pembuatan adapter melibatkan dua tahap: pertama adalah melatih LoRA Expert untuk setiap bahasa, dan kedua adalah menggabungkan kedua LoRA Expert menggunakan Arsitektur X-LoRA. Penggunaan arsitektur ini telah terbukti efektif dalam menggabungkan kemampuan dua adapter dari domain yang berbeda dan mewarisi kemampuan kedua adapter secara setara.
Bridges bilingual model adaptation with deployment-ready public demonstration.