Qozog‘istonda Aqlli tizimlar va sun’iy intellekt instituti (ISSAI) tomonidan to‘rt tilni qo‘llab-quvvatlaydigan ISSAI KAZ-LLM modeli ishlab chiqildi.
Ushbu model Qozog‘iston aholisi hayot sifatini oshirish, mamlakatning iqtisodiy rivojlanishini ta’minlash va milliy madaniy merosni saqlashga qaratilgan.
ISSAI KAZ-LLM haqida ma’lumotlar:
– O‘qitilgan ma’lumotlar: Model uchun 150 milliarddan ortiq token to‘plangan bo‘lib, ular to‘rt tilda (qozoq, rus, ingliz va turk tillari) mavjud. Ushbu ma’lumotlarning 95 foizi ISSAI jamoasi tomonidan tayyorlangan. Tokenlar qozoq veb-saytlari, yangiliklar maqolalari va onlayn kutubxonalardan olingan. Shuningdek, yuqori sifatli inglizcha kontent qozoq tiliga tarjima qilingan.
– Texnik asoslar: Model NVIDIA DGX H100 platformasi asosida sakkizta bulutli serverda o‘qitilgan.
-
- Modelning ikkita versiyasi mavjud: 8 milliard va 70 milliard parametrli.
- Resurslari cheklangan muhitlarda ishlashi uchun 4-bit kvantlangan versiyalar ishlab chiqilgan.
– Litsenziya va foydalanish:
2024-yil 10-dekabr kuni ushbu modellarning ochiq kodli versiyalari CC-BY-NC litsenziyasi ostida vaqtinchalik foydalanish uchun taqdim etildi. Ular Hugging Face’dagi ommaviy repozitoriyda mavjud bo‘lib, ilmiy va akademik maqsadlarda ishlatilishi mumkin.
Modelning samaradorligini baholash uchun ARC, GSM8K, HellaSwag, MMLU, Winogrande va DROP kabi benchmarking tizimlari moslashtirildi. ISSAI KAZ-LLM modeli 70 milliard parametrli versiyasida qozoq tilida yuqori natijalar, rus va ingliz tillarida esa kuchli ko‘rsatkichlar qayd etdi. Ushbu natijalar OpenAI modellari bilan raqobat qiladigan darajada yaqinligini ko‘rsatmoqda.
Modelning imkoniyatlari va samaradorligi:
- Baholash natijalari: ISSAI KAZ-LLM samaradorligini baholash uchun ARC, GSM8K, HellaSwag, MMLU, Winogrande, DROP kabi testlardan foydalanilgan;
- Ko‘rsatkichlar:
- 70 milliard parametrli model qozoq tilida yuqori natijalarni ko‘rsatgan;
- Rus va ingliz tillarida ham yaxshi ko‘rsatkichlarga ega bo‘lib, OpenAI modellari darajasiga yaqinlashgan.
Kelajak rejalari:
ISSAI jamoasi modelni yanada takomillashtirishni va ilg‘or sun’iy intellekt modellarini yaratishni rejalashtirmoqda.
Yangi funksiyalarga til va vizual ma’lumotlarni integratsiya qilish kiritilishi kutilmoqda. Boshqa turkiy tillarni qo‘llab-quvvatlash rejalashtirilgan, bu turkiy tilli hamjamiyatlar o‘rtasidagi aloqalarni mustahkamlashga xizmat qiladi.
Texnologik hamkorlar bilan birgalikda Qozog‘iston xalqi uchun foydali sun’iy intellekt mahsulotlari va xizmatlari ishlab chiqiladi, bu esa mamlakatning iqtisodiy o‘sishiga yordam beradi.
