Қозоғистонда Ақлли тизимлар ва сунъий интеллект институти (ISSAI) томонидан тўрт тилни қўллаб-қувватлайдиган ISSAI KAZ-LLM модели ишлаб чиқилди.
Ушбу модель Қозоғистон аҳолиси ҳаёт сифатини ошириш, мамлакатнинг иқтисодий ривожланишини таъминлаш ва миллий маданий меросни сақлашга қаратилган.
ISSAI KAZ-LLM ҳақида маълумотлар:
– Ўқитилган маълумотлар: Модель учун 150 миллиарддан ортиқ токен тўпланган бўлиб, улар тўрт тилда (қозоқ, рус, инглиз ва турк тиллари) мавжуд. Ушбу маълумотларнинг 95 фоизи ISSAI жамоаси томонидан тайёрланган. Токенлар қозоқ веб-сайтлари, янгиликлар мақолалари ва онлайн кутубхоналардан олинган. Шунингдек, юқори сифатли инглизча контент қозоқ тилига таржима қилинган.
– Техник асослар: Модель NVIDIA DGX H100 платформаси асосида саккизта булутли серверда ўқитилган.
-
- Моделнинг иккита версияси мавжуд: 8 миллиард ва 70 миллиард параметрли.
- Ресурслари чекланган муҳитларда ишлаши учун 4-бит квантланган версиялар ишлаб чиқилган.
– Лицензия ва фойдаланиш:
2024 йил 10 декабрь куни ушбу моделларнинг очиқ кодли версиялари CC-BY-NC лицензияси остида вақтинчалик фойдаланиш учун тақдим этилди. Улар Hugging Face’даги оммавий репозиторийда мавжуд бўлиб, илмий ва академик мақсадларда ишлатилиши мумкин.
Моделнинг самарадорлигини баҳолаш учун ARC, GSM8K, HellaSwag, MMLU, Winogrande ва DROP каби бенчмаркинг тизимлари мослаштирилди. ISSAI KAZ-LLM модели 70 миллиард параметрли версиясида қозоқ тилида юқори натижалар, рус ва инглиз тилларида эса кучли кўрсаткичлар қайд этди. Ушбу натижалар OpenAI моделлари билан рақобат қиладиган даражада яқинлигини кўрсатмоқда.
Моделнинг имкониятлари ва самарадорлиги:
- Баҳолаш натижалари: ISSAI KAZ-LLM самарадорлигини баҳолаш учун ARC, GSM8K, HellaSwag, MMLU, Winogrande, DROP каби тестлардан фойдаланилган;
- Кўрсаткичлар:
- 70 миллиард параметрли модель қозоқ тилида юқори натижаларни кўрсатган;
- Рус ва инглиз тилларида ҳам яхши кўрсаткичларга эга бўлиб, ОпенАИ моделлари даражасига яқинлашган.
Келажак режалари:
ISSAI жамоаси моделни янада такомиллаштиришни ва илғор сунъий интеллект моделларини ишлаб чиқишни режалаштирмоқда.
Янги функцияларга тил ва визуал маълумотларни интеграция қилиш киритилиши кутилмоқда. Бошқа туркий тилларни қўллаб-қувватлаш режалаштирилган, бу туркий тилли ҳамжамиятлар ўртасидаги алоқаларни мустаҳкамлашга хизмат қилади.
Технологик ҳамкорлар билан биргаликда Қозоғистон халқи учун фойдали сунъий интеллект маҳсулотлари ва хизматлари ишлаб чиқилади, бу эса мамлакатнинг иқтисодий ўсишига ёрдам беради
