O‘zbek tilida ishlaydigan sun’iy intellekt modellarining imkoniyatlarini kengaytirish maqsadida 5,6 millionta hujjat va qariyb 6 milliard so‘zni o‘z ichiga olgan ochiq ma’lumotlar korpusi yaratildi. U Hugging Face platformasiga joylashtirildi. Bu haqda Raqamli texnologiyalar vazirligi xabar berdi.
Loyiha 2025-yil 21-oktabr kuni Prezident Shavkat Mirziyoyev raisligida davlat boshqaruvi, iqtisodiyot tarmoqlari va hududlarda sun’iy intellekt texnologiyalarini jadal joriy etish masalalariga bag‘ishlab o‘tkazilgan videoselektor yig‘ilishida berilgan topshiriq ijrosi doirasida amalga oshirilgan. O‘shanda davlat rahbari sun’iy intellekt tizimlari samarali ishlashi uchun, avvalo, o‘zbek tilini mukammal tushunishi zarurligini ta’kidlab, milliy til korpusini yaratish vazifasini belgilagan edi.
Raqamli texnologiyalar vazirlik ma’lumotiga ko‘ra, yangi korpus o‘zbek tilining lotin va kirill yozuvlaridagi matnlarini qamrab oladi. Unga skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlaridan olingan ma’lumotlar kiritilgan. To‘plangan matnlar maxsus qayta ishlanib, sifati bo‘yicha saralangan hamda soha va mavzular kesimida tasniflangan.
Shuningdek, shaxsiy ma’lumotlar maxfiyligini ta’minlash uchun telefon raqamlari va ismlar [PHONE], [NAME] kabi maxsus belgilar bilan almashtirilgan.
Ayni paytda korpusni yetakchi yirik til modellari (LLM) ishlab chiquvchilariga taqdim etish bo‘yicha ishlar olib borilmoqda. Xususan, Xitoyning Qwen sun’iy intellekt modeli bilan hamkorlikdagi ishlar boshlangan.
Loyihaning asosiy maqsadi o‘zbek tilidagi raqamli ma’lumotlar bazasini kengaytirish, sun’iy intellekt modellarining o‘zbek tilini tushunish va qayta ishlash imkoniyatlarini yaxshilash, shuningdek, ushbu tilda sifatli va ravon matnlar yaratish salohiyatini oshirishdan iborat.
Eslatib o’tamiz, avvalroq Kembrij lug‘ati (Cambridge Dictionary) 2026-yilning eng asosiy so‘zi sifatida “human” so‘zini tanladi. Tanlov sun’iy intellekt rivojlanayotgan bir paytda inson ijodi va tabiiylikka qiziqish ortayotgani bilan izohlanganligi haqida xabar bergan edik.
