"10 жилийн хугацаанд компьютер монгол хэлийг ойлгодог болгоно гэсэн том зорилготой"

Хүн төрөлхтөнд бичиг үсэг үүсч, бий болсон цагаас өдийг хүртэл эх хэлээ хамгаалан авч үлдэхийн тулд түүхийн бүх цаг хугацааны туршид баялаг бүтээл, бичгийн дурсгал, судалгааны сан хөмрөгийг буй болгосоор, уламжилсаар ирсэн. 

Харин өнөөдрийн дэлхий дахины үсрэнгүй хөгжил биднийг цахим орчинд хэлийг боловсруулах, компьютертэй эх хэлээрээ чөлөөтэй харьцах шаардлага бүхий гарцаагүй нөхцөл байдалд оруулж байна.

Эх хэлний цахим хөгжил өнөөдөр хамгийн чухал асуудал. Гэвч манай улс дахь энэ чиглэлийн ажил дэлхийн өндөр хөгжилтэй орнуудтай харьцуулахад 10 гаруй жилээр хоцорч байгаа тухай МУИС-ийн ХШУИС-ийн Мэдээлэл компьютерийн ухааны тэнхимийн багш, Машин оюуны лабораторийн Хэл боловсруулалтын багийн гишүүн, доктор М.Золжаргал ярьж байлаа. 

Манай улсын энэ талын судалгаа шинжилгээний ажлын өнөөдрийн түвшин, боломж бололцоо, үр дүнгийн талаар ярилцсанаа уншигч та бүхэндээ хүргэж байна. 

---

- Юун түрүүнд хиймэл оюун ухаан гэж юу болох тухай уншигчдад маань тайлбарлаж өгнө үү?

- Хиймэл оюун гэдэг нь хүний оюун тархийг машинд загварчлан оруулахыг хэлж байгаа юм. Өөрөөр хэлбэл, машин хүн шиг сэтгэн бодож, үйлдэл хийнэ гэсэн үг.

Хиймэл оюун ухаан хэл боловсруулалтаас анх үүссэн. 1960-аад оны үед орос хэлний бичвэрийг англи хэлэнд орчуулах шаардлага гарч, Жорж Тауны Их сургуульд энэ ажил эхэлсэн байдаг.

Ингээд компьютер хэлийг ойлгохын тулд хиймэл оюун гэдэг зүйл зайлшгүй байх хэрэгтэй юм байна гэж үзсэн.

Хиймэл оюун гэдгийн цаана юу байна вэ гэхээр хүний тархинд маш олон мэдээлэл хоорондоо уялдаа холбоотой граф хэлбэрийн бүтэцтэй байдаг. Жишээлбэл, “хоол” гэдэг мэдээллийн цаана мах, ногоо, жимс, ундаа гэх мэтчилэн зүйлс холбоотой байж байдаг гэсэн үг.

Тэгэхээр маш олон ийм ойлголтуудыг граф маягаар компьютер дээр дүрсэлж, тэдгээрийг утга зүй болон хэл зүйн хувьд холбож өгдөг. Харин компьютер тухайн холбоотой олон ойлголт, мэдээллүүд дээр тулгуурлан дүн шинжилгээ, гаргалгаа хийх чадвартай байхыг хиймэл оюун гэж байгаа юм.

Нөгөө талаас түүхий бичвэрээс ийм утга зүйт өгөгдлийг гаргаж авахад хэл боловсруулалт хийх шаардлагатай болдог.

Хэл боловсруулалтын олон төрлийн програмуудаас хамгийн түрүүнд шаардлагатай суурь үе шатуудыг монгол хэлэнд хөгжүүлж байна. 

---

Хэл боловсруулалтын суурь үе шатууд

---

- Хиймэл оюун ухаанд хэлний боловсруулалт хийх гэдгийг тайлбарлахгүй юу. Компьютер хэлийг ямар ямар янзаар ойлгох боломжтой вэ?

- Энгийнээр бол хүний хэлийг компьютер оюун ухаант хүн шиг ойлгодог, үүсгэдэг болох юм. Нөгөө талаас хүний хэл, сэтгэхүй хоёр холбоотой байдаг.

Иймд компьютерт хүний, хэл сэтгэхүйг загварчилж оруулах шаардлага тулгарч, хэрхэн, ямар арга замаар оруулах вэ гэдэг нь хэл боловсруулалтын асуудлыг үүсгэдэг.

Хэлний боловсруулалтыг яриа болон бичвэр боловсруулах гэсэн хоёр чиглэлээр хийж байна. Яриаг боловсруулна гэхээр хүн ярьж байхад агаарт долгион тархаж байдаг. Энэ долгионыг бичвэрт хөрвүүлэхийг хэлж байгаа юм.

Бичвэрт буулгасны дараа тухайн бичвэр ямар утга санаа илэрхийлж байгааг ойлгох асуудал гарна. Үүнийг бичвэр боловсруулах гэдэг.

Яриа боловсруулах нь мөн дотроо яриаг таних, яриаг үүсгэх гэсэн хоёр чиглэлтэй. Яриаг үүсгэх гэдэг нь өгөгдсөн текстийг яриа болгоод уншиж өгдөг гэсэн үг.

Хэлний боловсруулалтын гол зорилго бол компьютер хэл яриаг хүн шиг ойлгодог болох юм.

Тэр зорилгыг хүртэлх судалгааны ажлын зарим үр дүнг ашиглаад нэг хэлээс нөгөө хэлэнд орчуулагч, монгол бичгийг кирилл бичигт хөрвүүлэгч, алдаа шалгуур гэх мэт төрөл бүрийн програмыг бий болгож болж байна.

Хэлний боловсруулалтын гол зорилго бол компьютер хэл яриаг хүн шиг ойлгодог болох юм.

Өөр нэг жишээ хэлэхэд, сэтгэгдэл тодорхойлох програм гэж бий. Тухайлбал, мэдээллийн вэб сайтуудад маш олон сэтгэгдлүүд байдаг.

Тэр олон сэтгэгдлийн агуулга эерэг, сөрөг аль нь болохыг тодорхойлж болдог гэсэн үг. Жишээ нь, Youtube ямар нэг байгууллагын бүтээгдэхүүнийг байршууллаа гэж үзье.

Доор нь бичигдсэн маш олон сэтгэгдэлд дүн шинжилгээ хийж, бүтээгдэхүүнийг тэдэн хүн сайшааж байна, тэдэн хүн дургүй байна, бүтээгдэхүүнийхээ энэ хэсгийг сайжруулж, энэ хэсгийг засварлах хэрэгтэй юм байна гэдэг дүгнэлтийг автоматаар хийж өгдөг нэмэлт үйлчилгээ байдаг.

Тиймээс л өнөөдөр Youtube бусад видео хуваалцдаг төрлийн үйл ажиллагаа явуулдаг вэб сайтуудаас илүү амжилттай ажиллаж байгаа хэрэг. 

- Манай улсад энэ талын судалгаа шинжилгээний ажил ямар түвшинд хийгдэж байна?

- Манай улс дэлхийн өндөр хөгжилтэй орнуудтай харьцуулахад энэ чиглэлд 10 байтугай жилээр хоцорч байна.

Бид монгол хэлэнд нэн түрүүнд шаардлагатай, дээд түвшний боловсруулалтад суурь болох 11 үе шатыг тодорхойлоод ажиллаж байна. Үүнээсээ эхний 8-ийг ашиглаж болохуйц түвшинд гүйцэтгэчихсэн.

Эдгээр програм нь шууд хэрэглээний програм болохоос гадна хэлийг компьютерт ойлгуулах, бичвэрээс мэдээлэл задалж авахад суурь хэрэгсэл болох зорилготой юм.

Дээрх бүх түвшний боловсруулалтыг хийснээр түүхий бичвэрээс хиймэл оюун ухааны суурь болсон “мэдлэгийн сан”-г үүсгэх, түүнтэй холбогдох бүрэн боломжтой болно.

Өөрөөр хэлбэл, тухайн бичвэр дотроос компьютер өөрөө мэдээлэл задалж авах боломжтой болох юм. Үүний үр дүнд компьютер сая хүний тархитай ижил төстэй байдлаар ажиллах боломжтой болно.

Жишээлбэл, "Бат Булганд үхрийн нүд түүсэн" гэдэг бичвэр байлаа гэж бодоход Булган гэдэг нь газар орны нэр, байрлал заасан үг, гэхдээ хамгийн гол нь Монгол Улсын нутаг дэвсгэрт орших аймаг юм байна гэдгийг ойлгодог байх ёстой. Үүнийг мэдлэгийн сангаар илэрхийлж, загварчилдаг.

- Тэгвэл бидэнд ямар ажил дутуу байгаа гэсэн үг вэ?

- Орчин үед стохастик машин сургалтын аргад суурилсан хэлний боловсруулалтын аргууд илүү өндөр үр дүнтэй ажиллаж байгаа. Статистик тооцоо гэхээр үнэн зөв судалгааны материал хэрэг болох нь дамжиггүй.

Хэл боловсруулалтад энэ нь хүний гараар хэлний мэдлэгийг шингээсэн хөмрөг байдаг. Монгол хэлэнд хүний гараар тэмдэглэсэн хөмрөг буюу судалгааны материал их дутмаг. Бид өөрсдийн нөөц бололцоогоор үүсгэж байгаа ч энэ нь хангалтгүй байна.

Нөгөө талаас оюунт машин бүтээхэд мэдлэгийн сан их чухал. Үүнийг үүсгэж чадвал  монгол хэл, соёлыг ойлгодог хиймэл оюунт машин үүсгэхэд асуудал их хөнгөрнө. Учир нь дэлхий нийтээр хиймэл оюун, хэл боловсруулалтын олон арга технологиуд нээлттэй болж байна.

Мэдлэгийн сан гэдгийг энгийн жишээгээр тайлбарлая. “Би ус уумаар байна” гэсэн бичвэр байлаа гэж бодоход компьютер бичвэр дэх үгийн утга, үүргийг тодорхойлохоос гадна усыг хүн ууж болдог гэдгийг ойлгох чадвартай байх ёстой.

Орчин үед стохастик машин сургалтын аргад суурилсан хэл боловсруулалтын аргууд илүү үр дүнтэй ажиллаж байна. 

Мэдлэгийн сангүйгээр зөвхөн өгүүлбэрийн өнгөн түвшинд ойлгох боломжтой байгаа гэсэн үг.

Үүнийг ойлгодог болгохын тулд орчлон ертөнц дээр байгаа бүхий л ойлголтуудыг машинд оруулж тэдгээрийг хооронд нь холбоно.

Өнөөдөр "Google" гэхэд 100 орчим тэрбум ойлголтыг хооронд нь холбочихсон байгаа. 

Жишээ нь, Монгол Улс гээд нэг ойлголт байлаа гэж бодоход үүнийг "Wikipedia" зэрэг ямар нэг цахим орчинд нэг утгатай төлөөлж чадах нэгж объектоор илэрхийлнэ.

Хүний тархинд мэдээлэл, ойлголтууд яг энэ маягаар холбоотой оршдог. Хиймэл оюун ухаан хүний тархины загвараар явж байгаагийн баталгаа энэ.

Манай лабораторийн Мэдлэг ба өгөгдлийн инженерчлэлийн баг ийм мэдлэгийн санг үүсгэх суурь болон туршилтын санг үүсгээд байна. Мэдлэгийн санг загварчлах, үүсгэх нь их ярвигтай ажил.

Одоогийн байдлаар хамгийн удаан хугацаанд идэвхтэй хөгжүүлж байгаа мэдлэгийн сан бол Принстоны Их сургуулийн Үгийн тор (WordNet) бөгөөд энэ нь 1980-аад оноос хойш 30 гаруй жилийн турш англи хэл дээр үүсгэж байгаа 117,000 орчим ойлголтыг хооронд нь холбосон.

Монгол хэлэнд мэдлэгийн санг цоо шинээр үүсгэх нь хангалттай хүн хүч байлаа ч дээрх шиг хугацаа авах нь гарцаагүй. Тиймээс англи болон монгол хэлэнд байдаг нийтлэг ойлголтыг бүтцийн хамт монгол хэлнээ нутагшуулах нь ихээхэн цаг хүч хэмнэнэ.

Нөгөө талаас англи хэлэнд байдаггүй зөвхөн монгол хэлэнд байдаг ойлголтыг нэмж тодорхойлох шаардлагатай.  Яг ийм зарчмаар Италийн Трэнтогийн Их Сургуулийн эрдэмтэд ертөнцийн мэдлэгийн сан буюу бүх ертөнцийн ойлголтыг багтаасан санг үүсгэж байна.

Үүнд манай  өгөгдөл ба мэдлэгийн инженерчлэлийн баг монгол хэл талаас нь оролцож одоогоор газарзүй, орон зайтай холбоотой 10,000 орчим ойлголттой мэдлэгийн санг үүсгэсэн байгаа. Жишээлбэл, “бууц” гэдэг ойлголт англи хэлэнд байхгүй. Үүнийг нэмж оруулах замаар орчуулгын ажил хийгдэж байна.

- Хэлний боловсруулалт гэхээр хэл шинжлэлийн салбарынхны оролцоо чухал байх. Ер нь энэ чиглэлийн судалгаанд бусад салбарынхныг татан оролцуулах шаардлага хэр тулгарах вэ?

- Хэл боловсруулалт нь хэл шинжлэл, сэтгэц хэл шинжлэл, математик, компьютерийн ухаан тэр дундаа хиймэл оюун зэрэг шинжлэх ухаануудын хавсарга судлагдахуун.

Тиймдээ ч хэл боловсруулалт, мэдлэгийн сан үүсгэхэд салбар салбарын судлаачийн хүч шаардлагатай л даа. Жишээ нь, хуулийн салбарын мэдлэгийн санг үүсгэхэд хуульчдыг татан оролцуулах хэрэгтэй болно.

Мэдлэгийн санг хооронд нь холбоход салбарын мэргэжилтнүүд байх зайлшгүй шаардлагатай.

- Та бүхэн судалгаагаа олон нийтэд нээлттэй болгох боломж бий юу?

- Санхүүжүүлж байгаа байгууллагуудаасаа хамаараад янз бүр. Манай судалгааны лабораторийн хувьд мэдлэгийн сан, хэлний боловсруулалтын чиглэлээр бичсэн судалгааны ажлын үр дүнгүүд олон улсын хурал, сэтгүүлийн өгүүлэл, диссертаци хэлбэрээр нээлттэй байгаа.

Харин зарим хөмрөг, програм зэрэг нь зөвхөн судалгааны чиглэлээр ашиглах боломжтой байдаг.

Монгол хэл боловсруулалтын талаар судалсан, үүсгэсэн технологиудаа олон нийтэд түгээх боломж бол байгаа. 

Миний хувьд хоёрдугаар сард цахим хэл боловсруулалтын чиглэлээр докторын зэрэг хамгаалсан.

Судалгааны ажил дахь компьютерийн алгоритм зэргийг шууд хараад ойлгоход түвэгтэй.

Ажлын маань арга зүй нь өгүүлэл, диссертаци хэлбэрээр олон нийтэд ил бий. Ер нь дэлхийн их, дээд сургуулиуд, судалгааны байгууллагууд аливаа шинэ мэдлэг, шинэ технологийн арга зүйг тодорхойлж, загварыг гаргадаг.

Үүний дараа хөрөнгө мөнгөтэй байгууллагууд тэрхүү аргын дагуу бүтээгдэхүүн хийж зах зээлд нийлүүлдэг. Их сургуулийн мэдлэг, технологийг компаниуд худалдан авах, патент хамтран эзэмших, гарааны компани байгуулах зэрэг олон арга замаар их сургуулиудтай хамтран ажилладаг.

Тиймээс бид монгол хэл боловсруулалтын талаар судалсан, үүсгэсэн технологиудаа ийм замаар олон нийтэд түгээх боломж бол байгаа.

Хэрэв бидэнд хандвал бид аргачлалыг нь заагаад өгөх бүрэн боломжтой. Тэгтэл ийм зүйл сонирхдог байгууллага манайд цөөн. Учир нь энэ чиглэлийн ажлыг хийгээд ашиг олоход өнөөдрийн байдлаар хэцүү.

- МУИС-иас өөр хаана энэ ажил хийгдэж байна?

- Хэл боловсруулалтын судалгаа манай улсад 1995 оноос эхэлсэн. 2007 онд Канад улсын санхүүжилтээр төсөл хэрэгжүүлсэн.

Яриа таних тал дээр хийгдсэн ажлууд ШУТИС-д бий. 2012 оноос Монгол Улсын Их Сургууль яриа таних талын судалгааг мөн хийж эхэлсэн.

Манайд хэл боловсруулалтын чиглэлээр үйл ажиллагаа явуулдаг хувийн байгууллага ганц л байна. “Bolorsoft” компани зөв бичгийн алдаа шалгуурыг боловсруулсан. Гэтэл үүнийгээ зараад, зөвхөн үүнээсээ санхүүжээд явж чадахгүй л байна.

Харин ирээдүйд үүнийг хийхээс өөр арга байхгүй. Багадаа 10 жилийн дараа гэхэд л нийтлэл бичих гээд сууж байдаг хөг өнгөрнө.  Одоо ч гэсэн англи хэл дээр байгаа бүх текстэд дүгнэлт хийгээд нийтлэл бичээд гаргадаг програм бий болчихсон л байна.

- Яриа таниулах судалгаа их сонирхолтой юм. Магадгүй авиа зүйн талын судалгаа, боловсруулалт хийх шаардлагатай байх. Энэ талаар?

- Энэ талын судалгааны хувьд бид арга аргачлалыг тодорхойлчихсон байгаа. Өмнө хэлсэнчлэн бид стохастик машин сургалтын аргад зориулж ярианы хөмрөгийг хангалттай үүсгэчихвэл асуудал их цэгцэрнэ.

Үүний тулд хүний яриаг бичиж аваад, текстийг нь хадаад, авиагаар нь задлаад, үеэр нь салгаад машинд боловсруулна. Арга нь тодорхой. Шаардлагатай зүйл нь хүний хэл яриан дотор ордог бүх авиан дараалал ямар нэг байдлаар орсон байх.

Яриа таниулах боловсруулалтыг хийхэд дор хаяж 140 цагийн бичлэгийг дээрх маягаар дуу авиа хоёрыг харгалзуулах ёстой. Энэ нь цаг их авдаг ажил.

Жишээ нь, нэг минутын яриаг хүн сонсоод хамгийн хурднаараа тэмдэглэхэд  багадаа 15 минут шаардлагатай.

Өдөрт найман цаг хүн юм сонсоод бичнэ гэдэг боломжгүй.

Олон хүн ажиллууллаа гэж бодоход хөрөнгө мөнгөний хэрэгцээ шаардлага гарна гэх мэт асуудал тулгардаг. Бид 25 цагийн бичлэгт 6 сарын турш боловсруулалт хийсэн.

- Хэлний боловсруулалт хийхгүй байснаар ямар үр дүнд хүрэх бол?

- Хэрэв хэлийг боловсруулдаг хиймэл оюун ухаан гэдэг зүйлийг бид хийхгүй бол гадаадын өндөр хөгжилтэй орнууд буу бариад байлдаж байхад бид сэлэмтэйгээ явж байгаатай адилхан.

Монгол хэлний боловсруулалтыг хийхгүй бол бид маш их хоцорно. Ингэснээр өндөр хөгжилтэй орнуудаас бидэнд юу тулган шаардах вэ гэвэл мэдээж өөрсдийнхөө хэл дээр хийсэн зүйлийг л тулгана.

Хэл боловсруулалтыг хийснээрээ бид хэлээ аварч үлдэж байгаа хэрэг. Хамгийн наад захын жишээ гэхэд зөв бичгийн алдаа шалгуурыг хийж байж өнөөдөр цахим орчинд буруу зөрүү бичиж байгааг засаж залруулж байна шүү дээ.

Хэл боловсруулалтыг хийснээрээ бид хэлээ аварч үлдэж байгаа хэрэг.

Нөгөө талаас хүссэн хүсээгүй бүх л мэдээлэл цахим орчинд, маш өндөр хурдтай, их хэмжээтэй үүсэж байна.

Энэ их мэдээллийн урсгал нь хүн унших, дүн шинжилгээ хийх, боловсруулах хурд болон чадамжаас даваад байна.

Минутад 1,000 үг уншиж чаддаг хүн байлаа гэж үзье. Дэлхий нийтэд цацагдаж байгаа нэг өдрийн мэдээллийг насаараа уншаад ч барахгүй. Тэгэхээр энэ их хурдыг гүйцэхийн тулд хэлний боловсруулалт зайлшгүй хэрэгтэй.

- Дэлхий нийтийн хэмжээнд хамгийн сүүлийн үеийн судалгаа юуг боломжтой болгож, нээж өгсөн байдаг вэ?

- Жишээлбэл, чат ботуудыг дурдаж болно. Сэтгэл санааны гүн хямралд орсон хүмүүсийг чат бот ашиглан эмчилдэг болчихоод байна. Чат боттойгоо л харьцдаг, түүндээ дуртай хүмүүс хүртэл байна.

Түүнийгээ робот, хиймэл оюун гэдгийг мэддэг хэр нь, түүндээ дурлачихсан. Энэ бол бүр сэтгэхүйн түвшинд яригдаж байна шүү дээ.

Нөгөө талаас хиймэл оюунт машин нь заавал хүний хэлээр харьцах албагүй гэдгийг бас ойлгох хэрэгтэй. Саяхан "Microsoft Asia" компанийн хиймэл оюунт машин зураг хараад хөгжим зохиодог болсон. 

Гүн сургалтын аргад суурилсан "Google" компанийн оюунт машин Го даамны дэлхийн аваргыг хожиж, хүнээс дутахааргүй гаргалгаа хийдэг болсон. "IBM Watson" их өгөгдөлд шинжилгээ хийж, эрүүл мэнд, олон нийт, бизнесийн салбарт хүний чадвартай дүйцэхүйц шийдвэр гаргаж байна.

- Манайд ойролцоогоор хэдий хэр хугацаанд энэ ажил бүрэн гүйцэд хийгдэж, бид компьютертэй чөлөөтэй харьцдаг болно гэж бодож байна?

- Энэ нь их харьцангуй ойлголт. Бид бол 10 жилийн хугацаанд компьютер монгол хэлийг ойлгодог болгоно гэсэн том зорилготой яваа.

Энэ бүх ажил хөрөнгө мөнгөнөөс л шалтгаална. Тодорхой санхүүжилттэй, олон хүн суулгаад ажиллуулах боломжтой байх юм бол хугацаа бүр л ойртоно.

Японд л гэхэд 600 хүнтэй корпораци ажилладаг. Япон хэл дээр мэдээ уншаад дүгнэлт бичихэд их амархан. Автоматаар л бичүүлчихнэ.

Жишээ нь, 10 хуудас мэдээлэл байлаа гэж бодоход “тал хуудсанд багтаагаад өг” гэж компьютертээ хэлэхэд утга санааг нь алдуулалгүй бичээд, боловсруулаад л өгнө.

Ийм үр дүнд хүрэхэд 600 хүнтэй корпораци 10 гаруй жил ажилласан байна. 600 хүнийг санхүүжүүлсэн ч тэдний хийж байгаа ажлын үр дүнг олон сая хүн ашиглаж байгаа учраас хэд дахин илүү ашиг олж чадаж байна шүү дээ. 

- Ярилцсанд баярлалаа.