казахский язык

Целью проекта является разработка эффективных алгоритмов и моделей обработки текстовых данных, на основе современных технологий в области обработки естественного языка с использованием последних достижений компьютерной лингвистики для получения новой информации и знаний из больших массивов данных и текстов на казахском языке.

Методы исследования – формальные грамматики, статистические методы, семантические модели.

Разработаны базы знаний информационно-поискового модуля системы, Разработан электронный словарь фразеологизмов для казахского языка до 830 записей, который позволяет улучшить качество информационно-аналитической поисковой системы. Разработана база знании синонимии построенная на основе алгоритма Максимум энтропии и в практической реализации был применен метод семантического куба. Была пополнена БД синонимии до 9000 записей синонимов для казахского языка. Разработаны методы и модели работы модуля аналитической обработки текстовых ресурсов и документов на основе дистрибутивной семантике. Впервые разработана полная система классификации данных на базе системы окончаний казахского языка, предназначенные для определения основы слова в казахском языке, по которым осуществляется запрос в поиске.

Расходование средств финансирования производится согласно утвержденной смете.

Степень внедрения: на стадии разработки. Результаты исследований прошли апробацию на конференциях и докладах.

Будет разработана технология (модели, алгоритмы и программы) информационного поиска казахского языка с эффективным показателем. Применимость разработанной технологией будет показана опытным образцом поисковой системы для казахского языка.

Область применения: полученные результаты научно-технической деятельности могут быть применены в различных отраслях при анализе и поиске документаций и текстовых материалов на казахском языке.

информационно-поисковые системы , казахский язык

Целью проекта является разработка эффективных алгоритмов и моделей обработки текстовых данных, на основе современных технологий в области обработки естественного языка с использованием последних достижений компьютерной лингвистики для получения новой информации и знаний из больших массивов данных и текстов на казахском языке.

Методы исследования – формальные грамматики, статистические методы, семантические модели.

В результате выполнения работ получены следующие результаты: - Разработана модель и система размеченного корпуса казахского языка; -Разработан алгоритм автоматического пополнения текстов на казахском языке; -Разработан алгоритм сбора текстовых данных, поступающих в режиме реального времени; -Разработан алгоритм индексирования документов с помощью признаков; -Реализована программная часть алгоритмов и получены обработанные, классифицированные данные на казахском языке объемом более 2,7 млрд. слов. -Разработан модифицированный подход по извлечению ключевых слов и словосочетаний, который будет использоваться для решения задачи реферирования текстов на казахском языке; -Разработан алгоритм семантического анализа текста на основе машинного обучения; -Разработаны архитектура и модули прототипа информационно-аналитической поисковой системы.

Расходование средств финансирования производится согласно утвержденной смете.

Степень внедрения: на стадии разработки. Результаты исследований прошли апробацию на международных конференциях и научных семинарах.

Будет разработана технология (модели, алгоритмы и программы) информационного поиска казахского языка с эффективным показателем. Применимость разработанной технологией будет показана опытным образцом поисковой системы для казахского языка.

Область применения: полученные результаты научно-технической деятельности могут быть применены в различных отраслях при анализе и поиске документаций и текстовых материалов на казахском языке.

информационно-поисковые системы , казахский язык

Целью проекта является разработка эффективных алгоритмов и моделей обработки текстовых данных, на основе современных технологий в области обработки естественного языка с использованием последних достижений компьютерной лингвистики для получения новой информации и знаний из больших массивов данных и текстов на казахском языке.

Методы исследования – формальные грамматики, статистические методы, семантические модели.

В результате выполнения работ получены следующие результаты: Для анализа и сегментации данных была разработана полная система классификация аффиксов и суффиксов казахского языка. Построены детерминированные конечные автоматы для сразличных частей речи. Разработан lexicon-free stemming алгоритм с использованием разработанной системой классификации окончаний казахского языка. Для сбора и обработки больших данных разработана модель и система размеченного корпуса, отличительными особенностями является разработанные модули (токенезация, лемматизация, морфологический анализ) обработки данных с учетом свойств казахского языка. Произведена программная реализация алгоритмов и получены обработанные, классифицированные данные на казахском языке. Для разработки инструментов семантического анализа естественно-языковых текстов был разработан модуль информационно-аналитической обработки путем создания прикладного программного решения различного назначения с применением методов искусственного интеллекта для обработки и анализа больших данных. В качестве практической реализации была разработана информационная система для сбора и анализа информации слабоструктурированных текстовых данных на казахском языке.

Расходование средств финансирования производится согласно утвержденной смете.

Разработаны технология (модели, алгоритмы и программы) информационного поиска казахского языка с эффективным показателем. Применимость разработанной технологией будет показана опытным образцом поисковой системы для казахского языка.

Область применения: полученные результаты научно-технической деятельности могут быть применены в различных отраслях при анализе и поиске документаций и текстовых материалов на казахском языке.

информационно-поисковые системы , казахский язык

Целью проекта является разработка эффективных алгоритмов и моделей обработки текстовых данных, на основе современных технологий в области обработки естественного языка с использованием последних достижений компьютерной лингвистики для получения новой информации и знаний из больших массивов данных и текстов на казахском языке.

Методы исследования – формальные грамматики, статистические методы, семантические модели.

В результате выполнения работ получены следующие результаты: Для анализа и сегментации данных была разработана полная система классификация аффиксов и суффиксов казахского языка. Построены детерминированные конечные автоматы для сразличных частей речи. Разработан lexicon-free stemming алгоритм с использованием разработанной системой классификации окончаний казахского языка. Для сбора и обработки больших данных разработана модель и система размеченного корпуса, отличительными особенностями является разработанные модули (токенезация, лемматизация, морфологический анализ) обработки данных с учетом свойств казахского языка. Произведена программная реализация алгоритмов и получены обработанные, классифицированные данные на казахском языке. Для разработки инструментов семантического анализа естественно-языковых текстов был разработан модуль информационно-аналитической обработки путем создания прикладного программного решения различного назначения с применением методов искусственного интеллекта для обработки и анализа больших данных. В качестве практической реализации была разработана информационная система для сбора и анализа информации слабоструктурированных текстовых данных на казахском языке.

Расходование средств финансирования производится согласно утвержденной смете.

Разработан прототип системы. Данная система прошла апробацию и получили экспертное заключение от ТОО Alem Research. Результаты исследований прошли апробацию на международных конференциях и научных семинарах.

Разработаны технология (модели, алгоритмы и программы) информационного поиска казахского языка с эффективным показателем. Применимость разработанной технологией будет показана опытным образцом поисковой системы для казахского языка.

Область применения: полученные результаты научно-технической деятельности могут быть применены в различных отраслях при анализе и поиске документаций и текстовых материалов на казахском языке.