ОБЩИЕ СВЕДЕНИЯ


ИРНBR10965141, Номер госрегистрации0121РК00763

НаименованиеСоздание национальной Виртуальной Обсерватории на базе роботизированных телескопов, Big Data технологий и высокопроизводительных вычислительных систем

Приоритетное направление

Вид исследованияПрикладное

ЗаявительДочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова"

Научный руководительОмаров Чингис Тукенович

Балл ГНТЭ30.66

Общая одобренная сумма381913735.45

Решение ННС
Нет файла


Ожидаемые результаты

Впервые в Казахстане создается национальная Виртуальная обсерватория. Проведен большой объем работ по модернизации и дальнейшему развитию информационно-коммуникационной инфраструктуры обсерватории Ассы-Тургень и первого этапа автоматизации телескопа АЗТ-20; по модернизации системы хранения и обработки данных вычислительного кластера АФИФ. Разработана концептуальная схема цифрового ядра ВО и интерфейсов его взаимодействия с остальными модулями ВО. Проведены работы по выбору параметров сканирования и алгоритмов астрометрической редукции для оцифровки стеклянной библиотеки архивных данных. Создан базовый вариант компьютерного кода анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining для предоставления пользователю максимально полной информации по запрашиваемому объекту исследований.



ПОКАЗАТЕЛИ РАЗВЕРНУТОЙ ПРОГРАММЫ

Реферат (Абстракт) - 2021 год

Объект исследования, разработки или проектирования

Виртуальная обсерватория (ВО)

Цель работы

Создание цифровой виртуальной среды, предназначенной для повышения возможностей астрономических исследований и предоставления сервиса внешним пользователям. Развитие методов обработки, хранения и анализа Big Data в астрономии для изучения объектов ближнего и дальнего космоса.

Методы исследования

Сравнительный анализ эффективности работы GPU-кластера; алгоритмы Big Data для работы с различными астрономическими данными; проведение сравнительного анализа возможностей вычислительного и наблюдательного оборудования и услуг по их установке; апробация выбранных технологий на моделях; выбор параметров оцифровки стеклянной библиотеки астрономических объектов; разработка программного обеспечения анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining.

Полученные результаты и новизна

Впервые в Казахстане создается национальная Виртуальная обсерватория. Проведен большой объем работ по модернизации и дальнейшему развитию информационно-коммуникационной инфраструктуры обсерватории Ассы-Тургень и первого этапа автоматизации телескопа АЗТ-20; по модернизации системы хранения и обработки данных вычислительного кластера АФИФ. Разработана концептуальная схема цифрового ядра ВО и интерфейсов его взаимодействия с остальными модулями ВО. Проведены работы по выбору параметров сканирования и алгоритмов астрометрической редукции для оцифровки стеклянной библиотеки архивных данных. Создан базовый вариант компьютерного кода анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining для предоставления пользователю максимально полной информации по запрашиваемому объекту исследований.

Основные конструктивные и технико экономические показатели

Развитие информационно-коммуникационной инфраструктуры Обсерватории Ассы-Тургень позволит дистанционно управлять как уже установленными, так и планируемыми к установке телескопами. Автоматизация самого большого казахстанского телескопа АЗТ-20, перевод его на дистанционное управление, а также модернизация системы хранения и обработки данных вычислительного кластера АФИФ значительно повысят эффективность работы учёных АФИФ.

Эффективность

Перевод на новый технологический уровень астрономических исследований в Республике Казахстан, интеграция инструментальных возможностей и наблюдательных данных казахстанских обсерваторий в международную астрономическую среду, создание национальной Виртуальной Обсерватории (ВО). Реализация программы повысит эффективность наблюдательных и численных исследований, проводимых в Астрофизическом институте им. В.Г. Фесенкова.

Область применения

Результаты выполнения программы применимы в областях, требующих высокопроизводительные вычисления, автоматизацию сбора и обработки данных научного эксперимента, применения вычислительной техники в астрономии.

Шифр задания, этапа работы Наименование задания, этапа Аббревиатура организации, выполняющей задание, этап работ Фамилия, имя, отчество, ученая степень, должность руководителя задания, этапа работы Ожидаемые результаты
01 Создание национальной Виртуальной Обсерватории на базе роботизированных телескопов, Big Data технологий и высокопроизводительных вычислительных систем Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана Модернизированная экспериментальная база исследований дальнего и ближнего космоса. Будет создано Автоматизированное управление оптических телескопов для проведения наблюдений в режиме удаленного доступа. Будет создана Система управления регистрацией изображений и спектров космических объектов на оптических телескопах в режиме удаленного доступа Будет создан Вычислительный кластер для предоставления сервиса по хранению, обработке и анализу астрономических Больших Данных. Будут созданы Фотометрическая и спектральная базы данных оцифрованной стеклянной библиотеки астрономических объектов, интегрированные в единую среду ВО. Будет создана цифровая инфраструктура на вычислительном кластере, автоматизирующая использование его ресурсов. Будет создано цифровое ядро виртуальной обсерватории, интегрированное со всеми компонентами ВО и предоставляющее для взаимодействия с ними единый пользовательский интерфейс, синтезированная база данных, информационный веб-сайт. Будет создан программный комплекс для работы с большими многомерными массивами астрономических данных объектов дальнего космоса.
01.01 Развитие средств управления оптическими системами экспериментальных наблюдательных баз в режиме удаленного доступа Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана Модернизированная экспериментальная база исследований дальнего и ближнего космоса. Будет создано Автоматизированное управление оптических телескопов для проведения наблюдений в режиме удаленного доступа Будет создана Система управления регистрацией изображений и спектров космических объектов на оптических телескопах в режиме удаленного доступа
01.01.01 Развитие инфраструктуры обсерватории. Автоматизация телескопов и навесного оборудования. Обработка наблюдательных данных. Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет установлен датчик Sky Alert. Будет подготовлена инфраструктура обсерватории Ассы-Тургень для телескопа RC500. Будет установлен в новом куполе RC500. Будет проложен оптоволоконный кабель по периметру обсерватории Ассы-Тургень. Будет автоматизирована система управления электропитанием оборудования обсерватории Ассы-Тургень. Будет модернизирована система электропитания телескопов RC500 и АЗТ-20. Будет завершен первый этап автоматизации купола телескопа АЗТ-20. Будут получены результаты тестовых наблюдений в режиме управления RC500 через файл задач. Будут получены формат и содержания файла-задач для автоматизированных наблюдений. Будут получены программные коды потоковой калибровки фотометрических данных. Будут получены программные коды потоковой сортировки ПЗС данных наблюдений.
01.01.02 Развитие инфраструктуры обсерватории. Автоматизация телескопов и навесного оборудования. Обработка наблюдательных данных. Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет подготовлена инфраструктура для компьютера центрального управления телескопами обсерватории Ассы-Тургень Будет автоматизирована система управления АЗТ-20. Будет автоматизирован купол телескопа АЗТ-20. Будет собран Центральный компьютер системы контроля телескопов и хранения данных обсерватории Ассы-Тургень. Будет получена База данных с метеопараметрами обсерватории Ассы-Тургень
01.01.03 Автоматизация телескопов и навесного оборудования Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет протестирована и отлаженна система автоматизированных наблюдений. Будет разработана Техническая документация, руководства пользователя и заключительный отчет по задаче
01.02 Модернизация вычислительных мощностей для хранения, обработки и анализа Больших Данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создан Вычислительный кластер для предоставления сервиса по хранению, обработке и анализу астрономических Больших Данных
01.02.01 Приобретение, установка и настройка системы хранения больших данных. Приобретение, установка и настройка вычислительных узлов для обработки больших данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получена система хранения больших данных в базовом (минимальном) варианте ёмкостью ~350 ТБ. Будет создан вычислительный кластер в базовой (минимальной) конфигурации
01.02.02 Приобретение, установка и настройка системы хранения больших данных. Приобретение, установка и настройка вычислительных узлов для обработки больших данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет расширена система хранения больших данных, дополненная дисковым пространством, с суммарной ёмкостью ~550 ТБ. Будет создан вычислительный кластер в расширенном варианте
01.02.03 Приобретение, установка и настройка системы хранения больших данных. Приобретение, установка и настройка вычислительных узлов для обработки больших данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получен финальный вариант системы хранения больших данных, с суммарной ёмкостью ~700 ТБ. Будет получен финальный высокопроизводительный вариант вычислительного кластера
01.03 Оцифровка стеклянной библиотеки астрономических объектов АФИФ и его использование совместно с современными фотометрическими и спектральными данными Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будут созданы Фотометрическая и спектральная базы данных оцифрованной стеклянной библиотеки астрономических объектов, интегрированные в единую среду ВО.
01.03.01 Анализ объёма архивных данных на разных носителях: фотопластинках и фотоплёнках. Проверка сохранности, качества архивных данных, их сортировка. Тестовое сканирование образцов астронегативов и выбор необходимых параметров для сканирования всего объема данных. Анализ каталогов и подбор наиболее подходящих алгоритмов для астрометрической редукции Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получен список астронегативов, подлежащих оцифровке с указанием параметров носителя и дополнительной индивидуальной информации. Будут получены оптимальные параметры для сканирования всего объема данных на основе результатов тестового сканирования. Будет получена методика астрометрической редукции кадров по наиболее подходящим каталогам
01.03.02 Оцифровка фотометрической и спектральной стеклянной библиотеки, архивирование файлов в FITS формате. Ввод данных в электронный журнал из архивных рукописных журналов наблюдений. Создание единой системы идентификации для приведения к стандартам астрономических баз данных виртуальной обсерватории. Создание дополнительной индивидуальной информации каждого кадра по его идентификационному номеру. Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана База фотометрических данных стеклянной библиотеки в FITS формате. Будет проведена оцифровка архива рукописных журналов фотометрических наблюдений. Будет получена Единая система идентификации астрономических баз данных виртуальной обсерватории. Будет получена дополнительная индивидуальная информация для каждого фотометрического кадра по его идентификационному номеру.
01.03.03 Оцифровка фотометрической и спектральной стеклянной библиотеки, архивирование файлов в FITS формате. Ввод данных в электронный журнал из архивных рукописных журналов наблюдений. Создание дополнительной индивидуальной информации каждого кадра по его идентификационному номеру. Описание методики оцифровки архивных данных стеклянной библиотеки. Интегрирование оцифрованных данных в единую среду ВО Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана база спектральных данных стеклянной библиотеки в FITS формате. Будет создан оцифрованный архив рукописных журналов спектральных наблюдений. Будет получена дополнительная индивидуальная информация спектрального кадра по его идентификационному номеру. Будет создана методика оцифровки архивных данных стеклянной библиотеки. Будет проведено интегрирование фотометрической и спектральной базы данных в единую среду ВО
01.04 Автоматизация использования вычислительных ресурсов Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана цифровая инфраструктура на вычислительном кластере, автоматизирующая использование его ресурсов
01.04.01 Анализ существующих планировщиков задач для автоматизации использования вычислительных ресурсов и сопутствующего программного обеспечения Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получен результат анализа возможных решений и выбор планировщика задач, оптимального для кластера в рамках ВО, а также сопутствующего программного обеспечения для централизованного конфигурирования, создания динамической среды выполнения и проч.
01.04.02 Установка и настройка планировщика задач и сопутствующего программного обеспечения для автоматизации использования вычислительных ресурсов Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создана цифровая среда на кластере для централизованного конфигурирования, логирования и аудита всех узлов кластера, а также централизованного управления пользователями
01.04.03 Установка и настройка планировщика задач и сопутствующего программного обеспечения для автоматизации использования вычислительных ресурсов Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получена протестированная и рабочая цифровая инфраструктура на вычислительном кластере с централизованным конфигурированием, автоматизированным использованием ресурсов, и динамической средой выполнения
01.05 Интегрирование в единую среду астрономических и вычислительных данных, получаемых с наземных телескопов и вычислительного комплекса и предоставление к ним удобного доступа Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создано цифровое ядро виртуальной обсерватории, интегрированное со всеми компонентами ВО и предоставляющее для взаимодействия с ними единый пользовательский интерфейс, синтезированная база данных, информационный веб-сайт
01.05.01 Разработка детальной концептуальной схемы цифрового ядра ВО и интерфейсов его взаимодействия с остальными модулями ВО Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет получена детальная схема цифрового ядра ВО и интерфейсов его взаимодействия с остальными модулями
01.05.02 Установка и настройка отказоустойчивого сервера для цифрового ядра ВО. Разработка интерфейса для взаимодействия ядра ВО с базой данных. Разработка интерфейса для взаимодействия ядра ВО с роботизированными телескопами. Разработка интерфейса для взаимодействия ядра ВО с вычислительным кластером. Создание синтезированной базы данных, получаемых с наземных телескопов. Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет установлена отказоустойчивая серверная платформа для цифрового ядра ВО. Будет разработан протокол взаимодействия между цифровым ядром ВО и базой данных ВО. Будет разработан протокол взаимодействия между цифровым ядром ВО и роботизированными телескопами. Будет разработан протокол взаимодействия между цифровым ядром ВО и вычислительным кластером. Будет создана синтезированная база данных, получаемых с наземных телескопов.
01.05.03 Разработка интерфейса для доступа к данным АФИФ из международных астрономических цифровых ресурсов. Создание синтезированной базы данных, получаемых с наземных телескопов. Разработка API для пользовательского интерфейса. Реализация пользовательского интерфейса в виде веб-ресурса. Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет разработан интерфейс для доступа к данным АФИФ по протоколам международных астрономических цифровых ресурсов. Будет получена синтезированная база данных, получаемых с наземных телескопов. Будет разработан протокол взаимодействия с цифровым ядром ВО посредством стандартных форматов сериализации данных. Будет разработан информационный веб-сайт, использующий API для предоставления интерфейса ВО в виде веб-страниц.
01.06 Разработка методов Больших Данных (Big Data) и Добычи Данных (Data mining) для изучения космических объектов Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создан программный комплекс для работы с большими многомерными массивами астрономических данных объектов дальнего космоса
01.06.01 Разработка программного обеспечения анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет создан базовый вариант компьютерного кода запроса и анализа астрономических каталогов. Будет создан базовый вариант кода потоковой астрометрии и фотометрии.
01.06.02 Разработка программного обеспечения анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining. Развитие методов, алгоритмов и инструментов Больших Данных (Big Data) для эффективного анализа астрономических данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет написан программный код запроса и анализа астрономических каталогов. Будет написан программный код потоковой астрометрии и фотометрии. Будет написан программный код анализа данных спектральных наблюдений. Будет написан программный код анализа фотометрии, поиска переменных объектов. Будет составлен алгоритм компьютерного кода для анализа Больших Данных астрономических наблюдений и численного моделирования на вычислительном кластере.
01.06.03 Разработка программного обеспечения анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining. Развитие методов, алгоритмов и инструментов Больших Данных (Big Data) для эффективного анализа астрономических данных Дочернее товарищество с ограниченной ответственностью "Астрофизический институт имени В.Г.Фесенкова" Омаров Чингис Тукенович Будет разработано протестированное и отлаженное программное обеспечение анализа данных наблюдений. Будет разработан компьютерный код для анализа Больших Данных астрономических наблюдений и численного моделирования на вычислительном кластере. Будет разработано руководство пользователя к разработанным ПО, заключительный отчет по задаче.