Общие сведения¶
Форма распространения¶
Продукт AW состоит из множества взаимодейcтвующих сервисов. Форма распространения docker-образы и docker-compose файлы. AW рассчитан на функционирование в окружении ОС Linux.
Как скачать нужную версию продукта¶
- Перейти в личный кабинет по ссылке
- Ввести логин и пароль, которые были выданы при заключении договора
- Перейти на вкладку "Дистрибутив" и нажать на кнопку "Скачать дистрибутив" напротив нужной версии
Комплект поставки¶
AW распространяется в виде архива в двух вариантах:
- release-1.32.tar - комплект для автономной установки в "закрытом" контуре, т.е. в окружении без доступа в сеть интернет и хранилищу образов registry.analyticworkspace.ru;
- release-1.32_inet.tar - комплект для установки в окружении с доступом в интернет.
Комплект поставки для установки в окружение с доступом в интернет¶
Архив для установки с доступом в интернет содержит:
- docker - директория с конфигурационными файлами для различных сервисов,
- images - директория, не используется,
- update.sh - файл, скрипт с командами перезапуска AW и с инструкциями для выполнения миграций БД,
- .env.dist - файл, пример конфигурации AW, содержит переменные для настройки AW,
- create_project_dirs.sh - файл, скрипт с инструкциями по созданию структуры каталогов для хранения данных в процессе работы приложения,
- docker-compose.yml - файл, конфигурация docker-compose для запуска сервисов AW
- docker-compose.prod.yml - файл, конфигурация docker-compose для запуска сервисов AW со списком используемых образов.
Комплект поставки для автономной установки¶
Архив для автономной установки содержит:
- docker - директория с конфигурационными файлами для различных сервисов,
- aw-docker-images.tar.xz - архив с docker образами сервисов, входящих в состав AW,
- install.sh - файл, содержит инструкции для распаковки docker образов,
- update.sh - файл, скрипт с командами перезапуска AW и с инструкциями для выполнения миграций БД,
- .env.dist - файл, пример конфигурации AW, содержит переменные для настройки AW,
- create_project_dirs.sh - файл, скрипт с инструкциями по созданию структуры каталогов для хранения данных в процессе работы приложения,
- docker-compose.yml - файл, конфигурация docker-compose для запуска сервисов AW
- docker-compose.prod.yml - файл, конфигурация docker-compose для запуска сервисов AW со списком используемых образов.
Сервисы входящие в состав продукта:¶
- frontend - UI-интерфейс пользователя (javascript приложение)
- backend - серверная часть приложения, необходимая для функционирования работы системы
- widget-export - выгрузка данных виджетов в различные форматы (csv, xlsx и др.)
- model-changes - обработка изменений в структуре модели, если они имеются
- model-sync - пост-обработка синхронизаций модели
- websocket - отправка уведомлений пользователям
- clear-storage - очистка архивных данных
- puppeteer - выполнение скриншотов объектов системы (для отправки на почту или альтернативного отображения списка объектов)
- cron - выполнение фоновых задач по расписанию
- db - основная СУБД, содержащая мета-данные объектов системы
- pgbouncer - пуллер соединений для сервиса db
- clickhouse-server - аналитическая СУБД, которая хранит синхронизированные данные моделей
- rabbitmq - брокер сообщений, используемый для общения между сервисами
- memcached - кеширование различной информации используемой системой
- etl-broker - брокер сообщений, используемый для общения между сервисами ETL
- etl-airflow-db - база данных для Apache Airflow
- etl-airflow - UI и API сервер Apache Airflow
- etl-spark - сервер и воркеры Apache Spark
- etl-api - управление и взаимодействие с Apache Airflow
- etl-data-preview - сервис отображения данных моделей
- java-puller - обработка и извлечение данных из различных СУБД
- odata-puller - обработка и извлечение данных по протоколу ODATA
- file-puller - обработка и извлечение данных из файловых источников
- etl-pusher - загрузка конечных данных модели из parquet-файлов в ClickHouse
- etl-tasks - выполнение фоновых задач etl-сервисов
- etl-stats - получение статистики по моделям, необходимых для оптимизации работы системы
- etl-mlflow - инструменты mlflow
- etl-mlflow-db - бд для инструментов mlflow
- auth-bridge - прозрачная аутентификация между компонентами системы
- data-master - интеграционный сервис для внутренних нужд системы
- minio - s3 совместимое хранилище для хранения данных и их передачи между компонентами системы
- minio-init - инициализация политик (правил доступа) для minio
- diag - сервис диагностики, позволяющий определить доступность и правильность работы сервисов
- clickhouse-parser - сервис трансформации формул виджетов в sql-выражения
- preview - сервис формирования превью изображений объектов системы (для альтернативного отображения списка объектов)
- sender - сервис обработки запросов на формирование и отправку email.