Перейти к содержанию

Переменные используемые для настройки AW BI

Переменная Описание Настраивает сервис Значение
по умолчанию
SERVER_TIMEZONE Таймзона сервера etl-api, etl-stats, etl-airflow Europe/Moscow
AW_FRONTEND_HTTP_PORT Внешний порт frontend 80
BACKEND_URL Адрес по которому доступен backend backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, etl-api, etl-stats, auth-bridge, data-master, sender, file-builder http://frontend/api
FRONTEND_URL URL-адрес системы (должен совпадать с адресом указанным в лицензии) backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder http://localhost
FRONTEND_BASE_HREF Относительный путь, на котором развернута система frontend, backend, puppeteer '/'
YII_DEBUG Включить режим отладки backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket flase
YII_ENV Среда выполения backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket prod
GII_ENABLE Подключение GII backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket false
AW_WIDGET_QUERY_TIMEOUT Максимальное время выполнения запроса в clickhouse backend, widget-export. model-sync 30
AW_CLICK_DATE Дата является датой, а не строкой (для live-подключений) backend, create-cache-dir, widget-export, model-sync false
BACKEND_SESSION_EXPIRED_TIME Время истечения действия токена backend 86400
CLICK_TIMEOUT Таймаут соединения с сервером clickhouse backend, widget-export, model-changes, mode-sync, create-cache-dir 36000
INTERNAL_API_TOKEN Токен авторизации для внутренних коммуникаций системы backend 1
TRIAL_USER_ACTIVE_DAY_COUNT Количество активных дней в системе для триального пользователя backend 14
TRIAL_CLEAR_DATA_DAY_COUNT Количество дней до очистки данных триального пользователя в системе, после истечения активных дней backend 7
TRIAL_USER_MODEL_COUNT Максимальное количество моделей, которое может создать триальный пользователь backend 5
TRIAL_USER_FILE_DATA_SOURCE_COUNT Максимальное количество файловых источников, которое может создать триальный пользователь backend 20
TRIAL_FILE_DATA_SOURCE_SIZE Максимальный размер файловых источников для триального пользователя backend 50
TRIAL_MODEL_SIZE Максимальный размер(в мегабайтах) модели для триального пользователя backend, etl-pusher, etl-airflow 0
TRIAL_USER_SHARE Может ли триальный пользователь делиться объектами backend false
CAN_SHARE_PUBLIC_LINKS_FOR_TRIAL_USERS Может ли триальный пользователь создавать публичные ссылки backend true
AW_SWAGGER_PORT_EXPORTED Порт, по которому доступен swagger swagger 85
MAIL_DEBUG Включить режим отладки почты, при этом все письма записываются в файлы в папке @runtime/mail backend, sender false
BACKEND_REDIS_HOST Хост для редиса backend etl-broker
BACKEND_REDIS_PORT Порт для редиса backend 6379
BACKEND_REDIS_DATABASE База для редиса. etl использует базы 0 и 2, их использовать нельзя backend 1
BACKEND_REDIS_CONNECTION_TIMEOUT Параметр для connectionTimeout в Redis. Измеряется в секундах. backend 5
BACKEND_REDIS_DATA_TIMEOUT Параметр для dataTimeout в Redis. Измеряется в секундах backend 5
BACKEND_LIVE_WIDGET_DATA_CACHE_DURATION Время жизни кеширования данных виджета, построенных на live-модели. Измеряется в секундах. backend 3600
DB_USERNAME Имя пользователя БД backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket analytic
DB_PASSWORD Пароль пользователя БД backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket, pgbouncer enter4z
DB_NAME Имя базы данных pgbouncer workspace
DB_PORT_EXPORTED Внешний порт db 0
DB_DSN Строка подключения для сервисов backend backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket pgsql:host=pgbouncer;port=6432;dbname=workspace
PGB_POSTGRESQL_HOST Адрес, по которому доступен postgres pgbouncer db
PGB_POSTGRESQL_PORT Порт, по которому доступен postgres pgbouncer 5432
PGB_POOL_MODE pgbouncer transaction
PGB_MAX_CLIENT_CONN Максимальное количество клиентов pgbouncer 1100
PGB_MAX_DB_CONNECTIONS Максимальное количество соединений pgbouncer 300
PGB_DEFAULT_POOL_SIZE Максимальное количество соединений, для связки user/db pgbponcer 50
PGB_PORT_EXPORTED Внешний порт pgbouncer 6432
CLICK_HOST Адрес, по которому доступен clickhouse-server backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master clickhouse-server
CLICK_PORT HTTP-порт, по которому доступен clickhouse-server backend, widget-export, model-cahges, model-sync, create-cache-dir 8123
CLICK_TCP_PORT TCP-порт, по которому доступен clickhouse-server backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master 9000
CLICK_MYSQL_PORT Порт, для взаимодействия по протоколу MySQL backend, widget-export, model-cahges, model-sync, create-cache-dir 9004
CLICK_POSTGRESQL_PORT Порт, для взаимодействия по протоколу Postgres backend, widget-export, model-cahges, model-sync, create-cache-dir 9005
CLICK_DB Наименование базы данных backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master default
CLICK_USER Имя пользователя backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master default
CLICK_PASS Пароль пользователя backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master enter4z
CLICK_SSL Использовать SSL при подключении backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master false
CLICK_ISCLUSTER Флаг кластерного режима. Возможные значения: NO/YES backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher NO
CLICK_CLUSTER Наименование кластера backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher cluster
CLICK_HOSTS Список адресов, по которым доступны сервера clickhouse. Только если CLICK_ISCLUSTER=true etl-pusher
AW_CLICKHOUSE_HTTP_PORT_EXPORTED Внешний HTTP-порт clickhouse-server 0
AW_CLICKHOUSE_TCP_PORT_EXPORTED Внешний TCP-порт clickhouse-server 0
AW_CLICKHOUSE_REPLICATION_PORT_EXPORTED Внешний порт для репликаций clickhouse-server 0
AW_CLICKHOUSE_METRICS_PORT_EXPORTED Внешний порт для метрик clickhouse-server 0
AW_CLICKHOUSE_MYSQL_PORT_EXPORTED Внешний порт для взаимодействия по протоколу MySQL clickhouse-server 0
AW_CLICKHOUSE_POSTGRESQL_PORT_EXPORTED Внешний порт для взаимодействия по протоколу PostgreSQL clickhouse-server 0
JAVA_PULLER_HOST Адрес, по которому доступен java-puller backend, model-sync, etl-api, etl-data-preview, etl-tasks, etl-stats java-puller
JAVA_PULLER_PORT Порт, по которому доступен java-puller backend, model-sync, etl-api, etl-data-preview, etl-tasks, etl-stats 8081
JAVA_PULLER_PORT_EXPORTED Внешний порт java-puller java-puller 8081
JAVA_PULLER_OPTIONS Настройки JVM для java-puller java-puller -Xms256m -Xmx4g -XX:+PrintFlagsFinal
AW_FILE_PULLER_URL Адрес, по которому доступен file-puller backend, etl-api, etl-data-preview, etl-tasks, etl-stats http://file-puller
AW_FILE_PULLER_WEB_CONCURRENCY file-puller 1
AW_FILE_PULLER_WORKER_CONCURRENCY file-puller 4
AW_FILE_PULLER_LOG_LEVEL Уровень журналирования событий file-puller INFO
AW_FILE_PULLER_PORT_EXPORTED Внешний порт file-puller 0
AW_ODATA_PULLER_URL Адрес, по которому доступен odata-puller backend, etl-api, etl-data-preview, etl-tasks, etl-stats http://odata-puller
AW_ODATA_PULLER_PORT_EXPORTED Внешний порт odata-puller 0
AW_ODATA_PULLER_LOG_LEVEL Уровень журналирования событий odata-puller INFO
AW_ODATA_PULLER_S3_URL Путь (url+auth) к бакету, в который odata-пуллер будет хранить свои артефакты odata-puller http://minio_user:minio_access_pass@minio:9000/aw-odata
AW_ODATA_METADATA_TTL Время кеширования метаданных odata-puller 3600
ETL_S3_URL Путь (url+auth) к бакету, через который пуллер будет обмениваться с ETL parquet-файлами при синхронизации модели java-puller, odata-puller, etl-pusher http://minio_user:minio_access_pass@minio:9000/aw-etl
CLICK_PARSER_HOST Адрес, по которому доступен clickhouse-parser backend, widget-export, model-sync, create-cache-dir clickhouse-parser
CLICK_PARSER_PORT Порт, по которому доступен clickhouse-parser backend, widget-export, model-sync, create-cache-dir 8082
CLICK_PARSER_TIMEOUT Таймаут соединения с сервисом clickhouse-parser backend, widget-export, model-sync 15
CLICK_PARSER_OPTIONS Настройки JVM для clickhouse-parser clickhouse-parser -Xms256m -Xmx2048m
ETL_MODEL_STORAGE_S3_URL URL+auth к S3 бакету, в котором хранятся артефакты моделей etl-airflow, etl-api, etl-data-preview, etl-tasks, etl-stats http://minio_user:minio_access_pass@minio:9000/aw-etl
ETL_PULLER_TIMEOUT Таймаут на обращение к пуллеру (в секундах) etl-airflow, etl-data-preview
ETL_BROKER_URL Адрес брокера ETL etl-api, etl-data-preview, etl-stats, etl-airflow redis://etl-broker:6379/0
ETL_EXTRA_PYWHEELS Путь к хостовой папке, в которой располагаются дополнительно устанавливаемые py-библиотеки etl-airflow, etl-data-preview
ETL_EXTRA_PYLIBS_INSTALL Перечисление дополнительно устанавливаемых py-библиотек etl-airflow, etl-data-preview
ETL_EXTRA_PYLIBS_ALLOW Перечисление библиотек, импорт которых разрешен в etl-скриптах etl-airflow, etl-data-preview
ETL_EXTRA_PYBUILTINS_ALLOW Перечисление дополнительных стандартных функций, которые можно использовать в etl-скриптах etl-airflow, etl-data-preview
ETL_SYNC_SERVER_HOST Адрес, по которому доступен etl-api backend, data-master etl-api
ETL_SYNC_SERVER_PORT Порт, по которому доступен etl-api backend, data-master 80
AW_ETL_API_PORT_EXPORTED Внешний порт etl-api etl-api 0
ETL_XSQL_QUERY_TIMEOUT Таймаут на операцию выполнения SQL запроса над файлами etl-api
ETL_API_URL URL для etl-api auth-bridge http://etl-api
ETL_API_WORKERS Количество web-воркеров для etl-api etl-api 1
ETL_API_START_PREVIEW_TIMEOUT Таймаут взятие в работу rpc-задач etl-data-preview в секундах etl-api 10
ETL_AIRFLOW_HOST URL Airflow Webserver auth-bridge http://etl-airflow-webserver:8080
ETL_AIRFLOW_API_URL URL Airflow Webserver API etl-api, etl-tasks http://etl-airflow-webserver:8080/airflow/
ETL_AIRFLOW_USER Логин пользователя-администратора Airflow etl-airflow, etl-api, etl-tasks, etl-stats, auth-bridge admin
ETL_AIRFLOW_PASSWORD Пароль пользователя-администратора Airflow etl-airflow, etl-api, etl-tasks, etl-stats, auth-bridge 1
ETL_AIRFLOW_AW_USER Логин служебного пользователя Airflow etl-airflow, auth-bridge aw
ETL_AIRFLOW_AW_PASSWORD Пароль служебного пользователя Airflow etl-airflow, auth-bridge 1
ETL_AIRFLOW_LOG_LEVEL Уровень журналирования Airflow etl-airflow INFO
ETL_AIRFLOW_PARALLELISM Максимальное количество одновременно выполняемых задач во всех активных DAG etl-airflow 32
ETL_AIRFLOW_MAX_ACTIVE_TASKS_PER_DAG Максимальное количество одновременно выполняемых задач внутри одного DAG etl-airflow 16
ETL_AIRFLOW_TRIGGER_DAG_TIMEOUT Время ожидания запуска DAG'а Airflow (в секундах) etl-airflow 60
ETL_AIRFLOW_DB_CONNECTION Строка подключения к БД Airflow etl-airflow postgresql+psycopg2://airflow:airflow@etl-airflow-db:5432/airflow
AW_ETL_AIRFLOW_WEB_PORT_EXPORTED Внешний порт Airflow Webserver etl-airflow 0
ETL_AIRFLOW_WORKERS Количество воркеров для Airflow etl-airflow 16
ETL_AIRFLOW_WORKERS_AUTOSCALE Автоматическое маштабирование воркеров от min до max etl-airflow
ETL_AIRFLOW_WEBSERBER_WORKERS Количество воркеров для web-сервера Airflow, в т.ч. для API etl-airflow 4
ETL_AIRFLOW_SCHEDULER_LOG_LEVEL Уровень журналирования событий у Airflow Scheduler etl-airflow ERROR
ETL_AIRFLOW_SCHEDULER_PARSING_PROCESSES # Количество процессов, которые используюся для парсинга DAG etl-airflow 2
ETL_SPARK_MASTER_URL Адрес, по которому доступен spark etl-api spark://etl-spark:7077
ETL_SPARK_WEB_URL Адрес, по которому доступен UI spark auth-bridge http://etl-spark:8080
ETL_SPARK_EXECUTOR_MEMORY Максимальное количество памяти, потребляемое каждым исполнителем Spark etl-airflow 4G
AW_ETL_SPARK_MASTER_PORT_EXPORTED Внешний порт Spark мастера etl-spark 0
ETL_SPARK_MAX_CORES Максимальное количество ядер, выделяемое на синхронизацию одной модели etl-airflow
ETL_LOGGING_LEVEL etl-api, etl-data-preview, etl-stats INFO
ETL_STATS_RUN_WINDOW ВременнОе окно для запуска статистики etl-stats
ETL_STATS_DEFAULT_DATASOURCE_QUOTA Дефолтное значение etl-stats
ETL_STATS_WORKERS Количество воркеров для обработки stats-задач etl-stats 2
ETL_STATS_MAX_WORKER_THREADS Сколько максимально тредов можно запускать в одно и то же время. Каждый тред используется для обработки статистики одного источника из модели etl-stats 2
ETL_STATS_REDIS_DB_URL URL базы в etl-broker etl-stats redis://etl-broker:6379/2
ETL_STATS_TASKS_BROKER_URL etl-stats redis://etl-broker:6379/3
ETL_STATS_S3_URL URL до бакета (вместе с auth), где статистика будет хранить свои артефакты etl-airflow, etl-api, etl-data-preview, etl-tasks, etl-stats http://minio_user:minio_access_pass@minio:9000/aw-etl
ETL_BLOCKS_REPOSITORY URL к репозиторию ETL-блоков, устанавливаемых в систему дополнительно к основным блокам etl-tasks
ETL_DATA_PREVIEW_SPARK_CORES Количество ядер, которое выделяется на задачи предпросмотра etl-data-preview
ETL_DATA_PREVIEW_SPARK_MEMORY Количество памяти, которое выделяется на задачи предпросмотра etl-data-preview
ETL_DATA_PREVIEW_WORKERS Количество web-воркеров etl-data-preview
ETL_DATA_PREVIEW_MAX_REQUESTS Количество запросов, после которых нужно перегружать воркер etl-data-preview 1000
ETL_DATA_PREVIEW_MAX_TASK_DURATION Макс. время на выполнение задачи в etl-data-preview в секундах etl-data-preview 900
ETL_DATA_PREVIEW_WARMUP_SPARK_SESSION Выполнять ли прогрев Spark-сессии при старте воркера etl-data-preview
ETL_KEEP_FILES_DAYS Через столько дней будут удаляться неиспользуемые файлы в папке запуска etl etl-tasks, etl-stats
ETL_KEEP_DAGS_DAYS Через столько дней будут удаляться неиспользуемые модели etl-tasks, etl-stats
ETL_TASKS_LOG_LEVEL Уровень журналировани для сервиса ETL_TASKS etl-tasks
AW_DATA_MASTER_WORKERS Количество web-воркеров data-master 2
AW_DATA_MASTER_EXPORT_MODEL_DATA Управляет возможностью выгрузки данных моделей data_master ALLOW
AUTH_BRIDGE_LOGGING_LEVEL Уровень журналирования auth-bridge INFO
AUTH_BRIDGE_DEBUG Включить отладочный режим. В отладочном режиме реальных запросов аутентификации в backend не происходит. Настоятельно не рекомендуется включать на продуктовой установке! auth-bridge false
AUTH_BRIDGE_SECRET JWT secret, используемый для генерации токенов доступа к внутренним ресурсам auth-bridge, data-master a7f67106d9234324b3a28cb618e78fc0
ML_FLOW_S3_ENDPOINT_URL etl-mlflow
ML_FLOW_PORT_EXPORTED Внешний порт ml-flow etl-mlflow
ETL_MLFLOW_WORKERS Количество воркеров etl-mlflow 4
ETL_MLFLOW_URL URL-адрес, по которому доступен mlflow etl-airflow, etl-spark, etl-data-preview, auth-bridge, data-master http://etl-mlflow
AW_WIDGET_EXPORT_MAX_FILE_SIZE Максимальный размер экспортируемого файла backend 8GiB
AW_WIDGET_EXPORT_SCALE Количество реплик сервиса widget-export widget-export 4
MODEL_SYNC_COUNT Максимальное количество таблиц в clickhouse, для синхронизируемых моделей etl-pusher 2
AW_MODEL_SYNC_SCALE Количество реплик сервиса model-sync model-sync 4
AW_MODEL_CACHE_DIR_SCALE Количество реплик сервиса create-cache-dir create-cache-dir 4
MEMCACHED_HOST Адрес, по которому доступен memcached backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, websocket memcached
MEMCACHED_PORT Порт, по которому доступен memcached backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, websocket 11211
AW_MEMCACHED_PORT_EXPORTED Внешний порт memcached memcached 0
RABBIT_HOST Адрес, по которому доступен rabbitmq backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api rabbitmq
RABBIT_PORT Порт, по которому доступен rabbitmq backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api 5672
RABBIT_USER Имя пользователя для подключения к RabbitMQ backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api guest
RABBIT_PASS Пароль пользователя для подключения к RabbitMQ backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api guest
AW_RABBIT_PORT_EXPORTED Внешний порт RabbitMQ rabbitmq 0
AW_RABBIT_UI_PORT_EXPORTED Внешний порт для UI RabbitMQ rabbitmq 0
MODEL_SYNC_QUEUE Имя очереди синхронизации моделей backend, model_sync etl_model_sync
CREATE_CACHE_DIR_QUEUE Создание кеш директорий backend, model-sync, create-cache-dir create_cache_dir
MODEL_CHANGES_QUEUE Изменения структуры модели backend, model-cachenges, etl-api etl_model_changes
MESSAGE_SENDER_QUEUE Отправка email сообщения backend, widget-export, sender, file-builder message-sender
FILE_BUILDER_QUEUE Создание файла file-builder, sender file-builder
MINIO_CONTAINER Адрес, по которому доступен minio backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder minio
MINIO_PORT_S3 Порт, по которому доступен minio извне minio 8181
MINIO_PORT_WEB Порт, по которому доступен UI minio minio 8182
MINIO_USERNAME Имя пользователя для доступа к S3 backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder minio_user
MINIO_PASSWORD Пароль пользователя для доступа к S3 backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder minio_access_pass
MINIO_BUCKET Наименование bucket'а для backend backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, sender, file-builder aw-bucket
AW_S3_URL URL к S3-хранилищу в AW (без указания бакета) file-puller http://minio_user:minio_access_pass@minio:9000
AW_FILE_STORAGE_DIR Директории файлов backend, widget_export, clear-storage, model-sync, create-cache-dir, websocket, etl-api, etl-tasks, java-puller, file-puller ../file_storage
AW_MINIO_DIR Директория для хранения файлов minio minio ./../file_storage/minio
AW_DB_POSTGRES_DIR Директория для хранения файлов db (PostgreSQL) db ../db/postgres
AW_DB_CLICKHOUSE_DIR Директория для хранения файлов ClicKHouse clickhouse-server ../db/clickhouse
AW_DB_RABBITMQ_DIR Директория для хранения файлов RabbitMQ rabbitmq ../db/rabbitmq
AW_DB_ETL_REDIS_DIR Директория для хранения файлов Redis etl-broker ../db/etl_broker
AW_DB_AIRFLOW_POSTGRES_DIR Директория для хранения файлов БД Airflow etl-airflow-db ../db/airflow
AW_LOGS_RABBITMQ_DIR rabbitmq ../logs/rabbitmq
AW_LOGS_AIRFLOW_DIR etl-airflow ../logs/airflow