Spark сессия

Точкой входа в программирование Spark с помощью API Dataframe является специальный объект сессии SparkSession.

В Analytic Workspace сессия Spark создается внутри платформы и доставляется в код ETL скриптов/блоков в параметрах функций.

В etl-скриптах объект сессии передается в параметре spark функций [after_load] и [after_all]:

def after_load_transactions(df, spark, app):
    ...


def after_all(df, spark, app):
    ...

В etl-блоках объект сессии передается атрибутом параметра app.spark:

def block_schema(app):
    """ """
    # объект SparkSession доступ через app.spark


def block_data(app):
    """ """
    # объект SparkSession доступ через app.spark