spark参数配置说明

发表于 2019-10-18 分类于 python ， spark

spark配置修改方式

Spark有以下三种方式修改配置：

Spark properties （Spark属性）

可以控制绝大多数应用程序参数，而且既可以通过 SparkConf 对象来设置，也可以通过Java系统属性来设置。
Environment variables （环境变量）

可以指定一些各个机器相关的设置，如IP地址，其设置方法是写在每台机器上的conf/spark-env.sh中。
Logging （日志）

可以通过log4j.properties配置日志。