1、
spark项目 + 外部配置文件【最优，如CDH平台，配置改变，无需重新编译、打包】
2、
spark项目（resources目录下存放
hive-site.xml）【次之，如果配置变动需要更新配置文件，重新编译打包】
3、
spark项目（在代码中写死配置选项）【最差，涉及配置修改后，需要对代码修改，然后重新编译打包】
在本地调试运行spark程序时,报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf,这个错误就是程序在运行时找不到类
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
at cn.jin.spark.JavaLambdaWordCount.main(JavaLam
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'doris'
打包时需要将多个构件中的class文件或资源文件聚合。资源的聚合需要shade插件提供了丰富的Transformer工具类。
在spark中遇到Exception in thread “main” org.apache.spark.sql.，这往往是所选取 'pibid'字段不存在，或者名字写错了。所以要查该字段！！！
Exception in thread “main” org.apache.spark.sql.AnalysisException: cannot resolve ‘pibid’ given input columns: [spark_catalog.lg_edu_warehouse.dwd_t_baseexamh
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
Exception in thread "main"
org.
apache.
spark.
sql.catalyst.
analysis.NoSuchDatabase
Exception:
Table or
view 'emp' not found in database 'default';
在使用flinkTableAPI开发的时候，执行SQL，使用insert overwrite时，提示DynamicTableSink of table 'default_catalog.default_database.xx' implements the SupportsOverwrite interface.
这时我们需要在pom.xml文件中添加如下依赖，就可以解决：
<dependency>
<groupId>org.apache.flink</grou
这个是报错信息
Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint to int.
The type path of the target object is:
- field (class: "scala.Int", name: "age")
Exception in thread "main" org.apache.spark.sql.AnalysisE
1.
Spark和
Hive版本不兼容。请确保
Spark和
Hive的版本匹配。
2. 缺少必要的
Hive依赖项。请检查您的
Spark配置，确保所有必要的
Hive依赖项都已正确设置。
3. 您的
Spark配置中可能存在错误。请检查您的
Spark配置文件，确保所有配置都正确设置。
4. 您的
Hive元
数据存储可能已损坏。请尝试重新创建
Hive元
数据存储并重新启动
Hive服务。
如果您无法解决此问题，请提供更多详细信息，以便我们更好地帮助您解决问题。
