org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns_nkgines's blog的技术博

场景描述

Spark 获取MySQL数据并持久化入 json、parquet文件过程记录分析
解析异常

具体原因待分析

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`id`' given input columns: [
id, name, age, sex];;
'Project ['id, name#1, age#2, sex#3]
+- Relation[
id#0,name#1,age#2,sex#3] JDBCRelation(user)

    at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)

实验数据

DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
  `
id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) COLLATE utf8_unicode_ci DEFAULT '',
  `age` int(11) DEFAULT NULL,
  `sex` varchar(255) COLLATE utf8_unicode_ci DEFAULT '',
  PRIMARY KEY (`
id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

-- ----------------------------
-- Records of user
-- ----------------------------
INSERT INTO `user` VALUES ('1', 'kngines', '19', 'M');
INSERT INTO `user` VALUES ('2', 'li', '21', 'F');
INSERT INTO `user` VALUES ('3', 'wangw', '23', 'F');
INSERT INTO `user` VALUES ('4', 'mazi', '18', 'M');
INSERT INTO `user` VALUES ('6', 'xiaoli', '33', 'M');

select 字段持久化至 parquet 文件中

抛异常，id 解析错误

jdbcDF.select("id","name","age","sex")
      .write
      .format("parquet")
      .save("./out/result/userp")

正确代码

jdbcDF.
    .write
    .format("parquet")
    .save("./out/result/userp")

References

SparkSQLDemo初尝－－SparkSession链接数据库

org.activiti.engine.ActivitiException: src-resolve: Cannot resolve the name 'extension' to a(n) 'ele

问题描述无法将名称 ‘extension’ 解析为 ‘element declaration’ 组件解决办法：项目工作区有中文路径。

org.apache.catalina.core.DefaultInstanceManager cannot be cast to org.apache.tomcat.InstanceManager

HTTP Status 500 - java.lang.ClassCastException: org.apache.catalina.core.DefaultInstanceManager cannot be cast to org.apache.tomcat.InstanceManager原因是tomcat包冲突了Apache Tomcat/7.0.73

Date报错 ios使用new date is not a constructor

因为Springmvc 没法自动把日期类型传入controller层方法的参数中所以需要自定义类型转换器如果是转换成Date类型那么就直接这样写就可以* * 把字符串类型的日期转换为Date类型 public class DateConverter implements Converter<String, Date> { //当接收到字符串时，将字符串转换为Da

mysql mgr 主库 vip mysql mgr 多主

使用mysql5.7.26搭建MGR单主及多主模式（参考链接https://www.jianshu.com/p/ca1af156f656）一、搭建单主 1.1前言： MySQL Group Replication（MGR）是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案，以插件形式提供，实现了分布式下数据的最终一致性，总结MGR特点如下：高一致性：基于分