hive：修改列名后查询结果全部变成null_hive sql修改列名之后值变为null

相关文章推荐
英勇无比的大脸猫 · 【聚焦2020计划】莘莘学子来远方，共建多元 ...· 3 周前 ·
光明磊落的蚂蚁 · 《斗罗大陆》中唐昊的实力如何？· 1 年前 ·
光明磊落的杯子 · 参与什么活动可以有机会获得SNK智能机器人 ...· 1 年前 ·
有腹肌的烤红薯 · 抱歉我拿了女主角的剧本漫画 - 抖音· 1 年前 ·
咆哮的创口贴 · 千里之堤，溃于蚁穴_百度百科· 1 年前 ·
用Hive创建的Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。
ALTER TABLE edw.dim_own_info_snp CHANGE userid user_id bigint COMMENT '用户id'
查询结果： 
0: jdbc:hive2://hadoopcbd008098.ppdgdsl.com:2> select user_id from edw.dim_own_info_snp where dt='2020-12-28' limit 1;
INFO  : Compiling command(queryId=hive_20201229102317_642a58c9-b99b-4002-a6ac-730e141629bc): select user_id from edw.dim_own_info_snp where dt='2020-12-28' limit 1
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:user_id, type:bigint, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20201229102317_642a58c9-b99b-4002-a6ac-730e141629bc); Time taken: 1.168 seconds
INFO  : Concurrency mode is disabled, not creating a lock manager
INFO  : Executing command(queryId=hive_20201229102317_642a58c9-b99b-4002-a6ac-730e141629bc): select user_id from edw.dim_own_info_snp where dt='2020-12-28' limit 1
INFO  : Completed executing command(queryId=hive_20201229102317_642a58c9-b99b-4002-a6ac-730e141629bc); Time taken: 0.001 seconds
INFO  : OK
+----------+
| user_id  |
+----------+
| NULL     |
+----------+
解决方法： 
1.在Hive的当前会话设置parquet.column.index.access=true属性（临时） 
set parquet.column.index.access=true; 
2.修改表的属性 
ALTER TABLE test_parquet SET TBLPROPERTIES ('parquet.column.index.access'='true'); 
https://issues.apache.org/jira/browse/HIVE-6938 
https://cloud.tencent.com/developer/article/1158315
                    用Hive创建的Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。ALTER TABLE edw.dim_own_info_snp CHANGE userid user_id bigint COMMENT '用户id'查询结果：0: jdbc:hive2://hadoopcbd008098.ppdgdsl.com:2&gt; select user_id from edw.dim_own_info_snp where dt='2020-12-28' 
				文章目录一、列转行Explode炸裂函数posexplode()函数Lateral View例子1例子2例子3例子4——多列炸裂 Posexplode例子5二、行转列例子1例子2
一、列转行
行转列：将多个列中的数据在一列中输出
列转行：将某列一行中的数据拆分成多行
Explode炸裂函数
将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）
explode(col)
select explode(arraycol) as newcol from tabl
				mysql导入hive3.1.0中花了两天时间，弄的有点泪崩。
主要问题最新hive模式有些变化，另外hive本身直接导入非常低效，因此只能采用mysql导入hdfs，然后再加载到hive中。
先点击new transformation 生成一个ktr文件。
1 先创建表输入和Hadoop file output，详细如下：
				一、问题点
有一个hive外部表，分区字段是tp和month，新增了几个字段fee_org_id，applied_date_time，pop_coop_mode_type_cd，fee_company后，insert overwrite重跑分区数据，
SELECT * FROM app.app_yhzz_pop_bill_indicator_result WHERE tp = 'yt' AND month = '2021-04'
用hive引擎查询如下，新增的几个字段是null
而用prest
Parquet表的Spark SQL索引
包允许为Parquet表创建索引（作为和），以减少在Spark SQL中用于几乎交互式分析或点查询时的查询延迟。 它设计用于表不经常更改但经常用于查询的用例，例如使用Thrift JDBC / ODBC服务器。 建立索引后，架构和文件列表（包括分区）将自动从索引元存储中解析，而不是每次创建数据源时都推断架构。
 项目是实验性的。 欢迎任何反馈，问题或PR。
 文档反映了master分支中的更改，有关特定版本的文档，请选择相应的版本标签或分支。
Metastore保留有关所有索引表的信息，并且可以在本地文件系统或HDFS（请参阅下面的可用选项）上创建，并支持索引的内存中高速缓存（第一次扫描后）。 每个创建的索引都包括不同的统计信息（最小/最大/空），以及可选的是，对索引列的列过滤器统计信息（例如，bloom过滤器）。
支持的谓词
当提供的谓词包含一个或多个带索引列的过滤器时，将自动启用索引进行扫描。 如果没有在索引列上提供过滤器，则使用常规扫描，但具有已解决的分区和架构的优势。 分区修剪后会应用最小值/最大值统计信
spark项目，需要在写入表后，连接impala执行invalidate。需要用到hive驱动org.apache.hive.jdbc.HiveDriver 。
但是在引入hive-jdbc后，spark程序启动时报错，原因是spark-sql的包与hive-jdbc中的包冲突了。
指定排除hive-jdbc中无用的jar包。如果你只需要hive-jdbc包，可直接排除hive-jdbc依赖的所有包：
    <dependency>
        <grou.
				select *,row_number() over(partition by a order by b is not null desc,c is not null desc, d is not null desc) from test.zixuan_test;
select *,row_number() over(partition by a order by b desc,c desc, d desc) from test.zixuan_test;
无法解决 org.apache.hive:hive-exec:2.3.7 的问题可能有以下几种原因：
1. 版本不兼容：可能当前项目使用的其他依赖库与 org.apache.hive:hive-exec:2.3.7 的版本不兼容。检查一下你使用的所有依赖库，并确保它们与 Hive 的版本兼容。尝试使用与 Hive 相对应的依赖库版本或者升级 Hive 到与你的依赖库版本兼容的版本。
2. 依赖库配置错误：可能在你的项目配置文件（如 pom.xml 或 build.gradle）中没有正确引入 org.apache.hive:hive-exec:2.3.7 依赖库。检查一下你的配置文件，并确保已经正确引入了 Hive 的相关依赖库。如果配置文件中没有该依赖库，尝试添加它到你的配置文件中。
3. 仓库访问问题：如果你使用的依赖库存储在远程仓库中，可能出现了无法访问该仓库的问题。检查一下你的网络连接，并确保可以正常访问依赖库所在的仓库。如果访问受限制，可以尝试使用代理服务器或者更改依赖库的存储位置，例如将其下载到本地并通过本地路径引用。
4. Maven/Gradle 配置问题：如果你使用的是 Maven 或 Gradle 进行构建项目，可能出现了配置问题。检查一下你的构建工具的配置文件，确保已正确设置了仓库地址、依赖库的坐标和版本等信息。如果配置错误，尝试重新配置或参考官方文档以获取正确的配置。
如果以上方法都无法解决 org.apache.hive:hive-exec:2.3.7 的问题，可能需要进一步排查具体错误信息或查找其他人是否遇到了相似的问题。  
### 回答2：
无法解析 org.apache.hive:hive-exec:2.3.7 的原因有多种可能。以下是一些常见的解决方法：
1. 检查是否将正确的 Maven 仓库添加到项目的配置文件中。您可以在项目的pom.xml文件中添加 Hive 依赖项。确保将 Maven 中央仓库添加到配置文件中，以便从中央仓库下载依赖项。
2. 检查网络连接是否正常。如果您的网络连接存在问题，可能无法连接到依赖项所在的 Maven 仓库。确保您的网络连接正常，然后尝试重新构建项目。
3. 检查您正在使用的 Maven 版本是否与项目中指定的依赖项版本不兼容。尝试更新 Maven 版本，并确保使用的 Maven 版本与项目中的依赖项版本兼容。
4. 如果您正在使用的是私有 Maven 仓库，请确保正确配置了仓库的 URL 和凭据信息。有时候，无法解析依赖项是由于未正确配置私有仓库的原因导致的。
5. 检查您本地的 Maven 仓库是否已正确下载和缓存所需依赖项。如果 Maven 仓库中缺少所需的 Hive 依赖项，那么将无法解析该依赖项。您可以尝试删除本地 Maven 仓库中与 Hive 相关的文件，然后重新构建项目以重新下载依赖项。
如果上述方法都无法解决问题，您可能需要进一步检查您的项目配置和环境设置。您还可以搜索相关错误信息和日志，以获得更多关于无法解析依赖项的原因和解决方法的信息。  
### 回答3：
无法解析org.apache.hive:hive-exec:2.3.7的问题可能涉及以下几个方面：
1. 依赖库未添加或版本不正确：检查项目的依赖配置文件中是否添加了org.apache.hive:hive-exec:2.3.7的依赖，如果已添加，请确认版本是否正确。可以尝试通过更新或更换依赖版本来解决问题。
2. 仓库地址或网络连接问题：检查项目的仓库地址是否配置正确，并确认网络连接正常。如果仓库地址无误且网络正常，可能是由于仓库服务器问题导致无法解析依赖库。可以尝试更换其他仓库地址或稍后再次尝试解析。
3. 代理配置问题：如果项目处于代理环境中，需要确保代理配置正确。检查maven的settings.xml文件中的代理配置是否正确，并确认代理服务器的可用性。
4. 本地maven仓库损坏：如果本地maven仓库损坏或缺少相应的依赖库，也可能导致无法解析依赖。可以尝试清理本地maven仓库，并重新下载依赖库。
总之，无法解析org.apache.hive:hive-exec:2.3.7的问题通常是由于依赖配置问题、仓库地址或网络连接问题、代理配置问题、本地maven仓库损坏等原因引起的。根据具体情况逐一排查并解决相应问题，可以解决这个问题。