皮皮网

1.为什么sparkSQL
2.Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
3.tez和spark区别

为什么sparkSQL

       Shark和sparkSQL 但是，随着Spark的发展，其中sparkSQL作为Spark生态的一员继续发展，而不再受限于hive，只是兼容hive；而hive on spark是一个hive的发展计划，该计划将spark作为hive的底层引擎之一，也就是说，hive将不再受限于一个引擎，可以采用map-reduce、Tez、spark等引擎。

       ã€€ã€€Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业（辅以内存列式存储等各种和Hive关系不大的优化）；同时还依赖Hive Metastore和Hive SerDe（用于兼容现有的各种Hive存储格式）。这一策略导致了两个问题，第一是执行计划优化完全依赖于Hive，不方便添加新的优化策略；二是因为MR是进程级并行，写代码的时候不是很注意线程安全问题，导致Shark不得不使用另外一套独立维护的打了补丁的Hive源码分支（至于为何相关修改没有合并到Hive主线，我也不太清楚）。

       ã€€ã€€æ­¤å¤–，除了兼容HQL、加速现有Hive数据的查询分析以外，Spark SQL还支持直接对原生RDD对象进行关系查询。同时，除了HQL以外，Spark SQL还内建了一个精简的SQL parser，以及一套Scala DSL。也就是说，如果只是使用Spark SQL内建的SQL方言或Scala DSL对原生RDD对象进行关系查询，用户在开发Spark应用时完全不需要依赖Hive的任何东西。

Hadoop3.3.5集成Hive4+Tez-0..2+iceberg踩坑过程

       在集成Hadoop 3.3.5、码解Hive 4、码解Tez 0..2以及Iceberg 1.3的码解过程中，我们面对了诸多挑战，码解并在多方寻找资料与测试后成功完成集成。码解以下为集成步骤的码解圈币兔源码详细说明。

       首先，码解确保Hadoop版本为3.3.5，码解这是码解Hive运行的前置需求。紧接着，码解安装Tez作为计算引擎。码解由于Tez 0..2的码解依赖版本为3.3.1，与当前的码解Hadoop版本不符，因此，码解我们需手动编译Tez以避免执行SELECT操作时出现的码解聚神铺源码错误。编译前，下载官方发布的Tez源码（release-0..2），并解压以获取编译所需文件。编译过程中，注意更新pom.xml文件中的Hadoop版本号至3.3.5，同时配置protoc.path为解压后的protoc.exe路径，并添加Maven仓库源。物流运输源码确保只编译tez-0..2-minimal.tar.gz，避免不必要的编译耗时。完成后，将编译好的文件上传至HDFS，并在主节点hadoop配置目录下新增tez-site.xml，同步配置至所有节点后重启集群。

       Hive作为基于Hadoop的火狐源码注释数据仓库工具，提供SQL查询和数据分析能力，新版本Hive 4集成了Iceberg 1.3，无需额外配置。本次集成步骤包括下载、解压、配置环境变量及初始化元数据。下载最新的觅风源码Hive 4.0.0-beta-1版本，解压并配置环境变量，删除指定jar文件以避免提示错误。修改配置文件以设置Hive环境变量，并确保连接信息正确。初始化Hive元数据后，可以使用hive执行文件启动Hive服务。编写hive_management.sh脚本以实现Hive服务的管理。

       通过beeline命令进行连接，执行创建数据库和表的SQL语句，使用Hive进行数据插入和查询。值得注意的是，Hive 4.0.0-beta-1已集成Iceberg 1.3，因此无需额外加载jar包，只需将计算引擎设置为Tez。若需更新Iceberg版本，需下载Hive源码，修改依赖并编译特定包。

       为了创建Iceberg分区表，使用熟悉的Hive命令语法，例如创建分区表时使用STORED BY ICEBERG。分区规范的语法也与Spark相似，可在HMS中获取Iceberg分区详细信息，并执行相应的数据转换操作。参考文档提供了从安装至配置的详细指导，确保了集成过程的顺利进行。

tez和spark区别

       tez的优势spark都有，并且tez其实缓冲优势并不大。而spark的缓冲效果更明显，而且可以快速返回。例如：你查3万条数据，tez是要全部查询然后再返回的，而sparksql取到3万条其他就不算了（效果看起来是这样子，具体没看源码实现；md hive-on-spark还是会全部跑）。

        tez任务缓冲不能共享，spark更加细化，可以有process级别缓冲（就是用上次计算过的结果，加载过的缓冲）！例如，你查数据记录同时又要返回count，这时有些操作是prcess_local级别的，这个tez是不能比的！

        spark的日志UI看起来更便捷，呵呵