皮皮网

1.hive1和hive2的区别
2.Hive最终都会转化成什么程序来执行？
3.4 步搞定 Hive 增量更新

hive1和hive2的区别

       1．用户接口：Client

       CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

       2．元数据：Metastore

       å…ƒæ•°æ®åŒ…括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

       é»˜è®¤å­˜å‚¨åœ¨è‡ªå¸¦çš„derby数据库中，推荐使用MySQL存储Metastore

       3．Hadoop

       ä½¿ç”¨HDFS进行存储，使用MapReduce进行计算。

       4．驱动器：Driver

       ï¼ˆ1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

       ï¼ˆ2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

       ï¼ˆ3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

       ï¼ˆ4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

       Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

       äºŒï¼šHive的作用和优势：

       åŸºäºŽHadoop的数据仓库解决方案

       Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为数据库表。

       æä¾›ç±»sql的查询语言HQL(Hive Query Language)

       æ•°æ®ä¸æ”¾åœ¨hive上，放在HDFS上

       ç”±Facebook开源用于解决海量结构化日志的数据统计。

       æ‰§è¡Œç¨‹åºè¿è¡Œåœ¨Yarn上

       ä¼˜åŠ¿ï¼š

       æä¾›äº†ç®€å•çš„优化模型

       HQLç±»sql语法，简化MR开发

       æ”¯æŒåœ¨HDFS和HBase上临时查询数据

       æ”¯æŒç”¨æˆ·è‡ªå®šä¹‰å‡½æ•°ï¼Œæ ¼å¼

       æˆç†ŸJDBC和ODBC驱动程序，用于ETL和BI

       ç¨³å®šå¯é çš„批处理

       æ”¯æŒåœ¨ä¸åŒè®¡ç®—框架运行

       ç¼ºç‚¹ï¼š

       Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合

       è¿­ä»£å¼ç®—法无法表达

       æ•°æ®æŒ–掘方面不擅长

       Hive自动生成的MapReduce作业，通常情况下不够智能化

       Hive调优比较困难，粒度较粗

Hive最终都会转化成什么程序来执行？

       hive最终都会转化为mapreduce的源码job来运行。

       用户接口主要有三个：CLI，源码Client 和 WUI。源码其中最常用的源码是 Cli，Cli 启动的源码时候，会同时启动一个 hive 副本。源码viewpager源码Client 是源码 hive 的客户端，用户连接至 hive Server。源码

       在启动 Client 模式的源码时候，需要指出 hive Server 所在节点，源码并且在该节点启动 hive Server。源码 WUI 是源码通过浏览器访问 hive。

扩展资料：

       hive 并不适合那些需要高实时性的源码应用，例如，源码联机事务处理（OLTP）。源码hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，hive 将用户的论坛源码框架hiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上。

       Hadoop 监控作业执行过程，然后返回作业执行结果给用户。hive 并非为联机事务处理而设计，hive 并不提供实时的查询和基于行级的数据更新操作。hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。

       百度百科-hive

4 步搞定 Hive 增量更新

       Hive 增量更新的子弹联盟源码四大步骤

       Hive 更新方法与数据库的更新模式密切相关。Hive 的表有两种类型：managed table 和 external table。managed table 是 Hive 自动管理的表，拥有自动分割底层存储文件和自动分区等功能。而 external table 是 Hive 维护的一种与外部文件的映射。

       managed table 与 external table 最大的不同在于删除操作：external table 默认仅删除表定义，数据仍保留在 Hadoop 上；而 managed table 则是表定义与数据同时被删除。早期，Hive 支持的rasa core 源码表操作只有 OverWrite 和 Append。OverWrite 并非对某行数据进行更新，而是对整张表进行覆盖，这使得 Hive 类似于数据仓库中的 Staging 环节，而非最终存储计算结果的地方。Hive 的强大计算能力使其成为大数据量转换的理想工具，最终结果通常存储在关系型数据库或其他 Hive 实例中。

       Hortonworks 提出了一种解决增量更新 Hive 表的四步法，具体步骤如下：

       步骤一：Ingest

       通过抽取源数据库的metamask源码讲解数据完成第一步的导入。

       方法一：File Processing

       数据库软件自带的导出功能，将数据导出为以特定分隔符分割的文本文件，然后将这些文件放置在 Hive 映射的文件夹中。

       方法二：RDBMS Processing (Database Client based ETL)

       使用 Sqoop 来完成数据抽取任务，Sqoop 支持初始化导入和增量导入。对于增量导入，Sqoop 通过检查列的校验和（check-sum）来判断数据是否需要更新。

       步骤二：Reconcile

       将新旧数据融合，生成与源数据库一致的最新数据集。

       基表（Base Table）

       用于存储初始化加载的数据。

       增量表（Incremental Table）

       用于存储在上一次增量更新后发生更改的数据，包括新增、更新和删除。

       综合视图（Reconcile View）

       通过计算得出最新数据，涉及删除、更新和新增操作。为避免重复计算未变更的数据，建议在数据分区上进行增量更新。

       步骤三：Compact

       将综合视图填充到报告表中。

       报告表（Reporting Table）

       用于存储聚合、过滤等二次加工后的数据。

       步骤四：Purge

       清空多余的表数据，将 base_table 更改为与 reporting_table 中的数据一致，清空 incremental_table。

       总结：通过使用 Oozie 或自定义脚本，可以将这四大步骤整合成一个工作流，方便进行调度。这种方法有效地实现了 Hive 增量更新的过程，提高了数据处理的效率和准确性。