皮皮网

1.【工具】Datax的码安基本概念（初识ETL工具）
2.如何在Linux下调试PostgreSQL
3.备忘36：Postgre14.3在虚拟机centos上的安装以及orafce插件的安装

【工具】Datax的基本概念（初识ETL工具）

       ETL技术的实质是将数据经过抽取、清洗转换之后加载到数据仓库的码安过程。DataX是码安由阿里巴巴研发并开源的异构数据源离线同步工具，能实现不同数据源之间的码安数据同步，包括关系型数据库、码安NoSQL数据存储、码安mybatis plus page 源码无结构化数据存储、码安时间序列数据库以及阿里的码安云数仓数据存储。DataX是码安阿里云DataWorks数据集成的开源版本，用于在阿里巴巴集团内广泛使用的码安离线数据同步工具/平台，支持包括MySQL、码安Oracle、码安OceanBase、码安SqlServer、码安Postgre、码安HDFS、Hive、ADS、HBase、bmob论坛源码TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间的高效数据同步。

       DataX采用Framework + plugin的架构，数据同步步骤将数据的读取、写入操作抽象为由Reader/Writer插件处理，纳入整个同步框架。其核心组件包括Job、iapp弹窗源码Task、Channel以及Transformer。

       Job代表数据同步任务；Task代表运行一个单独的同步线程，该线程使用一个Channel作为Reader与Writer的数据传输媒介；数据流转方向为Reader—>Channel—>Writer。

       Transformer模式提供强大的数据转换功能，DataX内置丰富数据转换实现类，用户可根据自身需求扩展数据转换。

       DataX的安装部署可选择直接下载工具包或下载源码自主编译。下载后解压至本地目录即可运行同步作业。windows sip源码自检脚本为：python { YOUR_DATAX_HOME}/bin/datax.py { YOUR_DATAX_HOME}/job/job.json。

       若数据源同步遇到格式不匹配问题，可以修改相应的reader与writer代码，然后maven编译，后续会提供具体源码修改示例。

       DataX的源码可在gitee上找到，以解决github地址在国内可能存在的连接问题。参考网址提供了更多关于ETL工具-Datax的资源。

如何在Linux下调试PostgreSQL

        由于工作关系，需要调试postgreSQL源码，恰好同事写了这样一个文档，贴出来共享。在Linux下面调试Postgres，需要进行如下几个步骤

       ç”±äºŽå·¥ä½œå…³ç³»ï¼Œéœ€è¦è°ƒè¯•postgreSQL源码，，恰好同事写了这样一个文档，贴出来共享。

       åœ¨Linux下面调试Postgres，需要进行如下几个步骤：

       1. 安装Linux操作系统

       æ³¨æ„æŠŠgdb、Emacs或DDD这些开发工具都安装上。如果是在虚拟机上安装，依然需要设置Linux系统的网络环境；另外需要设置文件共享，方便windows下面的postgreSQL源码能在Linux下面访问到。

       2. 安装PostgreSQL

       useradd postgre

       ï¼ˆè‡ªåŠ¨å»ºç«‹ postgre 组；设计人员为了安全考虑，PostgreSQL 不能以root 用户运行，所以必须建立对应的用户和组。）

       è§£åŽ‹åˆ° /usr/local/src

       tar xvfz postgresql-8.4.tar.gz

       cd postgresql-8.4

       ./configure --prefix=/usr/local/pgsql --enable-debug --enable-assert --without-readline --without-zlib

       make

       make install

       chown -R postgre.postgre /usr/local/pgsql

       3. 设置Postgres环境变量（非必须）

       vi ~postgre/.bash_profile

       æ·»åŠ ï¼š

       PGLIB=/usr/local/pgsql/lib

       PGDATA=$HOME/data

       PATH=$PATH:/usr/local/pgsql/bin

       MANPATH=$MANPATH:/usr/local/pgsql/man

       export PGLIB PGDATA PATH MANPATH

       4. 建立数据库

       ä»¥ postgres 用户登录：

       su postgre

       å»ºç«‹æ•°æ®åº“目录：

       mkdir data

       å¯åŠ¨æ•°æ®åº“引擎：

       initdb _D “数据库目录”

       ä¹‹åŽå¯ä»¥æ ¹æ®æç¤ºï¼Œé€šè¿‡psql进入数据库

       5. 构造PostgreSQL调试环境

       å…ˆ psql template1进去，然后

       select pg_backend_pid();

       èŽ·å¾—id，就是gdb后面用到的数字

       gdb /usr/local/pgsql/bin/postgres (pid的数字)

       å¦‚果只使用gdb，全部是命令行界面；而Emac、DDD分别是彩色、黑白用户交互式图形界面。

       6. 使用gdb进行调试

备忘：Postgre.3在虚拟机centos上的开源商店源码安装以及orafce插件的安装

       在虚拟机CentOS上安装PostgreSQL .3并集成Orafce插件的详细步骤如下：

       首先，安装CentOS 7在VMware虚拟机上，选择带GUI的安装选项，分配2GB内存和自定义存储空间。

       在虚拟机设置中，有桥接和NAT两种网络模式可供选择。桥接模式使虚拟机像局域网内的另一台物理机，而NAT模式允许虚拟机共享宿主机的网络连接。

       对于PostgreSQL的安装，从官方网站下载postgresql-.3.tar.gz，解压到主目录。在编译安装前，确保已安装必要的依赖项，如readline-devel和zlib-devel（非必须，但影响psql的功能）。如果在编译时不需要这些依赖，可通过命令行添加相应参数。

       安装过程中，需要创建postgres用户并设置密码，然后按照INSTALL文档进行配置和安装。安装orafce插件时，从GitHub获取源码并参照文档进行编译和安装，可能出现的 "/usr/lib/pgsql/pgxs/src/makefiles/pgxs.mk" 文件问题可能是由于缺少 PostgreSQL 开发包，确保安装了相应的开发包后重新安装。

       orafce.so文件是扩展模块，安装完成后，检查其位置是否正确。还需编辑postgresql.conf和.bash_profile文件以加载orafce插件，并通过psql进行扩展加载。如果连接pgAdmin遇到问题，可能需要调整防火墙设置，允许端口的连接。

       最后，如果仍无法连接，检查LD_LIBRARY_PATH环境变量，确保orafce库路径正确，并查看是否存在试图重定义参数的错误，如'orafce.nls_data_format'，需修改配置文件以解决冲突。

       总的来说，安装PostgreSQL .3和orafce插件需要依次完成系统环境、依赖安装、配置文件修改和防火墙规则设置等步骤，确保每个环节都正确无误。