一、开源项目简介

dataCompare 是一个大数据数据比对和数据探测平台。

(1)支持hive表数据比对，mysql、Doris 数据比对，实现自动化配置进行数据比对，避免频繁写sql 进行处理

(2)支持少量配置即可实现数据探测

二、开源协议

使用Apache-2.0开源协议

三、界面展示

系统功能演示

系统主页 

(1)数据对比功能展示

数据库配置

mysql配置

hive配置

job配置 

对比结果展示 

(2)数据探针

job配置

探针结果

四、功能概述

数据对比：

(1)界面级交互数据对比任务配置，低代码少量配置快速生成对比任务

(2)量级对比、一致性对比、自动化差异case发现

(3)目前已经支持MySQL、Apache Hive、Apache Doris 等JDBC 数据库

(4)已经支持对比结果自动发送邮件告警报告

数据探针:

(1)低代码、少量配置即可完成数据探测

(2)主键、枚举值、空值探测

五、技术选型

软件架构

系统流程图

技术栈:

后端：Spring boot + Mybatis

数据库:MySQL

解析引擎：Antrl

数据存储引擎、计算引擎：Hive、Spark 等

系统运行

系统运行环境要求：

java jdk8

mysql 5.7.36

运行配置

(1)将sql目录中的sql文件进行运行在数据库，创建库和表

(2)在根目录下面进行mvn clean package -Dmaven.test.skip=true -Ptest,使用target 目录下的dataCompare.jar

(3)修改数据库配置信息 application.yml，将数据库连接信息改为步骤(1)的数据库连接信息

(4)运行 java -jar -Dspring.config.location=application.yml dataCompare.jar (application.yml和jar在同一目录下)

(5)访问 http://127.0.0.1/ 即可 (账号:admin 密码:admin123)

环境安装配置

(1)如果要实现Hive数据对比配置需要先安装Hive 环境(安装文档参考docker快速安装Hive环境：详细内容参考 README.md 文档。

(2)安装好之后新建数据源连接时选择Hive，地址为：jdbc:hive2://ip:10000