一、开源项目简介

云雀的介绍

云雀，云代表大数据，雀代表平凡和自由。

云雀 是一款数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖 等应用架构。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

设计理念

通过使用云雀，可以将多种数据库之间的数据互通和集成，实现将多种数据的迁移，脱敏，聚合操作。

四、功能概述

目标及特点

1.云雀目前支持数据源达到14种，能够实现异构数据源的同步。

2.云雀支持拖拉拽的图形化的操作，用户可以通过页面的组装输入和输出组件，实现页面化简易操作。

3.云雀结合计算引擎，实现异构数据源数据统一汇聚，数据湖，数据仓库，实现数据的集成。

4.云雀结合消息队列，实现一份数据一次读取，多次下沉多种数据库和重复利用，支持海量数据，高速率的迁移数据。

5.云雀支持单机版和集群版部署，架构简易。

6.云雀打印日志友好，能实时监控迁移的数据量，迁移的状态，以及报错日志详细，便于排查。

7.云雀代码清晰，可读性强，代码之美，文档详细，资料齐全。

8.云雀支持Docker和K8S集群容器化部署。

9.云雀易于集成，能无缝对接开源的调度系统，以及集成系统，配置多样化。

10.云雀遵从Apache协议，可以进行商业化部署。

五、技术选型

框架设计

框架分为3部分：Reader, Channel, Writer

Reader 作为数据源， 可以通过实现共同的Reader接口，可以通过SQL的方式对数据进行抽取操作。

Channel 作为队列， 可选的队列有默认的LinkedBlockingQueue,也可以使用kafka, 通过使用kafka做到一次写入多次读取。

Writer 作为目标数据源，可以通过实现共同的Writer接口，可以通过SQL的方式对数据进行下沉操作。