项目描述······

一飞开源-开源推荐，致力于将开源项目技术应用第一时间推送给目标用户，降低开源作者、开源团队、开源组织的开源项目运营推广难度及成本，让开源项目精准畅通传递触达至目标群体，传递价值、分享共赢！

一、开源项目简介

Smart Kettle(开源版本)

基于当前互联网最热门的Springboot微服务后端架构，采用丰富的前端vue、iview等组件技术构造的kettle大数据调度服务监控平台，旨在解决企业数据抽取业务场景中，无法通过web方式配置、调度、监控kettle的痛点。

引言

本产品是基于开源Kettle自研的Kettle核心接口调用基础组件，其实早在5年前就想搞了，构思了很久，拖到现在，不过还行，现在也不晚吧  
最初的想法是启蒙于当年给烟草做过的一个数据交换平台的项目，数据的抽取是基于Kettle 5.x版本， 使用kettle的spoon客户端做的数据抽取  
为企业解决了棘手并且重要的ETL问题，因此Kettle是一款非常优秀的开源数据抽取工具。
同时，kettle自身也有很多的问题，比如，
- 只能使用客户端配置作业、转换
- 跨平台移植困难
- 数据安全性较差，系统一旦崩溃，文件库的内容容易丢失
- 客户端非常耗内存、CPU，只适合配置，不适合做业务
- Web界面极其简单、丑陋，生产环境无法投入使用

基于上述几个企业痛点，我才决定工作之余，每天借用一点休息时间，慢慢积累，坚持不懈，才有了今天Smart Kettle调度平台的出世，也希望能切实  
帮助到企业解决数据抽取、调度、监控的问题。

企业的痛点

kettle的Spoon客户端太耗内存，异常卡顿，性能瓶颈明显
kettle自带web管理工具，极其简陋，异常难用，无法投入生产环境
kettle客户端工具无法在linux系统使用
kettle客户端无法做到真正意义上的跨平台，bat及shell脚本切换繁杂
kettle客户端迁移麻烦，每次都要安装一遍，耗费精力

Smart Kettle是针对上述企业的痛点，对kettle的使用做了一些包装、优化，使其在web端也能
 具备基础的kettle作业、转换的配置、调度、监控，能在很大一定程度上协助企业完成不同业务场景下
 数据的ETL（抽取、转换、加工）的能力。
 注意：本系统并非是对kettle源码的再造，而是借助kettle的API，实现kettle在web端功能华丽的转身

二、开源协议

使用GPL-3.0开源协议

三、界面展示

功能概览

登录界面

登录界面内置了两个账号，一个是admin，一个是superadmin，密码1

调度大盘

调度大盘上半部分，展示近期实例运行详情，包括运行成功、运行失败、运行中、以及未运行的实例总体概况

调度大盘中间部分，则通过图表统计作业以及转换实例的分类情况

调度大盘下半部分，则主要展示实例在某段时间的运行趋势如何，可以透过折线图很直观的看出每个时间段的执行情况，包括运行失败、运行成功的次数分布调度大盘的最下面则主要统计任务告警情况

作业调度

调度管理分为作业调度以及转换调度，作业调度包括作业名称、描述、运行状态以及运行时间等信息展示，在作业调度查询界面，选择创建作业（按模板），则将会根据选定模板创建作业

在作业调度查询界面，选择新建作业（已有），则将会从资源库中选择已通过客户端配置好的

作业

在作业调度查询界面，选中目标作业之后，在上方点击合适的执行按钮，将会执行对应任务，并实时监控任务状态

在作业调度查询界面，选中目标作业之后，点击调度监控，则可以查看作业的调度图

上述所有操作，转换调度的操作方式同作业类似

转换调度
转换调度查询列表,详细描述转换调度执行情况、执行历史、实时监控执行进度等功能

实时查看转换调度运行情况

可随时编辑转换信息

定时调度
在作业调度界面，选中执行方式，在执行方式中，选择定时任务执行，则进入到定时执行调度界面

在作业定时界面中，您可以选择任意的定时规则

资源库目录树可以维护多个资源库，本系统同时支持文件库以及数据库资源库，但建议使用数据库作为资源库，文件库作为资源库使用过程中，经常会出现一些奇怪的问题，并且从数据备份角度来讲，不安全

文件库资源库
支持文件库资源库的配置,可通过配置文件不同的传输类型,自定义远程服务器及本地服务的文件库配置,
如下图所示:

SFTP/FTPS/FTP的配置情况如下图所示,可以通过配置远程机器,获取到远程的资源库目录信息

数据库资源库
支持数据库资源库配置,可通过配置数据库地址,连接资源库,此中方式更好的保护资源库信息,
使得后期业务更新、数据迁移、数据备份变得更加有效、也更加安全，如下图所示：

告警监控
告警监控主要采集作业任务或转换任务在某段时间内的执行细节，并将执行细节以异常记录的形式存储下来

便于后续任务调度过程中任务执行细节的跟踪，方便开发或运维人员精准找出任务异常原因

调度日志
支持作业/转换调度的日志
检控
管理,为业务场景提供全链条的日志跟踪机制,用户可以自由下载业务日志
通过实时监控日志调用情况,监控业务场景

登陆日志
支持不同用户登录日志监控,此举是为了监控用户登录/使用情况

操作日志
支持用户操作行为监控,将系统关键节点操作行为记录下来,用作系统行为分析

四、功能概述

1. 它是一款超轻量级的kettle web端调度监控平台

支持作业、转换的自定义模板设置
支持作业、转换的多任务模板复制
支持作业、转换的GUI端配置同步到web端
支持作业、转换的日志自定路径配置
支持作业、转换的日志文件下载管理
支持文件库资源库配置
支持数据库资源库配置
支持SFTP/FTP/FTPS的远程资源库配置
支持资源库目录树查看
支持作业、转换的集群调度（远程子服务器调用）
支持作业、转换的GUI端配置同步到web端
支持作业、转换的调度配置
支持作业、转换的监控管理
支持作业、转换的本地执行
支持作业、转换的远程执行
支持作业、转换的定时配置
支持作业、转换的实时监控
支持kettle的web端资源库管理
支持自定义线程池设置、任务的并行处理
支持kettle 任务的告警监控、日志管理
提供丰富的业务库、字典库自定义设置
提供完整的、实时的大盘调度监控
提供系统的用户、角色、权限管理
提供Druid数据库查询脚本的实时监控能力
支持 Kettle 7.0.1+以上版本
当前Kettle版本为9.0.0.0.0-179(注意：需要配置kettle-password-encoder-plugins，本系统已经集成进来，不需要再配置)

2. 它的平台实现充分基于"前后端分离"思想

后端架构基于 Springboot实现
服务端可发布 REST 服务
前端架构基于 VUE，数据组件更加丰富、易于维护
客户端通过 AJAX 获取服务端数据并进行界面渲染

3. 它的后端实现基于互联网最流行的微服务技术

后端架构采用自己搭建的x-common-base框架
后端封装了基于kettle的强大接口插件x-kettle-core
后端框架基于springboot+Mybatis实现
后端框架易于迁移、二次开发、方便维护

4. 它的前端实现基于互联网最流行的渐进式VUE框架

功能组件化，易于二次开发维护
新手容易上手，短时间内入门
界面更加美观、组件更加丰富

五、技术选型

平台功能架构见如下图：

技术方案

技术栈:  
- 前端使用nginx 作为前端服务器 
- 前端使用vue作为展现框架
- 数据库端使用mysql作为基础数据库
- 数据库监控使用Druid作为基础监控
- 定时调度使用Quartz作为基础插件
- 后端框架使用Springboot+Mybatis作为组合 
演示环境:  
  - 详细内容请查看 README.md 文档

项目简介

整个工程的目录结构如下：

后端工程：

内部网站：x-smart-kettle-server
github.com：x-smart-kettle-server
gitee.com：x-smart-kettle-server

├─doc
│  └─database
│      ├─MySql_ds0  --基础数据库设置
│      └─MySql_ds1  --基础数据库设置
├─docker  --容器部署详情
├─folder
├─jenkins  --jenkins持续部署详情
├─settings  --maven默认配置
├─src
│  ├─main
│  │  ├─java
│  │  │  └─org
│  │  │      └─yaukie
│  │  │          └─frame
│  │  │              ├─autocode  --代码机入口
│  │  │              │  ├─controller
│  │  │              │  ├─dao
│  │  │              │  │  └─mapper
│  │  │              │  ├─model
│  │  │              │  └─service
│  │  │              │      ├─api
│  │  │              │      └─impl
│  │  │              ├─config  --系统基础配置入口
│  │  │              ├─kettle
│  │  │              │  ├─api  --kettle核心接口所在位置
│  │  │              │  ├─core
│  │  │              │  ├─listener   --kettle监听所在位置
│  │  │              │  ├─quartz   --定时器所在位置
│  │  │              │  └─service
│  │  │              ├─listener
│  │  │              └─pool   --线程池配置所在位置
│  │  └─resources   --核心配置所在位置
│  │      ├─mapper
│  │      ├─template
│  │      └─ui
│  │          └─images
│  └─test
│      └─java
│          └─org
│              └─yaukie
│                  └─frame   --核心逻辑所在位置

前端工程：

内部网站：x-smart-kettle-front
github.com：x-smart-kettle-front
gitee.com：x-smart-kettle-front

├─docker
│  ├─dev
│  └─prod
├─jenkins
├─public
│  ├─cron
│  └─json
├─src
│  ├─api
│  │  ├─login-form
│  │  ├─main
│  │  │  └─components
│  │  │      ├─a-back-top
│  │  │      ├─error-store
│  │  │      ├─fullscreen
│  │  │      ├─header-bar
│  │  │      │  ├─custom-bread-crumb
│  │  │      │  └─sider-trigger
│  │  │      ├─language
│  │  │      ├─side-menu
│  │  │      ├─tags-nav
│  │  │      └─user
│  │  ├─page-box
│  │  │  └─src
│  │  │      └─styles
│  │  │          └─css
│  │  ├─page-table
│  │  │  └─src
│  │  │      ├─components
│  │  │      └─styles
│  │  │          └─css
│  │  ├─parent-view
│  │  ├─search-box
│  │  │  └─src
│  │  │      └─styles
│  │  │          └─css
│  │  ├─upload-file
│  │  │  └─src
│  │  │      └─styles
│  │  │          └─css
│  │  ├─upload-img
│  │  │  └─src
│  │  │      └─styles
│  │  │          ├─css
│  │  │          └─images
│  │  ├─upload-img-list
│  │  │  └─src
│  │  │      └─styles
│  │  │          └─css
│  │  ├─upload-video
│  │  │  └─src
│  │  │      └─styles
│  │  │          ├─css
│  │  │          └─images
│  │  └─weeks
│  │      └─src
│  ├─config
│  ├─directive
│  │  └─module
│  ├─libs --工具类
│  ├─locale --国际化配置
│  │  └─lang
│  ├─mock 
│  │  └─data
│  ├─router --基础路由配置
│  │  └─modules
│  ├─store --系统状态机
│  │  └─module
│  ├─styles
│  │  └─components
│  └─view --调度平台核心前端功能
│      ├─business --业务配置
│      ├─examples
│      │  ├─common
│      │  └─page
│      ├─exception --异常监控
│      ├─homepage --调度大屏
│      │  └─common
│      ├─job --作业调度
│      ├─log --日志监控
│      ├─login --登录模板
│      ├─pool  --线程池配置
│      ├─repo --资源库配置
│      ├─scheduler --定时器调度
│      ├─task --定时调度
│      ├─trans --转换调度
│      └─warning --告警监控