一飞开源-开源推荐,致力于将开源项目技术应用第一时间推送给目标用户,降低开源作者、开源团队、开源组织的开源项目运营推广难度及成本,让开源项目精准畅通传递触达至目标群体,传递价值、分享共赢!
一、开源项目简介
Smart Kettle(开源版本)
基于当前互联网最热门的Springboot微服务后端架构,采用丰富的前端vue、iview等组件技术构造的kettle大数据调度服务监控平台,旨在解决企业数据抽取业务场景中,无法通过web方式配置、调度、监控kettle的痛点。
引言
本产品是基于开源Kettle自研的Kettle核心接口调用基础组件,其实早在5年前就想搞了,构思了很久,拖到现在,不过还行,现在也不晚吧 最初的想法是启蒙于当年给烟草做过的一个数据交换平台的项目,数据的抽取是基于Kettle 5.x版本, 使用kettle的spoon客户端做的数据抽取 为企业解决了棘手并且重要的ETL问题,因此Kettle是一款非常优秀的开源数据抽取工具。 同时,kettle自身也有很多的问题,比如, - 只能使用客户端配置作业、转换 - 跨平台移植困难 - 数据安全性较差,系统一旦崩溃,文件库的内容容易丢失 - 客户端非常耗内存、CPU,只适合配置,不适合做业务 - Web界面极其简单、丑陋,生产环境无法投入使用 基于上述几个企业痛点,我才决定工作之余,每天借用一点休息时间,慢慢积累,坚持不懈,才有了今天Smart Kettle调度平台的出世,也希望能切实 帮助到企业解决数据抽取、调度、监控的问题。
企业的痛点
- kettle的Spoon客户端太耗内存,异常卡顿,性能瓶颈明显
- kettle自带web管理工具,极其简陋,异常难用,无法投入生产环境
- kettle客户端工具无法在linux系统使用
- kettle客户端无法做到真正意义上的跨平台,bat及shell脚本切换繁杂
- kettle客户端迁移麻烦,每次都要安装一遍,耗费精力
Smart Kettle是针对上述企业的痛点,对kettle的使用做了一些包装、优化,使其在web端也能 具备基础的kettle作业、转换的配置、调度、监控,能在很大一定程度上协助企业完成不同业务场景下 数据的ETL(抽取、转换、加工)的能力。 注意:本系统并非是对kettle源码的再造,而是借助kettle的API,实现kettle在web端功能华丽的转身
二、开源协议
使用GPL-3.0开源协议
三、界面展示
功能概览
- 登录界面
登录界面内置了两个账号,一个是admin,一个是superadmin,密码1
- 调度大盘
调度大盘上半部分,展示近期实例运行详情,包括运行成功、运行失败、运行中、以及未运行的实例总体概况
调度大盘中间部分,则通过图表统计作业以及转换实例的分类情况
调度大盘下半部分,则主要展示实例在某段时间的运行趋势如何,可以透过折线图很直观的看出每个时间段的 执行情况,包括运行失败、运行成功的次数分布 调度大盘的最下面则主要统计任务告警情况
- 作业调度
- 调度管理分为作业调度以及转换调度,作业调度包括作业名称、描述、运行状态以及运行时间等信息展示 , 在作业调度查询界面,选择创建作业(按模板),则将会根据选定模板创建作业
在作业调度查询界面,选择新建作业(已有),则将会从资源库中选择已通过客户端配置好的
作业
在作业调度查询界面,选中目标作业之后,在上方点击合适的执行按钮,将会执行对应任务,并实时监控任务状态
在作业调度查询界面,选中目标作业之后,点击调度监控,则可以查看作业的调度图
上述所有操作,转换调度的操作方式同作业类似
- 转换调度
- 转换调度查询列表,详细描述转换调度执行情况、执行历史、实时监控执行进度等功能
实时查看转换调度运行情况
可随时编辑转换信息
可随时编辑转换信息
- 定时调度
- 在作业调度界面,选中执行方式,在执行方式中,选择定时任务执行,则进入到定时执行调度界面
在作业定时界面中,您可以选择任意的定时规则
- 资源库目录树 可以维护多个资源库,本系统同时支持文件库以及数据库资源库,但建议使用数据库作为资源库,文件库作为 资源库使用过程中,经常会出现一些奇怪的问题,并且从数据备份角度来讲,不安全
- 文件库资源库
- 支持文件库资源库的配置,可通过配置文件不同的传输类型,自定义远程服务器及本地服务的文件库配置,
- 如下图所示:
- SFTP/FTPS/FTP的配置情况如下图所示,可以通过配置远程机器,获取到远程的资源库目录信息
- 数据库资源库
- 支持数据库资源库配置,可通过配置数据库地址,连接资源库,此中方式更好的保护资源库信息,
- 使得后期业务更新、数据迁移、数据备份变得更加有效、也更加安全,如下图所示:
- 告警监控
- 告警监控主要采集作业任务或转换任务在某段时间内的执行细节,并将执行细节以异常记录的形式存储下来
便于后续任务调度过程中任务执行细节的跟踪,方便开发或运维人员精准找出任务异常原因
- 调度日志
- 支持作业/转换调度的日志
- 检控
- 管理,为业务场景提供全链条的日志跟踪机制,用户可以自由下载业务日志
- 通过实时监控日志调用情况,监控业务场景
- 登陆日志
- 支持不同用户登录日志监控,此举是为了监控用户登录/使用情况
- 操作日志
- 支持用户操作行为监控,将系统关键节点操作行为记录下来,用作系统行为分析
四、功能概述
1. 它是一款超轻量级的kettle web端调度监控平台
- 支持作业、转换的自定义模板设置
- 支持作业、转换的多任务模板复制
- 支持作业、转换的GUI端配置同步到web端
- 支持作业、转换的日志自定路径配置
- 支持作业、转换的日志文件下载管理
- 支持文件库资源库配置
- 支持数据库资源库配置
- 支持SFTP/FTP/FTPS的远程资源库配置
- 支持资源库目录树查看
- 支持作业、转换的集群调度(远程子服务器调用)
- 支持作业、转换的GUI端配置同步到web端
- 支持作业、转换的调度配置
- 支持作业、转换的监控管理
- 支持作业、转换的本地执行
- 支持作业、转换的远程执行
- 支持作业、转换的定时配置
- 支持作业、转换的实时监控
- 支持kettle的web端资源库管理
- 支持自定义线程池设置、任务的并行处理
- 支持kettle 任务的告警监控、日志管理
- 提供丰富的业务库、字典库自定义设置
- 提供完整的、实时的大盘调度监控
- 提供系统的用户、角色、权限管理
- 提供Druid数据库查询脚本的实时监控能力
- 支持 Kettle 7.0.1+以上 版本
- 当前Kettle版本为9.0.0.0.0-179(注意:需要配置kettle-password-encoder-plugins,本系统已经集成进来,不需要再配置)
2. 它的平台实现充分基于"前后端分离"思想
- 后端架构基于 Springboot实现
- 服务端可发布 REST 服务
- 前端架构基于 VUE,数据组件更加丰富、易于维护
- 客户端通过 AJAX 获取服务端数据并进行界面渲染
3. 它的后端实现基于互联网最流行的微服务技术
- 后端架构采用自己搭建的x-common-base框架
- 后端封装了基于kettle的强大接口插件x-kettle-core
- 后端框架基于springboot+Mybatis实现
- 后端框架易于迁移、二次开发、方便维护
4. 它的前端实现基于互联网最流行的渐进式VUE框架
- 功能组件化,易于二次开发维护
- 新手容易上手,短时间内入门
- 界面更加美观、组件更加丰富
五、技术选型
- 平台功能架构见如下图:
技术方案
技术栈: - 前端使用nginx 作为前端服务器 - 前端使用vue作为展现框架 - 数据库端使用mysql作为基础数据库 - 数据库监控使用Druid作为基础监控 - 定时调度使用Quartz作为基础插件 - 后端框架使用Springboot+Mybatis作为组合 演示环境: - 详细内容请查看 README.md 文档
项目简介
整个工程的目录结构如下:
后端工程:
- 内部网站:x-smart-kettle-server
- github.com:x-smart-kettle-server
- gitee.com:x-smart-kettle-server
├─doc │ └─database │ ├─MySql_ds0 --基础数据库设置 │ └─MySql_ds1 --基础数据库设置 ├─docker --容器部署详情 ├─folder ├─jenkins --jenkins持续部署详情 ├─settings --maven默认配置 ├─src │ ├─main │ │ ├─java │ │ │ └─org │ │ │ └─yaukie │ │ │ └─frame │ │ │ ├─autocode --代码机入口 │ │ │ │ ├─controller │ │ │ │ ├─dao │ │ │ │ │ └─mapper │ │ │ │ ├─model │ │ │ │ └─service │ │ │ │ ├─api │ │ │ │ └─impl │ │ │ ├─config --系统基础配置入口 │ │ │ ├─kettle │ │ │ │ ├─api --kettle核心接口所在位置 │ │ │ │ ├─core │ │ │ │ ├─listener --kettle监听所在位置 │ │ │ │ ├─quartz --定时器所在位置 │ │ │ │ └─service │ │ │ ├─listener │ │ │ └─pool --线程池配置所在位置 │ │ └─resources --核心配置所在位置 │ │ ├─mapper │ │ ├─template │ │ └─ui │ │ └─images │ └─test │ └─java │ └─org │ └─yaukie │ └─frame --核心逻辑所在位置
前端工程:
- 内部网站:x-smart-kettle-front
- github.com:x-smart-kettle-front
- gitee.com:x-smart-kettle-front
├─docker │ ├─dev │ └─prod ├─jenkins ├─public │ ├─cron │ └─json ├─src │ ├─api │ │ ├─login-form │ │ ├─main │ │ │ └─components │ │ │ ├─a-back-top │ │ │ ├─error-store │ │ │ ├─fullscreen │ │ │ ├─header-bar │ │ │ │ ├─custom-bread-crumb │ │ │ │ └─sider-trigger │ │ │ ├─language │ │ │ ├─side-menu │ │ │ ├─tags-nav │ │ │ └─user │ │ ├─page-box │ │ │ └─src │ │ │ └─styles │ │ │ └─css │ │ ├─page-table │ │ │ └─src │ │ │ ├─components │ │ │ └─styles │ │ │ └─css │ │ ├─parent-view │ │ ├─search-box │ │ │ └─src │ │ │ └─styles │ │ │ └─css │ │ ├─upload-file │ │ │ └─src │ │ │ └─styles │ │ │ └─css │ │ ├─upload-img │ │ │ └─src │ │ │ └─styles │ │ │ ├─css │ │ │ └─images │ │ ├─upload-img-list │ │ │ └─src │ │ │ └─styles │ │ │ └─css │ │ ├─upload-video │ │ │ └─src │ │ │ └─styles │ │ │ ├─css │ │ │ └─images │ │ └─weeks │ │ └─src │ ├─config │ ├─directive │ │ └─module │ ├─libs --工具类 │ ├─locale --国际化配置 │ │ └─lang │ ├─mock │ │ └─data │ ├─router --基础路由配置 │ │ └─modules │ ├─store --系统状态机 │ │ └─module │ ├─styles │ │ └─components │ └─view --调度平台核心前端功能 │ ├─business --业务配置 │ ├─examples │ │ ├─common │ │ └─page │ ├─exception --异常监控 │ ├─homepage --调度大屏 │ │ └─common │ ├─job --作业调度 │ ├─log --日志监控 │ ├─login --登录模板 │ ├─pool --线程池配置 │ ├─repo --资源库配置 │ ├─scheduler --定时器调度 │ ├─task --定时调度 │ ├─trans --转换调度 │ └─warning --告警监控
环境要求
- Maven3+
- Jdk1.8+
- Mysql5.7+
浏览器
html
无
未经允许不得转载: ICode联盟 » 项目源码 » [开源]热门技术构造、超轻量级KettleWeb大数据调度服务监控平台