登录注册

[开源]一个简单易用，功能强大的混合型科学大数据流水线系统

开源系统流程管理
2026-06-28 05:37 1 次浏览 • 0 次下载 0KB
[开源]一个简单易用，功能强大的混合型科学大数据流水线系统

一、开源项目简介

图片

πFlow是一个简单易用，功能强大的大数据流水线系统。

混合型科学大数据流水线系统，包含丰富的处理器组件，提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

页面展示

  • 登录:

图片

  • 流水线列表:

图片

  • 创建流水线:

图片

  • 配置流水线:

图片

  • 运行流水线:

图片

  • 监控流水线:

图片

  • 流水线日志:

图片

  • 流水线组列表:

图片

  • 配置流水线组:

图片

  • 监控流水线组:

图片

  • 运行态流水线列表:

图片

  • 流水线模板列表:

图片

  • 数据源:

图片

  • 调度:

图片

  • 自定义组件:

图片

四、功能概述

特性

  • 简单易用

    • 可视化配置流水线

    • 监控流水线

    • 查看流水线日志

    • 检查点功能

    • 流水线调度

  • 扩展性强:

    • 支持自定义开发数据处理组件

  • 性能优越：

    • 基于分布式计算引擎Spark开发

  • 功能强大：

    • 提供100+的数据处理组件

    • 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等

    • 集成了微生物领域的相关算法

五、技术选型

架构

图片

要求

  • JDK 1.8

  • Scala-2.11.8

  • Apache Maven 3.1.0

  • Spark-2.1.0 及以上版本

  • Hadoop-2.6.0

开始

Build πFlow:

  • install external package

mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/spark-xml_2.11-0.4.2.jar -DgroupId=com.databricks -DartifactId=spark-xml_2.11 -Dversion=0.4.2 -Dpackaging=jar
    mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/java_memcached-release_2.6.6.jar -DgroupId=com.memcached -DartifactId=java_memcached-release -Dversion=2.6.6 -Dpackaging=jar
    mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/ojdbc6-11.2.0.3.jar -DgroupId=oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar
    mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/edtftpj.jar -DgroupId=ftpClient -DartifactId=edtftp -Dversion=1.0.0 -Dpackaging=jar

  • mvn clean package -Dmaven.test.skip=true

[INFO] Replacing original artifact with shaded artifact.
    [INFO] Reactor Summary:
    [INFO]
    [INFO] piflow-project ..................................... SUCCESS [  4.369 s]
    [INFO] piflow-core ........................................ SUCCESS [01:23 min]
    [INFO] piflow-configure ................................... SUCCESS [ 12.418 s]
    [INFO] piflow-bundle ...................................... SUCCESS [02:15 min]
    [INFO] piflow-server ...................................... SUCCESS [02:05 min]
    [INFO] ------------------------------------------------------------------------
    [INFO] BUILD SUCCESS
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time: 06:01 min
    [INFO] Finished at: 2020-05-21T15:22:58+08:00
    [INFO] Final Memory: 118M/691M
    [INFO] ------------------------------------------------------------------------

运行 πflow Server：

详细内容请查看 README.md 文档
评论