登录注册

[开源]一款简单、灵活、性能强劲、企业级实时高效的搜索引擎服务

开源系统分类系统
2026-06-28 08:55 7 次浏览 • 0 次下载 0KB
[开源]一款简单、灵活、性能强劲、企业级实时高效的搜索引擎服务

一、开源项目简介

Lucene Server

Lucene Server 是基于 Spring Boot 和 Lucene 核心库构建的一款简单、灵活、性能强劲的搜索引擎。Lucene Server通过配置，可 零代码 实现对海量数据的实时同步。为企业级应用提供实时的、高效的搜索引擎基础服务。

二、开源协议

使用MIT开源协议

三、界面展示

系统截图：

【1】首页

图片 图片 任务解释请看Wiki

【2】数据源管理

图片

【3】索引管理

图片 图片

【4】索引字段

字段设置说明，参考wiki 图片

【5】任务管理

图片 图片

【6】CDC管理

图片 图片

【7】数据浏览

图片

四、功能概述

关键特性

  • 零代码实现：Lucene Server 采用配置优先的设计理念，允许用户通过简单的配置定义索引结构和搜索规则，从而避免了复杂的代码开发过程。

  • 海量数据支持：利用 Lucene 的强大能力，Lucene Server 能够处理和搜索大规模数据集，无论是文档、产品目录还是用户评论，都能迅速响应查询请求。

  • 高度可定制：虽然无需编写代码，但 Lucene Server 提供了丰富的配置选项，允许用户根据具体需求调整索引策略、搜索算法和结果排序，满足个性化业务场景。

  • 易于集成与扩展：基于 Spring Boot 构建，Lucene Server 能够轻松地与现有的微服务架构融合，同时也支持通过插件机制添加新的功能模块，保证系统的灵活性和可扩展性。

  • 强大的搜索语法：支持复杂的查询语法，包括布尔运算、短语匹配、模糊搜索和范围查询，使搜索更加精准和智能。

  • 实时更新与高可用性：通过CDC（Change Data Capture ，数据变化捕获），Lucene Server 支持准实时数据更新，确保搜索结果的时效性。同时，通过集群部署和负载均衡，实现高可用和故障恢复，保障服务的稳定运行。

主要功能

  • 全文检索服务:

  • 基于Springboot和Lucene构建，提供类似于Elasticsearch的高效全文检索能力。

  • Web管理界面:

  • 内置直观的Web界面，支持数据源集成、任务调度、权限管理等配置，简化系统管理流程。

  • 灵活的数据集成:

  • 通过Web界面配置，轻松集成各类数据源，扩展性良好。

  • 任务管理与监控:

  • 实现任务调度与监控，确保数据处理和检索任务的顺利执行。系统各种任务的解释，请参看Wiki

  • 轻量级客户端API:

  • 提供极简的Java客户端，仅包含两个文件，采用类似MyBatis-Plus的条件构造器模式，便于快速集成。支持索引库的增删改查、Count统计及Group聚合查询，满足多样化检索需求。支持客户端权限验证，保障数据安全与访问控制。客户端不引入额外第三方库，保证系统纯净度与稳定性。

  • 简易集成与维护:

  • 清晰的架构与接口设计，降低集成复杂度，简化日常维护工作。

Lucene Server致力于提供一个高性能、易用且安全的全文检索解决方案，适用于多种应用场景。

五、技术选型

数据流

图片

索引数据通过三种模式实现变化：（1）通过CDC任务（2）通过SQL任务 （3）通过客户端

图片

服务器与客户端之间通过Http协议，实现数据的增删改查，以及Group和Count查询等功能。

使用

1、下载代码，编译通过（只需要编译后台，前台不需要编译，纯手写没有引用和webpack、nodejs等）。
2、确保根目录有如下目录database、queue、storage、webapp三个目录
3、修改系统的数据库连接，在web项目的resources的config目录下的db.setting, 把数据库路径修改正确
4、系统启动，进入http://localhost:9999/manager/index.html管理界面，用户名和密码：admin
5、先创建数据源
6、创建索引和设置字段（ :boom: 注意：第一次创建索引，字段要打开保存一次）
7、根据需要创建任务或者CDC源（CDC目前只支持mysql，其他类型数据库还在开发中，有需求可以在Issues里面提）

客户端案例

public static void testQuery(String[] args) {
        QueryClient queryClient = new QueryClient("http://localhost:9999","client","123456");
        ClientWrapper clientWrapper = ClientWrapper.create()
                .SELECT("*")
                .Page(1,10)
                .From("supervision")
                .eq("main_kind","1");
        System.out.println(clientWrapper.build());
        String str = queryClient.request(clientWrapper);
        System.out.println(JsonUtil.formatJson(str) );
}

更多例子参考，client项目的test目录 和Wiki

性能：

测试主机cpu：i7-10100 2.9，压力测试内存不超过600M。

【搜索性能】

180万数据，80字段，10万次查询3个查询条件，1个排序。50线程，10万次搜索，花费时间: 24 秒 ，每秒请求: 4152 次

【SQLTask索引性能】

180万数据，80字段，Idea测试 2分30秒左右，部署测试1分30秒左右。
2300万数据，20字段，10分钟左右。

【CDC索引性能】

180万数据，80字段，10分钟左右。CDC因为是UPDATE模式需要构建Query先删除数据，然后再索引。不过性能主要卡在Canal Server。

技术路线：

1. Springboot 2.x
2. Lucene 8.x
3. MySql Binlog
4. 连接池：自己搓的动态数据库连接池
5. 数据库：Sqlite3
6. 前端框架，Vue3（无nodejs，无webpack，无vue-cli），Html+Vue+Vue Sfc Loader
评论