Skip to content

stopit/SparkVenez

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 

Repository files navigation

SparkVenez

一、什么是SparkVenez

为了纪念作者一段特殊的旅程,所以特此命名,并无他意。该工程主要基于spark技术栈实现以下几大类功能:

  • 基于界面的SparkSQL执行器。用户可以选择数据源、映射表等信息,通过web界面提供的接口,执行sql语句进行数据操作,并在界面中展示相检索结果。
  • 基于界面的Spark任务定制。用户可以在web界面中定制spark任务的处理流程,通过界面提交执行,用户可以在界面中查看执行结果。
  • spark机器学习技术在网络安全领域的用例。相关机器学习算法被封装为可视化的开发包,提供给各个模块使用。

二、使用方式

服务进程以docker的方式在容器中运行,可以通过k8s或openshift等技术进行编排。服务对外提供Restful形式的RPC接口,供外部调用。

三、涉及技术

前端

javascrip、vue.js

后端

java、jetty、spark、docker、dubbox

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors