为了纪念作者一段特殊的旅程,所以特此命名,并无他意。该工程主要基于spark技术栈实现以下几大类功能:
- 基于界面的SparkSQL执行器。用户可以选择数据源、映射表等信息,通过web界面提供的接口,执行sql语句进行数据操作,并在界面中展示相检索结果。
- 基于界面的Spark任务定制。用户可以在web界面中定制spark任务的处理流程,通过界面提交执行,用户可以在界面中查看执行结果。
- spark机器学习技术在网络安全领域的用例。相关机器学习算法被封装为可视化的开发包,提供给各个模块使用。
服务进程以docker的方式在容器中运行,可以通过k8s或openshift等技术进行编排。服务对外提供Restful形式的RPC接口,供外部调用。
javascrip、vue.js
java、jetty、spark、docker、dubbox