Spring Cloud Data Flow
用于Cloud Foundry和Kubernetes的基于微服务的流式处理和批处理数据处理。
Spring Cloud Data Flow提供了用于为流和批处理数据管道创建复杂拓扑的工具。数据管道包含使用Spring Cloud Stream或Spring Cloud Task微服务框架构建的Spring Boot应用程序。
Spring Cloud Data Flow支持一系列数据处理用例,从ETL到导入/导出,事件流和预测分析。
特征
Spring Cloud Data Flow服务器使用Spring Cloud Deployer将由Spring Cloud Stream或Spring Cloud Task应用程序组成的数据管道部署到Cloud Foundry和Kubernetes等现代平台上。
可以使用熟悉的Spring Boot风格的编程模型构建针对不同中间件或数据服务的自定义流和任务应用程序。
仪表板提供了一个图形编辑器,用于交互式地建立数据管道,以及可部署应用程序的视图,并使用Prometheus,InfluxDB或其他监视系统通过指标对其进行监视。
入门
最近推出的全新Spring Cloud Data Flow Microsite是入门的最佳地点。
快速开始
使用Spring Initializr引导您的应用程序。
可以尝试一些示例:
- Twitter Analytics 在此演示中,您将学习如何使用Spring Cloud Data Flow建立数据管道以使用TwitterStream的数据并使用Counter Sink应用程序通过传输中的数据计算简单的分析
- 预测分析 在本演示中,您将学习如何在Spring Cloud Data Flow精心策划的流数据管道的上下文中使用PMML模型。
- HTTP-> Cassandra 在此演示中,您将学习如何使用Spring Cloud Data Flow构建数据管道以使用来自HTTP端点的数据并将有效负载写入Cassandra数据库
- HTTP-> MySQL 在此演示中,您将学习如何使用Spring Cloud Data Flow构建数据管道以使用来自http端点的数据并使用JDBC接收器写入MySQL数据库。
- HTTP-> Gemfire 在此演示中,您将学习如何使用Spring Cloud Data Flow构建数据管道以使用来自HTTP端点的数据并使用Gemfire / Geode / PCC接收器写入Gemfire
- 批处理文件摄取在CF / K8S 在该演示中,您将学习如何使用它会那么Spring云数据流中运行Spring Batch的创建数据处理中的应用。
- SCDF,InfluxDB和度量标准 在本演示中,您将学习Micrometer如何使用InfluxDB和Grafana帮助监视Spring Cloud Data Flow流
- SCDF,Prometheus和度量标准 在本演示中,您将学习Micrometer如何使用Prometheus和Grafana帮助监视Spring Cloud Data Flow