spark集群 分类器 部署

Question

创建2-3个ECS实例，将其中一个设为manager node部署spark，用MLlib做个二分类任务

Answer 1

以阿里云服务器部署为例，可以安装下面步骤进行操作：

1. 在阿里云中创建2-3个ECS实例，其中一个ECS实例作为manager node部署Spark，其他ECS实例作为worker node。

2. 在manager node中，下载并安装Spark，配置好环境变量和相关配置文件。可以参考阿里云的Spark安装手册。

3. 在worker node中，也需要下载并安装Spark，并配置好相应的环境变量和配置文件。

4. 在manager node中，使用MLlib进行二分类任务，可以使用Spark自带的示例程序或自己编写相关代码进行实现。可以参考Spark官方文档中的二分类任务样例。

5. 配置Spark集群，并启动集群。可以使用命令行或者相关的工具进行配置和启动。

6. 配置好集群后，使用Spark的图形化界面查看集群中的任务和节点情况。

7. 最后，可以通过Spark的API或CLI进行提交作业，并观察作业的执行情况和输出结果。