领先一步
VMware 提供培训和认证,以加速您的进步。
了解更多我们很高兴地宣布 Apache Ambari 插件的第一个版本,该插件适用于 Spring XD。
Ambari 是一种集群配置工具,用于安装和管理各种 Apache 项目,例如 HDFS、YARN、Zookeeper 或 Kafka。Ambari 具有堆栈定义的概念,Pivotal 和 Hortonworks 都使用该概念。堆栈定义通常由维护者支持的组件组成。
此 Ambari 集成增加了对使用 Pivotal HD 3.0 和 Hortonworks HDP 2.2 配置 Spring XD 的支持。
Spring XD 不是 PHD 或 HDP 的主要 Ambari 发行版的一部分。但是,可以通过简单的 RPM 安装轻松扩展现有的 Ambari 安装,从而修改现有的堆栈定义。
我们已在我们的存储库 Github spring-xd-ambari 中准备了 安装说明,以及此插件的源代码。
在 Pivotal HD 3.0 上使用外部 Redis 作为消息总线的 Spring XD:
在 Hortonworks HDP 2.2 上使用 Ambari 托管的 Kafka 作为消息总线的 Spring XD:
成功完成集群配置后,可以轻松地从 XD shell 连接到正在运行的 Spring XD 集群。一个命令脚本 /etc/springxd/conf/xd-shell.init
会自动创建,其中包含您可以加载到 XD shell 中的正确设置。
$ export JAVA_HOME=/usr/jdk64/jdk1.7.0_67
$ xd-shell
server-unknown:>script --file /etc/springxd/conf/xd-shell.init
admin config server http://ambari-2.localdomain:9393
Successfully targeted http://ambari-2.localdomain:9393
hadoop config fs --namenode hdfs://ambari-2.localdomain:8020
Script required 0.625 seconds to execute
xd:>runtime containers
Container Id Host IP Address PID Groups Custom Attributes
------------------------------------ -------------------- -------------- ----- ------ -----------------
44c34156-8b8a-4ada-ad46-e5d955b6f995 ambari-6.localdomain 172.16.101.146 6327
d8273536-c688-4fdd-b370-6bc0f68bdc25 ambari-5.localdomain 172.16.101.145 31199
xd:>hadoop fs ls /
Found 9 items
drwxrwxrwx - yarn hadoop 0 2015-06-01 04:55 /app-logs
drwxr-xr-x - gpadmin gpadmin 0 2015-06-01 04:52 /hawq_data
drwxr-xr-x - mapred hdfs 0 2015-06-01 04:50 /mapred
drwxr-xr-x - hdfs hdfs 0 2015-06-01 04:50 /mr-history
drwxr-xr-x - hdfs hdfs 0 2015-06-01 04:51 /phd
drwxr-xr-x - hdfs hdfs 0 2015-06-01 04:52 /system
drwxrwxrwx - hdfs hdfs 0 2015-06-01 04:53 /tmp
drwxr-xr-x - hdfs hdfs 0 2015-06-01 04:53 /user
drwxrwxrwx - spring-xd hdfs 0 2015-06-01 07:29 /xd
写入 HDFS 可以开箱即用。
xd:>stream create --name hdfstest --definition "time|hdfs" --deploy
xd:>stream destroy --name hdfstest
xd:>hadoop fs ls --recursive true --dir /xd
drwxrwxrwx - spring-xd hdfs 0 2015-06-01 07:29 /xd/hdfstest
-rw-r--r-- 3 spring-xd hdfs 680 2015-06-01 07:29 /xd/hdfstest/hdfstest-0.txt
#SpringOne 2GX 2015 即将到来!在 华盛顿特区的 SpringOne2GX 上预订您的席位。超级早鸟价在 6 月 12 日到期!这仅仅是了解所有正在发生的事情并提供直接反馈的最佳机会。
#折扣