Costin Leau

校友
博客文章作者Costin Leau

Spring for Apache Hadoop 1.0 正式发布

工程 | 2013年2月26日 | ...

我们高兴地宣布 Spring for Apache Hadoop 的第一个正式版本 (1.0) 发布,距离其第一个里程碑版本发布已近一年。在此期间,我们结合了大量的用户反馈来推动路线图,感谢所有提供帮助的社区成员!虽然一年来增加了许多新功能,但 Spring for Apache Hadoop 的目标仍然保持不变,即简化基于 Hadoop 的应用程序的开发。

立即下载,或在此处查看 Maven 工件此处

简化的编程模型和一致性

我们观察到,使用 Hadoop 附带的标准开箱即用的工具,很容易最终得到结构不良的 Hadoop 应用程序,这些应用程序是由命令行实用程序、脚本和拼接在一起的代码片段组成的。Hadoop 生态系统中各个项目的不同来源,例如专注于声明式使用的HivePig,或者专注于程序化方法的CascadingHBase,导致了不同的配置和 API 设计方法。

 

Spring for Apache Hadoop 提供了始终如一的编程和配置……

Spring for Apache Hadoop 1.0 RC2 发布

发行版本 | 2013年1月21日 | ...

尊敬的 Spring 社区成员,我很高兴地宣布 Spring for Apache Hadoop 的第二个也是最后一个计划的候选版本 1.0 RC2。

下载 | JavaDocs | 参考文档 | 变更日志

RC2 提供了错误修复和改进,并增强了整体可用性

  • 为 Cascading 引入了专用命名空间
  • 增强了与 Cloudera CDH3 和 4 以及 Greenplum HD 1.x 的兼容性
  • Cascading、Pig 和 MapReduce 批处理任务显示执行统计信息
  • 改进的 MapReduce 作业线程,包括安全的作业取消
  • 改进了参考文档和示例

有关完整更改列表,请参阅变更日志。有关 Spring for Apache Hadoop 的更多信息,请参阅项目主页上的参考文档和示例应用程序。

要快速了解 Spring for Apache Hadoop,请观看此网络研讨会或参考……

Spring Data Redis 1.0.2 发布

发行版本 | 2012年10月17日 | ...

尊敬的 Spring 社区成员:

适逢 SpringOne2GX 2012,我很高兴地宣布 Spring Data Redis 1.0.2 项目的正式版本发布!

下载 | JavaDocs | 参考文档 | 变更日志

Spring Data Redis 1.0.2 是一个维护版本,提供了一些增强功能

  • 基于时间的缓存过期
  • 带有重载偏移量/计数运算符的 ZSet 方法

有关 Spring Data Redis 的更多信息,请参阅主页以获取实时示例和网络研讨会录制。

我们期待您在论坛问题跟踪器中提供反馈。

Spring for Apache Hadoop 1.0 RC1 发布

发行版本 | 2012年10月17日 | ...

尊敬的 Spring 社区成员:

适逢 SpringOne2GX 2012,我很高兴地宣布 Spring for Apache Hadoop 的第一个候选版本 1.0 RC1。

下载 | JavaDocs | 参考文档 | 变更日志

RC1 提供了重要的错误修复和增强功能,并引入了新功能,例如

  • Pig 和 Hive 脚本的模板、异常转换和声明式运行器
  • 增强的 Map/Reduce jar 和工具执行,以防止类加载泄漏
  • 改进的 JVM 脚本、M/R、Cascading 运行器,以提供预/后操作

有关 Spring for Apache Hadoop 的更多信息,请参阅项目主页上的参考文档和示例应用程序。此外,我们邀请您参加即将举行的网络研讨会,“介绍 Spring for Apache Hadoop”,定于 11 月 8 日举行。

我们期待您在论坛问题跟踪器中提供反馈……

Spring Shell 1.0.0.RC1 发布

发行版本 | 2012年9月20日 | ...

尊敬的 Spring 社区成员:

我很高兴地宣布 Spring Shell 项目的第一个候选版本发布!Spring Shell 是一个交互式 shell,可以使用基于 Spring 的编程模型轻松扩展命令,该模型是从 Spring Roo 项目中提取的。

下载 | JavaDocs | 参考文档 | 变更日志

此版本包含与 JLine/Jansi 相关的各种修复。有关详细信息,请参阅变更日志

我们期待您在论坛问题跟踪器中提供反馈。

Spring Shell 1.0 M1 发布

发行版本 | 2012年7月18日 | ...

尊敬的 Spring 社区成员:

我很高兴地宣布 Spring Shell 项目的第一个里程碑版本发布!Spring Shell 是一个交互式 shell,可以使用基于 Spring 的编程模型轻松扩展命令,该模型是从 Spring Roo 项目中提取的。

下载 | JavaDocs | 参考文档 | 变更日志

有关 Spring Shell 的更多信息,请参阅主页

我们期待您在论坛问题跟踪器中提供反馈。

Spring Data Redis 1.0.1 发布

发行版本 | 2012年6月27日 | ...

尊敬的 Spring 社区成员:

我很高兴地宣布 Spring Data Redis 1.0.1 项目的正式版本发布!

下载 | JavaDocs | 参考文档 | 变更日志

Spring Data Redis 1.0.1 不仅仅是一个维护版本,它还引入了一些新功能,例如

  • 支持新的 (第四个) Redis 驱动程序SRP
  • Redis 原生执行 (RedisConnection#execute)
  • 改进的管道执行跟踪,可在所有驱动程序中始终如一地处理潜在错误和批量结果

有关 Spring Data Redis 的更多信息,请参阅主页以获取实时示例和网络研讨会。

我们期待您在论坛问题跟踪器中提供反馈。

Spring for Apache Hadoop 1.0.0 M2 的亮点

工程 | 2012年6月13日 | ...

我很高兴地宣布Spring for Apache Hadoop项目的第二个里程碑版本 (1.0.0.M2)已推出。在这篇博客文章中,我想快速重点介绍 M2 中的主要新功能。

HBase DAO 支持

Spring框架中最通用和强大的功能之一是数据访问对象(DAO)支持。Spring for Hadoop 1.0.0 M2为HBase添加了相同的功能。流行的模板和回调模式的用户应该会感觉很熟悉,因为框架处理表查找、资源清理和异常转换,让开发者专注于真正重要的事情。有关更多信息,请参阅API和参考文档。顺便说一句,我们还在发行版中包含了一个新的示例:hbase-crud,帮助您立即上手。

级联Taps

在M2中,我们通过Cascading库的Tap来扩展与Spring框架和Spring Integration资源的集成。Spring Integration适配器(无论入站还是出站)的丰富性,例如文件、TCP、Twitter、FTP、RSS(仅举几例),现在可用于Cascading(及其扩展,例如CascalogScalding)。而这仅仅是个开始——敬请期待更多这方面的消息。

Hadoop安全

使用M2,从普通的Hadoop安装(例如开发机器)迁移到完全Kerberos安全的Hadoop集群是透明的。文件系统、Map/Reduce和Pig组件都是安全感知的,在正确的凭据下执行并支持用户模拟。有关更多信息,请参阅专门的章节

增强的普通Map/Reduce支持

从一开始,Spring for Apache Hadoop就为Map/Reduce作业提供了广泛的支持——无论是普通的还是传统的Java Map/Reduce、流式处理还是工具。在M2中,我们添加了对Hadoop通用选项支持,通过单独命名资源或通过模式匹配,使作业配置成为一行代码。此外,我们改进了基于jar的作业的引导——作业无需将类放在类路径上,即可完全独立地从jar加载。类(及其依赖项)不会_泄漏_到应用程序中,从而避免了各种版本冲突和依赖_蔓延_。工具声明已改进为自动读取Jar元数据及其Main-Class,提供了一个功能强大、完全托管的替代方案,以替代Hadoop shelljar调用。

两个新的示例

最后但并非最不重要的是,发行版中添加了两个新的示例hbase-crud,前面我提到过,展示了声明式和编程式的HBase支持,以及pig-scripting,演示了JVM和Pig脚本:前者为后者在HDFS中准备数据,后者进行数据分析。我们还有更多示例正在开发中,如果您想看到任何特定内容,请告诉我们。

希望您喜欢这个新的里程碑。继续,获取1.0.0 M2,试用一下,并告诉我们您的想法!

其他新闻:Serengeti项目

就新版本而言,Spring for Apache Hadoop 1.0.0 M2并不是Hadoop领域的唯一新闻。今天,VMware推出了Serengeti项目,用于虚拟化和高可用性Hadoop。请参阅Richard McDougall的博文,了解其背后的动机、当前状态……

获取支持

Tanzu Spring在一个简单的订阅中提供对OpenJDK™、Spring和Apache Tomcat®的支持和二进制文件。

了解更多信息

即将举行的活动

查看Spring社区中所有即将举行的活动。

查看全部