Costin Leau

校友
博客文章按Costin Leau

Spring for Apache Hadoop 1.0 发布 GA 版本

工程 | 2013年2月26日 | ...

我们很高兴宣布 Spring for Apache Hadoop 的第一个 GA 版本 (1.0) 发布,距离其 第一个里程碑 版本发布 लगभग 一年。在此期间,我们采纳了大量的反馈来推动路线图的制定,非常感谢社区中所有提供帮助的人!虽然这一年里新增了许多功能,但 Spring for Apache Hadoop 的目标始终不变,即简化基于 Hadoop 的应用程序开发。

现在就下载,或在此处查看 Maven Artifacts。

简化的编程模型和一致性

我们观察到,使用 Hadoop 自带的标准开箱即用工具,很容易导致 Hadoop 应用成为命令行工具、脚本和代码片段拼凑而成的结构不良的集合。Hadoop 生态系统中各种项目的不同起源,例如专注于声明式使用的 HivePig,或者采用编程角度的 CascadingHBase,导致了配置和 API 设计方法各不相同。

 

Spring for Apache Hadoop 提供一致的编程和配置...

Spring for Apache Hadoop 1.0 RC2 发布

发布 | 2013年1月21日 | ...

亲爱的 Spring 社区,我很高兴宣布 Spring for Apache Hadoop 的第二个也是最后一个计划的发布候选版本 1.0 RC2 发布

下载 | JavaDocs | 参考文档 | 更新日志

RC2 提供了错误修复和改进,并增强了整体可用性

  • 引入了 Cascading 专用的命名空间
  • 增强了与 Cloudera CDH3 和 4 以及 Greenplum HD 1.x 的兼容性
  • Cascading、Pig 和 MapReduce 批处理任务暴露执行统计信息
  • 改进了 MapReduce 作业的线程处理,包括安全的作业取消
  • 全面修订了参考文档和示例

有关完整的更改列表,请参阅更新日志。有关 Spring for Apache Hadoop 的更多信息,请查看项目主页以获取参考文档和示例应用。

有关 Spring for Apache Hadoop 的快速介绍,请参阅此网络研讨会http://www.youtube.com/watch?v=wlTnBzQ6KDU> 或参考文档...

Spring Data Redis 1.0.2 发布

发布 | 2012年10月17日 | ...

亲爱的 Spring 社区,

正值 SpringOne2GX 2012 期间,我很高兴宣布 Spring Data Redis 1.0.2 项目的 GA 版本发布!

下载 | JavaDocs | 参考文档 | 更新日志

Spring Data Redis 1.0.2 是一个维护版本,提供了多项增强功能

  • 基于时间的缓存过期
  • ZSet 方法具有重载的 offset/count 运算符

有关 Spring Data Redis 的更多信息,请查看主页以获取实时示例和网络研讨会录像。

我们期待您在论坛问题跟踪器中提供反馈。

Spring for Apache Hadoop 1.0 RC1 发布

发布 | 2012年10月17日 | ...

亲爱的 Spring 社区,

正值 SpringOne2GX 2012 期间,我很高兴宣布 Spring for Apache Hadoop 的第一个发布候选版本 1.0 RC1 发布

下载 | JavaDocs | 参考文档 | 更新日志

RC1 提供了重要的错误修复和增强功能,并引入了新特性,例如

  • Pig 和 Hive 脚本的模板、异常转换和声明式运行器
  • 增强了 Map/Reduce jar 和工具执行以防止类加载泄露
  • 改进了 JVM 脚本、M/R、Cascading 运行器以提供前/后置操作

有关 Spring for Apache Hadoop 的更多信息,请查看项目主页以获取参考文档和示例应用。此外,您还被邀请参加将于 11 月 8 日举行的即将到来的网络研讨会,“Introducing Spring for Apache Hadoop”。

我们期待您在论坛问题跟踪器中提供反馈...

Spring Shell 1.0.0.RC1 发布

发布 | 2012年9月20日 | ...

亲爱的 Spring 社区,

我很高兴宣布 Spring Shell 项目的第一个发布候选版本发布!Spring Shell 是一个交互式 shell,可以使用基于 Spring 的编程模型轻松扩展命令,该模型提取自 Spring Roo 项目。

下载 | JavaDocs | 参考文档 | 更新日志

此版本包含与 JLine/Jansi 相关的各种修复。详细信息请参阅更新日志

我们期待您在论坛问题跟踪器中提供反馈。

Spring Data Redis 1.0.1 发布

发布 | 2012年6月27日 | ...

亲爱的 Spring 社区,

我很高兴宣布 Spring Data Redis 1.0.1 项目的 GA 版本发布!

下载 | JavaDocs | 参考文档 | 更新日志

Spring Data Redis 1.0.1 不仅仅是一个维护版本,它引入了多项新特性,例如

  • 支持一个新的(第四个)Redis 驱动程序 SRP
  • Redis 原生执行 (RedisConnection#execute)
  • 改进了管道执行,能够在所有驱动程序中一致地跟踪潜在错误和批量结果

有关 Spring Data Redis 的更多信息,请查看主页以获取实时示例和网络研讨会。

我们期待您在论坛问题跟踪器中提供反馈。

Spring for Apache Hadoop 1.0.0 M2 要点

工程 | 2012年6月13日 | ...

我很高兴宣布 Spring for Apache Hadoop 项目的第二个里程碑版本 (1.0.0.M2) 已可用。在这篇博客文章中,我想快速重点介绍 M2 中的主要新特性。

HBase DAO 支持

Spring Framework 中最通用和强大的功能之一是数据访问对象(DAO)支持。借助 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。熟悉流行的模板和回调模式的用户会感到得心应手,因为该框架处理表查找、资源清理和异常转换,让开发人员可以专注于真正重要的事情。有关更多信息,请参阅 API 和参考文档。顺便说一句,我们还在分发包中包含了一个新的示例,hbase-crud,帮助您立即上手。

Cascading Taps

在 M2 中,我们通过Tap 来扩展与 Cascading 库的集成,用于 Spring Framework 和 Spring Integration 资源。Spring Integration 适配器(无论是入站还是出站)的丰富性,如 File、TCP、Twitter、FTP、RSS(仅举几例),现在可供 Cascading(及其扩展,如 CascalogScalding)使用。我们才刚刚开始 - 敬请期待这方面的更多新闻。

Hadoop 安全

使用 M2,从一个普通的 Hadoop 安装(例如开发机器)迁移到完全由 Kerberos 保护的 Hadoop 集群是透明的。文件系统、Map/Reduce 和 Pig 组件都具备安全意识,在适当的凭据下执行并支持用户模拟。有关更多信息,请参阅专用章节

增强的普通 Map/Reduce 支持

从一开始,Spring for Apache Hadoop 就为 Map/Reduce 作业提供了广泛的支持 - 无论是普通的还是传统的 Java Map/Reduce、streamingtooling。在 M2 中,我们全面增加了对 Hadoop 通用选项支持,使得通过单独命名资源或通过模式匹配进行作业配置变得一行代码即可实现。此外,我们增强了基于 jar 的作业的引导 - 无需将类放在 classpath 中,作业可以完全从 jar 文件中隔离加载。类(及其依赖项)不会泄露到应用程序中,从而避免了各种版本冲突和依赖蔓延。工具声明得到了改进,可以自动读取 Jar 元数据及其 Main-Class,为 Hadoop shell 的 替代方案提供了一个强大、完全托管的jar调用。

两个新示例

最后但同样重要的是,分发包中添加了两个新示例hbase-crud,我在之前提到过,展示了声明式和编程式 HBase 支持,以及pig-scripting,演示 JVM 和 Pig 脚本:前者在 HDFS 中进行数据准备,后者进行数据分析。还有更多示例正在开发中,如果您特别想看到什么,请告诉我们。

希望您喜欢这个新的里程碑版本。来吧,下载 1.0.0 M2,试用一下,并告诉我们您的想法!

其他新闻:Project Serengeti

就新版本而言,Spring for Apache Hadoop 1.0.0 M2 并非 Hadoop 领域的唯一新闻。今天,VMware 推出了 project Serengeti,用于虚拟化和高可用 Hadoop。请参阅 Richard McDougall 关于其背后动机、当前状态的博客文章

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获取支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

近期活动

查看 Spring 社区的所有近期活动。

查看全部