【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Yammer 从 Scala 转向 Java

  • 2012-02-01
  • 本文字数:2600 字

    阅读完需:约 9 分钟

近日,由 Yammer 雇员 Coda Hale 发给 Typesafe 的 Scala 商业管理层的邮件通过 YCombinator 被泄漏出来并在 GitHub 上刊出。该邮件确认 Yammer 正在将其基础设施栈从 Scala 迁回至 Java,原因在于 Scala 的复杂性与性能问题。

Yammer 的公关 Shelley Risk 向 InfoQ 证实该邮件只代表 Coda Hale 的个人意见而非 Yammer 的官方声明;随后,Coda Hale 又在 http://codahale.com/the-rest-of-the-story/ 上发表了一篇文章。在该文章中,Coda 澄清说这个消息是来自于 Donald Fischer( Typesafe 的 CEO)对早前一个 tweet 的回复。

更新:近日,Yammer 已经发布了声明,宣布对该问题的立场,声明证实了上述猜测。声明还指出任何语言都会有瑕疵(不仅仅是 Scala),该邮件只不过是尝试提出一些建议以改进 Scala 的性能与其他问题。最后,声明说到在构建任何高性能项目时(Scala 是其产品环境)都有一些问题需要解决;该邮件旨在帮助 Scala 不断改进。

虽然 Coda 并未打算公开该邮件,但他通过 Gist(后来被删除了)将其放到了 GitHub 上以获得其他朋友的反馈;然而,邮件内容后来被共享出来并得到了大范围传播。

回到 2010 年 8 月,Coda 在 Yammer Engineering 博客上说他们将要转向 Scala 。其目标是继续运行在 JVM(出于性能原因)上,这个转变的结果就是减少了约 50% 的代码:

Artie 最初的原型采用 Java 编写,但在一个周末的试验中,我尝试使用 Scala 2.8 重新实现一次。一天后,代码行数减少了约一半,并添加了几个特性。我震惊了,Java 开发者很容易找,但 Scala 团队却能完成更多工作

一年过后,这个决定发生了变化

目前在 Yammer,我们正在将基础设施迁回至 Java,同时以遗留库的形式继续对 Scala 提供支持。这个过程并不是那么急,我们刚刚开始,但需要很长时间。本质在于使用 Scala 而非 Java 作为我们的默认语言所产生的摩擦和复杂性并未被足够的生产力提升或是维护工作的减少而抵消。我们或许还会在产品中使用 Scala,但主要的开发将会使用 Java。

Stephen Colebourne(近日发表了文章 Is Scala the new EJB2?)对这封邮件做了点评,其要点总结如下:

  • 作为一门语言,Scala 中有很多颇具见地的想法。但它是门非常复杂的语言。
  • 除了 Scala 所引入的概念与具体实现外,要想编写地道的 Scala 还有一个文化的问题,有时突然就蹦出来一个最佳实践:完全不管不顾社区。
  • 我当然知道学习(以及教授)Scala 的困难程度与重要性。因为我们不可能在没人学习 Scala 的情况下找到人,这个事实非常重要。
  • 构建工具链导致开发很不舒服。这主要是因为 SBT 导致了 Maven 与 Ant 的边缘化——而他们是 Java 生态圈中的两个主要的构建工具。
  • 每个主要的 Scala 发布都不兼容于之前的版本,这导致 Scala 开发者总是在开发新的库并重新发明轮子。
  • 借助于分析与检查字节码,我们可以通过采用一些简单的规则实现 100 倍的改进:
    • 不要使用 for 循环
    • 不要使用 scala.collection.mutable
    • 不要使用 scala.collection.immutable
    • 总是使用 private[this]
    • 不要使用闭包
  • 我和开发团队讨论了这个问题(迁回至 Java),并且演示了两个代码基,结果是大家普遍同意进行切换。毫无疑问,我们肯定对 Scala 的某些方面还不太熟悉,但这不足以让我们还固守在 Scala 上。

其中一些问题可能不太重要(比如说,一门语言越流行,那么雇佣的开发者的经验就会越多),其中一些是根据经验来测试的。比如说,其中一条建议就是不要使用 for 循环。这可以通过如下代码进行测试:

复制代码
<pre>
scala>
var start = System.currentTimeMillis();
var total = 0;for(i <- 0 until 100000) { total += i };
var end = System.currentTimeMillis();
println(end-start);
println(total);
114
scala>
scala<
var start = System.currentTimeMillis();
var total = 0;var i=0;while(i < 100000) { i=i+1;total += i };
var end = System.currentTimeMillis();
println(end-start);
println(total);
8
</pre>

这里使用 for 循环(与"until"模式,很多 Scala 程序员都习惯这么用)要比对应的 while 循环慢很多,虽然使用 while 循环的可读性差一些。同样循环的 Java 实现对于 for 和 while 来说都是 2ms。

我们做的另一个测试是通过从一个包含 Integer 对象的数据集合中加载来看看可变 map 的性能(这可以在 Java 与 Scala 中进行对比,装箱的损耗应该差不多)。

复制代码
<pre>
scala>
val m = new scala.collection.mutable.HashMap[Int,Int];
var i = 0;
var start = System.currentTimeMillis();
while(i<100000) { i=i+1;m.put(i,i);};
var end = System.currentTimeMillis();
println(end-start);
println(m.size)
101
scala>
val m = new java.util.HashMap[Int,Int];
var i = 0;
var start = System.currentTimeMillis();
while(i<100000) { i=i+1;m.put(i,i);};
var end = System.currentTimeMillis();
println(end-start);
println(m.size)
28
scala>
val m = new java.util.concurrent.ConcurrentHashMap[Int,Int];
var i = 0;
var start = System.currentTimeMillis();
while(i<100000) { i=i+1;m.put(i,i);};
var end = System.currentTimeMillis();
println(end-start);
println(m.size)
55
</pre>

与 java.util.HashMap 相比,性能是相同的,与 java.util.concurrent.ConcurrentHashMap 相比,Java 的速度要比 Scala 快一倍。Java 集合类超越了 Scala(以上测试基于 OSX JVM 1.6.0_29 与 Scala 2.9.1,在文本撰写之际的最新版本)。

但遗憾的是,在 Scala 库 API 中有很多 Scala 集合,他们需要通过代码中的隐式转换从 Java 对象类型转换为 Scala 对象类型。出于性能原因,这需要大量的重写。

如果 Scala 编译器通过 invokedynamic 生成代码,那么闭包(lambdas)的性能还会得到改进,这是后续版本的 Scala 将会做的事情。此外,在 JDK 8 中(将会给 Java 带来 native lambdas 与 method handles)将会有很多的性能改进,这些改进都可以为 Scala 所用。

最后,Scala 在解决版本之间的不兼容问题上面临着越来越多的压力(不仅仅是2.9.2 与2.9.3 之间的小改进)。Typesafe 并未发布Scala 未来路线图的官方声明,也没有说明何时才会有稳定的二进制版本能够实现不同版本之间代码的兼容。如果能够实现向后兼容,那么就会有更多稳定的库出现,并且会形成一个社区仓库,这对未来有志于使用Scala 的开发者将大有裨益。

查看英文原文: Yammer Moving from Scala to Java

2012-02-01 04:285782
用户头像

发布了 88 篇内容, 共 258.1 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

福利时刻 十年黑客大佬的Web安全渗透技术分享

学神来啦

Linux 黑客 安全 运维自动化

《原则》(九)

Changing Lin

6月日更

一个超牛逼的 GitHub 项目,标星高达55.3Kstar,附项目源代码

Java架构师迁哥

准备3个月,面试10分钟,Java中高级岗面试为何越来越难?

Java架构师迁哥

建信金科大咖访谈:ISO20000及ISO27001标准体系解读

金科优源汇

☕️【Java 技术之旅】带你一起攻克String类创建的难点分析

洛神灬殇

Java string pool string 6月日更

创业邦南立新:搭建创新生态,是奔向万亿美金市值的必经之路

创业邦

react源码解析9.diff算法

全栈潇晨

react源码

面试官:如何给字符串设计索引?

一个优秀的废人

MySQL 索引 字符串 索引优化

24道几乎必问的JVM面试题,我只会7道,你能答出几道?

北游学Java

Java 面试 JVM

开源之夏来啦,欢迎报名 Apache APISIX 项目!

API7.ai 技术团队

开源 后端 技术人生 API 网关

程序员需要了解数据库知识么?

escray

学习 极客时间 朱赟的技术管理课 6月日更

在外包5年,每天读写删改,突然发现跳不出来了

Java架构师迁哥

深入分析Linux操作系统对于TCP/IP栈的实现原理与具体过程

奔着腾讯去

c++ socket 网络协议

涵盖了所有计算机底层知识总结与操作系统的实战教程,你确定不看看吗

Java架构师迁哥

基于传感器的人体生命体征监控技术

不脱发的程序猿

物联网 传感器 智能医疗 人体生命体征监控技术

油管视频下载: 如何下载油管视频到本地

科技猫

分享 教程 经验 油管视频下载 下载油管视频

Kubernetes学习笔记之Calico CNI Plugin源码解析(二)

360技术

用 CloudQuery 管理和操作数据库,更高效更安全

BinTools图尔兹

运维 dba 数据库管理工具

大厂招聘程序员都是“有章可循”你Get到了吗?

Java架构师迁哥

如何判断老板是在给员工画饼?

石云升

创业 职场经验 6月日更

阿里云官方出品:全面总结阿里云云原生架构方法论与实践经验

尹文敏

云计算 阿里云 云原生

我人生的里程碑之【作为独立开发者,第一次承接外包项目的心得经历,也许说出你的心声哦!】

洛神灬殇

程序人生 6月日更

2021年最新版Java后端最全面试攻略,全面对标BATJ

Java 程序员 架构 面试

阿里工作8年,肝到P8就剩这份学习笔记了,已助朋友拿到10个Offer

Java 程序员 架构 面试

本文是为了帮大家快速回顾了Java中高级知识点,只需收藏不用看!

Java架构师迁哥

毕昇JDK:为啥是ARM上超好用的JDK

华为云开发者联盟

Java 华为 jdk Openjdk 毕昇 JDK

Flink + Iceberg 在去哪儿的实时数仓实践

Apache Flink

flink

从零开始学习3D可视化之模型动画

ThingJS数字孪生引擎

可视化 模型 大屏可视化 数字时代 3D可视化

centos7使用

xujiangniao

Linux

超全!阿里首发内部微服务架构笔记,再也不用为“微服务”苦恼了

Java架构师迁哥

Yammer从Scala转向Java_Java_Alex Blewitt_InfoQ精选文章