PCon全球产品创新大会最新日程上线,这里直达 了解详情
写点什么

OpenAI 发布 Triton,一款用于神经网络的类 Python GPU 开源编程语言

  • 2021 年 9 月 03 日
  • 本文字数:793 字

    阅读完需:约 3 分钟

OpenAI发布Triton,一款用于神经网络的类Python GPU开源编程语言

近期,OpenAI 发布了他们的最新语言 Triton。这种开源编程语言让研究人员能够为 AI 负载编写高效的 GPU 代码。



它与 Python 兼容,并且用户只需编写最少 25 行代码,就能实现专家级的效果。OpenAI 声称这款语言让开发人员无需太多努力即可挖掘硬件的最大潜能,从而比以往更轻松地创建更复杂的工作流程。



http://www.eecs.harvard.edu/~htk/publication/2019-mapl-tillet-kung-cox.pdf


深度学习领域的研究人员通常依赖于原生框架操作符。然而这可能会带来一些问题,因为它需要许多临时张量才能工作,这可能会影响大规模神经网络的性能发挥。


编写专门的 GPU 内核是一种更便利的解决方案,但由于对 GPU 编程的复杂性,这种方案实践起来会有意想不到的困难。找到一种既能提供所需的灵活性和速度,又能让开发人员轻松理解的系统是一项挑战。这促使 OpenAI 的研究人员改进了 Triton,Triton 最初是由他们的一位队友创建的。


现代 GPU 的架构可以分解为三大组件——DRAM、SRAM 和 ALU。在优化 CUDA 代码时必须考虑每一个组件;开发人员不能忽视 GPU 编程带来的诸多挑战,包括:来自 DRAM 的内存传输应该充分合并,以利用当今内存接口上更大的总线宽度。数据在再次使用之前需要手动存储在 SRAM 中,以免在检索时与其他共享内存块发生冲突。



https://openai.com/blog/triton/


Triton 简化了专用内核的开发过程,这些内核比通用库中的内核要快得多。编译器会自动对其进行优化和并行化,将其转换为在最新的 Nvidia GPU 上执行的代码。Triton 起源于 2019 年提交给机器学习和编程语言国际研讨会的一篇论文,其创建者现在是 OpenAI 团队的一员。


论文:http://www.eecs.harvard.edu/~htk/publication/2019-mapl-tillet-kung-cox.pdf


Github:https://github.com/openai/triton


来源:https://openai.com/blog/triton/


原文链接:


https://www.marktechpost.com/2021/07/28/openai-releases-triton-an-open-source-python-like-gpu-programming-language-for-neural-networks

2021 年 9 月 03 日 11:26
用户头像
刘燕 InfoQ记者

发布了 745 篇内容, 共 242.1 次阅读, 收获喜欢 1426 次。

关注

评论

发布
暂无评论
发现更多内容

结合实战和源码来聊聊Java中的SPI机制?

冰河

Java spi 服务发现

区块链的新信任模式将重塑传统金融业

CECBC

区块链 资产流动性

输入法B端市场转化:百度推动产业智能化的新路径

脑极体

Appium常用操作之「Toast提示信息获取」

无个性不签名

Nacos实战及其源码分析

Fox

Spring Cloud nacos spring cloud alibaba

给,你们想要的内存溢出MAT排查工具

田维常

内存溢出

React 灵魂 23 问

局外人

Java 大前端 React

JVM运行时数据区,你真得好好学一学

Simon郎

JVM Java 分布式

用 Python 实现定时自动化收取蚂蚁森林能量

Python小二

Python

git使用与原理剖析及其私服搭建

Fox

git

第五周 - 作业

leo

极客大学架构师训练营

DataOps系列丨DataOps的组织架构与挑战

DataPipeline数见科技

大数据

阿里大牛八年打造,编程宝典,从初学到编程进阶—深入学习—实战

Java~~~

Java 阿里巴巴 程序员 架构 编程语言

消灭微服务的坏味道 之 循环依赖

码猿外

微服务 循环依赖 坏味道

架构师系列之6: python实现一致性hash

桃花原记

《使用C ++的数据结构和程序设计》限时免费下载

计算机与AI

c++

Spring Cloud Config 实现分布式配置中心

AI乔治

Java 架构 微服务 Spring Cloud

架构师训练营第 1 期 - 第九周作业

Todd-Lee

极客大学架构师训练营

实现2nm工艺突破,台积电为何能给“摩尔定律”续命?

脑极体

第五周-笔记

leo

极客大学架构师训练营

LeetCode 热题 - 递归

helbing

LeetCode

网络冲浪信任危机频发,区块链能否破局?

CECBC

区块链 征信透明

看“区块链”如何为外贸企业融资

CECBC

区块链 银行

Maven-技术专题-Setting文件结构解析

浩宇天尚

石、火、水:从OriginOS透视移动系统进化论

脑极体

DataOps系列丨DataOps理念与设计原则

DataPipeline数见科技

大数据

五、一致性哈希算法

Geek_28b526

《ZooKeeper分布式过程协同技术详解》.pdf

田维常

电子书

架构师训练营第 1 期 - 第九周总结

Todd-Lee

极客大学架构师训练营

接口的幂等性的多重考虑,你会了吗?

moon聊技术

Java 接口

大专学历Java开发7年,从年初被裁到四面美团点评成功上岸,闭关七个月,入职那一天我哭了!

Java架构追梦

Java 阿里巴巴 面试 美团 java架构

TDSQL前沿技术进展和趋势——数据异常基础理论研究

TDSQL前沿技术进展和趋势——数据异常基础理论研究

OpenAI发布Triton,一款用于神经网络的类Python GPU开源编程语言-InfoQ