特斯拉发布了 Dojo 技术白皮书，内容有些深度。[馋嘴]
先看摘要 :
- 本标准规定了深度学习神经网络训练的计算机编程环境中新的 8 位和 16 位二进制浮点算术的特斯拉算术格式和方法。
- 本标准还规定了异常条件及其状态标志。符合本标准的浮点系统的实现可以完全由软件实现，也可以完全由硬件实现，或者由软件和硬件的任何组合实现。
- 关键词 : 算术、二进制、计算机、深度学习、神经网络、训练、指数、浮点、格式、NaN、无穷大、数字、尾数、次正态、正态、可配置的指数偏差、范围、精度、舍入模式、随机数发生器、随机舍入。
- 最初的IEEE 754标准于1985年发布，规定了计算机系统中浮点运算的格式和方法--单精度(32位)、双精度(64位)的标准和扩展函数。
- 该标准的目的是为浮点数的计算提供一种方法，不管是用硬件、软件还是两者结合的方式进行处理，都会产生相同的结果。在输入数据相同的情况下，计算的结果将是相同的，与实现方式无关。数学处理中的错误和错误条件将以一致的方式报告，而与实施方式无关。
- 上述格式已被计算机系统广泛采用，包括硬件和软件，用于科学、数字和其他各种计算。随后，2008年修订的IEEE754标准也包括了半精度（16位），只是作为一种存储格式，没有指定算术运算。
- 然而，Nvidia和微软甚至更早在2002年初就在Cg语言中定义了这种数据类型，并在2002年底发布的GeForce FX中用硅片实现了这种数据类型。
- IEEE半精度格式不仅被用于存储，还被用于甚至在各种计算机系统中用于执行算术运算，特别是用于图形和机器学习应用。
- 这种格式在一些计算机图形环境中使用，包括 : MATLAB、OpenEXR、JPEG XR、GIMP、OpenGL、CG、Direct3D和D3DX。
- 与单精度二进制格式相比，它的优点是需要一半的存储和带宽(以牺牲精度和范围为代价)。
- 随后，在Nvidia人工智能处理器的机器学习系统中采用了IEEE半精度格式，特别是用于训练，因为这类应用的内存存储和带宽要求大大增加。
- 最近，谷歌的人工智能研究小组--谷歌大脑，开发了大脑浮点，或BFloat16，在他们的TPU架构中用于机器学习训练系统。
- BFloat16格式被用于英特尔人工智能处理器，如Nervana NNP-L1000、至强处理器（AVX-512 BF16扩展），以及英特尔FPGA、谷歌云TPU和TensorFlow中。ARMv8.6-A、AMD ROCm和CUDA也支持BFloat16格式。
- 在这些平台上，BFloat16也可用于混合精度算术，其中BFloat16数字可被操作并扩展到更广泛的数据类型，因为它保留了Float32格式的动态范围。
- BFloat16格式与IEEE Float16格式的不同之处在于为尾数和指数位提供的位数。这两种格式如下表2所示。
- 随着深度学习神经网络的发展，内存存储和带宽压力继续带来挑战，并在许多系统中造成瓶颈，即使在内存中采用Float16和BFloat16存储。
#特斯拉[超话]# #微博新知博主#
富兰克林 点赞 3 评论 0
新出行CC 点赞 13 评论 12
陈大个同学 点赞 3 评论 2
维圈圈 点赞 2 评论 2
2030出行研究室 点赞 9 评论 4
即将销售
46.68-62.40w
12.98-15.58w
18.88-21.68w
{/each}