扫码加入数据分析学习群

压缩的必要性

很显然，在计算图中，张量在节点之间流动。在流到达可以处理的节点之前，减少流造成的延迟非常重要。一个方法是使用有损压缩减小尺寸。

张量的数据类型可以发挥重要作用，让我们来理解为什么。很明显机器学习中的操作中有更高的精度。例如，如果我们使用float32作为张量的数据类型，那么每个值都表示为32位浮点数，因此每个值占用32位的大小，这同样适用于64位。假设一个形状为（1000,440,440,3）的张量，其包含的值的数量为1000 * 440 * 440 * 3。如果数据类型是32位，那么占用的空间是这个巨大数字的32倍，从而增加了流的延迟。压缩技术可以用来减小尺寸。

有损压缩

有损压缩涉及压缩数据的大小，并不在意它的值，这意味着它的值可能会在压缩过程中被破坏或不准确。 但是，如果我们有一个像1.01010e-12这样的32位浮点数，那么对于最低有效数字的重要性就会降低。 更改或删除这些值不会在我们的计算中产生太大的差异。因此，Tensorflow会自动将32位浮点数转换为16位表示，忽略所有可忽略的数字。如果它是64位数，则会将其大小减少近一半。如果将64位数压缩到16位将几乎缩小75％。因此张量所占用的空间可以尽可能减少。

一旦张量到达节点，16位表示可以通过追加0回到它的原始形式。因此，32或64位表示将在到达节点进行处理后被还原。