張量（Tensor）：Tensor = multi-dimensional array of numbers 張量是一個多維數(shù)組，它是標量，向量，矩陣的高維擴展 ，是一個數(shù)據(jù)容器，張量是矩陣向任意維度的推廣

注意，張量的維度（dimension）通常叫作軸（axis）, 張量軸的個數(shù)也叫作階（rank）］

(資料圖)

標量（scalar）：只有一個數(shù)字的張量叫標量（也叫標量張量、零維張量、0D 張量）

x = np.array(12)print(x.ndim) 可以用 ndim 屬性來查看一個 Numpy 張量的軸的個數(shù)。標量張量有 0 個軸（ ndim == 0 ）。

向量（vector）：數(shù)字組成的數(shù)組叫作向量（vector）或一維張量（1D 張量）。一維張量只有一個軸。下面是一個 Numpy 向量

np.array([12, 3, 6, 14, 7])這個向量有 5 個元素，所以被稱為 5D 向量。不要把 5D 向量和 5D 張量弄混！ 5D 向量只有一個軸，沿著軸有 5 個維度，而 5D 張量有 5 個軸（沿著每個軸可能有任意個維度）

矩陣（matrix）：是一個按照長方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合，矩陣是二維張量(2D 張量)

np.array([[5, 78, 2, 34, 0], [6, 79, 3, 35, 1], [7, 80, 4, 36, 2]])向量組成的數(shù)組叫作矩陣（matrix）或二維張量（2D 張量）。矩陣有 2 個軸（通常叫作行和列）。你可以將矩陣直觀地理解為數(shù)字組成的矩形網(wǎng)格。下面是一個 Numpy 矩陣。

3D 張量與n 維張量將多個矩陣組合成一個新的數(shù)組，可以得到一個 3D 張量，你可以將其直觀地理解為數(shù)字組成的立方體。下面是一個 Numpy 的 3D 張量。

np.array([[[5, 78, 2, 34, 0],           [6, 79, 3, 35, 1],           [7, 80, 4, 36, 2]],          [[5, 78, 2, 34, 0],           [6, 79, 3, 35, 1],           [7, 80, 4, 36, 2]],          [[5, 78, 2, 34, 0],           [6, 79, 3, 35, 1],           [7, 80, 4, 36, 2]]])

將多個 3D 張量組合成一個數(shù)組，可以創(chuàng)建一個 4D 張量，以此類推。深度學(xué)習(xí)處理的一般是 0D 到 4D 的張量，但處理視頻數(shù)據(jù)時可能會遇到 5D 張量。

張量屬性

張量是由以下三個關(guān)鍵屬性來定義的。

軸的個數(shù)（階）：例如，3D 張量有 3 個軸，矩陣有 2 個軸。這在 Numpy 等 Python 庫中也叫張量的 ndim 。形狀（shape）：這是一個整數(shù)元組，表示張量沿每個軸的維度大小（元素個數(shù)）。例如，前面矩陣示例的形狀為 (3, 5) ，3D 張量示例的形狀為 (3, 3, 5) 。向量的形狀只包含一個元素，比如 (5,) ，而標量的形狀為空，即 () 。(張量的形狀)數(shù)據(jù)類型（dtype）：這是張量中所包含數(shù)據(jù)的類型，例如，張量的類型可以是 float32 、 uint8 、 float64 等。在極少數(shù)情況下，你可能會遇到字符（ char ）張量。注意：Numpy（以及大多數(shù)其他庫）中不存在字符串張量，因為張量存儲在預(yù)先分配的連續(xù)內(nèi)存段中，而字符串的長度是可變的，無法用這種方式存儲。

data:Tensor的值；dtype:Tensor的數(shù)據(jù)類型；shape:Tensor的形狀；device:Tensor所在的設(shè)備(CPU/GPU)；requires_grad:是否需要梯度；grad:Tensor的梯度；grad_fn:創(chuàng)建Tensor的函數(shù)；is_leaf:是否是葉子節(jié)點

數(shù)據(jù)張量向量數(shù)據(jù)：2D 張量，形狀為 (samples, features)

這是最常見的數(shù)據(jù)。對于這種數(shù)據(jù)集，每個數(shù)據(jù)點都被編碼為一個向量，因此一個數(shù)據(jù)批量就被編碼為 2D 張量（即向量組成的數(shù)組），其中第一個軸是樣本軸，第二個軸是特征軸。例子：

人口統(tǒng)計數(shù)據(jù)集，其中包括每個人的年齡、郵編和收入。每個人可以表示為包含 3 個值的向量，而整個數(shù)據(jù)集包含 100 000 個人，因此可以存儲在形狀為 (100000, 3) 的 2D張量中。文本文檔數(shù)據(jù)集，我們將每個文檔表示為每個單詞在其中出現(xiàn)的次數(shù)（字典中包含20 000 個常見單詞）。每個文檔可以被編碼為包含 20 000 個值的向量（每個值對應(yīng)于字典中每個單詞的出現(xiàn)次數(shù)），整個數(shù)據(jù)集包含 500 個文檔，因此可以存儲在形狀為(500, 20000) 的張量中。時間序列數(shù)據(jù)或序列數(shù)據(jù)：3D 張量，形狀為 (samples, timesteps, features)

當(dāng)時間（或序列順序）對于數(shù)據(jù)很重要時，應(yīng)該將數(shù)據(jù)存儲在帶有時間軸的 3D 張量中。每個樣本可以被編碼為一個向量序列（即 2D 張量），因此一個數(shù)據(jù)批量就被編碼為一個 3D 張量（見下圖）根據(jù)慣例，時間軸始終是第 2 個軸（索引為 1 的軸）。

我們來看幾個例子。

股票價格數(shù)據(jù)集。每一分鐘，我們將股票的當(dāng)前價格、前一分鐘的最高價格和前一分鐘的最低價格保存下來。因此每分鐘被編碼為一個 3D 向量，整個交易日被編碼為一個形狀為 (390, 3) 的 2D 張量（一個交易日有 390 分鐘），而 250 天的數(shù)據(jù)則可以保存在一個形狀為 (250, 390, 3) 的 3D 張量中。這里每個樣本是一天的股票數(shù)據(jù)。推文數(shù)據(jù)集。我們將每條推文編碼為 280 個字符組成的序列，而每個字符又來自于 128個字符組成的字母表。在這種情況下，每個字符可以被編碼為大小為 128 的二進制向量（只有在該字符對應(yīng)的索引位置取值為 1，其他元素都為 0）。那么每條推文可以被編碼為一個形狀為 (280, 128) 的 2D 張量，而包含 100 萬條推文的數(shù)據(jù)集則可以存儲在一個形狀為 (1000000, 280, 128) 的張量中。圖像：4D張量，形狀為 (samples, height, width, channels) 或 (samples, channels,height, width) 。

圖像通常具有三個維度：高度、寬度和顏色深度。雖然灰度圖像（比如 MNIST 數(shù)字圖像）只有一個顏色通道，因此可以保存在 2D 張量中，但按照慣例，圖像張量始終都是 3D 張量，灰度圖像的彩色通道只有一維。因此，如果圖像大小為 256×256，那么 128 張灰度圖像組成的批量可以保存在一個形狀為 (128, 256, 256, 1) 的張量中，而 128 張彩色圖像組成的批量則可以保存在一個形狀為 (128, 256, 256, 3) 的張量中。圖像張量的形狀有兩種約定：通道在后（channels-last）的約定（在 TensorFlow 中使用）和通道在前（channels-first）的約定（在 Theano 中使用）。Google 的 TensorFlow 機器學(xué)習(xí)框架將顏色深度軸放在最后： (samples, height, width, color_depth) 。與此相反，Theano將圖像深度軸放在批量軸之后： (samples, color_depth, height, width) 。如果采用 Theano 約定，前面的兩個例子將變成 (128, 1, 256, 256) 和 (128, 3, 256, 256) 。Keras 框架同時支持這兩種格式。

如下圖所示是一張普通的水果圖片，按照RGB三原色表示，其可以拆分為紅色、綠色和藍色的三張灰度圖片，如果將這種表示方法用張量的形式寫出來，就是圖中最下方的那張表格圖中只顯示了前5行、320列的數(shù)據(jù)，每個方格代表一個像素點，其中的數(shù)據(jù)[1.0, 1.0, 1.0]即為顏色。假設(shè)用[1.0, 0, 0]表示紅色，[0, 1.0, 0]表示綠色，[0, 0, 1.0]表示藍色，那么如圖所示，前面5行的數(shù)據(jù)則全是白色

用四階張量表示一個包含多張圖片的數(shù)據(jù)集，其中的四個維度分別是：圖片在數(shù)據(jù)集中的編號，圖片高度、寬度，以及色彩數(shù)據(jù)。

視頻：5D張量，形狀為 (samples, frames, height, width, channels) 或 (samples,frames, channels, height, width)

視頻數(shù)據(jù)是現(xiàn)實生活中需要用到 5D 張量的少數(shù)數(shù)據(jù)類型之一。視頻可以看作一系列幀，每一幀都是一張彩色圖像。由于每一幀都可以保存在一個形狀為 (height, width, color_depth) 的 3D 張量中，因此一系列幀可以保存在一個形狀為 (frames, height, width,color_depth) 的 4D 張量中，而不同視頻組成的批量則可以保存在一個 5D 張量中，其形狀為(samples, frames, height, width, color_depth) 。

舉個例子，一個以每秒 4 幀采樣的 60 秒 YouTube 視頻片段，視頻尺寸為 144×256，這個視頻共有 240 幀。4 個這樣的視頻片段組成的批量將保存在形狀為 (4, 240, 144, 256, 3)的張量中?？偣灿?106 168 320 個值！如果張量的數(shù)據(jù)類型（ dtype ）是 float32 ，每個值都是32 位，那么這個張量共有 405MB。好大！你在現(xiàn)實生活中遇到的視頻要小得多，因為它們不以float32 格式存儲，而且通常被大大壓縮，比如 MPEG 格式。

關(guān)鍵詞：