線性

Elementry
最後更新: 標籤: 線性代數

如果你把輸入加倍,輸出也跟著加倍,你就發現了一個強大的性質。**線性(linearity)**是數學中最簡單的結構性質之一,它無處不在——從物理學到電腦圖形學,再到機器學習。

兩條規則

一個函式 ff線性的,如果對所有合法的輸入 xxyy 以及任意實數 cc,它滿足兩條規則:

規則 1——可加性(Additivity)。ff 應用於和,等同於先求各輸出後再求和:

f(x+y)=f(x)+f(y)(1)f(x + y) = f(x) + f(y) \tag{1}

規則 2——齊次性(Homogeneity)。 縮放輸入,輸出也以同樣的因子縮放:

f(cx)=cf(x)(2)f(cx) = c \cdot f(x) \tag{2}

規則 (1) 和 (2) 通常合寫成一個條件:

f(ax+by)=af(x)+bf(y)(3)f(ax + by) = a \cdot f(x) + b \cdot f(y) \tag{3}

方程式 (3) 說明 ff 保留結構:無論是先組合輸入再套用 ff,還是先套用 ff 再組合輸出,結果相同。

一個例子:平方函式夠資格嗎?

f(x)=5xf(x) = 5x。驗證兩條規則:

  • 可加性:f(x+y)=5(x+y)=5x+5y=f(x)+f(y)f(x + y) = 5(x + y) = 5x + 5y = f(x) + f(y)
  • 齊次性:f(cx)=5(cx)=c5x=cf(x)f(cx) = 5(cx) = c \cdot 5x = c \cdot f(x)

再試試 g(x)=x2g(x) = x^2

  • 可加性:g(x+y)=(x+y)2=x2+2xy+y2g(x + y) = (x + y)^2 = x^2 + 2xy + y^2,當 xy0xy \neq 0 時,這不等於 x2+y2=g(x)+g(y)x^2 + y^2 = g(x) + g(y)。✗

所以乘以常數是線性的;平方則不是。

注意,像 h(x)=3x+2h(x) = 3x + 2 這樣的直線函式在圖形上看起來是線性的,但它不滿足規則 1,因為 h(0)=20h(0) = 2 \neq 0。這種形狀的函式叫做仿射(affine),而不是線性。

線性組合

方程式 (3) 在你有超過兩項時自然地延伸。一組物件 v1,v2,,vkv_1, v_2, \ldots, v_k 的**線性組合(linear combination)**是任何形如以下的表達式:

c1v1+c2v2++ckvkc_1 v_1 + c_2 v_2 + \cdots + c_k v_k

其中 c1,,ckc_1, \ldots, c_k 是稱為**係數(coefficients)**的實數。線性映射精確地保留線性組合:

f(c1v1++ckvk)=c1f(v1)++ckf(vk)f(c_1 v_1 + \cdots + c_k v_k) = c_1 f(v_1) + \cdots + c_k f(v_k)

這意味著你可以把任何輸入分解成更簡單的部分,對每個部分套用 ff,然後重新組合——一個使線性問題遠比非線性問題容易求解的技巧。

摘要

  • 一個函式是線性的,當它滿足可加性 (1)(1)齊次性 (2)(2)
  • 合在一起,這意味著 f(ax+by)=af(x)+bf(y)f(ax + by) = a \cdot f(x) + b \cdot f(y)——線性保留結構。
  • 不過原點的直線是仿射的,不是線性的。
  • 線性組合是一個縮放物件的和;線性函式保留線性組合。

接下來

線性組合是有限維向量空間的基礎建立塊,在那裡你會看到這些概念如何組織成豐富的代數結構。