如果你把輸入加倍,輸出也跟著加倍,你就發現了一個強大的性質。**線性(linearity)**是數學中最簡單的結構性質之一,它無處不在——從物理學到電腦圖形學,再到機器學習。
兩條規則
一個函式 f 是線性的,如果對所有合法的輸入 x、y 以及任意實數 c,它滿足兩條規則:
規則 1——可加性(Additivity)。 將 f 應用於和,等同於先求各輸出後再求和:
f(x+y)=f(x)+f(y)(1)
規則 2——齊次性(Homogeneity)。 縮放輸入,輸出也以同樣的因子縮放:
f(cx)=c⋅f(x)(2)
規則 (1) 和 (2) 通常合寫成一個條件:
f(ax+by)=a⋅f(x)+b⋅f(y)(3)
方程式 (3) 說明 f 保留結構:無論是先組合輸入再套用 f,還是先套用 f 再組合輸出,結果相同。
一個例子:平方函式夠資格嗎?
設 f(x)=5x。驗證兩條規則:
- 可加性:f(x+y)=5(x+y)=5x+5y=f(x)+f(y) ✓
- 齊次性:f(cx)=5(cx)=c⋅5x=c⋅f(x) ✓
再試試 g(x)=x2:
- 可加性:g(x+y)=(x+y)2=x2+2xy+y2,當 xy=0 時,這不等於 x2+y2=g(x)+g(y)。✗
所以乘以常數是線性的;平方則不是。
注意,像 h(x)=3x+2 這樣的直線函式在圖形上看起來是線性的,但它不滿足規則 1,因為 h(0)=2=0。這種形狀的函式叫做仿射(affine),而不是線性。
線性組合
方程式 (3) 在你有超過兩項時自然地延伸。一組物件 v1,v2,…,vk 的**線性組合(linear combination)**是任何形如以下的表達式:
c1v1+c2v2+⋯+ckvk
其中 c1,…,ck 是稱為**係數(coefficients)**的實數。線性映射精確地保留線性組合:
f(c1v1+⋯+ckvk)=c1f(v1)+⋯+ckf(vk)
這意味著你可以把任何輸入分解成更簡單的部分,對每個部分套用 f,然後重新組合——一個使線性問題遠比非線性問題容易求解的技巧。
摘要
- 一個函式是線性的,當它滿足可加性 (1) 和齊次性 (2)。
- 合在一起,這意味著 f(ax+by)=a⋅f(x)+b⋅f(y)——線性保留結構。
- 不過原點的直線是仿射的,不是線性的。
- 線性組合是一個縮放物件的和;線性函式保留線性組合。
接下來
線性組合是有限維向量空間的基礎建立塊,在那裡你會看到這些概念如何組織成豐富的代數結構。