簡介 Trifocal Tensor（一）

首先假設三維空間中有一條直線 L，而三個視角的對應圖片中也會出現投影過後的直線（l, l', l''）。假設第一個視角的相機矩陣為 $P=[I|0]$，第二個為 $P'=[A|a_4]$，第三個為 $P''=[B|b_4]$，則在每個視角中的直線反投影形成的平面向量為：

$$\pi = P^T l = [l; 0]_{4 \times 1} \\ \pi' = P'^T l'= [A^T l'; a_4^T l']_{4 \times 1} \\ \pi' = P''^T l''= [B^T l''; b_4^T l'']_{4 \times 1}$$ 由於這三個平面交會於一條直線上，因此將此三個平面向量組成的矩陣 M 的 rank 為 2： $$M_{4 \times 3} = [m_1, m_2, m_3] = \begin{bmatrix} l & A^T l' & B^T l''\\ 0 & a_4^Tl' & b_4^Tl'' \end{bmatrix}$$ 矩陣 M 的 rank 為 2，因此可以寫出 $m_1 = \alpha m_2 + \beta m_3$ 的關係式，也因此可以利用最下面的 row 的關係寫出此式子： $$l=(b_4^T l'')A^Tl' - (a_4^Tl')B^Tl'' = (l''^Tb_4) A^Tl' - (l'^Ta_4)B^Tl'' \\ l_i = l''^T(b_4a_i^T)l' - l'T(a_4b_i^T)l'' = l'^T(a_ib_4^T)l'' - l'^T(a_4b_i^T)l''$$ 因此我們定義 trifocal tensor 為： $$T_i = (a_ib_4^T) - (a_4b_i^T) \\ l_i = l'^T T_i l''$$ 矩陣 $T_i$ 為 $3 \times 3$，總共有三個 $3 \times 3$ 的的矩陣。總自由度為 18，而一組 trifocal tensor 可以提供 8 個約束。

Trifocal Tensor 的五種約束式

1. Line-line-line correspondence: $$l'^T[T_1, T_2, T_3]l'' = l^T$$
2. Point-line-line correspondence: $$l'^T(\sum x^i T_i)l'' = 0$$
3. Point-line-point correspondence: $$l'^T(\sum x^i T_i)[x'']_\times = 0^T$$
4. Point-point-line correspondence: $$[x']_\times (\sum x^i T_i)l'' = 0$$
5. Point-point-point correspondence: $$[x']_\times (\sum x^i T_i)[x'']_\times = 0_{3 \times 3}$$

以上的證明於 Multiple View Geometry 書中的 15.1.2 可以找到。