Gọi độ dài cạnh hình vuông ABCD là \(a\left(a>0\right)\).

Vì diện tích tam giác ADF (vuông tại D) bằng 4 nên độ dài đoạn DF bằng \(\dfrac{8}{a}\), do đó \(CF=CD-DF=a-\dfrac{8}{a}\)

Mặt khác diện tích tam giác ABE (vuông tại B) bằng 3 nên độ dài đoạn BE bằng \(\dfrac{6}{a}\), do đó \(CE=a-\dfrac{6}{a}\)

Vì diện tích tam giác CFE (vuông tại C) bằng 5 nên ta có \(\dfrac{1}{2}CF.CE=5\Leftrightarrow CF.CE=10\Rightarrow\left(a-\dfrac{8}{a}\right)\left(a-\dfrac{6}{a}\right)=10\)\(\Rightarrow a^2-6-8+\dfrac{48}{a^2}=10\Leftrightarrow a^2-24+\dfrac{48}{a^2}=0\)\(\Rightarrow a^4-24a^2+48=0\) 

Đặt \(a^2=x\left(x>0\right)\), pt này trở thành \(x^2-24x+48=0\) (*)

pt (*) có \(\Delta'=\left(-12\right)^2-48=96>0\) 

Vậy (*) có 2 nghiệm phân biệt \(\left[{}\begin{matrix}x_1=\dfrac{-\left(-12\right)+\sqrt{96}}{1}=12+4\sqrt{6}\\x_2=\dfrac{-\left(-12\right)-\sqrt{96}}{1}=12-4\sqrt{6}\end{matrix}\right.\) (nhận)

Xét TH \(x=12-4\sqrt{6}\Rightarrow a^2=12-4\sqrt{6}\) (vì \(a>0\)) hay diện tích hình vuông bằng \(12-4\sqrt{6}\) (đơn vị diện tích) Như vậy diện tích tam giác AEF là \(12-4\sqrt{6}-3-4-5=-4\sqrt{6}\) (vô lí)

Vậy ta chỉ xét trường hợp \(x=12+4\sqrt{6}\Rightarrow a^2=12+4\sqrt{6}\) (vì \(a>0\)), vậy diện tích hình vuông chính bằng \(a^2=12+4\sqrt{6}\)

Vậy diện tích của tam giác AEF là \(S_{AEF}=S_{ABCD}-S_{ABE}-S_{ADF}-S_{CEF}=12+4\sqrt{6}-3-4-5=4\sqrt{6}\) (đơn vị diện tích)