Lời giải của ST

Gọi cạnh của hình vuông có độ dài là a 

=> \(S_{ABCD}=a^2\left(a^2>12\right)\)

Xét \(\Delta ABE\) vuông tại B có: \(S_{\Delta ABE}=\dfrac{1}{2}AB.BE=3\Rightarrow BE=\dfrac{6}{AB}=\dfrac{6}{a}\)

Xét \(\Delta ADF\) vuông tại D có: \(S_{\Delta ADF}=\dfrac{1}{2}AD.DF=4\Rightarrow DF=\dfrac{8}{AD}=\dfrac{8}{a}\)

=> \(CE=BC-BE=a-\dfrac{6}{a}=\dfrac{a^2-6}{a}\)

     \(CF=CD-DF=a-\dfrac{8}{a}=\dfrac{a^2-8}{a}\)

Xét \(\Delta CEF\) vuông tại C có: \(S_{\Delta CEF}=\dfrac{1}{2}CE.CF=5\)

\(\Leftrightarrow CE.CF=10\Leftrightarrow\dfrac{a^2-6}{a}\cdot\dfrac{a^2-8}{a}=10\)

\(\Leftrightarrow a^4-14a^2+48=10a^2\)

\(\Leftrightarrow a^4-24a^2+48=0\)

\(\Leftrightarrow\left[{}\begin{matrix}a^2=12+4\sqrt{6}\left(TM\right)\\a^2=12-4\sqrt{6}\left(L\right)\end{matrix}\right.\)

Vây \(S_{\Delta AEF}=S_{ABCD}-S_{\Delta ABE}-S_{\Delta CEF}-S_{\Delta ADF}=12+4\sqrt{6}-3-5-4=4\sqrt{6}\) (đvdt)