Gọi: Độ dài cạnh hình vuông ABCD là a 

        Độ dài cạnh BE là b

        Độ dài cạnh DF là c

=> Độ dài cạnh CE là x-b

     Độ dài cạnh FC là x-c

+ Vì \(S_{\Delta ABE}=3\left(đvdt\right)\) và \(S_{\Lambda ABE}=\dfrac{AB.BE}{2}=\dfrac{ab}{2}\) nên \(\dfrac{ab}{2}=3\) hay \(ab=6\)                (1)

+ Vì \(S_{\DeltaÀFD}=4\left(đvdt\right)\) và \(S_{\Delta AFD}=\dfrac{AD.FD}{2}=\dfrac{ac}{2}\) nên \(\dfrac{ac}{2}=4\) hay \(ac=8\)                (2)

+ Vì \(S_{\Delta EFC}=5\left(đvdt\right)\) và \(S_{\Delta EFC}=\dfrac{FC.CE}{2}=\dfrac{\left(a-c\right)\left(a-b\right)}{2}\) nên \(\dfrac{\left(a-c\right)\left(a-b\right)}{2}=5\) hay \(\left(a-c\right)\left(a-b\right)=10\\ \Leftrightarrow a^2-\left(ab+ac\right)+bc=10\\ \Leftrightarrow a^2-\left(6+8\right)+bc=10\\ a^2-14+bc=10\\ \Leftrightarrow a^2+bc=24\)

Từ (1)(2)

\(\Rightarrow a^2bc=48\)

=> Ta có hệ:

 \(\left\{{}\begin{matrix}a^2+bc=24\\a^2bc=48\end{matrix}\right.\\ \Leftrightarrow X^2-24X+48=0\)

Giải phương trình X²-24X+48=0: \(\Delta'=12^2-48=96>0\)

=> Phương trình trên có 2 nghiệm phân biệt:

                              \(X_1=12+\sqrt{96}=12+4\sqrt{6}\)

                             \(X_2=12-\sqrt{96}=12-4\sqrt{6}\)

Lại có: \(S_{ABCD}=S_{\Delta ABE}+S_{\Delta EFC}+S_{\Lambda AFD}+S_{\Delta AEF}=3+5+4+S_{\Delta AEF}=12+S_{\Delta AEF}>12\left(đvdt\right)\)

Hay \(a^2>12\)

\(\Rightarrow a^2=12+4\sqrt{6}\)

\(\Rightarrow S_{\Delta AEF}=S_{ABCD}-12=a^2-12=4\sqrt{6}\left(đvdt\right)\)

Vậy \(S_{\Delta AEF}=4\sqrt{6}\left(đvdt\right)\)