gọi độ dài cạnh hình vuông ABCD là a \(\left(a>0\right)\)

ta có: \(S_{\Delta CEF}=\dfrac{1}{2}CE.CF=5\Rightarrow CE.CF=10\)  (1)

mà: \(CE=BC-BE=a-\dfrac{6}{a}\) (2)                                 (do \(S_{\Delta ABE}=\dfrac{1}{2}AB.BE=3\Rightarrow BE=\dfrac{6}{AB}=\dfrac{6}{a}\)) 

\(CF=CD-DF=a-\dfrac{8}{a}\) (3)                                       (do \(S_{\Delta ADF}=\dfrac{1}{2}AD.DF=4\Rightarrow DF=\dfrac{8}{AD}=\dfrac{8}{a}\)) 

thế (2), (3) vào (1), ta được: 

\(\left(a-\dfrac{6}{a}\right)\left(a-\dfrac{8}{a}\right)=10\)

\(\dfrac{a^2-6}{a}.\dfrac{a^2-8}{a}=10\)

\(\dfrac{a^4-6a^2-8a^2+48}{a^2}=10\)

\(a^4-14a^2-10a^2+48=0\)

\(a^4-24a^2+48=0\)

giải phương trình bậc 4, ta được:

\(a_1=\sqrt{21,79795897}\) (chọn)

\(a_2=\sqrt{2,20204102}\) (chọn)

\(a_3=-\sqrt{21,79795897}\) (loại)

\(a_4=-\sqrt{2,20204102}\) (loại)

*với  \(a=\sqrt{21,79795897}\Rightarrow S_{\Delta AEF}=S_{ABCD}-3-4-5=a^2-3-4-5=9,79795897\) (đvdt)

*với \(a=\sqrt{2,20204102}\Rightarrow S_{\Delta AEF}=a^2-3-4-5=-9,79795898< 0\) => loại

vậy diện tích tam giác \(AEF\) là: \(S_{\Delta AEF}=9,79795897\) (đvdt)