Dựa vào công thức tính diện tích hình tam giác, ta có:

Vì \(\Delta ADF=\dfrac{AD\cdot DF}{2}\) nên \(DF=\dfrac{2\left(\Delta ADF\right)}{AD}\)

\(\Rightarrow FC=AB-\dfrac{2\left(\Delta ADF\right)}{AD}\) (1)

Tương tự, vì \(\Delta ABE=\dfrac{AB\cdot BE}{2}\) nên \(BE=\dfrac{2\left(\Delta ABE\right)}{AB}\)

\(\Rightarrow EC=AD-\dfrac{2\left(\Delta ABE\right)}{AB}\) (2)

Từ (1) và (2), ta được:

\(\dfrac{EC\cdot FC}{2}=\dfrac{1}{2}\left(EC\cdot FC\right)=\Delta EFC\)

\(\Rightarrow\dfrac{1}{2}\left[AD-\dfrac{2\left(\Delta ABE\right)}{AB}\right]\cdot\left[AB-\dfrac{2\left(\Delta ADF\right)}{AD}\right]=\Delta EFC\)

\(\Rightarrow\left(AD\cdot AB\right)-2\left(\Delta ABE\right)-2\left(\Delta ADF\right)+\dfrac{4\left(\Delta ABE\right)\left(\Delta ADF\right)}{AB\cdot AD}=2\left(\Delta EFC\right)\)

\(\Rightarrow\left(AD\cdot AB\right)-2\left(\Delta ABE+\Delta ADF+\Delta EFC\right)+\dfrac{4\left(\Delta ABE\right)\left(\Delta ADF\right)}{AB\cdot AD}=0\)

\(\Rightarrow\left(AD\cdot AB\right)^2-\left(AD\cdot AB\right)\cdot2\left(\Delta ABE+\Delta ADF+\Delta EFC\right)+4\left(\Delta ABE\right)\left(\Delta ADF\right)=0\)

\(\Rightarrow AD\cdot AB=\left(\Delta ABE+\Delta ADF+\Delta EFC\right)+\sqrt{\left(\Delta ABE+\Delta ADF+\Delta EFC\right)^2-4\left(\Delta ABE\right)\left(\Delta ADF\right)}\)

Mặt khác: \(AD\cdot AB\) chính là diện tích hình vuông \(ABCD\) và \(\Delta ABE+\Delta ADF+\Delta EFC+\Delta AEF\) cũng sẽ bằng diện tích hình vuông \(ABCD\)hay \(\sqrt{\left(\Delta ABE+\Delta ADF+\Delta EFC\right)^2-4\left(\Delta ABE\right)\left(\Delta ADF\right)}=\Delta AEF\)

\(\Rightarrow\Delta AEF=\sqrt{\left(3+4+5\right)^2-4\cdot3\cdot4}=4\sqrt{6}\)

Vậy diện tích hình tam giác \(AEF\) cần tìm sẽ là \(4\sqrt{6}\)