根据余弦定理,有:
$$c^2=a^2+b^2-2ab\cos C$$
代入已知条件 $c^2=(a-b)^2+6$ 和 $C=\frac{\pi}{3}$,得到:
$$(a-b)^2+6=a^2+b^2-ab$$
化简可得:
$$a^2+b^2-3ab=3$$
根据正弦定理,有:
$$\frac{a}{\sin A}=\frac{b}{\sin B}=\frac{c}{\sin C}=2R$$
其中 $R$ 为三角形的外接圆半径。代入已知条件 $C=\frac{\pi}{3}$,得到:
$$\frac{a}{\sqrt{3}/2}=\frac{b}{\sqrt{3}/2}=c=2R$$
化简可得:
$$a=b=\sqrt{3}R$$
因此,三角形的面积为:
$$S=\frac{1}{2}ab\sin C=\frac{1}{2}\cdot(\sqrt{3}R)^2\cdot\frac{\sqrt{3}}{2}=\frac{3\sqrt{3}}{4}R^2$$