设出租车的速度为 $v$,小明的步行速度为 $u$。由题意可列出方程:
$$\frac{2d}{v}=\frac{3d}{u}+\frac{d}{v}$$
其中 $d$ 表示甲地和乙地之间的距离。化简得:
$$\frac{1}{v}=\frac{5}{2du}-\frac{1}{2u}$$
在小明遇到出租车之前,他已经走了 $1$ 小时,即走了 $\frac{u}{2}$ 的路程。因此,甲地到小明遇到出租车的位置的距离为 $\frac{d}{2}$。根据题意,小明从甲地出发到乙地需要 $1$ 小时 $20$ 分钟,即 $\frac{4}{3}$ 小时。因此,他步行的速度为:
$$u=\frac{d}{\frac{4}{3}}=\frac{3d}{4}$$
将上式代入原方程中,得到:
$$\frac{1}{v}=\frac{5}{2d\times \frac{3d}{4}}-\frac{1}{2\times \frac{3d}{4}}=\frac{5}{6d}-\frac{2}{3d}=\frac{1}{6d}$$
因此,出租车的速度是小明步行速度的 $\frac{u}{v}=\boxed{6}$ 倍。