時期にもよりますが、ビクトリア空港は、あまり混雑しないので、正直30分前に言っても間に合うなんて話を聞いたことあります。ただ、私の経験からいうと、なんだかんだでもやはり2時間前に着いてチェックインや荷物を預け、搭乗までゆっくりお茶しておくのがお子様もいるので安心だと思いますよ。バスは6名にもなるとちょっと割高になるのと、正直タクシーもダウンタウンからであればだいたい70ドル前後でいけるので、よろしいかと思います。朝であれば道も混雑しないので、大体余裕をもって40分くらい前に出れば問題ないかと思います。バスの場合は、色々なホテルをまわるので、事前にスケジュールを確認してくださいね。まとめると、タクシーの場合は、搭乗の2時間半から3時間前に出れば余裕かと思います。
タクシーは、基本ホテルの前に何台も停まっていますが、心配であればフロントに出る時間を伝えておくといいですよ。
以上、参考になれば幸いです。

ビクトリアに3年在住しているものです。けっこうなハードスケジュールで詰めれば2日でも周れるかと思います。ダウンタウンもそんなに大きなものでもないですし、大体のメインエリアは中心に集まっているからです。
ただ、ブーチャットガーデンだけは少し離れてるので、ゆっくりまわるとなんだかんだ半日以上とられてしまいます。ひとつひとつ時間をかけてみられるのであれば3日〜4日がいいかもしれないですね。ポイントだけを中心に動くのであれば、2日でもまわりきれるかとおもいます。