目的を絞れば十分可能だと思います。
早朝発、深夜戻りの便などを駆使すれば1日分くらいの時間は確保できるのではないでしょうか。
トロントでは英検を受けられないので、子供の英検の試験のために週末だけで車でニューヨークまで行く家族もいると聞きます。
旅行の場合は時間が限られると思うのでフライトだと思いますが、どうしても見たい、行きたい場所が費用と比べても遜色ないならば経験として行ってみるのもありでしょう。
自分も何度も週末1泊2日でロンドンからヨーロッパ各地へ旅行しましたが、周りの人にはバカだムチャだと言われながらも、LCCを駆使して費用を抑え、交通手段や順路も事前にしっかり下調べして、リストアップした目的を効率的にこなす旅を繰り返した事は、今ではある意味笑い話でもあり、良い経験だったと思ってます。
下調べと準備無く、行けばなんとかなる、その場の勢いで決めるような旅では1泊2日は無駄になってしまうかもしれません。