ジョージアの国とは関係のない会社、個人事業の場合であれば、現地法上はWork Permitの取得は必須ではありません。ただし、「ジョージアの国とは関係のない会社、個人事業の場合」と思っていた場合でも、サービスの提供先にジョージアに居住する人が含まれていれば対象となります。
より具体的に申し上げると、
・日本人向けのサービスであったが、購入した日本人がジョージアに居住を開始した
・オンラインでの商材販売、語学レッスン、その他のサービス提供でジョージアに向けたものではないがジョージアに居住する人も購入する
などはジョージア国内での経済活動とみなされる可能性があります。

個人事業主とスモールビジネスはジョージアで納税をするのであれば必要な手続きです。
しかし、ジョージアで納税をする＝日本での納税義務が免除されるわけではありません。
年間の滞在日数、家族、資産、仕事などの関係では、個人事業主とスモールビジネスを登録しても日本に納税義務が生じる可能性があります。

なお、補足としてジョージアでの就労許可証の取得、居住許可の取得、住所登録を行うことによりジョージアでの居住者性（＝日本の非居住者生）を高めることになります。
パスポートのみでの滞在は、あくまでも旅行者の延長という立場になります。

ジョージアで現地就労の場合、現在の制度化では就労許可などの手続きが必要となります。
現地就労をする場合
①現地の企業等で採用してもらう
②個人事業主として働く
などが考えられると思います。

①については、ジョージア語は必ずしもできなくていいかもしれませんが（ジョージア語ができれば選択肢や受け入れやすさは格段に変わりますが）、英語やロシア語が必要ですし、英語が中学レベルだとかなり厳しいと思われます。
現地の日本人のお店などで雇ってもらうなども選択肢としてはありえますが、数は必ずしも多くはなく、また、上記の通り就労許可などの手続きも行ってもらう必要があります。そのため、わざわざそこまで労力をかけて対応いただけるところを見つけるのは難しいです。
大使館などの公的機関での募集もたまに場所を見かけますが、語学力や専門的知見が求められることがほとんどです。

②については、現地で現地向けのサービスをするのは自身での就労許可などの手続きが必要になります。
しかし、ジョージア国外の顧客にオンラインなどでサービス提供をする場合には不要になります。

総論すると、現実的なのは②のいわゆる海外ノマド的な働き方をしつつ、現地で事業やサービス提供をしたい・できそうと思ったタイミングで労働許可などを取得し現地向けサービスも追加する方法かと思います。
まずは、現在の生活のなかでオンラインで副業をする、ある程度安定した収入（15万円くらい）を目指すというのが現実的と思います。クラウドソーシングサイトなどでは事務作業系のものもあります。投資収入でも構いません。
ジョージアに来てから始める、ワークショップなどに参加するのではなく、日本でしっかりと基盤を作ることが大事です。「ジョージアに来てからやる」だと、スキルや収益化が必ずしも身につくわけでもなく、収入がない場合にはどんどんと厳しい状況になります。

ご連絡いただきありがとうございます。
ジョージアに来られるのですね。ぜひ楽しんでください。
実は私も妻とともに移住を視野に入れつつ昨年６月にジョージアを訪問しました。そして、今年からジョージアに住み始めています。
できることがあれば何でもお手伝いさせていただきます。

①提供できるサービス
私にできることがありましたら、ご要望に応じてお手伝いさせていただきます。
もちろん現地でお会いしてお話をすることも可能です。都合が合えば妻とともにお話させていただくことも可能です。

多くの方にジョージアの良さを知っていただきたいので、無料で対応させていただいても構わないという気持ちもありますが、私自身、今後はジョージアに来られる日本企業・日本人に対して、法務・税務・生活面でサポートすることを生業としたいと考えています。そのため、大変恐縮ではございますが、若干の謝礼をいただきつつ、責任を持ってご案内・アテンドさせていただくという形にさせていただけますでしょうか。

提供できるサービスのメニューの例は以下のとおりですが、ご要望に合わせてオーダーメイドでの対応が可能です。
・オンラインで事前にご相談（1時間／１０００円）
・ジョージア現地でのご相談（１時間／１０００円）
・空港までのお迎え（５００円）
・トビリシ市内のご案内（半日３０００円、１日５０００円〜）
空港までのお迎え／市内案内のオプションとして以下のようなことも可能です。
SIMカード購入のお手伝い、銀行口座作成のお手伝い、不動産見学の下見のお手伝い等

②おすすめの滞在エリア

以下のサイトの地図をご参照ください。
なお、下記サイトはおそらくジョージアを隅々まで知り尽くした人（お会いしたことはありませんが、いずれお会いしてみたいです）によるもので、たくさんの情報が載っています。若干ニッチすぎるものも多くありますが。。
https://ca-voir.com/tbilisi-walking-featured-jp/

おすすめの滞在エリアは「マルジャ二シュヴィリ」周辺です。
ジョージアのメインの移動は、地下鉄・バス・タクシーになりますが、地下鉄の駅があり、バスやタクシーも多いです。
町並みもきれいな大きな通りがあり、お店もたくさんあるエリアです。

ジョージアの中心街というと「リバティースクエア」〜「ルスタヴェリ」あたりです。ニュースでもご存知かもしれませんが、昨年末の選挙以来デモが行われているエリアです。デモとはいうものの、負傷者が大量に出る過激なものではありません。夜中に音がして騒がしいですが、日中は特に問題ありません。このあたりでの滞在も考えられますが、デモの音が気になるかもしれません。

他には観光地でいうと温泉や昔のきれいな教会も多い「旧市街」エリアもいいと思います。ただし、デモの音が少し気になるかもしれませんし、また、坂が多く、道はきれいに舗装されていない箇所も多いです。

「ヴァケ」は大使館などがあるエリアで町並みや道路はきれいです。ただし、地下鉄からは少し遠いです。

「サブルタロ」は住宅街で静かなエリアで過ごしやすいかもしれません。
ただし、中心街のリバティスクエアや観光地である旧市街にはバスを使う必要があります。
サブルタロにも地下鉄がありますが、上記の場所に行くためには乗り換えが必要になります。

長期で住むためのエリアについて私達も探しているところです。
実際に1ヶ月前後くらいで色々な場所に移りながら生活をし、物件の見学などもしています。