新築の家を買ったんだけど、夫に「お前がいない日に、同僚を新居に呼びたい」言い出し喧嘩に。勝手にタバコを吸われるのとか最悪

最近夫と喧嘩したんですが
私の感覚の方がおかしいのかな？と思ったので奥様方どうされているか、ご意見きかせてください。

【自分が居ない間に、自宅に夫の同僚
（会ったことがない人）が来るのはOKですか？】

最近家を買ったので、夫が同僚を家に招待したいと言い出しました。
ここまでは問題ありません。
しかし、私がいると気をつかうから私の居ない時に呼びたいと言うのです。

私としてはいくら主人の同僚でも会ったことのない人が
自分の居ない間に家に上がるのは抵抗があります。
新しい家なので勝手にタバコを吸われるとか、酒癖の悪い人が暴れたらどうしようとか
居ない間にもし自室や洗濯物を覗かれたら
嫌だという不安もあります。