旦那が友達や初対面の人などに「こいつ(私)俺んちの財産狙いで結婚したんすわw」と言う。気分悪いからやめてほしいのに…

旦那が友達や初対面のような人にまで「こいつ(私)俺んちの財産狙いで結婚したんすわw嫌な女でしょーw」などと言います。
何度も気分悪いからやめてほしいと言っているのですが、「冗談なんだから気にすんなよ。それとも図星だから切れてんの？w」とちゃかされてしまいます。
我慢ならなくて義姉(中学高校時代の部活の先輩)に相談をしたら説教をしてくれたようなんですが旦那がその事で大激怒。
「ねーちゃんにチクったの？冗談も言えない家とか息が詰まるわ。お前の頭が冷えるまで俺帰ってこないからな。考えろ。」と言って出て行きました。
家出してから今日でちょうど半年です。
私としてはもう離婚したい気持ちでいっぱいなのですが義父と私両親に「この程度は夫婦でよく話し合って乗り越えるべき事だ！」と反対されています。
両親達が言うようにこの程度で離婚を考えるのは甘いのでしょうか。