子どもを２人産み、産休・育休もしっかりとってから転職。旦那「会社に義理とかないんだー、腹黒いね」→正当な権利では？

2人以上子供産んで、それぞれ産休育休もしっかり取ったあとに転職したところ。
前の職場に仕事上の不満はなかったけど、もうちょっと近場で働けたらなーと思って変えた。
私自身は黒いと思ってないんだけど、旦那に話したら、会社への義理とかないんだー腹真っ黒だねと言われたので書いてみた。
辞める前の職場で、もう大きい子供いる人が、産休育休取ったらもう会社辞められないよね(産む時休んだりで)迷惑かけちゃってるし～とか話してたんだよね。
そんなの、辞める理由が「子供増えて家事と育児の両立が難しくて…」なら納得せざるを得ないでしょ。そんな気にするもん？