お正月に夫に「今年は実家で過ごしたい」と言ったら、「うちの親は一人寂しく年を迎えるのに…」と言われてしまい…

相談です

結婚10年で、お正月は毎年義実家で過ごしていますが、先日私の父にガンが見つかり、早期だったものの弱気になっています。
今度のお正月は子供も連れて自分の実家で両親と過ごしたいと思うけど、我がままでしょうか。
両実家とも我が家からは同じ距離。
義実家は義父77歳、義母は三年前に亡くなって義父一人暮らし。一人息子（旦那）。
私実家は両親とも70歳で健在。
私と姉の二人姉妹で、二人とも飛行機で移動のところに住んでいます。
姉家族は毎年交互に義実家、私たち実家でお正月を過ごしており、このお正月は義実家で過ごします。
旦那は、私の親は夫婦揃って元気で、隔年とはいえ姉家族が来ているんだからいいじゃないか、うちの親は一人寂しく年を迎えるのに、という考えです。