我和老公是二婚重组家庭，家在北京。在我们相遇之前，我是离异带

我和老公是二婚重组家庭，家在北京。在我们相遇之前，我是离异带一个儿子，我的儿子由我父母帮忙带，平时不和我一起生活；他是离异带两个儿子（双胞胎），他的两个儿子虽然判给了他抚养权，但是一直在他前妻那里生活，而且他离婚后，只有他前妻知道，他的父母和他前妻的父母都不知道，据他说要让老人慢慢知道，因为老人反对他离婚。之后，我们因为缘分相遇到了一起。平时基本上都是我陪他开车到他前妻家里去看看两个孩子，每周一次，每次都是他上楼去他前妻家，我在楼下车里等着。因为我父母家离北京有二百公里，又因为疫情影响，进出京很麻烦，所以我已经两个月没见到父母和孩子了，只能靠视频。
    今年五一马上就要到了，这是我们在一起的第一个五一节。本来想五一回家看看父母孩子，可是今晚他对我说，他想五一的时候单独陪孩子玩一天，因为每周去看孩子无非就是一两个小时，趁着五一想多玩玩，最好是一天时间，让我留在家里等他。我说，如果是陪孩子不用和我说，孩子嘛需要陪伴，尽管去就好了，但是我希望你和孩子出去玩只有你们，不希望有他前妻一起。他说，恐怕他一个人带孩子出去玩有点吃力，意思是说，他要和他前妻一起带孩子出入游玩过五一，而我要留在家里等他一天。
    我知道，二婚重组家庭就是要多考虑对方孩子和感受，这一点无可厚非，为人父母，这都是我们应该做的，因为离婚了本来就亏欠孩子，道理我都懂。可是我一想到他和前妻一起带孩子出去游玩过五一，而我却要在家等他一天，我父母和孩子也需要陪伴呀，我就心里不舒服。
    所以请各位留下意见，是我太自私小心眼了，还是确实他做的有些过份呢？应该怎样来解决这个问题呢？谢谢