Думаю, вам самой надо решить, насколько вас устраивают такие отношения. А это сложно, особенно когда находишься внутри ситуации. Так что для начала, наверное необходимо привести себя в душевное равновесие: отдохнуть, отвлечься, съездить куда -нибудь ( да хоть на дачу, в деревню) и постараться не видеться с мужем. Перестаньте циклиться на этой ситуации, постарайтесь переключить внимание на что -нибудь другое. На себя например. Вспомните, что вы любите, что доставляет удовольствие и займитесь этим.
Приведите нервы в порядок, не замыкайтесь на негативных ощущениях. Счастливая мама - счастливый малыш. Исходите из этого принципа принимая решение.
Вообще то конечно не понятно поведение вашего мужа. Некоторые люди практикуют гостевой брак, но наверняка это должно быть обоюдное решение.
А как ваш муж мотивирует свое поведение, ну если не брать его свободную профессию в расчет? Насколько он готов идти на компромиссы ради своей семьи ( жены и ребенка), чем готов пожертвовать, а чем нет. Вы с ним разговаривали на эти темы?