Подумав, решила написать... я все прекрасно поняла бы, если бы жили бы не наездами. Имхо, надо поговорить и обьяснить, что вы приезжаете к нему на неделю, вы хотите с ним общаться. Посему пусть едет к брату и родственникам, когда вас нет.
И, кстати, вы когда уезжаете, вы уверены, что он живет у вас, а не у мамы? У меня была свекровь, которая говорила, что я сына забрала и он не звонит ей. А у нас трое из которых старший инвалид, две погодки мелкие, дом и стадо коз. Нам в туалет то сходить некогда было. И свекровь оч хотела тбратно сыночку любимого забрать...ситуации разные, но вот меня триггернуло