我跟前妻离婚了，当时的离婚协议是说她抚养孩子，我每月给抚养费至孩子十八岁，然后家里原来有三间房子，

我跟前妻离婚了，当时的离婚协议是说她抚养孩子，我每月给抚养费至孩子十八岁，然后家里原来有三间房子，由于这个学期孩子还没放假，也转不了学，协议上写着她可以在其中一间房居住到孩子放假然后带走孩子，而等孩子长大以后如果想回来，也有居住权，但是现在我想装修房子，她本来已经搬走了，又回来闹说不让装修，接着还把东西又搬回来了，故意刁难我，我想问下，我该怎么办，当时的离婚协议是否可以向法院起诉让她的居住权作废？因为她现在是故意来干扰我的生活，我觉得很烦心，不想离婚了还继续闹下去。