孩子探视问题

和前夫离婚，女儿（三岁多）的抚养权在我这里，我准备暑假带她回老家住半个月，但是男方不同意，拒绝我把带回老家，并说如果我带回去试试看，说我在挑战他的底线，带回去一次二十万。我和他协商我带回去半个月，他探视可以等我回来一起算，住在他家几天（约定一周三次，实际很频繁，他想见就见，为了孩子的成长好），可他怎么都不同意，各种威胁我。因为离婚的最后阶段我父母说他不好了，讲话冲了一点，他记恨在心，不肯让我的孩子回老家接触外婆外公。我该怎么样维护我的权益？