重组家庭后小孩子的诸多问题

我是外孙女的外婆，女儿在孩子满月后协议离婚了，孩子归女方。如今已经六岁多了，基本上都是我带着的。2017年女儿再婚，男方单身没有婚史。当时男方提出“有她无我”不要前夫孩子在新家庭，女儿和我商量后接受了，孩子继续是我带。一段时间后女儿渐渐把孩子带往新家。但我发现孩子很怕这个继父，因为他经常发脾气，尤其是在孩子面前发脾气说我不好，有一次我把小孙女接走后，他莫名其妙地打来电话对我发脾气说“某某，告诉你，以后我的儿子绝不会叫你带一天的。”说完就挂了电话。当时我考虑要不要回一个电话过去，小孙女说“不要，我害怕。”今年元旦后的一天，女儿把小孩子送到我这里，说等第二天放学来接她，小孩子拼命摇头说不要，我和女儿怎么劝说都不行，我把她抱着坐在我腿上，她就那样趴着我肩上悄悄地哭起来，都不敢哭出声，哭过后我替她抹去眼泪，她就跟着她妈妈走了。现在即使在路上遇到了，女儿叫孩子喊我小孩子才喊我，女儿说再见小孩子才敢说再见。可是小孩子在我这里时没有这样的，每次女儿她们来，小孩子都是高高兴兴的，没有任何压抑。这些事我打算和女儿谈一下，我想告诉女儿这样下去对小孩子的身心健康不利，但我感觉女儿不会听的，我该怎么办?