单位想调动我工作而我不想调动

请问下我在我们部门上班有七八年了，近一年开始我们部门要经常开始加夜班导致现在情绪上不稳定，现在部门领导想让我去别的部门工作不用上晚班，可是我不想去基本功资没现在的部门高，如果我不去就准备开除我这样可以吗