"下属"不服从工作安排怎么办

部门有一个直接主管，下面我负责一些简单的日常工作安排。主管一般的事他都不管，让我安排，但未在部门内正式授权给我，我处在这种没名没分的位置。两个下属一个没主见，经常被另外一个当枪使还不亦乐乎，另外一个心眼很小，每个月对绩效相差的一点钱都要念很久。我分配的工作他们如果不做，我也没办法，只能自己揽着，因为主管只找我要结果，他不管过程。我跟我的主管提过，自己没有实权工作很难开展，他的意思是一方面怕给我承诺后最终无法兑现，另一方面他觉得不用正式说出来也可以开展工作，看我自己的能力。我该怎么办？请各位朋友点拨我一下。谢谢！有的时候因为这种事情很影响情绪。