未签订施工协议，擅自开工的，是否视为有效

我与一承包商签订了一处施工点的施工委托书，同时告知承包商，待该施工点完工后可以继续做另外一处施工点的工程（该施工点未签订施工委托书），但该承包商在已签订施工委托书的施工点未完工的情况下，就擅自对另一处施工点施工，而且是在其进场施工后第2天才打电话告诉我，然而在当天下午在该工地就出了安全事故，请问，我是否需要承担责任？