我是法人代表，股东用自己的房产去抵押，以公司的名义贷款，需要我去签名，如果他不还，我是不是有责任？

当然你有责任。
因为文字的东西只能证明是你公司贷的款，你是法人，就是你的责任了。
签个协议说与你无关也没用的，但是协议肯定是要签的，证明这个钱是他拿去用了。
好在那他的房子作抵押的，如果他真的不还的话，银行会会首先质押抵押物，处理后归还银行欠款，如果不够，多出来的部分，就是要找你公司了。

当然有责任。因为文字的东西只能证明是公司贷的款，你是法人，就是你的责任了。签个协议说与你无关也没用的，但是协议肯定是要签的，证明这个钱是他拿去用了。好在那他的房子作抵押的，如果他真的不还的话，银行会会首先质押抵押物，处理后归还银行欠款，如果不够，多出来的部分，就是要找公司了。
法律分析
您签了借款合同，您还是法人代表，以公司名义贷款，无论什么情况下您都是有还款责任的。就算是股东给您签了协议，您也只能在替您的股东还款后，凭借此协议再向您的股东追偿。单单一个协议是不能免去您的还款责任的。第一，担任企业股东是一种法定行为和义务，既然选择承担，就需要承担相应的义务和后果。第二，在银行里你也是知晓和签字的，所以不存在欺诈问题，至于口头承诺，这只是你们之间的民事协定，不影响银行方面。第三，就法律关系来说：作为法人，所有签字的人加上企业法人代表，都要承担这笔贷款的归还义务，因为法人属于担保人。而担保人在履行义务后，有权要求债务人偿还。因为银行方面的问题肯定是跑不掉的。法人代表并不是随便担任的，不要因为一时的好心就随便承诺担任，担任了就要承担对应的法律义务。另外，涉及到银行贷款，更不要随便担保和签字。如果当时你不签字，那么便是股东自己签字，事后这笔贷款也和你们无关。
法律依据
《中华人民共和国公司法》 第十六条 公司向其他企业投资或者为他人提供担保，依照公司章程的规定，由董事会或者股东会、股东大会决议；公司章程对投资或者担保的总额及单项投资或者担保的数额有限额规定的，不得超过规定的限额。公司为公司股东或者实际控制人提供担保的，必须经股东会或者股东大会决议。前款规定的股东或者受前款规定的实际控制人支配的股东，不得参加前款规定事项的表决。该项表决由出席会议的其他股东所持表决权的过半数通过。