不是亲生父亲可以脱离父子关系吗

此事说来话长，是这样的，我跟我老婆现在已经结婚了。
我老婆说她现在的这个父亲不是他亲生的，她们经常发生家庭暴力，以前仅为了一点小事就把她打的遍体鳞伤。
怎么说呢她也算是他养育过她的吧，不过从来就没有幸福的时候，她十来岁的时候就死了母亲，以后家里的农活就有我老婆来干了，还经常遭到他的打骂。
在我已经认识她的时候，我们已经到了谈婚沦嫁的时候还是经常打她。结婚时他没有给女儿一分钱的嫁妆，甚至还要他女儿以前打工挣的几千元钱他留着。（不过这钱我们没有给他）在我们结婚那天他们也没有来过。
后来过了很长一段时间他找人当说客劝我们回去看看，我们还以为他想好了呢，就买了些东西拿着去了，没想到我们一进门就开始骂我们，甚至还想要动手打我们（都包括我在内）。
最后我们在临走之后呢，我拿的东西却是只字不提，并且还告诉我们以后要经常回来帮着干点活，如果不经常回来我就去法院高你们不养老！
事后我想想还是真有点害怕，如果他真告我们怎么办？请各位朋友告诉我向我们这样的情况，我老婆可以不认他这个养父？或者可不可以彻底跟他脱离这个关系？