一、不可以告，因为你已经成年了，他没有这个义务，和有没有小三是两回事；二、可以不和他来往，这是一个道德问题。
请问你是否有工作，也就是独立的经济来源，如果没有你你可以要求你的父亲给予经济帮助。你可以不与你的父亲来往，但赡养义务还是必须承担的。
