您好,看您对对方的伤害程度了。对方如果经伤情鉴定为轻伤或以上的,您可能会承担故意伤害罪的刑事责任。如果是轻微伤或轻微伤以下,那么您无须承担刑事责任,如果对方去公安局报案,您可能会承担治安管理方面的责任,根据情节,事出有因,您可能会被罚款二百到伍佰元,赔偿医药费了事。需要注意的是,对方虽然揪着您的衣领,但是并未对您实施具有刑法意义上的伤害,故此,您打人不能算是正当防卫,揪衣领无论如何不能算是正在进行的伤害。所谓的正当防卫没有前提条件。以上意见,仅供参考。