对交通事故责任认定书有异议应该自道路交通事故认定书送达之日起三日内，向上一级公安机关交通管理部门提出书面复核申请。可以直接向人民法院提起民事诉讼。
【法律依据】
《道路交通安全法》第七十四条，对交通事故损害赔偿的争议，当事人可以请求公安机关交通管理部门调解，也可以直接向人民法院提起民事诉讼。
经公安机关交通管理部门调解，当事人未达成协议或者调解书生效后不履行的，当事人可以向人民法院提起民事诉讼。