如果受害人不签字，首先要看调解书的形式。不同的调解协议具有不同的法律效力。根据不同情况签署的调整协议有不同的解决方案。双方可以进一步协商调整情况。
《道路交通事故处理程序规定》第四十八条，道路交通事故认定书应当载明以下内容：
（一）道路交通事故当事人、车辆、道路和交通环境等基本情况；
（二）道路交通事故发生经过；
（三）道路交通事故证据及事故形成原因的分析；
（四）当事人导致道路交通事故的过错及责任或者意外原因;
（五）作出道路交通事故认定的公安机关交通管理部门名称和日期。
道路交通事故认定书应当由办案民警签名或者盖章，加盖公安机关交通管理部门道路交通事故处理专用章，分别送达当事人，并告知当事人向公安机关交通管理部门申请复核、调解和直接向人民法院提起
