违反夫妻忠实义务不一定能要求损害赔偿，如果构成重婚或者与他人同居的，那么无过错的一方在离婚时可以要求离婚损害赔偿；如果没有构成上述情形的，则不能要求损害赔偿。
【法律依据】
《民法典》第一千零九十一条，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。