违章建筑的合法拆除者应当是司法机关、相关的政府部门或经其授权的其他单位和个人。 除此以外的任何单位和个人不得对违章建筑进行侵害，否则应当承担相应的赔偿责任。

因为：

其一，违章建筑的所有人对违章建筑享有支配权、使用权，违章建筑的基本原材料及其他设施、设备系合法取得，该部分财产被损害，所有人享有侵害赔偿请求权。

其二，损害方不具有免责理由。法律规定的免责事由包括正当防卫、紧急避险、不可抗力、执行职务、第三人行为、受害人自身原因等几种情形。

其三，损害方应采取其他合法途径保护自己的合法权益。比如，通过基层组织进行调解，向相关部门反映，提起相邻关系诉讼等，而不是滥用权利、擅自毁坏等。

综上，损害方构成对违章建筑所有人对违章建筑物的占有、支配权利的损害，应当承担侵权损害赔偿责任。