清洗水壶污垢的步骤如下：

1. 准备材料：温水、洗涤剂、纤维布或软刷子。

2. 倒掉水壶中的水，用温水将水壶内部和外部彻底湿润。

3. 在水壶底部加入适量的洗涤剂。可以选择一些非腐蚀性、无害于人体的洗涤剂，如小苏打或白醋。

4. 用纤维布或软刷子沾取洗涤剂，轻轻刷拭水壶内部和外部的污垢。注意不要用力过度以避免划伤。

5. 对于顽固的污垢，可以将洗涤剂浸泡在水壶中一段时间，然后再刷洗。

6. 清洗完毕后，用清水将水壶内外彻底冲洗干净，确保无洗涤剂残留。

7. 将水壶置于通风处晾干或用干净的干毛巾擦拭干燥。

注意事项：
- 避免使用刺激性的化学清洗剂，以免产生有毒物质。
- 清洗水壶前，确认水壶是可以拆卸的，以便清洗每个部分。
- 部分水壶可以倒入少量醋和水，然后煮开，再用刷子清洗。这种方法适用于较脏的水壶。

以上是一般情况下清洗水壶污垢的方法，具体操作根据所用水壶的材质和结构可能会略有不同。根据水壶的使用说明或者咨询相关专业人士可以更好地指导清洗。