本发明公开了一种除锈装置及其使用方法,属于管道防腐技术领域。所述装置包括:施力于同一平面上的打磨机和清扫机、与打磨机和清扫机连接的升降组件、用于使打磨机和清扫机同时转动预设角度的转动组件;升降组件带动打磨机和清扫机做与施力方向相同或相反的移动。所述方法包括:将除锈装置安装于移动支架上,使打磨机和清扫机贴合于待除锈焊缝的表面,通过移动支架沿待除锈焊缝的移动而带动所述除锈装置。本发明通过升降组件可以控制打磨机的打磨力度,利用升降组件和转动组件可以改变打磨机和清扫机的打磨方向,使其顺应待除锈焊缝的方向改变。