根据《治安管理处罚法》第一百一十一条规定，行政拘留处罚开始执行的，公安机关应将保证金退还交纳人。

《治安管理处罚法》：

第一百一十一条 行政拘留的处罚决定被撤销，或者行政拘留处罚开始执行的，公安机关收取的保证金应当及时退还交纳人。