如果出卖方是走私行为人，根据海关法，直接向走私行为人非法收购走私货物的，以走私行为论处。因此，这种情况下，如果购买方明知出卖方是走私行为人且购买的是走私货物，还进行收购，则购买方的行为按走私行为论处。如果购买方不知是出卖方是走私行为人，也不知道购买的是走私货物，不会构成走私。
走私罪，是指个人或者单位故意违反海关法规，逃避海关监管，通过各种方式运送违禁品进出口或者偷逃关税，情节严重的行为。
【法律依据】
《中华人民共和国刑法》第一百五十五条，下列行为，以走私罪论处，依照本节的有关规定处罚：
(一)直接向走私人非法收购国家禁止进口物品的，或者直接向走私人非法收购走私进口的其他货物、物品，数额较大的；
(二)在内海、领海、界河、界湖运输、收购、贩卖国家禁止进出口物品的，或者运输、收购、贩卖国家限制进出口货物、物品，数额较大，没有合法证明的。
