双方可以协商确定，协商不成的，可以起诉到法院，法院会从有利于孩子成长的角度出发，仔细确认双方的情况后判决，但哺乳期间的孩子一般判给女方抚养，如果不是哺乳期，就要看哪方更适合小孩成长并征求小孩本人的意见。
《婚姻法》第三十六条 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养和教育的权利和义务。 离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。