因为计划生育迁入指的是符合规定并经批准后迁入的人口，需要到计生办办理迁入手续并进行人口信息的登记。而计生办只是负责管理和处理计划生育事务的部门，不负责管理其他普通的人口迁入和人口信息登记。因此，在办理完计划生育迁入手续后，不需要交回管理单位。《中华人民共和国人口与计划生育法》 第六条 国务院计划生育行政部门负责全国计划生育工作和与计划生育有关的人口工作。县级以上地方各级人民政府计划生育行政部门负责本行政区域内的计划生育工作和与计划生育有关的人口工作。县级以上各级人民政府其他有关部门在各自的职责范围内，负责有关的人口与计划生育工作。