您好，当然可以要回孩子的抚养权。能协商一致的，可以协商变更孩子的抚养权。不能协商一致的，可以向法院起诉要求变更抚养权。在法律上，有4种情况，法院会支持变更抚养权： 1、与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女。2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响。3、已满八周岁的子女，愿随另一方生活，该方又有抚养能力。4、有其他正当理由需要变更。所以，你可以准备好证据，对方没有稳定收入及因犯罪入狱的证据，向法院提起诉讼，证明孩子跟随对方不利于孩子的成长，或如果孩子满8岁的，还可以提供孩子表示愿意和女方一起生活的相关录音或录像证据，并且提供自己现有的经济条件、工作时间等，其他有利于抚养孩子的相关证据。