在日本的中国银行办理的卡，如果你存的是日元，是可以直接将日元兑换成人民币提取的。中国银行提供外币兑换服务，允许客户在各网点按照实时的汇率将账户内的日元转换为人民币或其他可自由兑换货币。因此，你可以选择提取人民币，或者保持日元，根据个人需求进行选择。具体的办理流程相对简单，只需携带有效的身份证明文件，如中国公民的身份证、户口簿（十六岁以下）、军人或武装警察的身份证件，港澳居民或台湾居民的相应通行证，以及外国公民的护照。填写相关单据，提供现钞即可完成兑换手续。