可以退回。尽管客观上没有订立合伙协议，但实际上已经形成事实上的合伙关系，相互都有出资，都参与了合伙经营，都分配了利益，在发生纠纷时还是应当认定为合伙，不能仅因没有合伙协议而否定合伙的事实。当事人之间没有书面合伙协议，又未经工商行政管理部门核准登记，但具备合伙的其他条件，又有两个以上无利害关系人证明有口头合伙协议的，人民可以认定合伙关系。因此，虽然没有合伙协议，可以凭及其他相关凭证证明合伙关系成立，对方并没有权利随时解除合伙合同，可以拒绝对方的要求，继续行使合伙人的权利。