上海市第二商业局成立于1955年4月，其主要职责是对全市副食品、饮食、服务行业以及摊贩进行组织管理。到了1956年12月，该局被撤销，并成立了上海市服务局，负责对全市副食品和服务业的领导管理。1958年8月，上海市第二商业局与上海市粮食局、上海市供销合作局、上海市工商行政管理局合并，成立了新的上海市第二商业局。在新的上海市第二商业局中，设立了工商行政管理处，但该处后来划归至第一商业局。
至1994年5月，上海市第二商业局正式撤销。在此期间，多位局长或负责人相继任职，包括杨延修、裴先白、侯希仁、李景贤、周今生、郭梦家、翟贵肇、沈思明和徐立夫。
上海市第二商业局内部设有多个机构，包括办公室、行政处、业务处、基层工作处、计划处、物价处、财务处、储运处、基建处、生产科技处、人事处和教育处，共同负责全局的日常运作。
该局的成立和发展反映了上海商业领域在20世纪中后期的变化和调整。随着历史的推进，上海市第二商业局逐步适应了时代的需求，并在多个关键领域发挥了重要作用。
