上海博物馆分为四层，每层展示不同的古代艺术品，其中一楼设有古代青铜馆和古代雕塑馆。青铜馆内展示了400余件青铜器，这些青铜器的年代跨越了西周、秦国等多个时期，其中不乏具有长篇铭文和著录的重要文物。雕塑馆则以石刻塑像为主，包括北魏、北齐、北周和隋唐时期的雕塑，以及南石刻、金铜佛像等。
二楼的古代陶瓷馆则展示了从新石器时代到明清时期的陶瓷文物。其中，新石器时代的彩陶和灰陶、商周及春秋战国时代的原始青瓷、东汉时代的青瓷，以及唐朝的唐三彩等都有展出。宋、金、辽时代，各地窑场林立。元、明、清三代，景德镇成为中国瓷业的中心，所烧制的釉下彩、釉上彩和颜色釉瓷器皆有展出。
三楼设有历代书法馆和玺印馆。书法馆展示了中国书法艺术的历史轨迹，采用展框和自动感应灯光照明。玺印馆则集中展示了中国第一个专题陈列玺印篆刻的艺术馆，上自西周，下迄清末，是从馆藏一万余枚印章文物中遴选出来的具有代表性、艺术性的精品。
四楼则设有少数民族工艺馆、历代钱币馆、明清家居馆和古代玉器馆。少数民族工艺馆集中陈列了少数民族的服饰工艺、染织绣、金属工艺、雕刻品、陶器、漆器、藤竹编和面具艺术等近600件。历代钱币馆通过近7000件文物，集中展现了中国货币发生、发展和中外经济文化交流的历史概貌。明清家居馆则陈列了明清时代中国家具精华100多件。古代玉器馆展示了中国制作玉器已有七千多年的历史，玉不仅是财富、权力的标志，还是统治者祭天祀地、沟通神灵的法物。
