Python爬虫如何处理html中的延迟加载部分（delayload_url）_html/css_WEB-ITnose

下载链接“http://s.1688.com/selloffer/industry_offer_search.htm?mixWholesale=true&industryFlag=food&categoryId=1032913&from=industrySearch&n=y&filt=y#_fb_top”的源码，结果只包含了页面的一部分内容；该页面共60个商品，但源码中只能解析出20个，且无法找到翻页链接；



应该是以上一段源码实现的延迟加载，在该页面滑轮下拉到底时，才载入新的部分；求教如何解析该页面，获取完整的页面源码，解析全部60个商品和翻页链接。

回复讨论(解决方案)

审核元素找到数据源链接直接用那个链接获取数据

额。。不知道现在回答还来不来得及！这个可以通过火狐捕捉到延迟加载的url地址，然后就可以找到规律了。我刚好也在爬1688的数据也遇到了延迟加载这个问题，然后通过火狐浏览器捕捉url，发现其实只要把sw-delayload-url这个div里面的url取出来然后在最后面加上&callback=任意字符串，然后每次改变&startIndex=这个就可以了（依次为startIndex=20，startIndex=40），这样就会返回一个json的数据
我试过你贴出来的那个url不知道为什么没数据返回，可能是商品下架了。。你可以按我说的试试
，如果你已经解决了并有更好的方法的话希望能交流一下，谢谢