
获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫
原网页如下: wwwinfo/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC
zhidao.baidu/question/1178494981402265499.html www.qqjike/qqjishu/2018/0124/5500.html
我回到“巨潮资讯网”,F12审查元素 ——> Network ——> XHR ——> F5 reload,看到这几个东西:
选择这个full?searchxxxxxxxxxx:
在进入这个网页后,公告栏是请求了另一个url:
Request URL: wwwinfo/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1
打开它,得到了返回数据,就是想要的“搜索结果”的数据: 8. 这个网页先呈现出一个布局界面,核心内容即搜索结果是异步加载的。 以后如果学习了html、JavaScrip等前端知识,再回来把这里的异步加载讲清楚。