熊猫

火车头使用Post方法采集Ajax页面教程_我的网站

一 |     

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    AI摘要      泉州举办“码上优服·星耀泉城”活动，表彰好评司机与评价乘客。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。此举肯定优质服务典型，标志网约车“合规码”治理从基础覆盖迈入深化应用新阶段，以正向激励推动行业善治。              交通执法人员在网约车上车点开展暖心服务          网约车“合规码”张贴效果图     近日，泉州成功举办首期“码上优服·星耀泉城”活动，50名好评司机登台领奖，200名参与真实服务质量评价的乘客同步产生。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。

二 | 这场正向激励活动，不仅是对网约车行业优质服务典型的肯定，更标志着泉州网约车“一车一码”（以下简称“合规码”）治理从“贴码覆盖”的基础建设阶段，正式迈入“用码善治”的深化应用新阶段。

三 | CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。    创新推出“一码监管”     为破解网约车非法营运辨识难、人车不符发现难、投诉评价反馈难等痛点，泉州首创网约车“合规码”监管模式，为每辆合规网约车赋予专属“数字身份证”，通过“车辆电子识别码”与“海丝畅行”激光镭射防伪标识组合，实现“一码知车况、一扫辨真伪、码上快评价”，让违法经营的网约车无所遁形。

四 |     市出租汽车协会牵头通过上门服务、枢纽设点、免费补换等靠前举措，今年以来累计完成活跃车辆贴码超1.5万辆，覆盖率近94%；建成集“码上查、码上评、码上诉”于一体的数字化平台，全面打通执法部门、平台企业、出行群众三方数据链路，实现运营数据、服务评价、投诉线索实时互通。乘客扫码即可一键核验“车、人、平台”三方资质，提交服务评价、失物找回、纠纷投诉申请，全程线上留痕、闭环处置。    

    因为习惯原因，我直接看了下尾页列表页。

五 | 然后顺手CTRL+U看看网站代码结构有没有大的变化。

六 | 防止后期采集出错。结果就发现无法看到列表内容。

七 | 依托联动12328热线建立的24小时响应机制，一般诉求3日内办结、复杂事项7日内反馈。

八 | 市民的每一次扫码，都在为行业合规积累数据、为精准监管提供支撑。    “三方协同”多元共治     “合规码”以数字化载体打破监管部门、行业主体、社会公众之间的信息壁垒，构建“部门监管、行业自治、社会共治”的多元化治理体系，推动网约车治理从单向管理转向多方协同。浏览器可以看到一个通过post请求的地址。    市交通运输综合执法支队将“合规码”应用情况纳入网约车平台信誉质量考核体系，督促企业落实主体责任；同步优化企业服务机制，上门为平台开展安全体检、合规指导，从源头规避运营隐患；依托扫码数据、投诉线索构建风险研判模型，推动监管模式从“随机抽查”向“精准核查”升级，大幅压缩合规企业现场检查频次。    市出租汽车协会协同发力，推动出台《泉州市网络预约出租汽车“一车一码”标识管理办法》《出租汽车“一车一码”优化提升和正向激励活动实施方案》等配套制度，统一标识样式、明确张贴规范、建立维护标准，引导全行业形成“比服务、拼合规、争优质”的良好氛围。“码上优服·星耀泉城”活动中，优秀司机的评定不再由管理部门“说了算”，而是综合营运实绩与乘客真实评价权重产生，让行业标杆由市场和群众共同选出，充分激活行业自治的内生动力。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。    通过笨方法，手动访问页面看看Ajax加载大概是哪些。    “合规码”将出行监督权实实在在交到乘客手中。最后找到大概从2200页左右开始Ajax加载。

九 | 乘客扫码评价不再是“评了白评”，而是转化为可量化、可溯源、可激励的治理资源。

十 |     那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。司机端每月评选“红榜司机”予以表彰，乘客评价直接关联服务积分；乘客端推出扫码领券抽奖活动，200名热心乘客因积极参与评价获得激励。

十一 |     2200页开始到尾页就通过post请求Ajax页面数据。“司机受奖、乘客得惠”的双向激励机制，有效激活了社会监督的内生动力，行业正逐步形成“乘客愿反馈、司机争先进、平台提质量”的良性生态。（融媒体记者 王金植 通讯员 许俊逸 刘丽玲 文/图）。

十二 |     抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。重新访问一下采集页面，Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址        Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。        在Fiddler右侧会显示这个请求地址的相关详细信息。        信息顶部可以看到是post请求方法。

十三 |     可以看到有我们请求的页码相关内容。

十四 |     

    访问不同页码的页面，经过研究发现规律。        currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。    这就找到了规律，我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址        点“高级模式”。        点“分页设置”，http请求方式“post”。        把我们Fiddler抓包获取的内容填进去。        将currentPageIndex值的内容替换成火车头采集器的“分页”标签。

十五 |     

    下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.        网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。        可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。        我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。        可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。

十六 |     

    注意事项    采集过程注意运行线程和请求间隔时间。

十七 | 教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP，此教程写完用了两台服务器。    我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

        

    

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

Current article:http://tcayao.panningbuquanchencaibingzhang.cyou/xctb3ix/wn6d8m.html

Published on:00:00:00