搜索到
617
篇与
的结果
-
7行代码爬取本博客所有文章 为了水篇博客，我也是尽力了。如果报错，就新建一个文件夹abcimport requests, parsel for i in range(1, 37): res = parsel.Selector(requests.get(f'https://gitlab.com/Vastsa/lanpicbed/-/raw/master/page_{i}.html').text) titles = res.xpath("//h2[@class='entry-title']/a/text()").extract() for index, value in enumerate(res.xpath("//h2[@class='entry-title']/a/@href").extract()): with open("./abc/" + titles[index] + '.html', 'a+', encoding='utf8')as f: f.write(parsel.Selector(requests.get(value).text).xpath("//div[@class='single-content']").extract_first()) -
通过jQuery获取页面中radio选中的值 <tr> <td class="tdtext" colspan="3">2、廉洁自律，不利用岗位职权方便谋取私利。</td> <td class="trss"><input name="radio17" type="radio" value="5" required/></td> <td class="trss"><input name="radio17" type="radio" value="4" /></td> <td class="trss"><input name="radio17" type="radio" value="3" /></td> <td class="trss"><input name="radio17" type="radio" value="2" /></td> <td class="trss"><input name="radio17" type="radio" value="1" /></td> </tr>使用jQuery通过name属性获取值 var value17 = $('input[name="radio17"]:checked').val()
-
visio2013，2019下载 {cloud title="cn_visio_professional_2013_x86_1138439.exe" type="default" url="https://mo.own-cloud.cn/#/s/4rgjTa" password=""/}{cloud title="cn_visio_professional_2013_x64_1138440.exe" type="default" url="https://mo.own-cloud.cn/#/s/0LlLtD" password=""/}{cloud title="VisioPro2019Retail.img" type="default" url="https://mo.own-cloud.cn/s/XA2GSg" password=""/}
-
最新版的pycharm对于Django框架里面的models相关的提示都消失了 这个问题是好几天前出现的了，今天才有时（xin）间（qing）出来总结一下，一开始我百度说是pycharm没有识别出这事一个Django项目，但是好像不是这样的，即使我设置之后，与models相关的代码提示依旧没有出现。我开始怀疑是环境问题，因为自上次用pycharm写Django之后，安装了一些与数据处理相关的环境，然后我将此删除之后，并重新新建虚拟环境去新建Django项目，发现问题尚未解决，于是我考虑到可能是pycharm的版本问题，中间更新了好几次，但因为比赛原因也没有去写Django，于是我在官网上下载了2020.1版本，这也是我上一次使用的正常的版本，然后问题解决了。于是我去jetbrans官网提交了问题，在12月31日晚十一点的时候得到了回复果然我不是一个人，已经有相同问题的人。https://youtrack.jetbrains.com/issue/PY-45879好吧，好像问题还没得到解决，那就先用旧版本的吧，不得不说，pycharm要是没了这个功能，写代码效率真的降低了好多，12月30日几乎一整天都在想办法解决这个问题
-
-
Week5 情话网小爬虫 太久没写爬虫了，手生到连xpath怎么提取出来都忘记了，requests取回的数据编码都忘记怎么转换了于是乎在百度上随便搜了一个情话网，来进行爬取。目标地址：https://www.qinghuawang.net/一如既往的习惯，打开网站后F12，看是不是ajax请求也是，看着就很老的一个网站怎么会用ajax呢，想多了。于是就用原始的Xpath咯。打开浏览器里面的xpath helper按住shift键，去选择文章标题这样就获取到了一条标题的内容，然后就是稍微修改修改xpath，从原始的/html/body[@class='listBody']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5']/li[1]/a[@class='articleTitle fl']修改一下//li/a[@class='articleTitle fl']就可以取到所有的标题了。但是这样取出来的数据并不是纯文本，他还包含了一些html标签，于是乎在后面加上一个/text()//li/a[@class='articleTitle fl']/text()这样就可以获取到一页中的标题了用python随便写一下试试。发现取出来之后是乱码，那就肯定是编码问题了，打开F12，查看html中的head，发现是gb2312提笔忘字之，怎么转换编码来着，百度了一下。res = requests.get(url).content res = res.decode("gb2312")以前怎么写的忘记了，但应该不是这么麻烦的。然后是这样的获取了一页的标题后，然后再获取详情页的链接，因为是a标签，所以只需要在xpath后面加一句/@href就可以获取到这个属性了//li/a[@class='articleTitle fl']/@href还得进入里面去获取文章内容咯，于是随便点进去看一下，详情页地址：https://www.qinghuawang.net/a/1808.htmlxpath发现，都是包含在p标签内于是只要把/p后面的[1]去掉就可以获取到所有的段落咯，再加上一个text()就可以获取到文本了。然后放到python里面试一下。然后又报错了，大概意思是gb2312无法解析0xfd于是百度了一下，解决之后。然后就是将这些话保存至txt咯。最后加几个For循环去爬取所有的内容咯最后整理代码如下，没进行清洗了，就开了个多线程：# -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： 2020/12/19 @ Description：I'm in charge of my Code ------------------------------------------------- """ import parsel import requests import threading def getContet(urls): for i in urls: url = 'https://www.qinghuawang.net/' + i res = requests.get(url).content res = res.decode("gb2312", errors='ignore') xpath = parsel.Selector(res) content = xpath.xpath("//p/text()").extract() with open('sentence.txt', 'a+', encoding='utf8') as f: for j in content: f.write(j + " ") print(j) def getAll(): for i in range(1, 20): url = f'https://www.qinghuawang.net/qinghua/list_1_{i}.html' res = requests.get(url).content xpath = parsel.Selector(res.decode('gb2312')) urlList = xpath.xpath("//li/a[@class='articleTitle fl']/@href").extract() threading.Thread(target=getContet, args=(urlList,)).start() if __name__ == '__main__': getAll()废了，废了
-
