搜索到
450
篇与
的结果
-
npm镜像的设置与查看，使用 搭建环境时通过如下代码将npm设置为淘宝镜像npm config set registry https://registry.npm.taobao.org --globalnpm config set disturl https://npm.taobao.org/dist --global设置当前地址（设置为默认地址）npm config set registry https://registry.npmjs.org/查看镜像的配置结果npm config get registrynpm config get disturl使用nrm工具切换淘宝源npx nrm use taobao如果之后需要切换回官方源可使用npx nrm use npmpackage.json版本号里面的^表示，版本更新后面两位版本(3.x.x)，如果是~则表示更新最后一位（3.1.x），如果不加符合就表示等于学习Vue的第一天，一个下午肝了70多节，感觉不错，很久没这样学习了 -
selenium获取网络请求 之前有人找我做一个他们学校一键报备的小东西，然后因为比赛原因，我也就一直没去弄，说月底再来找我，然后今天来找到了我，稍微看了下。既然是健康报备，那就需要登录啥的，这就需要账号密码什么的了。经过分析发现，账号密码虽然没有加密，但是他在每次数据请求的请求头的时候都放了一个decodes参数，然后是由学号+Unifri+时间戳组成然后再往里面分析的时候，就有点看不懂了，好吧是我太菜了考虑到也就几百块，也就没必要为这再去深入学一下了，于是想到了selenium，去模拟操作，然后获取请求中的decodes参数。但是吧，似乎selenium不提供获取网络请求，经过百度发现有一个东西是browsermobproxyBrowsermob-Proxy是一个开源的Java编写的基于LittleProxy的代理服务。Browsermob-Proxy的具体流程有点类似与Flidder或Charles。即开启一个端口并作为一个标准代理存在，当HTTP客户端（浏览器等）设置了这个代理，则可以抓取所有的请求细节并获取返回内容。先在python的虚拟环境中安装一下对应的包：pip install browsermob-proxy然后去GitHub下载一下这个东西：https://github.com/lightbody/browsermob-proxy/releases为了提升速度，已经将它存到了网盘：https://mo.own-cloud.cn/#/s/Y924TQ下载完之后，将其解压到项目文件同目录开启proxyfrom browsermobproxy import Server server = Server('browsermob-proxy-2.1.4/bin/browsermob-proxy.bat') #这是bat文件路径 server.start() proxy = server.create_proxy()然后配置proxy启动Webdriverchrome_options = Options() proxy.new_har('bb', options={'captureHeaders': True}) chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy)) driver = webdriver.Chrome(chrome_options=chrome_options)然后就可以通过result = proxy.har获取到所有的网络请求数据了，这边建议自己debug看一下，更加清晰
-
7行代码爬取本博客所有文章 为了水篇博客，我也是尽力了。如果报错，就新建一个文件夹abcimport requests, parsel for i in range(1, 37): res = parsel.Selector(requests.get(f'https://gitlab.com/Vastsa/lanpicbed/-/raw/master/page_{i}.html').text) titles = res.xpath("//h2[@class='entry-title']/a/text()").extract() for index, value in enumerate(res.xpath("//h2[@class='entry-title']/a/@href").extract()): with open("./abc/" + titles[index] + '.html', 'a+', encoding='utf8')as f: f.write(parsel.Selector(requests.get(value).text).xpath("//div[@class='single-content']").extract_first())
-
通过jQuery获取页面中radio选中的值 <tr> <td class="tdtext" colspan="3">2、廉洁自律，不利用岗位职权方便谋取私利。</td> <td class="trss"><input name="radio17" type="radio" value="5" required/></td> <td class="trss"><input name="radio17" type="radio" value="4" /></td> <td class="trss"><input name="radio17" type="radio" value="3" /></td> <td class="trss"><input name="radio17" type="radio" value="2" /></td> <td class="trss"><input name="radio17" type="radio" value="1" /></td> </tr>使用jQuery通过name属性获取值 var value17 = $('input[name="radio17"]:checked').val()
-
最新版的pycharm对于Django框架里面的models相关的提示都消失了 这个问题是好几天前出现的了，今天才有时（xin）间（qing）出来总结一下，一开始我百度说是pycharm没有识别出这事一个Django项目，但是好像不是这样的，即使我设置之后，与models相关的代码提示依旧没有出现。我开始怀疑是环境问题，因为自上次用pycharm写Django之后，安装了一些与数据处理相关的环境，然后我将此删除之后，并重新新建虚拟环境去新建Django项目，发现问题尚未解决，于是我考虑到可能是pycharm的版本问题，中间更新了好几次，但因为比赛原因也没有去写Django，于是我在官网上下载了2020.1版本，这也是我上一次使用的正常的版本，然后问题解决了。于是我去jetbrans官网提交了问题，在12月31日晚十一点的时候得到了回复果然我不是一个人，已经有相同问题的人。https://youtrack.jetbrains.com/issue/PY-45879好吧，好像问题还没得到解决，那就先用旧版本的吧，不得不说，pycharm要是没了这个功能，写代码效率真的降低了好多，12月30日几乎一整天都在想办法解决这个问题
-
-
Week5 情话网小爬虫 太久没写爬虫了，手生到连xpath怎么提取出来都忘记了，requests取回的数据编码都忘记怎么转换了于是乎在百度上随便搜了一个情话网，来进行爬取。目标地址：https://www.qinghuawang.net/一如既往的习惯，打开网站后F12，看是不是ajax请求也是，看着就很老的一个网站怎么会用ajax呢，想多了。于是就用原始的Xpath咯。打开浏览器里面的xpath helper按住shift键，去选择文章标题这样就获取到了一条标题的内容，然后就是稍微修改修改xpath，从原始的/html/body[@class='listBody']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5']/li[1]/a[@class='articleTitle fl']修改一下//li/a[@class='articleTitle fl']就可以取到所有的标题了。但是这样取出来的数据并不是纯文本，他还包含了一些html标签，于是乎在后面加上一个/text()//li/a[@class='articleTitle fl']/text()这样就可以获取到一页中的标题了用python随便写一下试试。发现取出来之后是乱码，那就肯定是编码问题了，打开F12，查看html中的head，发现是gb2312提笔忘字之，怎么转换编码来着，百度了一下。res = requests.get(url).content res = res.decode("gb2312")以前怎么写的忘记了，但应该不是这么麻烦的。然后是这样的获取了一页的标题后，然后再获取详情页的链接，因为是a标签，所以只需要在xpath后面加一句/@href就可以获取到这个属性了//li/a[@class='articleTitle fl']/@href还得进入里面去获取文章内容咯，于是随便点进去看一下，详情页地址：https://www.qinghuawang.net/a/1808.htmlxpath发现，都是包含在p标签内于是只要把/p后面的[1]去掉就可以获取到所有的段落咯，再加上一个text()就可以获取到文本了。然后放到python里面试一下。然后又报错了，大概意思是gb2312无法解析0xfd于是百度了一下，解决之后。然后就是将这些话保存至txt咯。最后加几个For循环去爬取所有的内容咯最后整理代码如下，没进行清洗了，就开了个多线程：# -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： 2020/12/19 @ Description：I'm in charge of my Code ------------------------------------------------- """ import parsel import requests import threading def getContet(urls): for i in urls: url = 'https://www.qinghuawang.net/' + i res = requests.get(url).content res = res.decode("gb2312", errors='ignore') xpath = parsel.Selector(res) content = xpath.xpath("//p/text()").extract() with open('sentence.txt', 'a+', encoding='utf8') as f: for j in content: f.write(j + " ") print(j) def getAll(): for i in range(1, 20): url = f'https://www.qinghuawang.net/qinghua/list_1_{i}.html' res = requests.get(url).content xpath = parsel.Selector(res.decode('gb2312')) urlList = xpath.xpath("//li/a[@class='articleTitle fl']/@href").extract() threading.Thread(target=getContet, args=(urlList,)).start() if __name__ == '__main__': getAll()废了，废了
