搜索到
617
篇与
的结果
-
Pycharm生成代码模板，一键生成作者信息日期等 首先呢，来一张效果图。这是一个刚刚新建的py文件，但是已经自动生成了作者等信息。一开始，我还是看一些视频发现他们创建文件就自带这种感觉挺装13的，于是就百度了一下，大概了解到这么一个东西。这个是在Pycharm里面设置的，设置路径：file -->settings–>editor–>file and code templates然后就可以根据自己的需求来为所欲为了。比如我的就是这个# -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： ${DATE} @ Description：I'm in charge of my Code ------------------------------------------------- """然后下面是一些变量，根据自己需求添加修改即可${PROJECT_NAME} - 当前Project名称; ${NAME} - 在创建文件的对话框中指定的文件名; ${USER} - 当前用户名; ${DATE} - 当前系统日期; ${TIME} - 当前系统时间; ${YEAR} - 年; ${MONTH} - 月; ${DAY} - 日; ${HOUR} - 小时; ${MINUTE} - 分钟； ${PRODUCT_NAME} - 创建文件的IDE名称; ${MONTH_NAME_SHORT} - 英文月份缩写, 如: Jan, Feb, etc; ${MONTH_NAME_FULL} - 英文月份全称, 如: January, February, etc； -
实时爬取B站排行榜并保存为表格——每周一个爬虫小教程系列 从这周开始，每周来一个爬虫小教程，希望对你们有所帮助，这次的目标是B站排行榜至于爬取什么内容，目前感觉就把序号，名称以及评分爬取下来吧（因为我是边写教程边写代码的）这次需要用到的知识：Python基础知识Requests模块Xpath模块（说白了就是HTML）有看我的博客：www.lanol.cn首先来到这个页面https://www.bilibili.com/ranking/all/0/0/1，目前是全站榜，我们尝试切换到原创榜，就会发现网址栏对应的网址改变了，所以我们只需要修改网址就可以获取想要的榜单（我不确定会不会每天都变，没观察）然后改变这个投稿类型和日期网址也会改变到这里我们就已经获取到想要爬取的网址了。request中的url也就确定了。url = ‘https://www.bilibili.com/ranking/all/0/0/1’我们按快捷键Ctrl+U，查看源代码，然后搜索一下排行第一的视频。我们可以发现在源代码里面有，这样的话我们就可以直接用requests模块获取源码，再利用Xpath解析网页了。有关Xpath的时候方法可以看这篇文章Python爬虫：Xpath语法笔记。然后来开始写代码，第一步永远都不会变的，先导入Requests模块和将网页源码转换为可以Xpath的模块（这两个模块如果没有可以pip一下，博客内也有教程，搜索即可）import requests import parsel然后就是做一个请求头（伪装成普通浏览器去访问），一般来说刚开始只加一个user-agent就可以了，如果有反爬机制，再去加。请求头也就是这一块我们一开始只放一个user-agent进去user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36我们复制下来之后是上面这样的，然后我们要转换成Python里面字典的格式。也就是加个引号就行了。'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'然后放到Python代码中就是这样子的。headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36' }这样requests模块中的headers就构造好了然后就是写上这一句就可以获取到源码了。response = requests.get(url=url, headers=headers).text这句话的意思就是调用requests模块，然后get请求这个url，最后将获取到的内容取text格式然后赋值给response。我们来执行看一下，不要忘记输出一下哦。这样子我们的页面源码就获取到了，而且里面可以看到我们之前搜索的排行第一的视频：【官方MV】Mojito - 周杰伦。然后我们回到网站，右键视频标题，点击检查。我们再在源码这右键一下，点击Copy，点击Copy Xpath，这样Xpath就复制下来了，动画演示：原文地址：www.lanol.cn//*[@id="app"]/div[1]/div/div[1]/div[2]/div[3]/ul/li[1]/div[2]/div[2]/a我们将这句Xpath粘贴到浏览器插件里面测试一下。可以看见我们已经可以选中这句标题了，然后我们再利用HTML知识修改一下这句话,就可以获取到所有标题了。//div[2]/div[2]/a我们放到Python里面执行一下。发现获取的内容似乎有点多，这里不仅把标题弄出来了，而且还将这句代码弄出来了，我们在后面加一个text()只获取文本内容。这样就可以了，我们再来试一下获取分数。一如之前的操作，右键分数，点击检查，再在代码处右键，点击Copy，点击Copy Xpath。//*[@id="app"]/div[1]/div/div[1]/div[2]/div[3]/ul/li[20]/div[2]/div[2]/div[2]/div再修改一下这句话，以获取我们想要的全部内容。//div[2]/div[2]/div[2]/div/text()然后放到Python里面执行一下。成功获取所有分数。综上我们想要获取的信息都已经取到了。然后就是写到表格之中，这里为了方便直接写到csv即可。直接贴代码了。with open('B站排行榜www.lanol.cn.csv', 'w') as f: f.write('标题,分数 ') for index, i in enumerate(titles): f.write(f'{i},{grades[index]} ')这样子，就可以了，这个只是一个思路，获取更多信息你可以自由发挥。所有代码一共才17行，人生苦短，Python当歌，其实其他语言也可以，只是麻烦了一点而已。所有代码如下：[CommShow]import parsel import requests url = 'https://www.bilibili.com/ranking/all/0/0/1' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36' } response = requests.get(url=url, headers=headers).text response = parsel.Selector(response) # www.lanol.cn Lan的小站 titles = response.xpath('//div[2]/div[2]/a/text()').extract() grades = response.xpath('//div[2]/div[2]/div[2]/div/text()').extract() with open('B站排行榜www.lanol.cn.csv', 'w') as f: f.write('标题,分数 ') for index, i in enumerate(titles): f.write(f'{i},{grades[index]} ') print(grades)[/CommShow]
-
-
-
盘点一下那些网站控制台的神秘彩蛋 去年刚开始学HTML的时候发现原来控制台还能这样玩，见识了一波骚操作，最开始看到的是百度的。你在电脑前看这段文字，写文字的人在百度等你。N年前你来到了这个世界，N年后你想改变世界。期待你脚踏祥云，与百度一起改变世界。百度2020校园招聘简历提交：http://dwz.cn/XpoFdepe然后我又逛了一些网站，发现很多网站都有这样的花里胡哨的骚操作。比如用来做易班推文的秀米，这个看起来就比较死板了。然后就是著名的学习网站哔哩哔哩，一如既往的小电视。然后最近还发现了爱奇艺也有QQ空间然后还有知乎天猫京东按F12打开开发者工具点击Console，来发现更多的彩蛋吧
-
-
