目录
一、程序效果
二、程序代码
三、答疑解惑
四、同步视频讲解
python爬虫爬取豆瓣电影top250数据并存入excel表格
一、程序效果
爬虫的效果如下
二、程序代码
完整程序代码如下,复制粘贴可直接运行出结果!
# encoding: utf-8 ''' @author: 我不是大佬 @contact: 2869210303@qq.com @wx; safeseaa @qq; 2869210303 @time: 2023/4/16 8:40 ''' import requests # 网络请求模块 from lxml import etree # 数据解析模块 # 请求头信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.46' } # 功能函数,胡哦去列表的而第一个元素 def get_first_text(list): try: return list[0].strip() # 返回第一个字符串,除去两端的空格 except: return "" # 返回空字符串 import pandas as pd df=pd.DataFrame(columns=["序号","标题","链接","导演","评分","评价人数","简介"]) # 使用列表生成式表示10个页面的地址 urls = ['https://movie.douban.com/top250?start={}&filter='.format(str(i * 25)) for i in range(10)] count = 1 # 用来计数 for url in urls: res = requests.get(url=url, headers=headers) # 发起请求 html = etree.HTML(res.text) # 将返回的文本加工为可以解析的html lis = html.xpath('//*[@id="content"]/div/div[1]/ol/li') # 获取每个电影的li元素 # 解析数据 for li in lis: title = get_first_text(li.xpath('./div/div[2]/div[1]/a/span[1]/text()')) # 电影标题 src = get_first_text(li.xpath('./div/div[2]/div[1]/a/@href')) # 电影链接 dictor = get_first_text(li.xpath('./div/div[2]/div[2]/p[1]/text()')) # 导演 score = get_first_text(li.xpath('./div/div[2]/div[2]/div/span[2]/text()')) # 评分 comment = get_first_text(li.xpath('./div/div[2]/div[2]/div/span[4]/text()')) # 评价人数 summary = get_first_text(li.xpath('./div/div[2]/div[2]/p[2]/span/text()')) # 电影简介 print(count, title, src, dictor, score, comment, summary) # 输出 df.loc[len(df.index)]=[count,title,src,dictor,score,comment,summary] count += 1 df.to_excel("豆瓣电影top250数据.xlsx",sheet_name="豆瓣电影top250数据",na_rep="") print("excel文件已经生成!")
三、答疑解惑
有任何问题的小伙伴可以添加我的微信:safeseaa
四、同步视频讲解
推荐大家两个相关的视频讲解,有需要的可以去看看。
【python】手把手带你爬虫爬取豆瓣电影top250【超详细教程】
【python】手把手带你爬虫爬取豆瓣电影top250【超详细教程】
【补充】python爬取爬取豆瓣电影数据并储存到excel里面【超详细讲解】【一看就会】
【补充】python爬取爬取豆瓣电影数据并储存到excel里面【超详细讲解】【一看就会】
如果对您有帮助,记得给我点个关注哦!