爬虫可以不必自己写，使用ChatGPT编写抓取电影评论数据脚本

本文主要是介绍爬虫可以不必自己写，使用ChatGPT编写抓取电影评论数据脚本，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

经常去新华书店看看有没有什么新书上架，还是更新挺及时的，可以反映新的技术趋势。这不，最近就看到了这本《巧用 ChatGPT 快速搞定数据分析》，作者是个大牛，第一次看到prompt可以这么写，得写这么长，P.S.据说prompt也只是个打字员的过渡阶段。书中分享了多个爬虫，这里先测试一个亲测能成功的豆瓣爬虫分享下！应该是chatgpt3.5的知识更新到了2022年左右，估计豆瓣的网页代码比较稳定吧，或者它的策略愿意让更多人获得这个评分和评论。

你是网络数据抓取的高手，熟练掌握 Python 编程语言，具有良好的网络编程基础，能够熟练使用网络爬虫框架，具备数据处理和分析能力，以及自我学习和解决问题的能力。这些技能使你能够快速、准确地抓取网络数据，并从中提取出有用的信息，为数据分析和其他领域的应用提供支持。
现在我需要抓取豆瓣网站上《泰坦尼克号》电影的评论数据,包括评论者、评分、评论内容。在抓取到对应的信息后，将这些信息存到一个 CSV文件中。
请直接给我完整的 Python 代码，以代码块的格式输出。

然后，我们就得到了代码，当然，可能有个别报错，一般来讲对应修正下就可以啦，或者让gpt自己纠错下！Devin这个AI程序员，以及metaGPT等也做了开源的程序员，应该比这个是强大了，不管怎样，简单的代码gpt还是hold住的。

import requests
from bs4 import BeautifulSoup
import csvdef scrape_douban_reviews(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'html.parser')reviews = []for comment in soup.find_all('div', class_='comment-item'):reviewer = comment.find('a', class_='name').get_text().strip()rating = comment.find('span', class_='rating').get('title').strip()content = comment.find('p', class_='comment-content').get_text().strip()reviews.append([reviewer, rating, content])return reviewsdef save_to_csv(data, filename):with open(filename, 'w', encoding='utf-8', newline='') as file:writer = csv.writer(file)writer.writerow(['Reviewer', 'Rating', 'Comment'])writer.writerows(data)if __name__ == "__main__":url = 'https://movie.douban.com/subject/1292722/comments'reviews = scrape_douban_reviews(url)save_to_csv(reviews, 'titanic_reviews.csv')print("Reviews saved to titanic_reviews.csv")

这里是会报错的，以下是纠错后的代码，我觉得GPT的爬虫水平比我好啦，因为我已经好久没写啦，忘光啦！

import requests
from bs4 import BeautifulSoup
import csvdef scrape_douban_reviews(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'html.parser')reviews = []for comment in soup.find_all('div', class_='comment-item'):reviewer = comment.find('a', class_='name')rating = comment.find('span', class_='rating').get('title').strip()content = comment.find('p', class_='comment-content').get_text().strip()reviews.append([reviewer, rating, content])return reviewsdef save_to_csv(data, filename):with open(filename, 'w', encoding='utf-8', newline='') as file:writer = csv.writer(file)writer.writerow(['Reviewer', 'Rating', 'Comment'])writer.writerows(data)if __name__ == "__main__":url = 'https://movie.douban.com/subject/1292722/comments'reviews = scrape_douban_reviews(url)save_to_csv(reviews, 'titanic_reviews.csv')print("Reviews saved to titanic_reviews.csv")

成功获取到了结果：

怎么样，伙伴们，要不要试试更多的网站和app等？