从文本文件中读取博客数据并将其提取到文件中

本文主要是介绍从文本文件中读取博客数据并将其提取到文件中，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

通常情况下我们可以使用 Python 中的文件操作来实现这个任务。下面是一个简单的示例，演示了如何从一个文本文件中读取博客数据，并将其提取到另一个文件中。

假设你的博客数据文件（例如 blog_data.txt）的格式

1、问题背景

我们需要从包含博客列表的文本文件中读取指定数量的博客（n）。然后提取博客数据并将其添加到文件中。这是应用nlp到数据的整个作业的一部分。

以下是我们已经完成的工作：

import urllib2
from bs4 import BeautifulSoupdef create_data(n):blogs=open("blog.txt","r") #opening the file containing list of blogsf=file("data.txt","wt") #Create a file data.txtwith open("blog.txt")as blogs:head = [blogs.next() for x in xrange(n)]page = urllib2.urlopen(head['href'])​    soup = BeautifulSoup(page)
​    link = soup.find('link', type='application/rss+xml')
​    print link['href']​    rss = urllib2.urlopen(link['href']).read()
​    souprss = BeautifulSoup(rss)
​    description_tag = souprss.find('description')​    f = open("data.txt","a") #data file created for applying nlp
​    f.write(description_tag)

但是，这段代码不起作用。它只能在直接给出链接时工作，例如：

page = urllib2.urlopen("http://www.frugalrules.com")

我们从另一个脚本调用这个函数，用户在其中给出输入n。出错的原因是什么？

Traceback:

    Traceback (most recent call last):File "C:/beautifulsoup4-4.3.2/main.py", line 4, in <module>create_data(2)#calls create_data(n) function from create_dataFile "C:/beautifulsoup4-4.3.2\create_data.py", line 14, in create_datapage=urllib2.urlopen(head)File "C:\Python27\lib\urllib2.py", line 127, in urlopenreturn _opener.open(url, data, timeout)File "C:\Python27\lib\urllib2.py", line 395, in openreq.timeout = timeout
AttributeError: 'list' object has no attribute 'timeout'

2、解决方案

head是一个列表：

head = [blogs.next() for x in xrange(n)]

列表由整数索引（或切片）索引。当head是一个列表时，不能使用head[‘href’]：

page = urllib2.urlopen(head['href'])

我们很难确切地说如何修复这个问题，因为不知道blog.txt的内容。如果blog.txt的每一行都包含一个URL，那么可以使用：

with open("blog.txt") as blogs:for url in list(blogs)[:n]:page = urllib2.urlopen(url)soup = BeautifulSoup(page.read())...with open('data.txt', 'a') as f:f.write(...)

请注意，file是open的弃用形式（它在Python3中被删除）。不要使用f=file(“data.txt”,“wt”)，而是使用更现代的with-statement语法（如上所示）。

例如：

import urllib2
import bs4 as bsdef create_data(n):with open("data.txt", "wt") as f:passwith open("blog.txt") as blogs:for url in list(blogs)[:n]:page = urllib2.urlopen(url)soup = bs.BeautifulSoup(page.read())link = soup.find('link', type='application/rss+xml')print(link['href'])rss = urllib2.urlopen(link['href']).read()souprss = bs.BeautifulSoup(rss)description_tag = souprss.find('description')with open('data.txt', 'a') as f:f.write('{}\n'.format(description_tag))create_data(2)

我们假设你在循环中打开、写入和关闭data.txt，因为你想保存部分结果——也许是为了防止程序被迫过早终止。否则，只需在最开始打开一次文件会更简单：

with open("blog.txt") as blogs, open("data.txt", "wt") as f:

这个脚本会读取 blog_data.txt 文件中的数据，提取每个博客数据块的标题、作者、日期和正文内容，然后将这些数据写入到 extracted_blog_data.txt 文件中。

大家可以根据实际情况修改输入文件和输出文件的文件名，以及文件路径。

这篇关于从文本文件中读取博客数据并将其提取到文件中的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---