python 对以空行作为分割的块文件进行读取的方法

本文主要是介绍python 对以空行作为分割的块文件进行读取的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这几天一直在处理数据，也接触到了好几款不一样的库，pandas虽然好用但是却没有直接处理空行分块的txt文件，所以只能自己手写脚本对文件进行分块读取，然后每一块的信息存储为csv文件的一行。我处理的对象为DBLP的数据集，地址是http://cn.aminer.org/citation  采用的是v1数据集。

需要将形如#c，#！等分别代表的不同意思的信息提取出来

数据的格式如下;

数据每块的含义参见数据集主页给出的说明。

def exact_edges(path1,path2):
    a = open(path1,'r')file = a.read().splitlines()b = open(path2,'wb')csv_file2 = csv.writer(b)KDD = 'ACM SIGKDD international conference on Knowledge discovery and data mining'
    SIGIR = 'international ACM SIGIR conference on Research and development in information retrieval'
    i = 0
    num = 0
    while True:
        list = []flag = 0
        if num != 0:#对读取的file进行删除操作，读取完成的部分将在下一块读取之前删除掉
            for x in range(0,num):
                file.pop(0)num = 0
        for line in file:
            num = num+1
            if len(line) > 0:
                if line.startswith('#index'):
                    print linelist.append(line)if line.startswith('#%'):
                    print linelist.append(line)if line.startswith('#c'):
                    '''print line
                    if ('conference on Knowledge discovery and data mining' in str(line)) or (
                    'international ACM SIGIR conference on Research and development in information' in line):
                        print '...................'
                        flag = 1'''
                    list.append(line)if line.startswith('#!'):
                    list.append(line)else:
                #print '................................'
                break
        csv_file2.writerow(list)

这篇关于python 对以空行作为分割的块文件进行读取的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---