1.12-1.17 项目进度

2024-02-03 05:18
文章标签 项目 进度 1.17 1.12

本文主要是介绍1.12-1.17 项目进度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.10:接到任务

        研究一下新闻爬虫及其语意事件分析,用mysql,weka及合适的爬虫实现。

1.11:玩了一天

1.12:开始准备,比较了各种爬虫,最终选定 scrapy作为爬虫工具。

1.13:继续研究scrapy。晚上集体地开了个会。导师重述了每个人的相关任务。

1.14:研究scrapy与mysql的连接,无果。郁闷。 研究mysql的基本用法。

1.15:继续研究scrapy与mysql 的连接,用python 是可以检测到连接上了,可是依旧写不进去。郁闷、、、、、、下午,导师开会,报告进度,进行思路讨论。看了些语意分析的 

            论文。然后下午,晚上玩了,罪过。

1.16:突然,看了篇博客,http://www.cnblogs.com/huhuuu/p/3706994.html,感谢这位博主啊,教会了我转变思路,先把抓取的内容,存在.txt中,然后再存储到mysql中。

           开始对scrapy框架有了进一步的了解。

1.17:基于上述博客的基础上,开始尝试 抓取 腾讯数码新闻,网易数码新闻,good!基本算是成功。然后,进一步 自己经过好久的分析,添加代码,又尝试抓取新闻中的内容。

         good!终于在刚才调试成功。我去,累死了。


回过头看成果,好像不算多,可是,过程中遇到了不少问题,一个个排查,解决。

从最开始的,选择爬虫,我本来想选择 nuntch,luncene,这几个java的爬虫,想趁机读代码提升java功力。还有hun**?,都是大名鼎鼎的开源爬虫。可是最后发现,还是选择scrapy吧,毕竟是个框架,而且是纯python开发的,you know,Python的威力极大,可以减轻许多工作量。就目前的状态而言,感觉选择scrapy是个不错的选择。不能一口吃个胖子,先把 scrapy 熟悉了,灵活运用了,将来在深入学习,nunch等,这样有了基础,就学的快些了,就应该不会那么痛苦了。

Job:scrapy 与各大爬虫的比较


然后是,思考如何做后面的语意分析,查了很多篇 文库中的论文,都和我的目前的任务不太契合。索性自己想,

首先,这明明就是 自然语言处理的部分。幸好选了NLP(虽然成绩给的,我都想找哪个TA理论,哼),可是至少学了点皮毛,心里有一丁点谱。


开始研究scrapy,跟着许多博客后面做,可是pipeline,链接数据库的地方,试了几十次,都累趴了,还是没有解决。其中,调试时,;调试的方法:

如:对test中的所有.py文件,一个个排查,就是对每个.py文件,按F5,查看错误信息这种方法很重要,尤其是使用框架时,找不到错误在哪时。如此次,发现少装了MySQLdb模块,就是这样找到的 极大的错误


还有,对于mysql,在安装时耗费了很多功夫。(具体解决办法,见另一篇博文)太可怜了,可惜没有师兄师姐可以请教。然后发现基本的建表什么的都不会了,开始找博客,学习了一些mysql的基本的操作。use test(数据库名);对了最最重要的是,在dos下输入每条命令时,要记得在最后加上“;”这样才算是输入了一条命令

还有,那个navicat还可以吧,能用。


当我研究scrapy和mysql为什么总是写不进去东西(到现在,其实还没解决)。我找了各种关于scrapy的文档,无奈。

此时尝试了博客http://www.cnblogs.com/huhuuu/p/3706994.html,发现他生成了个文本文件,哎,总算可以换种思路交差了。

研究他的代码。发现,Xpath,re,html标签,等知识严重缺少。尤其是xpath的学习,后面成为必备。


今天17号,还不错,今天还有点收获。上午,尝试调代码,试试抓取 腾讯数码,网易数码的新闻,稍微修改了下,成功了,不过只能抓取 21k 大小的内容。不够啊。

下午玩了。

晚上,还不错。自己找到了几行重要的代码:response.body;返回的是个字符串。不过,这个字符串就是整个网页的html代码,这还不行啊,我必须从中吧文字筛出来锕。

此处又是泪和苦逼,由于不懂xpath,;当然直接用python 的re,等其他技术也可以,关键是正则表达式什么的,都不会啊。

最后,这个网又挽救了我

重要的网址:http://www.open-open.com/lib/view/open1329700631343.html

结合的代码


才知道还有这路神圣:


from sgmllib import SGMLParser (厉害的SGMLParser)

class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)
       # print "hi"
         
    def start_div(self, attrs):
        
        if self.flag == True:
            self.verbatim +=1 #进入子层div了,层数加1
            #print "div"
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'id' and v == 'Cnt-Main-Article-QQ':#确定进入了<div class='entry-content'>
                self.flag = True
               # print "jinru div"
                return
 
    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了,层数减1
            self.verbatim -=1
 
    def start_p(self, attrs):
        #print "p"
        if self.flag == False:
            return
        self.getdata = True
         
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
 
    def handle_data(self, text):#处理文本
        #print "nihao"
        if self.getdata:
            self.IDlist.append(text)
           # print "zhende"
             
    def printID(self):
        #print "text"
        for i in self.IDlist:
           # print "weishenme"
            print i
            




class GetIdList_163(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)
       # print "hi"
         
    def start_div(self, attrs):
        
        if self.flag == True:
            self.verbatim +=1 #进入子层div了,层数加1
            #print "div"
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'id' and v == 'endtext':#确定进入了<div class='entry-content'>
                self.flag = True
               # print "jinru div"
                return
 
    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了,层数减1
            self.verbatim -=1
 
    def start_p(self, attrs):
        #print "p"
        if self.flag == False:
            return
        self.getdata = True
         
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
 
    def handle_data(self, text):#处理文本
        #print "nihao"
        if self.getdata:
            self.IDlist.append(text)
           # print "zhende"
             
    def printID(self):
        #print "text"
        for i in self.IDlist:
           # print "weishenme"
            print i
            

使用:

    #item['content']=response.body
        sel2 = response.body  #重要代码。
       # sel2=response.read()


        lister = GetIdList()
        lister.feed(sel2)
        #print 'bb'
        lister.printID()




        lister_163 = GetIdList_163()
        lister_163.feed(sel2)
        #print 'bb'
        lister_163.printID()
        

终于成功的把文本提出来了。

当然,还有一些无用的东西,这个须得我好好研究下 html,xpath,SGMLParser。。。。。明个,继续加油吧。今天太累了。







这篇关于1.12-1.17 项目进度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/673092

相关文章

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

springboot项目中使用JOSN解析库的方法

《springboot项目中使用JOSN解析库的方法》JSON,全程是JavaScriptObjectNotation,是一种轻量级的数据交换格式,本文给大家介绍springboot项目中使用JOSN... 目录一、jsON解析简介二、Spring Boot项目中使用JSON解析1、pom.XML文件引入依

使用vscode搭建pywebview集成vue项目实践

《使用vscode搭建pywebview集成vue项目实践》:本文主要介绍使用vscode搭建pywebview集成vue项目实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录环境准备项目源码下载项目说明调试与生成可执行文件核心代码说明总结本节我们使用pythonpywebv

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

eclipse如何运行springboot项目

《eclipse如何运行springboot项目》:本文主要介绍eclipse如何运行springboot项目问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目js录当在eclipse启动spring boot项目时出现问题解决办法1.通过cmd命令行2.在ecl

SpringBoot项目Web拦截器使用的多种方式

《SpringBoot项目Web拦截器使用的多种方式》在SpringBoot应用中,Web拦截器(Interceptor)是一种用于在请求处理的不同阶段执行自定义逻辑的机制,下面给大家介绍Sprin... 目录一、实现 HandlerInterceptor 接口1、创建HandlerInterceptor实

Maven项目打包时添加本地Jar包的操作步骤

《Maven项目打包时添加本地Jar包的操作步骤》在Maven项目开发中,我们经常会遇到需要引入本地Jar包的场景,比如使用未发布到中央仓库的第三方库或者处理版本冲突的依赖项,本文将详细介绍如何通过M... 目录一、适用场景说明​二、核心操作命令​1. 命令格式解析​2. 实战案例演示​三、项目配置步骤​1

golang实现动态路由的项目实践

《golang实现动态路由的项目实践》本文主要介绍了golang实现动态路由项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习... 目录一、动态路由1.结构体(数据库的定义)2.预加载preload3.添加关联的方法一、动态路由1