【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用

2024-02-16 07:48

本文主要是介绍【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、stanfordcorenlp安装和使用

1.安装Python包

pip install stanfordcorenlp

2.下载数据文件

https://stanfordnlp.github.io/CoreNLP/index.html#download

 

corenlp

 

下载好后解压,

 

记当前路径为path_or_host

 

另外,将下载的各语种模型文件

也放在解压后的目录path_or_host下

 

3.安装JDK 1.8 和JRE 1.8

Java SE  JDK安装包下载

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Win 64位 JDK1.8

jdk-8u251-windows-x64.exe

 

tips:需要先用邮箱注册一个账号才能下载

 

配置环境:

Java环境的配置

https://blog.csdn.net/weixin_43529904/article/details/88370720

https://jingyan.baidu.com/article/08b6a591bdb18314a80922a0.html

 

检查:

cmd中输入java、 javac、 java -version有对应的信息出现

 

 

报错解决:

https://blog.csdn.net/sunflower_sara/article/details/106473753

Javac不是外部命令

https://blog.csdn.net/tg928600774/article/details/80992683

Java1.7和1.8冲突

https://blog.csdn.net/weinichendian/article/details/78559496

4. Ner

https://nlp.stanford.edu/software/CRF-NER.html

下载stanford-ner-4.0.0.zip

解压

 

5. 示例:

python直接调用


from stanfordcorenlp import StanfordCoreNLPnlp = StanfordCoreNLP(r'.\\stanford_nlp\\stanford-corenlp-4.0.0', lang='en')# sentence = '斯坦福大学自然语言处理包StanfordNLP'sentence = "This is a growing trend particularly in the United States. Oftentimes there are great opportunities for glamping just outside national park boundaries. Yellowstone, Zion National Park, and Yosemite are excellent both for their supreme natural beauty as well as their many prime opportunities for some glamping."print(nlp.word_tokenize(sentence))  # 分词print(nlp.pos_tag(sentence))  # 词性标注print(nlp.ner(sentence))  # 实体识别print(nlp.parse(sentence))  # 语法树print(nlp.dependency_parse(sentence))  # 依存句法nlp.close() # Do not forget to close! The backend server will consume a lot memery.

 

如果用端口模式:

(详细可参考:https://blog.csdn.net/qq_35203425/article/details/80451243)

 

cmd中启动端口

java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 9000 -timeout 15000

 

 

Python脚本中用

nlp = StanfordCoreNLP('http://localhost', port=9000)

替换

nlp = StanfordCoreNLP(r'.\\stanford_nlp\\stanford-corenlp-4.0.0', lang='en')

from stanfordcorenlp import StanfordCoreNLPnlp = StanfordCoreNLP('http://localhost', port=9000)# sentence = '斯坦福大学自然语言处理包StanfordNLP'
sentence = "This is a growing trend particularly in the United States. Oftentimes there are great opportunities for glamping just outside national park boundaries. Yellowstone, Zion National Park, and Yosemite are excellent both for their supreme natural beauty as well as their many prime opportunities for some glamping."print(nlp.word_tokenize(sentence))  # 分词
print(nlp.pos_tag(sentence))  # 词性标注
print(nlp.ner(sentence))  # 实体识别
print(nlp.parse(sentence))  # 语法树
print(nlp.dependency_parse(sentence))  # 依存句法nlp.close() # Do not forget to close! The backend server will consume a lot memery.

 

二、Stanfordnlp安装和使用

 

1. 安装python包

pip install stanfordnlp

 

2. 下载数据文件

python中:

import stanfordnlp

stanfordnlp.download('en')

根据提示输入y即可下载数据

我的下载到了 D:\Users\user\stanfordnlp_resources

大小大概270M

 

3. 安装pytorch

需要依赖pytorch 1.0.0以上版本

打开如下链接选择相应的环境和版本的pytorch

https://pytorch.org/get-started/locally/

https://download.pytorch.org/whl/torch_stable.html

 

 

4. 示例代码:

import stanfordnlp

 

# stanfordnlp.download('en')   # This downloads the English models for the neural pipeline

 

nlp = stanfordnlp.Pipeline() # This sets up a default neural pipeline in English

doc = nlp("Barack Obama was born in Hawaii.  He was elected president in 2008.")

doc.sentences[0].print_dependencies()

 

 

 

参考资料:

https://blog.csdn.net/qq_35203425/article/details/80451243

https://blog.csdn.net/qq_40426415/article/details/80994622

 

其他:

python nltk中使用StanfordNER

https://www.jianshu.com/p/f5c893c89c28

这篇关于【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/713945

相关文章

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3

Python yield与yield from的简单使用方式

《Pythonyield与yieldfrom的简单使用方式》生成器通过yield定义,可在处理I/O时暂停执行并返回部分结果,待其他任务完成后继续,yieldfrom用于将一个生成器的值传递给另一... 目录python yield与yield from的使用代码结构总结Python yield与yield

Go语言使用select监听多个channel的示例详解

《Go语言使用select监听多个channel的示例详解》本文将聚焦Go并发中的一个强力工具,select,这篇文章将通过实际案例学习如何优雅地监听多个Channel,实现多任务处理、超时控制和非阻... 目录一、前言:为什么要使用select二、实战目标三、案例代码:监听两个任务结果和超时四、运行示例五

python使用Akshare与Streamlit实现股票估值分析教程(图文代码)

《python使用Akshare与Streamlit实现股票估值分析教程(图文代码)》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的

Win10安装Maven与环境变量配置过程

《Win10安装Maven与环境变量配置过程》本文介绍Maven的安装与配置方法,涵盖下载、环境变量设置、本地仓库及镜像配置,指导如何在IDEA中正确配置Maven,适用于Java及其他语言项目的构建... 目录Maven 是什么?一、下载二、安装三、配置环境四、验证测试五、配置本地仓库六、配置国内镜像地址

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3