本文主要是介绍Yelp NLP Text Classification Modeling 文本分类模型 with Prodigy，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
@Yelp NLP项目介绍
@文本预处理
接下来，我需要：
- 建立Training Set。
- 搭建分类模型。因为这是个练手的项目，所以我想把不同的模型都试一下。
STEP 2.1: 建立Training Set
我希望能快速得到一个规模相当的training set，大概10000个labelling。文本数据中真实包含的目标句式应该是相对占比较小的，也就是说，最终我的training set一定是不平衡的，label = 0的比例会远高于label = 1 的比例。如果我什么预处理都不做，直接随机从文本数据库中收取句子来进行标记，可以预想，得到的label = 1的结果应该很少。为了提高标记的效率，我决定，不进行随机收取，而是先通过targeted sampling，找到数据中存在的目标句式进行标记，然后再随机从剩余样本中抽取label = 0的句子。
找到目标句式的方法也很简单，主要简单的定义一个regular expression，筛选出句子中包含某些具有明确指向性的关键词即可。比如，在我感兴趣的标示位置的句子中，可能的关键词就有：
- a [few] block[s] away
- close to my
- walk[ed] [over/from]
- [live/work] nearby
- local
- neighborhood
含有上述关键词的句子，更有可能是我所感兴趣的句子。我只要写出一个筛选函数，用这个筛选函数定向地抽取待标记样本，就能够人为地提高training set中label = 1的比例。给定10000的training sample size， 我需要有效样本，即label = 1 的比例至少在10%以上，也就是说，我需要找到至少1000条我感兴趣的句型。希望我现在有的30万条用户评论中，存
这篇关于Yelp NLP Text Classification Modeling 文本分类模型 with Prodigy的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
