“Document classification test”版本间的差异

来自cslt Wiki
跳转至: 导航搜索
VSM Test
Lr讨论 | 贡献
VSM Test
第27行: 第27行:
 
|+ classification result
 
|+ classification result
 
|-
 
|-
! Training Set !! 财经!! IT!! 健康!! 体育!! 旅游 !!教育 !! 招聘!! 文化!!军事!!sum
+
! !! 财经!! IT!! 健康!! 体育!! 旅游 !!教育 !! 招聘!! 文化!!军事!!sum
 
|-
 
|-
 
! ACC
 
! ACC

2014年9月9日 (二) 02:18的版本

Problem And Solve

Document classification of Sougou data

  • DATA
  • Data from SougouLab [1],using SogouC.reduced(30M)
  • 9-Classes:财经,IT,健康,体育,旅游,教育,招聘,文化,军事
  • train and test: train(),test(),dev()
  • Text preprocessing
  • Segment word using wordlist of 9W.(tencent)
  • Remove stop word.stop_wordlist is
  • Some Tools
  • weka
  • scw
  • google word2ve
  • LDA

VSM Test

  • Data
  • dimension:9402
  • Method
  • document reprenstion: use the tf-idf weight for word weight
  • classifier: Native Bayes
  • Result
classification result
财经 IT 健康 体育 旅游 教育 招聘 文化 军事 sum
ACC 0.678 0.718 0.708 0.708 0.73

LDA Test

Word2vec Test