[Stove AI] Машинное обучение 041-NLP Sentence Sentiment Analysis

машинное обучение искусственный интеллект Python NLP

[Stove AI] Машинное обучение 041-NLP Sentence Sentiment Analysis

(Библиотеки Python и номера версий, используемые в этой статье: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2)

В НЛП есть очень практическая область применения - анализ настроений.Анализ настроений заключается в использовании технологии НЛП для анализа типа настроения данного текста, будь то положительный или отрицательный, оптимистичный или пессимистичный и т. д. Например, на фондовом рынке мы знаем, что самый пессимистичный настрой публики часто бывает в нижней части фондового рынка, а самый оптимистичный — на вершине фондового рынка. публики, мы также можем примерно знать дно и вершину фондового рынка, другими словами, можно сделать много денег на фондовом рынке.


1. Подготовьте набор данных

Набор данных, используемый в этом проекте, также предоставляется внутри компании nltk. В модуле корпуса есть Movies_reviews, которые могут предоставить нам «положительные» и «отрицательные» тексты предложений.

# 1, 准备数据集
from nltk.corpus import movie_reviews
pos_fileIds=movie_reviews.fileids('pos') # 加载积极文本文件
neg_fileIds=movie_reviews.fileids('neg') # 消极文本文件

print(len(pos_fileIds)) # 1000
print(len(neg_fileIds)) # 1000 

print(pos_fileIds[:5])
print(neg_fileIds[:5])

# 由此可看出，movie_reviews.fileids是加载各种类别文本的文件，
# 并返回该文件名组成的list

# 如果想要查看某个文本文件的内容，可以使用
print(movie_reviews.words(fileids=['pos/cv000_29590.txt']))

---ввод-----------------

1000 1000 ['pos/cv000_29590.txt', 'pos/cv001_18431.txt', 'pos/cv002_15918.txt', 'pos/cv003_11664.txt', 'pos/cv004_11636.txt'] ['neg/cv000_29416.txt', 'neg/cv001_19502.txt', 'neg/cv002_17424.txt', 'neg/cv003_12683.txt', 'neg/cv004_12641.txt'] ['films', 'adapted', 'from', 'comic', 'books', 'have', ...]

-----------------------Заканчивать---------------------

Хотя имена текстовых файлов извлечены выше, нам также необходимо извлечь необходимые функции из этих файлов txt и использовать эти функции для выполнения последующего моделирования классификатора.

# 2, 处理数据集
def extract_features(word_list):
    '''专门一个函数来提取特征'''
    return dict([(word,True) for word in word_list]) # 此处加True的作用是构成dict,实质意义不大

pos_features=[(extract_features(movie_reviews.words(fileids=[f])),'Pos') 
              for f in pos_fileIds]
neg_features=[(extract_features(movie_reviews.words(fileids=[f])),'Neg') 
              for f in neg_fileIds]
print(pos_features[:3]) # 打印下看看内容是否正确

dataset=pos_features+neg_features # 将两部分结合起来作为一个dataset

Распечатанный результат очень длинный, вы можете обратиться кмой гитхабкод внутри.


2. Создайте модель и обучите функции

# 构建模型，训练模型
from nltk import NaiveBayesClassifier
from nltk.classify import accuracy as nltk_accuracy

np.random.shuffle(dataset)
rows=int(len(dataset)*0.8) # 80%为train set
train_set,test_set=dataset[:rows],dataset[rows:]
print('Num of train_set: ',len(train_set),
      '/nNum of test_set: ',len(test_set))
clf=NaiveBayesClassifier.train(train_set)

# 查看该模型在test set上的表现
acc=nltk_accuracy(clf,test_set)
print('Accuracy: {:.2f}%'.format(acc*100))

------------------ ВХОД ----------------------- ВЫХОД -------------------- ---

Num of train_set: 1600
Num of test_set: 400
Accuracy: 70.75%

-------------------------Заканчивать------------------------ ---

Видно, что производительность модели на тестовом наборе такова: показатель точности 70,75%.

# 查看模型内部信息
# 该分类器是分析某段文本中哪些单词与“积极”的关联最大，
# 哪些与“消极”的关联最大，进而分析这些关键词的出现来判断某句话是积极或消极

# 打印这些关键词
for key_word in clf.most_informative_features()[:10]:
    print(key_word[0])

---ввод---------------------

outstanding
insulting
ludicrous
affecting
magnificent
breathtaking
avoids
strongest
fascination
slip

------------------------Заканчивать-------------------------

Можно видеть, что эти ключевые слова играют решающую роль в различении того, является ли предложение положительным или отрицательным, Чем больше, тем точнее предсказания модели.


3. Прогнозируйте новые выборки с помощью зрелых моделей

# 用该模型来预测新样本，查看新句子的情感是积极还是消极
new_samples = [
        "It is an amazing movie", 
        "This is a dull movie. I would never recommend it to anyone.",
        "The cinematography is pretty great in this movie", 
        "The direction was terrible and the story was all over the place" 
    ]

for sample in new_samples:
    predict_P=clf.prob_classify(extract_features(sample.split()))
    pred_sentiment=predict_P.max()
    print('Sample: {}, Type: {}, Probability: {:.2f}%'.format(
        sample,pred_sentiment,predict_P.prob(pred_sentiment)*100))

---ввод---------------------

Sample: It is an amazing movie, Type: Pos, Probability: 61.45%
Sample: This is a dull movie. I would never recommend it to anyone., Type: Neg, Probability: 80.12%
Sample: The cinematography is pretty great in this movie, Type: Pos, Probability: 63.63%
Sample: The direction was terrible and the story was all over the place, Type: Neg, Probability: 63.89%

------------------------Заканчивать------------------------- ---

########################резюме########################## ######

1. Классификатор, используемый в NLTK, должен использовать данные типа dict в качестве данных характеристик, поэтому нам нужно настроить функцию extract_features для преобразования слов в тип dict.

2. В NLTK интегрировано множество классификаторов, таких как NaiveBayesClassifier, Эти классификаторы интегрировали различные детали обработки строк и очень удобны в использовании.

#################################################################


Примечание. Эта часть кода была загружена в (мой гитхаб), добро пожаловать на скачивание.

Использованная литература:

1. Классические примеры машинного обучения Python, Пратик Джоши, перевод Тао Цзюньцзе и Чена Сяоли.

Категории