获取新闻舆情评分和股价的相关系数

Question

选取一支股票（股票代码：600000），在百度资讯上至少爬取一页的信息，信息包括新闻标题、网址、来源和日期，并对每条新闻进行舆情评分，并将所有信息（包括标题、网址、来源、日期和评分）输入到数据库中。然后将此股票的每天的所有新闻评分合并汇总，将结果在Python中输出，并生成Excel文件，再和含有股价的Excel表合并后，最后能得到舆情评分和股价的相关系数。

Answer 1

本答案参考 多次询问 ChatGPT-3.5 后选择的最佳回答，若是满意，还请采纳，谢谢

以下是一个大致的Python解决方案的步骤：

一、数据爬取部分

1. 使用requests和BeautifulSoup来爬取百度资讯的新闻信息

   • 首先需要安装这两个库：

   pip install requests beautifulsoup4
   

2. 代码示例：

   ```python
   import requests
   from bs4 import BeautifulSoup

def get_news_info():
url = "https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=600000&medium=0%22
headers = {
"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers = headers)
soup = BeautifulSoup(response.text, 'html.parser')
news_list = []
for item in soup.find_all('div', class_='result'):
title = item.find('h3').text
link = item.find('h3').find('a')['href']
source = item.find('span', class_='c - color - gray').text
date = item.find('span', class_='c - color - gray2').text
news_list.append((title, link, source, date))
return news_list

news_info = get_news_info()

**二、舆情评分部分**

1. 舆情评分是一个相对复杂的任务，可以简单地通过一些关键词来进行初步评分。例如，如果标题中包含“上涨”“盈利”等正面关键词则加1分，如果包含“下跌”“亏损”等负面关键词则减1分。
- 这里需要定义一个关键词字典：

```python
positive_keywords = ['上涨', '盈利', '增长']
negative_keywords = ['下跌', '亏损', '减少']


def sentiment_score(title):
    score = 0
    for keyword in positive_keywords:
        if keyword in title:
            score += 1
    for keyword in negative_keywords:
        if keyword in title:
            score -= 1
    return score


scored_news = [(title, link, source, date, sentiment_score(title)) for title, link, source, date in news_info]

三、数据存储部分

1. 可以使用pandas库将数据存储到数据库（这里以简单的将数据存储为Excel文件为例，假设已经安装了pandas库：pip install pandas）

   ```python
   import pandas as pd

df = pd.DataFrame(scored_news, columns=['Title', 'URL', 'Source', 'Date', 'Score'])
df.to_excel('news_info.xlsx', index=False)

**四、合并新闻评分和股价数据部分**

1. 假设已经有一个包含股价数据的Excel文件（例如`stock_price.xlsx`），并且日期列是匹配的。

```python
stock_price = pd.read_excel('stock_price.xlsx')
combined_df = pd.merge(stock_price, df, on='Date')

五、计算相关系数部分

1. 使用pandas的corr方法来计算舆情评分和股价的相关系数。

   correlation = combined_df['Score'].corr(combined_df['Stock_Price'])
   print(correlation)
   

请注意：

1. 上述舆情评分方法非常简单，实际应用中可能需要更复杂的自然语言处理技术，如使用预训练的情感分析模型（如TextBlob或NLTK中的情感分析器等）。
2. 百度资讯的页面结构可能会发生变化，这可能导致爬取代码失效，需要根据实际情况进行调整。
3. 在实际操作中，还需要处理可能出现的网络请求错误、数据缺失等异常情况。