基于大模型的高效新闻推荐系统的实践方案

import pandas as pd
# 读取新闻数据news_df = pd.read_csv('news.tsv', sep='\t', header=None, names=['news_id', 'category', 'subcategory', 'title', 'abstract', 'url', 'title_entities', 'abstract_entities'])
# 查看前几行数据print(news_df.head())

# 读取用户行为日志behavior_df = pd.read_csv('behaviors.tsv', sep='\t', header=None, names=['impression_id', 'user_id', 'time', 'history', 'impressions'])
# 查看前几行数据print(behavior_df.head())

from qwen import QwenClient
# 初始化通义千问客户端client = QwenClient(api_key='YOUR_API_KEY')
def tag_articles(articles, client):tagged_articles = []for article in articles:prompt = f"为以下文章生成标签：\n类别: {article['category']}, 子类别: {article['subcategory']}, 标题: {article['title']}, 摘要: {article['abstract']}\n请生成相关的标签。"# 调用通义千问生成标签response = client.generate(prompt)tags = response.strip().split(',')tagged_articles.append({**article, 'tags': tags})    return tagged_articles

# 示例：为新闻文章打标签tagged_news_df = tag_articles(news_df.to_dict('records'), client)tagged_news_df = pd.DataFrame(tagged_news_df)
# 查看带有标签的新闻数据print(tagged_news_df.head())

def generate_user_profile(user_history, client):# 将用户点击过的新闻详细信息拼接成一段长文本history_news = tagged_news_df[tagged_news_df['news_id'].isin(user_history)]history_text = ' '.join(history_news['title'] + ' ' + history_news['abstract'].fillna(''))# 设计promptprompt = f"基于以下用户点击历史，生成一个用户画像，描述用户感兴趣的新闻主题和地区。\n点击历史:\n{history_text}\n请描述用户的兴趣主题和关注地区。"# 调用通义千问生成用户画像response = client.generate(prompt)user_profile = response.strip()    return user_profile

# 示例：生成用户画像user_history = ['N1', 'N2', 'N3']# 假设这是某个用户的点击历史user_profile = generate_user_profile(user_history, client)
# 输出用户画像print(user_profile)

def recall_candidate_news(user_profile, tagged_news_df, client):# 设计promptprompt = f"基于以下用户画像，从新闻库中召回一批与用户兴趣匹配的新闻。\n用户画像:\n{user_profile}\n新闻库:\n{tagged_news_df.to_json(orient='records')}\n请从新闻库中选出与用户兴趣匹配的新闻。"# 调用通义千问召回候选新闻response = client.generate(prompt)candidate_news_ids = response.strip().split('\n')# 获取召回的候选新闻candidate_news = tagged_news_df[tagged_news_df['news_id'].isin(candidate_news_ids)]    return candidate_news

# 示例：召回候选新闻candidate_news = recall_candidate_news(user_profile, tagged_news_df, client)
# 输出召回的候选新闻print(candidate_news)

def score_and_rank_news(user_profile, candidate_news, client):# 设计promptcandidate_news_json = candidate_news.to_json(orient='records')prompt = f"基于以下用户画像，对以下候选新闻进行评分，并按评分从高到低排序。\n用户画像:\n{user_profile}\n候选新闻:\n{candidate_news_json}\n请对这些候选新闻进行评分，并按评分从高到低排序。"# 调用通义千问进行评分和排序response = client.generate(prompt)scored_news = json.loads(response.strip())# 将评分结果转换为DataFramescored_news_df = pd.DataFrame(scored_news)scored_news_df = scored_news_df.sort_values(by='score', ascending=False)    return scored_news_df

# 示例：评分和排序scored_news = score_and_rank_news(user_profile, candidate_news, client)
# 输出评分和排序后的新闻列表print(scored_news)

# 输出推荐结果top_n = 10recommended_news = scored_news.head(top_n)
# 输出推荐的Top 10新闻print(recommended_news[['news_id', 'title', 'score']])