import nltk from nltk.tokenize import word_tokenize from nltk import pos_tag import jieba.posseg as pseg # # 下载相关数据 # nltk.download('punkt') # nltk.download('averaged_perceptron_tagger') from nltk.stem import WordNetLemmatizer import string import re from langchain.prompts import ChatPromptTemplate from langchain.schema import SystemMessage, HumanMessage from langchain_openai import ChatOpenAI def preprocess_eng(text): ''' 英文文本预处理:小写化,去除标点(待定),去除特殊符号,只保留单词 拼写是否正确:是,因为是从ecoinvent导入的,没有拼写错误; 词干提取(stemming)和词形还原(lemmatization):可以处理一下,有的提取不准确,不做此操作 ''' # 去除标点 text = text.translate(str.maketrans('', '', string.punctuation)) # 去除数字 text = re.sub(r'\d+', ' ', text) # 去除多余字符 text = re.sub(r'[^A-Za-z0-9\s]', '', text) # 去除多余空格 text = re.sub(r'\s+', ' ', text) return text def preprocess_zh(text): ''' 中文文本预处理:只保留中文内容,去除英文、数字和标点 ''' text = str(text) # 去除英文 text = re.sub(r'[a-zA-Z]',' ',text) text = re.sub(r'\d', ' ', text) # 去除中文标点符号 text = re.sub(r'[,。!?、;:“”()《》【】-]', ' ', text) # 去除英文标点符号 text = re.sub(r'[.,!?;:"\'\(\)\[\]{}]', ' ', text) # 去除空格 text = re.sub(r'\s+','',text) return text # 英文名词处理 def get_noun_en(text): # 分词 words = word_tokenize(text) # 词性标注 tagged = pos_tag(words) # 提取名词 nouns = [word for word, tag in tagged if tag.startswith('NN')] noun = ' '.join(nouns) return noun # 中文名词提取 def get_noun_zh(text): x = str(text) if x=='nan': return '' words = pseg.cut(text) nouns = [word for word, flag in words if flag.startswith('n')] noun = ' '.join(nouns) return noun def has_no_chinese(text): """ 判断一个文本是否不包含中文字符 参数: text (str): 需要检查的文本 返回: bool: 如果文本中没有中文字符返回True,否则返回False """ for char in text: if '\u4e00' <= char <= '\u9fff' or \ '\u3400' <= char <= '\u4dbf' or \ '\u2f00' <= char <= '\u2fdf' or \ '\u3100' <= char <= '\u312f' or \ '\u31a0' <= char <= '\u31bf': return False return True def extract_List(text): pattern = r'\[(.*?)\]' matches = re.findall(pattern,text) try: return matches[-1] except Exception as e: print("字符串处理异常!",e) return None def translate(query): sys_template = ''' 你是一个专注于化工、环境学科领域的翻译专家。 用户将提供一个生命周期评价领域数据库的查询,查询可能包含中英文字符。你的任务是: 1. 将查询中的所有英文表述转化为对应的中文表述; 2. 确保转化后的查询中不含任何非中文语言; 3. 将完整的中文查询以“[]”格式返回; 4. 不返回除“[]”格式外的任何其他内容。 请严格按照上述要求执行。 ''' human_template = "查询内容为:{context}" chat_prompt = ChatPromptTemplate.from_messages([ ("system", sys_template), ("human", human_template) ]) messages = chat_prompt.format_messages(context=query) # print(messages) llm = ChatOpenAI( model = "deepseek-chat", base_url="https://api.deepseek.com", api_key="sk-3e42e538bc39411ab80761106d83dda9", temperature=0, ) response = llm.invoke(messages) content = response.content result = extract_List(content) return result if __name__ == '__main__': res = translate("HCOOH的定义是什么?") print(res)