У меня есть фреймворк из 1000 текстовых документов с соответствующими ключевыми словами. Я хочу извлечь ключевые слова из нового документа, найдя ключевые слова, соответствующие документам в списке, который наиболее похож.
1 ответ
Сначала сохраните свой csv в df кадра данных и используйте следующие функции для вычисления сходства косинуса. def get_cosine (vec1, vec2): пересечение = set (vec1.keys ()) & set (vec2.keys ()) numerator = sum ([vec1 [x] * vec2 [x] для x в пересечении])
sum1 = sum([vec1[x]**2 for x in vec1.keys()])
sum2 = sum([vec2[x]**2 for x in vec2.keys()])
denominator = math.sqrt(sum1) * math.sqrt(sum2)
if not denominator:
return 0.0
else:
return float(numerator) / denominator
def text_to_vector(text):
word = re.compile(r'\w+')
words = word.findall(text)
return Counter(words)
def get_result(content_a, content_b):
text1 = content_a
text2 = content_b
vector1 = text_to_vector(text1)
vector2 = text_to_vector(text2)
cosine_result = get_cosine(vector1, vector2)
return cosine_result
Затем выполните итерацию по df и вызовите функции, как показано ниже:
similarity=[]
for ind in df.index:
#my_doc="new document should go in here"
#prev_doc= "previous document for each index should go in here"
cos=get_result(my_doc, prev_doc)
similarity.append(cos)
max_ind= similarity.index(max(similarity))
Вы получите индексную позицию самого похожего документа
Похожие вопросы
Новые вопросы
python
Python - это многопарадигмальный, динамически типизированный, многоцелевой язык программирования. Он разработан для быстрого изучения, понимания и использования, а также для обеспечения чистого и единообразного синтаксиса. Обратите внимание, что Python 2 официально не поддерживается с 01.01.2020. Тем не менее, для вопросов о Python, связанных с версией, добавьте тег [python-2.7] или [python-3.x]. При использовании варианта Python (например, Jython, PyPy) или библиотеки (например, Pandas и NumPy) включите его в теги.