Я использовал LDA для корпуса документов и нашел несколько тем. Результатом моего кода являются две матрицы, содержащие вероятности. одна вероятность темы документа, а другая вероятность темы слова. Но я на самом деле не знаю, как использовать эти результаты, чтобы предсказать тему нового документа. Я использую выборку Гиббса. Кто-нибудь знает, как? Благодарность

python prediction topic-modeling
2
Hossein 7 Апр 2011 в 18:39
Я собирался предложить stats.stackexchange.com, когда заметил, что вы уже разместили там вопрос.
 – 
NPE
7 Апр 2011 в 18:53
Вы просматривали mblondel.org/journal /2010/08/21/… (есть ссылка на образец кода) и blog.josephwilk.net/projects/…
 – 
Philip Southam
7 Апр 2011 в 21:06
Ваше описание немного сбивает с толку, поскольку вы написали, что использовали LDA для поиска тем в документах. Насколько я помню свои лекции по информационному поиску, LDA — это продвинутый метод сглаживания для предсказания вероятностей слов, содержащихся в запросе, но отсутствующих в документе, на основе вероятности того, что слово будет сгенерировано определенным тема-модель. Так что было бы очень полезно, если бы вы предоставили дополнительную информацию о том, что вы уже сделали.
 – 
das_weezul
11 Апр 2011 в 17:44
Что вы хотите сделать с новым тестовым документом? Узнать вероятность темы для него? Или на самом деле узнать, из какой темы было создано каждое слово?
 – 
abhinavkulkarni
30 Апр 2013 в 08:55

1 ответ

Реализация Java http://www.arbylon.net/ В проектах/lda-j/lda-j-src-20050325.zip есть короткий пример программы в src\org\knowceans\lda\SearchEnglet.java. Я надеюсь, что вы немного знакомы с java, и код поможет вам.

Оригинал документа http://jmlr.csail.mit.edu/papers/ Volume3/blei03a/blei03a.pdf описывает выводы в разделах 5.1 и 5.2.

3
rocksportrocker 14 Апр 2011 в 12:45
Извините, я не вижу смысла в этом коде, а использование Java делает его еще более сложным
 – 
Hossein
13 Апр 2011 в 12:31
Формулы вывода для lsa немного сложны, взгляните на английскую страницу википедии об lsa. возможно, код из nlp.fi.muni.cz/projekty/gensim/# тебе лучше читать.
 – 
rocksportrocker
14 Апр 2011 в 12:39

Похожие вопросы

18 Использование глобальных переменных в функции
10 Перебор словарей с использованием циклов for
1 Реализация тематической модели с помощью Python (numpy)
2 Тематическое моделирование LDA — обучение и тестирование
1 Скрытое размещение Дирихле с использованием Gensim в более чем одном корпусе
1 Скрытое распределение Дирихле (LDA) в Spark
1 Извлечь матрицу вероятности тематического слова в gensim LdaModel
1 Скрытое размещение Дирихле с предшествующими тематическими словами
1 LDA: тематическая модель gensim дает тот же набор тем
💵 Получи $100 на хостинг на 60 дней.
Регистрируйся!

Новые вопросы

1 Я наткнулся на то, что, скорее всего, является ошибкой отступа, но я не могу понять это
2 Как мне сделать факториальный решатель в python
1 как сканировать веб-сайт на основе vue.js с помощью BeautifulSoup?
1 Как я могу правильно использовать метод «применить ()» в Pandas?
1 Как найти конкретного потомка элемента в селене?
1 Как правильно собрать пакет для использования функции без имени модуля при импорте модуля?
1 Python - новичок в Python, и я пытаюсь взять раздел списка, который является строкой, и сделать его целым числом.
1 Цикл Python в списке, возвращающий неправильный ответ
3 Pandas — операции со столбцами с фильтрами (преобразование строковых символов)
2 Создайте класс и подготовьте данные один раз, которые затем смогут использовать все объекты.
Все вопросы по теме python >

python

Python — это мультипарадигмальный многоцелевой язык программирования с динамической типизацией. Он предназначен для быстрого изучения, понимания и использования, а также обеспечивает чистый и унифицированный синтаксис. Обратите внимание, что Python 2 официально не поддерживается с 01.01.2020. Если у вас есть вопросы о версии Python, добавьте тег [python-2.7] или [python-3.x]. При использовании варианта Python (например, Jython, PyPy) или библиотеки (например, Pandas, NumPy) укажите это в тегах.

Подробнее про python...