Фриланс-проєкти

Фриланс-проєкти

Topic modeling

Python — неправильно зазначені категорії?

2123 UAH

Use data from https://github.com/thedenaas/hse_seminars/tree/master/2018/seminar_13/data.zip
Implement model in pytorch from "An Unsupervised Neural Attention Model for Aspect Extraction, He et al, 2017", also desribed in https://github.com/thedenaas/hse_seminars/blob/master/2019/seminar_13/topic.ipynb .

You can use sentence embeddings with attention :
$z_s = \sum_{i}^n \alpha_i e_{w_i}, z_s \in R^d$ sentence embedding $\alpha_i = softmax(d_i)$ attention weight for i-th token $d_i = e_{w_i}^T M y_s$ attention with trainable matrix $M \in R^{dxd}$ $y_s = \frac 1 n \sum_{i=1}^n e_{w_i}, y_s \in R^d$ sentence context $e_{w_i} \in R^d$ , token embedding of size d - number of tokens in a sentence

Or just use sentence embedding as an average over word embeddings :
$z_s = \frac 1 n \sum_{i=1}^n e_{w_i}, z_s \in R^d$ sentence embedding $e_{w_i} \in R^d$ , token embedding of size d - number of tokens in a sentence

$p_t = softmax(W z_s + b), p_t \in R^K$ topic weights for sentence , with trainable matrix $W \in R^{dxK}$ and bias vector $b \in R^K$ $r_s = T^T p_t, r_s \in R^d$ reconstructed sentence embedding as a weighted sum of topic embeddings $T \in R^{Kxd}$ trainable matrix of topic embeddings, K=number of topics

Training objective: $J = \sum_{s \in D} \sum_{i=1}^n max(0, 1-r_s^T z_s + r_s^T n_i) + \lambda ||T^T T - I ||^2_F$ where random sentences are sampled as negative examples from dataset for each sentence $n_i = \frac 1 n \sum_{i=j}^n e_{w_j}$ average of word embeddings in the i-th sentence regularizer, that enforces matrix to be orthogonal $||A||^2_F = \sum_{i=1}^N\sum_{j=1}^M a_{ij}^2, A \in R^{NxM}$ Frobenius norm

Compute topic coherence for at least for 3 different number of topics. Use 10 nearest words for each topic. It means you have to train one model for each number of topics. You can use code from seminar notes with word2vec similarity scores.

Ставки 2 Відхилені 1

Сергей Галитовский

0 0

Проєкти -
Оцінка -
Рейтинг 60

Бюджет: 5500 RUB Термін: 2 дні

Могу выполнить Ваше задание. Есть опыт работы с нейронными сетями и имплементации их с научных статей на pytorch/tensorflow.

О сроках и цене можем договориться.

Владислав Бандурин

8 0

Проєкти 8
Оцінка -
Рейтинг 356

Бюджет: 8000 UAH Термін: 7 днів

Добрый день!
У меня имеется большой опыт в DataScience. Есть экспертиза в NLP и разработке моделей на pytorch. Пишите, обсудим детали:)

Fdmklhi Kjlkn
Москва, Росія

Проєктів 4
Оцінка -
Рейтинг 112

Topic modeling

Сергей Галитовский

Владислав Бандурин

Ставки поки відсутні

Ставки приховані

Актуальні фриланс-проєкти в категорії Python

Програма для автозборки відео (локальна, для особистого використання)

Тренер в реальному часі

Python-скрипт для автоматичного заповнення Google Sheets даними з внутрішнього сервісу (API / Pla

Розробка мікросервісу динамічного управління секретами та ротації API-ключів

Парсинг даних