Фриланс-проекты

Фриланс-проекты

Topic modeling

Python — неверно указаны категории?

2123 UAH

Use data from https://github.com/thedenaas/hse_seminars/tree/master/2018/seminar_13/data.zip
Implement model in pytorch from "An Unsupervised Neural Attention Model for Aspect Extraction, He et al, 2017", also desribed in https://github.com/thedenaas/hse_seminars/blob/master/2019/seminar_13/topic.ipynb .

You can use sentence embeddings with attention :
$z_s = \sum_{i}^n \alpha_i e_{w_i}, z_s \in R^d$ sentence embedding $\alpha_i = softmax(d_i)$ attention weight for i-th token $d_i = e_{w_i}^T M y_s$ attention with trainable matrix $M \in R^{dxd}$ $y_s = \frac 1 n \sum_{i=1}^n e_{w_i}, y_s \in R^d$ sentence context $e_{w_i} \in R^d$ , token embedding of size d - number of tokens in a sentence

Or just use sentence embedding as an average over word embeddings :
$z_s = \frac 1 n \sum_{i=1}^n e_{w_i}, z_s \in R^d$ sentence embedding $e_{w_i} \in R^d$ , token embedding of size d - number of tokens in a sentence

$p_t = softmax(W z_s + b), p_t \in R^K$ topic weights for sentence , with trainable matrix $W \in R^{dxK}$ and bias vector $b \in R^K$ $r_s = T^T p_t, r_s \in R^d$ reconstructed sentence embedding as a weighted sum of topic embeddings $T \in R^{Kxd}$ trainable matrix of topic embeddings, K=number of topics

Training objective: $J = \sum_{s \in D} \sum_{i=1}^n max(0, 1-r_s^T z_s + r_s^T n_i) + \lambda ||T^T T - I ||^2_F$ where random sentences are sampled as negative examples from dataset for each sentence $n_i = \frac 1 n \sum_{i=j}^n e_{w_j}$ average of word embeddings in the i-th sentence regularizer, that enforces matrix to be orthogonal $||A||^2_F = \sum_{i=1}^N\sum_{j=1}^M a_{ij}^2, A \in R^{NxM}$ Frobenius norm

Compute topic coherence for at least for 3 different number of topics. Use 10 nearest words for each topic. It means you have to train one model for each number of topics. You can use code from seminar notes with word2vec similarity scores.

Ставки 2 Отклоненные 1

Сергей Галитовский

0 0

Проекты -
Оценка -
Рейтинг 60

Бюджет: 5500 RUB Срок: 2 дня

Могу выполнить Ваше задание. Есть опыт работы с нейронными сетями и имплементации их с научных статей на pytorch/tensorflow.

О сроках и цене можем договориться.

Владислав Бандурин

8 0

Проекты 8
Оценка -
Рейтинг 356

Бюджет: 8000 UAH Срок: 7 дней

Добрый день!
У меня имеется большой опыт в DataScience. Есть экспертиза в NLP и разработке моделей на pytorch. Пишите, обсудим детали:)

Fdmklhi Kjlkn
Москва, Россия

Проектов 4
Оценка -
Рейтинг 112

Topic modeling

Сергей Галитовский

Владислав Бандурин

Ставки пока отсутствуют

Ставки скрыты

Актуальные фриланс-проекты в категории Python

Программа для автосборки видео (локальная, для личного использования)

Real-Time Тренер

Python-скрипт для автоматического заполнения Google Sheets данными из внутреннего сервиса (API / Pla

Разработка микросервиса динамического управления секретами и ротации API-ключей

Парсинг данных