Парсер избранных твиттер-аккаунтов по ключевым словам

300 аккаунтов за 1-2 минуты?) Ну-ну.... Даже на соединение не хватит времени, не говоря уже о парсинге. 

Sergey Fedorov 11 May 2019

Пусть не 300. Пусть 100. Тоже не получится? Решение есть ? Или не существует? Если 10-15 минут, то это долго и смысла нет.

Думаю, и на 300 будет решение. Вопрос лишь в готовности Вас влаживать в разработку деньги) Ценник, на вскидку, от 300 уе

Sergey Fedorov 11 May 2019

Примерно понятно. Нужно изучить внимательнее все варианты. Если ничего не найду -вернемся к обсуждению.

Сделал десктопное приложение на Electron JS, при запуске логинится в Твиттере, куки сохраняет в файл. Буду дальше писать. Когда сделаю цену предложу.
Для вопросов есть Whatsapp: 89135429218 

Sergey Fedorov 24 May 2019

это какой то другой проект? просто похожий?  или это реализация моего проекта?

Sergey Fedorov 24 May 2019

если вдруг имеет отношение к моему. мне логиниться в твиттере ни к чему. если только без этого нельзя обойтись - ну тогда можно и залогиниться

Сбрось в л/с примерный список аккаунтов и ключевых слов. Есть идеи.

Sergey Fedorov 24 May 2019

Список аккаунтов

https://twitter.com/LFC

https://twitter.com/ChelseaFC

https://twitter.com/Arsenal

https://twitter.com/ManUtd

https://twitter.com/ManCity

https://twitter.com/WatfordFC

https://twitter.com/LCFC

https://twitter.com/WestHamUtd

список слов

Goal

Transfer

Game

Sergey Fedorov 25 May 2019

Разработчик нашелся за меньшую стоимость и сроки. Спасибо за внимание к моему проекту. Но дальнейшее обсуждение нужно отменить

Это рефлизация Вашего проекта, просто мне самому интересна эта тема. ЛОгиниться бязательно, но для пользователя приложения это неважно так-как происходит в фоне.

Сейчас узнал, не обязательно логиниться, ну ладно уже сделал авторизацию)

За сколько он нашелся? Я уже почти сделал

Sergey Fedorov 27 May 2019

5 тыс руб

Когда он сделает? У меня уже все написано. Осталось оповещения сделать и протестировать - отладить. День - два и готово. На 5 тыс я согласен, если всё как в техзадании, не больше. Пишите на Whatsapp, если интересует. 

Sergey Fedorov 28 May 2019

я могу взять второй вариант. чтобы сравнить в работе. но все только через сейф. ТЗ немного изменялось с момента первого размещения. Скину последний вариант, чтобы не было непоняток. если написано по ТЗ - сможем договориться. особо обращаю внимание на таблицы в конце ТЗ. у многих с этим проблемы. без таблиц точно не подойдет 

Sergey Fedorov 28 May 2019

Парсинг избранных твиттер-аккаунтов (100-300 аккаунтов) по ключевым словам (5-10 слов).
Просмотреть весь избранный список аккаунтов нужно не более чем за 1-2 мин.
Список аккаунтов должен быть доступен для регулярного редактирования.
Список ключевых слов должен быть доступен для регулярного редактирования.
Выдача результатов в табличной форме: дата/время - тикер - аккаунт - ссылка на твит.
Событие сопровождается звуковым сигналом и любым визуальным оповещением.
Ретвиты игнорируются.
Архив событий в табличной форме, доступный для просмотра и копирования в EXEL.
Парсер запускается периодически на ПК пользователя. Необходима индексация событий по аккаунту и дате/времени.
Язык поиска ENG
API Twitter у заказчика отсутствуют
Проект должен быть выполнен в виде десктопного приложения.
Описание интерфейса: запускаем модуль с ярлыка на рабочем столе. появляется окно, в котором таблица с графами дата/время - тикер - аккаунт - ссылка на твит. сортировка строк по умолчанию по дате, по убыванию. в таблице уже есть строки с событиями, обнаруженными ранее. модуль мониторит избранные аккаунты, при обнаружении ключевых слов создается новая строка и помещается сверху предыдущих. при этом повторно строки не создаются, так как есть индексация событий по каждому аккаунту. при создании новой строки выдается оповещение на экран и звуковое извещение
в программе есть три таблицы: список аккаунтов, список слов, список событий. все таблицы доступны для редактирования, включая добавление/удаление строк, возможно изменение данных в любой графе аналогично как это делается в EXEL - помещая курсор в ячейку, данные из таблиц можно копировать/вставить в EXEL (встроенным инструментом).

структура таблицы Accounts (аккаунты): №№ - тикер (мое обозначение типа 123 или АБВГД) - урл аккаунта – Vol (число)

структура таблицы Words (ключевые слова) : №№ - слово - Flag (да/нет)

структура таблицы Journal (журнал событий) : дата/время чч.мм.сс - тикер - урл аккаунта - урл события - Flag

Тикер я правильно понял, это слово которое "поймало" твит? За какой промежуток времени хранить события?

С таблицами я не понял, по клику менять данные, аккаунты и слова это понятно. Но что менять в событиях?

Sergey Fedorov 28 May 2019

таблица выглядит как счетчик. у меня вместо нее таблица Journal. структуру я написал. там просто строки появляются. последнее событие - в верхнюю строку  помещается. потом следующее и т.д. а считать не надо ничего

Sergey Fedorov 28 May 2019

тикер это мое условное обозначение

Sergey Fedorov 28 May 2019

Accounts

№№	Ticker	Url Accounts	Vol
1	LFC	https://twitter.com/LFC	20
2	CFC	https://twitter.com/ChelseaFC	10
3	ARS	https://twitter.com/Arsenal	20
4	MNU	https://twitter.com/ManUtd	30
5	MNC	https://twitter.com/ManCity	20
6	WFC	https://twitter.com/WatfordFC	50
7	LCF	https://twitter.com/LCFC	20
8	WHU	https://twitter.com/WestHamUtd	40

Sergey Fedorov 28 May 2019

Words

№№	Word	Flag
1	Goal	ИСТИНА
2	Transfer	ИСТИНА
3	Game	ЛОЖЬ
4	Countdown	ИСТИНА

Sergey Fedorov 28 May 2019

Journal

Date	Ticker	Url Accounts	Url Event	Flag
27.05.19 0:00	LFC	https://twitter.com/LFC	https://twitter.com/LFC/status/1132877842792902656	ИСТИНА

Sergey Fedorov 28 May 2019

на экране висят данные с таблицы Journal и обновляются, когда происходят нужные события

С этим понятно, а что именно менять по клику в таблице Journal? Что говорит FLAG ИСТИНА ЛОЖЬ ?

Использовать будeте Windows ?

Еще я не понял, что значит через сейф

Sergey Fedorov 29 May 2019

>>что именно менять по клику в таблице Journal? 

да ничего не менять. по какому клику ? вообще нет кликов в интерфейсе, я не писал в ТЗ никакие клики. Появляется новая строка - вот и все

"возможно изменение данных в любой графе аналогично как это делается в EXEL - помещая курсор в ячейку," C этим дороже будет на две тысячи.

Sergey Fedorov 29 May 2019

>>Использовать будeте Windows ? 

Да

Sergey Fedorov 29 May 2019

>>через сейф 

значит расчет через freelencehunt

Sergey Fedorov 29 May 2019

>>Что говорит FLAG ИСТИНА ЛОЖЬ ? 

ничего не говорит. это я сам пишу. формат поля только нужно задать тот, который я указал

это как бы коментарий, который можно добавлять изменять, верно

И вообще можно добавлять удалять поля

Sergey Fedorov 29 May 2019

верно

Sergey Fedorov 29 May 2019

таблицы ACCOUNTS и WORD - это настройки. в JORNAL собираются события, когда они случаются. и на монитор нужно выводить как раз строки из этой таблицы. каждая новая строка помещается сверху предыдущих. и появляется оповещение + звуковой сигнал

Работает уже программа. Остались мелочи по настройкам. Вопросы есть но здесь не буду их писать. Куда переместимся?

Sergey Fedorov 31 May 2019

внешне - да, похоже на то, что ожидаю. а куда перемещаться и зачем? может здесь и завершить проект ?

Вы говорили, через сейф, тогда надо создать заявку, чтобы я принял и т.д. или как?

Всё оформим, я вам сразу скину как есть, попробуете, напишете пожелания, исправлю сразу если косяк найдете добавлю что-то, если не накладно будет, вообщем там договоримся. 5 тыс,  комиссия ваша.  

Sergey Fedorov 1 June 2019

Ок, договорились. Сегодня за рулем целый день. Но до понедельника сделаю

Под скольки разрядную систему собирать 32 или 64?

Sergey Fedorov 2 June 2019

32

Готово

Парсинг избранных твиттер-аккаунтов (100-300 аккаунтов) по ключевым словам (5-10 слов).

Периодичность - 1-2 мин.

Список твиттер-аккаунтов должен быть доступен для регулярного редактирования.

Список ключевых слов должен быть доступен для регулярного редактирования.

Выдача результатов в табличной форме: дата/время - тикер - аккаунт - ссылка на твит.

Событие сопровождается звуковым сигналом и/или оповещением.

Ретвиты игнорируются.

Архив событий в табличной форме, доступный для просмотра и копирования в EXEL.

Парсер запускается периодически на ПК пользователя. Необходима индексация событий по аккаунту и дате/времени.

5тыс

Вы получите гораздо больше чем написано в этом ТЗ, но если там в сейфе ТЗ будет идентичным с этим, то я пойму что всё по честному.

Sergey Fedorov 3 June 2019

Проект разместил. ТЗ в последней редакции. Все это кажется в переписке уже обсуждали. Делайте ставку. Потом пополню баланс.

Где разместили, дайте ссылку

С новой редакцией я не говорил, что согласен, предлагал сделать перемещение клавишами, но на 2 тысячи дороже, сейчас по клику, Вы не ответили. Но я учел пожелания в новой редакции и поэтому говорю, "вы получите больше".

Sergey Fedorov 3 June 2019

https://freelancehunt.com/project/parser-izbrannyih-tvitter-akkauntov-po-klyuchevyim-slovam/498590.html

Sergey Fedorov 3 June 2019

так по ТЗ есть разногласия или нет? работаем ?

Таблицы я немного подругому реализовал.

Две таблицы.
Журнал событий: с полями (дата время, аккаунт, слова содержащие в Твите, ссылка на твит). Возможность добавлять к этой таблице любое количество дополнительных колонок и редактировать их для каждой строки. Данная таблица обновляется при клике на иконку события, новые события подсвечиваются (новые твиты зеленым, ранние из вновь добавленных аккаунтов или слов например - оранжевым.) Иконки событий появляются в сопровождении звукового сигнала, на панели инструментов. Данную таблицу можно скачать в формате .xlsx для просмотра в EXEL.

 Сводная таблица аккаунов и строк: строки это аккаунты, столбцы это слова, на пересечениях количества отловленных твитов по данному слову данного аккаунта. Редактируется сводная таблица редакцией списка аккаунтов и слов отдельно. Имеется возможность добавления комментария на каждое слово и аккаунт, при клике. Комментарий всплывает при наведении курсора мыши.

Sergey Fedorov 3 June 2019

сводная таблица - кажется более сложное решение, чем две отдельных. ну пусть так

Sergey Fedorov 3 June 2019

комментарии не помешают. про оповещения не понял - они будут? на экран и на динамик

оповещения есть, во время парсинга, груг за кругом, он чравнивает данные и при появлении новых данных сигналит и появляются значки, звуки брал из смс Iphone

Sergey Fedorov 3 June 2019

ок

И примерно 1 секунда на аккаунт уходит (в 4 потока смотрел), это про времени, при нажатии на старт начинает парсить по кругу, считает количество кругов и номер круга. В зависимости от мощности компьютера можно изменять количество потоков, от 2 до 64, (самое эффективное, когда соответствует количеству ядер процессора). Если у вас 8 ядер, возможно быстрее будет чем 1 сек на акк

  

Sergey Fedorov 3 June 2019

ок

просто сводную таблицу писал, когда ещё не проговорили про таблицы, действительно получилось сложно, но работает)

Sergey Fedorov 3 June 2019

пока все как нужно. жду ставку в проект

Также есть возможность в окне наблюдать за процессом, нужно в настройках выключить режим headless, и тогда вкладки(процессы), браузера chromium(движок на котором парсит), будут видимыми(это так, чтобы иметь представление, что внутри происходит, обычно не нужно это режим отключать)

Сделал ставку

Sergey Fedorov 3 June 2019

Принял

Зарезервируете отправлю