Нужно предложить и реализовать способ сортировки сайтов и страниц по тематике и содержанию
Есть около 1.5 млн ссылок страниц разных сайтов, языки русский и английский
Задача отсортировать их по содержанию
Например 1)есть страницы сайта фрилансеров, а есть страница сайта рандомной тематики на которой информация о сайте фрилансеров, но это не сайт фрилансеров где можно предложить или получиить работу/задачу.
2) есть страницы сайта по поиску работы, а есть страница сайта рандомной тематики которая пишет об этом сайте работы
3) есть страница сайта форума (болталки), есть страница сайта рандомной тематики, но в нем есть раздел форума, есть страницы сайта рандомной тематики которые пишут о сайте форуме, но на этом сайте рандомной тематике самого форума нету , а есть страницы сайта рандомной тематики которые пишут о форуме как о физическом собрании людей
это часть примеров, тематик страниц больше
Это все страницы разных категорий (смысловых содержаний)
Ссылки содержаться в разных файлах по темам, например, сайты где упоминается фриланс, саты где упоминается работа и т.д. во всех этих файлах могут содержаться одинаковые домены, но со ссылками на разные страницы
Нужен способ как их можно отсортировать/распределить по таким критериям содержания и при этом сделать что бы это функционировало или было сделано максимально дешево, быстро, качественно (должна быть полная точность в определении к какой категории относится страница, исходя из приведенных примеров категоризации страниц).
Это разовая задача
