Usunięcie nieprostyh duplikatów w Excelu. Biblioteka Python i formuła fuzzywuzzy (levenshtein)

Parsowanie danych, Python — podano nieprawidłowe kategorie?

Zlecenie jest tłumaczone automatycznie. Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał

Witaj. Z moim programistą próbowaliśmy usunąć duplikaty w nagłówkach. Formuła czasami usuwa normalny nagłówek, a czasami zostawia zbędny duplikat. Kod załączyłem. Plik do testu też. Jeśli uda się wam zrobić to lepiej niż nam. A w pliku wyjściowym będą tylko nagłówki, które zaznaczyłem pogrubioną czcionką. Od razu piszcie do mnie, na prywatne. Albo w swojej ofercie wprowadźcie zmiany. Piszcie, że mi się udało. Weźcie kod. Poprawcie jak możecie.
UWAGA! W pliku do testu. Są nagłówki wyróżnione pogrubioną czcionką. Zadanie polega na tym, aby w pliku wyjściowym po przetworzeniu formułą skryptu pozostały. A nagłówki, które nie są wyróżnione pogrubioną czcionką, to duplikaty, które mają zostać usunięte. U nas wychodziło różnie. Wymyślaliśmy wiele rzeczy. Ale nic sensownego nie wyszło. Typu Levenshtein zjada wiele normalnych nagłówków, które nie są duplikatami. Bawić się % podobieństwa, no takie sobie. Nic dobrego to nie dawało. Tutaj trzeba napisać jakąś dobrą logikę. Logika, kiedy i dla jakich nagłówków stosować i jaki procent. I nie z jednej funkcji nie usuwaj nagłówków, które mają mniej niż 80% podobieństwa. To za mało. Bo i tak coś zbędnego zostawi. Na przykład nagłówek, w którym jest dużo słów. Policzy już nie jako duplikat. I da mu 50% podobieństwa. Tutaj też wymyślaliśmy, jak to obejść. Dopisaliśmy 2 funkcję. Typu jak rewers. Skrypt robi pierwszy przejazd według jednej logiki typu 80%. 2 przejazd odwrotnie, nie bierz nagłówków, które mają mniej niż 50% podobieństwa. Typu, aby usunąć długi nagłówek, który jest duplikatem. Myśleliśmy też, że może zaczepić się o różne symbole typu , : i tak dalej. Typu w długich nagłówkach są przecinki i tak dalej. I myśleliśmy, że przy trzecim przejeździe będzie stosował 50% właśnie do takich. Krótko mówiąc, aby jakoś się zaczepić.