Jak usuwać duplikaty danych klientów krok po kroku

Duplikaty danych klientów należy usuwać etapami: najpierw zabezpieczyć bazę, ujednolicić dane używane do porównania, znaleźć podobne rekordy, potwierdzić, że dotyczą tej samej osoby lub firmy, a następnie wybrać rekord główny i scalić z nim wartości oraz powiązania. Nie należy automatycznie kasować jednego rekordu tylko dlatego, że zgadza się adres e-mail, numer telefonu albo nazwa klienta.

Deduplikacja bazy klientów nie polega wyłącznie na odnalezieniu dwóch identycznych wierszy. Rekordy tej samej osoby mogą różnić się formatem numeru telefonu, literówką w nazwisku, starym adresem, użytym adresem e-mail albo źródłem pozyskania. Jednocześnie podobne dane nie zawsze oznaczają, że rekordy dotyczą tego samego klienta.

Bezpieczny proces powinien oddzielać trzy czynności: wykrywanie potencjalnych duplikatów, potwierdzanie zgodności oraz scalanie rekordów klientów. Dopiero po zakończeniu tych etapów można dezaktywować albo usunąć zbędny rekord.

1. Zabezpiecz bazę przed wprowadzeniem zmian

Przed rozpoczęciem czyszczenia trzeba przygotować możliwość odtworzenia danych. Może to być kopia zapasowa systemu, eksport rekordów z identyfikatorami albo migawka bazy wykonana przez administratora. Sama lista klientów bez historii i relacji może nie wystarczyć, jeśli CRM przechowuje osobno zamówienia, wiadomości, notatki, zgłoszenia lub szanse sprzedażowe.

Należy również określić zakres operacji. Kontakty, firmy i leady mogą wymagać innych kryteriów dopasowania. Dwa kontakty z tym samym adresem e-mail mogą być duplikatem, ale dwie firmy o podobnej nazwie mogą być osobnymi podmiotami, oddziałami albo markami należącymi do jednej grupy.

Przy większej bazie warto najpierw przeprowadzić próbę na niewielkiej grupie rekordów. Pozwala to sprawdzić, czy system prawidłowo przenosi pola, aktywności i powiązania oraz czy operację można cofnąć.

2. Przygotuj dane do porównania

System może nie rozpoznać duplikatu, jeżeli ta sama wartość została zapisana w kilku formatach. Przykładowo numery 501234567, 501 234 567 i +48 501 234 567 wyglądają inaczej, mimo że mogą prowadzić do tego samego abonenta. Podobny problem dotyczy spacji, wielkości liter, znaków interpunkcyjnych oraz skrótów w nazwach firm.

Przed porównaniem rekordów należy więc:

• usunąć przypadkowe spacje na początku i końcu wartości,
• ujednolicić sposób zapisu numerów telefonu,
• porównywać adresy e-mail bez rozróżniania wielkości liter,
• uporządkować zapis nazw firm i form prawnych,
• ujednolicić format kodów pocztowych i innych pól adresowych,
• zachować oryginalną wartość, jeśli format pomocniczy służy tylko do wyszukiwania.

Szczegółowe zasady, według których można ujednolicić format danych klientów, powinny obowiązywać w całej bazie. Na potrzeby deduplikacji najważniejsze jest jednak przygotowanie pól, które zostaną użyte do porównania rekordów.

3. Ustal kryteria dopasowania duplikatów

Kryteria dopasowania duplikatów określają, kiedy system powinien uznać dwa rekordy za identyczne, podobne albo wymagające ręcznej oceny. Nie wszystkie pola mają taką samą wartość rozpoznawczą.

Najsilniejszym kryterium jest zwykle stabilny identyfikator przypisany do jednego klienta. Może to być wewnętrzny numer klienta, identyfikator konta albo numer podmiotu gospodarki narodowej używany zgodnie z przyjętymi zasadami. Takie pole również może jednak zawierać błędy, zwłaszcza gdy dane pochodzą z kilku systemów lub były wielokrotnie importowane.

Adres e-mail i numer telefonu często pomagają wykryć duplikaty, lecz nie zawsze są jednoznaczne. Wspólna skrzynka firmowa może być używana przez kilka osób, a jeden numer telefonu może należeć do rodziny, recepcji albo całego działu. Imię i nazwisko również nie wystarczają, ponieważ różni klienci mogą nazywać się identycznie.

Dlatego wiarygodna reguła często łączy kilka pól, na przykład:

• ten sam adres e-mail oraz zgodne imię i nazwisko,
• ten sam numer telefonu oraz zgodne dodatkowe dane kontaktowe,
• ten sam identyfikator firmy oraz zgodna nazwa podmiotu,
• podobna nazwa firmy, ten sam adres i zgodny numer telefonu.

Im słabsze pola są używane, tym więcej elementów powinno potwierdzać zgodność.

4. Znajdź potencjalne duplikaty w CRM

To, jak znaleźć duplikaty w CRM, zależy od funkcji dostępnych w konkretnym systemie. Najczęściej można utworzyć reguły porównujące wybrane pola, uruchomić raport podobnych rekordów albo wykorzystać funkcję scalania kontaktów i firm. Przy wyborze systemu CRM z odpowiednimi funkcjami warto sprawdzić, czy pozwala on definiować własne kryteria, przeglądać pary rekordów i kontrolować przenoszenie historii.

Wyszukiwanie dobrze jest rozpocząć od dopasowań dokładnych. Najpierw można znaleźć rekordy z takim samym identyfikatorem, adresem e-mail lub numerem telefonu. W kolejnym etapie analizuje się rekordy podobne, na przykład nazwy różniące się literówką albo adresy zapisane w odmiennej kolejności.

Wyniki warto podzielić według poziomu pewności:

• przypadki jednoznaczne, które mogą zostać scalone po krótkiej kontroli,
• przypadki prawdopodobne, wymagające porównania kilku pól,
• przypadki niepewne, których nie należy scalać bez dodatkowych informacji.

Taki podział ogranicza ryzyko automatycznego połączenia rekordów należących do różnych klientów.

5. Potwierdź, że rekordy dotyczą tego samego klienta

Przed scaleniem trzeba porównać nie tylko dane kontaktowe, ale również kontekst rekordu. Pomocne mogą być historia zakupów, przypisany opiekun, nazwa firmy, adres dostawy, wcześniejsza korespondencja oraz źródło pozyskania kontaktu.

Szczególnej ostrożności wymagają rekordy, które mają:

• takie samo popularne imię i nazwisko,
• wspólny numer telefonu,
• ogólny adres e-mail, taki jak biuro@ lub kontakt@,
• podobną nazwę firmy, ale inny identyfikator podmiotu,
• ten sam adres, lecz różne dane osób,
• podobny e-mail różniący się jednym znakiem.

Różnica jednego znaku może wynikać z literówki, ale może też oznaczać dwie odrębne skrzynki. Takiego przypadku nie należy automatycznie rozstrzygać bez dodatkowych danych.

Który rekord klienta zachować

Po potwierdzeniu duplikatu trzeba wybrać rekord główny. Będzie on podstawą profilu klienta po scaleniu. Nie powinien to być automatycznie rekord najstarszy ani najnowszy.

Najlepszy kandydat to zwykle rekord, który:

• ma stabilny identyfikator wykorzystywany przez inne systemy,
• zawiera dane potwierdzone przez klienta lub pracownika,
• jest powiązany z zamówieniami, umowami albo aktywną historią,
• ma więcej poprawnie uzupełnionych pól,
• pochodzi z bardziej wiarygodnego źródła,
• jest używany przez procesy sprzedażowe, obsługowe lub rozliczeniowe.

Wybór rekordu głównego nie oznacza, że wszystkie jego pola muszą wygrać. Jeden rekord może zawierać prawidłowy adres e-mail, a drugi aktualny numer telefonu i pełniejszą nazwę firmy. Scalanie powinno zachować najlepsze wartości z obu źródeł.

Jak rozstrzygać sprzeczne wartości

Przy każdym polu warto ustalić regułę określającą, która wartość ma pierwszeństwo. Dane zweryfikowane powinny wygrywać z niepotwierdzonymi, a uzupełniona wartość nie powinna zostać zastąpiona pustym polem.

Data ostatniej zmiany jest pomocna, ale nie rozstrzyga samodzielnie o poprawności. Nowszy zapis może być wynikiem błędnego importu albo przypadkowej edycji. W razie konfliktu należy uwzględnić źródło, status weryfikacji oraz historię użycia danego pola.

W przypadku identyfikatorów używanych w integracjach trzeba zachować szczególną ostrożność. Usunięcie albo nadpisanie wartości może przerwać powiązanie z systemem zamówień, księgowością, marketingiem lub obsługą klienta.

Jak prawidłowo scalić rekordy klientów

Scalanie rekordów klientów powinno obejmować zarówno wartości pól, jak i elementy przypisane do profilu. Samo skopiowanie imienia, telefonu i adresu e-mail nie wystarczy, jeżeli drugi rekord zawiera historię relacji z klientem.

Przed zatwierdzeniem operacji trzeba sprawdzić, co system przenosi do rekordu głównego. Mogą to być:

• wiadomości i notatki,
• zadania oraz spotkania,
• zamówienia i szanse sprzedażowe,
• zgłoszenia serwisowe,
• załączniki oraz dokumenty,
• informacje o źródle pozyskania,
• zgody i statusy komunikacji,
• relacje z firmami, opiekunami lub innymi kontaktami.

Sposób obsługi tych elementów zależy od systemu. Niektóre narzędzia automatycznie przenoszą wszystkie relacje, inne zachowują je tylko częściowo. Dlatego przed masową deduplikacją należy przetestować scalanie na rekordzie, którego historię można łatwo zweryfikować.

Po przeniesieniu danych zbędny rekord można oznaczyć jako scalony, zdezaktywować, zarchiwizować albo usunąć. Jeżeli system pozwala zachować ślad operacji, zazwyczaj jest to bezpieczniejsze niż natychmiastowe fizyczne skasowanie wpisu. Ułatwia wyjaśnienie późniejszych rozbieżności i odtworzenie decyzji.

Kiedy scalić, usunąć lub pozostawić rekordy osobno

Rekordy należy scalić, gdy z dużą pewnością opisują tego samego klienta, a każdy z nich zawiera potrzebne informacje albo powiązania. Jest to najczęstsza sytuacja w CRM, ponieważ duplikaty powstają na różnych etapach kontaktu i mogą przechowywać odmienne fragmenty historii.

Proste usunięcie jest uzasadnione tylko wtedy, gdy rekord jest pustą lub identyczną kopią, nie ma własnych relacji, a jego przywrócenie byłoby możliwe. Nawet wtedy przed skasowaniem warto sprawdzić identyfikatory i aktywności niewidoczne na podstawowym ekranie.

Rekordy powinny pozostać osobno, jeżeli nie ma pewności, że dotyczą tego samego klienta. Dotyczy to zwłaszcza członków rodziny korzystających ze wspólnego telefonu, pracowników posługujących się adresem ogólnym, oddziałów tej samej firmy oraz różnych podmiotów działających pod podobną nazwą.

Brak decyzji jest w takim przypadku bezpieczniejszy niż błędne scalenie. Rekordy można oznaczyć do ponownej weryfikacji po uzyskaniu dodatkowych danych.

Jak kontrolować deduplikację dużej bazy

W niewielkiej bazie możliwe jest ręczne przejrzenie każdej pary. Przy tysiącach lub milionach rekordów potrzebny jest proces wsadowy, w którym automatyzacja obsługuje przypadki o wysokiej pewności, a pozostałe trafiają do kolejki ręcznej.

Najpierw należy przetestować reguły na reprezentatywnej próbce. Kontrola powinna objąć zarówno rekordy oznaczone jako duplikaty, jak i te, których system nie połączył. Dzięki temu można ocenić dwa rodzaje błędów: scalanie różnych klientów oraz pomijanie faktycznych duplikatów.

Podczas właściwej operacji warto zapisywać:

• identyfikatory rekordów wejściowych,
• wybrany rekord główny,
• wartości przeniesione z rekordów podrzędnych,
• zastosowaną regułę dopasowania,
• osobę albo proces zatwierdzający,
• datę i wynik operacji.

Taki rejestr pomaga wyjaśnić problemy wykryte po scaleniu oraz odtworzyć zmiany, jeżeli narzędzie udostępnia taką możliwość.

Jak sprawdzić wyniki po usunięciu duplikatów

Po zakończeniu deduplikacji trzeba skontrolować nie tylko liczbę pozostałych rekordów. Mniejsza baza nie musi oznaczać lepszej jakości, jeżeli w trakcie scalania utracono pola albo połączono różne osoby.

Kontrola powinna obejmować próbkę scalonych rekordów oraz sprawdzenie, czy:

• zachowano prawidłowe dane kontaktowe,
• historia komunikacji jest kompletna,
• zamówienia i zgłoszenia są przypisane do właściwego profilu,
• ważne pola nie zostały nadpisane pustą albo starszą wartością,
• integracje nadal rozpoznają klienta,
• nie powstały rekordy zawierające sprzeczne dane kilku osób,
• użytkownicy systemu widzą oczekiwany profil klienta.

Warto również porównać liczbę znalezionych kandydatów, zaakceptowanych duplikatów, odrzuconych dopasowań i przypadków nierozstrzygniętych. Pozwala to ocenić, czy reguły są zbyt szerokie albo zbyt restrykcyjne.

Jak ograniczyć powstawanie nowych duplikatów

Jednorazowe czyszczenie nie rozwiąże problemu, jeśli nowe rekordy nadal mogą być tworzone bez kontroli. Po zakończeniu prac warto ustalić reguły zapobiegania duplikatom podczas ręcznego wprowadzania danych, importów i synchronizacji między systemami.

Najważniejsze jest sprawdzanie istniejących kontaktów przed utworzeniem kolejnego rekordu oraz stosowanie stabilnego identyfikatora tam, gdzie jest to możliwe. Import powinien najpierw porównywać dane z bazą, a nie bezwarunkowo dodawać każdy wiersz jako nowego klienta. Cykliczny raport potencjalnych duplikatów pozwala wychwycić pozostałe przypadki, zanim rozproszą historię klienta pomiędzy wiele profili.