Token 기반 vs Character 기반

Character 기반 (Levenshtein, Jaro-Winkler)

• 문자 단위 비교
• "John Smith" vs "Smith John" → 낮은 유사도
• 순서에 민감

Token 기반 (Jaccard, TF-IDF)

• 단어(토큰) 단위 비교
• "John Smith" vs "Smith John" → 높은 유사도
• 순서에 둔감

---

N-gram이란?

연속된 N개의 문자/단어 조각

---

N-gram 유사도

---

예시: 오타 처리

---

Token 기반 매칭: Jaccard

장점: 순서에 무관 단점: "서울시" vs "서울" 매칭 실패

---

Token Sort / Token Set

Token Sort Ratio

토큰을 정렬 후 비교

Token Set Ratio

공통 토큰 기준 비교 (부분 매칭 허용)

---

선택 가이드

상황	권장 방법
이름 오타	Jaro-Winkler
이름 순서 변경	Token Sort
주소 (부분 생략)	Token Set
회사명 (약어)	Token Set + 사전
제품명	N-gram (2-3)

---

fuzzywuzzy 라이브러리