Алгоритм подобия текста (неконтролируемый алгоритм)

1. Jaro distance

Даны две текстовые строки$s_1$,$s_2$Их джоро расстояние определяется как:в:$m$представляет две строкиmatchколичество символов$|s_i|$Указывает длину текстовой строки$t$Указывает количество транспозитоинов ()

попрошайничествоmatchколичество символов: соответственно из$s_1$,$s_2$символов, когда они одинаковы или меньше, чем$d =\lfloor \frac{max(|x_i|,|x_2|)}{2}\rfloor - 1$, считаетсяmatchиз.

Например:$s_1$= "ДИКСОН",$s_2$= "ДИКСОНКС"расстояние$d$Вычисляется равным 3, тогда каждое сравнение в пространстве от max(0,i-d) до min(i+d,xLen) (если от горизонтальной оси$s_1$Для сравнения, xLen означает$s_1$длина). наконец получитьmatchномер$m=4$.

$s_1$каждый персонаж в$s_2$среднее расстояние$d$символы внутри сравниваются. положить всеmatchОбщее количество строк, которые необходимо заменить, чтобы соответствовать порядку, деленное на два, является размером транспозиций.$t$. Здесь совпадают две строки: "DION", "DION", поэтому$t=0$. Кроме того$|s_1|$=4, $|s_2|$=8, но:$d_j=\frac{1}{3}(\frac{4}{5} + \frac{4}{8} + \frac{4-0}{4})$

Ссылаться на:Rosetta code.org/wiki/jar O_'s…

2. PCA like SIF

1. Первый шаг — умножить каждый вектор слов в предложении на уникальный вес. Этот вес является постоянным$α$разделить на$α$Сумма частот слова, то есть вес высокочастотного слова, уменьшится относительно. После суммирования получается вектор временного предложения.

2. Затем вычислите первый главный компонент матрицы, состоящей из всех векторов предложений в корпусе.$u$, пусть каждый вектор предложения вычитает его в$u$проекция на (аналог PCA). где вектор$v$в другом векторе$u$Проекция на определяется следующим образом:

3. Код: