Участник:MelLain/ЕМ-алгоритм (Тематическое моделирование) - История изменений

ASA в 13:20, 19 декабря 2016

2016-12-19T13:20:43Z

← Предыдущая версия		Версия от 13:20, 19 декабря 2016
Строка 1:		Строка 1:
	{{Assignment\|~~Преподаватель 1~~\|Dexter}}		{{Assignment\|Algoman\|Dexter}}

	~~{{Assignment\|Algoman}}~~
	Статью подготовили:		Статью подготовили:

Dexter в 11:09, 16 декабря 2016

2016-12-16T11:09:06Z

← Предыдущая версия		Версия от 11:09, 16 декабря 2016
Строка 1:		Строка 1:
			{{Assignment\|Преподаватель 1\|Dexter}}

	{{Assignment\|Algoman}}		{{Assignment\|Algoman}}
	Статью подготовили:		Статью подготовили:

Заночкин Андрей: /* Информационный граф */

2016-12-09T09:52:12Z

Информационный граф

← Предыдущая версия		Версия от 09:52, 9 декабря 2016
Строка 172:		Строка 172:
	Внутри алгоритма используются элементарные операции		Внутри алгоритма используются элементарные операции
	* Умножения матрицы на вектор <math>M \cdot V</math>,		* Умножения матрицы на вектор <math>M \cdot V</math>,
	* Поэлементного умножения вектора на вектор <math>V. \cdot V</math>,		* Поэлементного умножения вектора на вектор <math>U. \cdot V</math>,
	* Поэлементного деления вектора на вектор <math>U. / V</math>.		* Поэлементного деления вектора на вектор <math>U. / V</math>.

Заночкин Андрей: /* Информационный граф */

2016-12-09T09:24:39Z

Информационный граф

← Предыдущая версия		Версия от 09:24, 9 декабря 2016
Строка 173:		Строка 173:
	* Умножения матрицы на вектор <math>M \cdot V</math>,		* Умножения матрицы на вектор <math>M \cdot V</math>,
	* Поэлементного умножения вектора на вектор <math>V. \cdot V</math>,		* Поэлементного умножения вектора на вектор <math>V. \cdot V</math>,
	* Поэлементного деления вектора на вектор <math>U. ~~\cdot~~ V</math>.		* Поэлементного деления вектора на вектор <math>U. / V</math>.

	Данные операции были рассмотрены в [https://algowiki-project.org/ru/%D0%A1%D1%83%D0%BC%D0%BC%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%B0_%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%B9_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80,_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D1%81%D0%B8%D1%8F,_%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82,_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 соответствующей статье], поэтому не будем останавливаться отдельно на каждой из них.		Данные операции были рассмотрены в [https://algowiki-project.org/ru/%D0%A1%D1%83%D0%BC%D0%BC%D0%B0_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%B0_%D0%B8_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8B_%D0%BD%D0%B0_%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%B9_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80,_%D0%B2%D0%B5%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D1%81%D0%B8%D1%8F,_%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82,_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0 соответствующей статье], поэтому не будем останавливаться отдельно на каждой из них.

MelLain: /* Схема реализации последовательного алгоритма */

2016-12-08T21:35:15Z

Схема реализации последовательного алгоритма

← Предыдущая версия		Версия от 21:35, 8 декабря 2016
Строка 113:		Строка 113:
	2. Внешняя итерация по коллекции i = 1 ... num_outer_iter:		2. Внешняя итерация по коллекции i = 1 ... num_outer_iter:

	3. n_wt^i := 0, n_t^i := 0 для всех w из W и t из T;		3. n_wt^i := 0, n_t^i := 0 для всех w из W и t из T;

	4. Цикл по документам d из D:		4. Цикл по документам d из D:

	5. Инициализировать вектор theta_d^0 для всех t из T и Z_w^0, для всех w из d;		5. Инициализировать вектор theta_d^0 для всех t из T и Z_w^0, для всех w из d;

	6. Внутренняя итерация по документу j = 1 ... num_inner_iter:		6. Внутренняя итерация по документу j = 1 ... num_inner_iter:

	7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;		7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;

	8. theta_td^j := (1 / n_d) * на сумму по w из d n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j, для всех t из T;		8. theta_td^j := (1 / n_d) * на сумму по w из d (n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j), для всех t из T;

	9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;		9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;

	10. phi_wt^i := (n_wt^i / n_t^i), для всех w из W и t из T		10. phi_wt^i := (n_wt^i / n_t^i), для всех w из W и t из T

	Здесь Z_w - это сумма всех p(t\| d, w) для данного документа, нормировочная константа.		Здесь Z_w - это сумма всех p(t\| d, w) для данного документа, нормировочная константа.

MelLain: /* Схема реализации последовательного алгоритма */

2016-12-08T21:32:59Z

Схема реализации последовательного алгоритма

← Предыдущая версия		Версия от 21:32, 8 декабря 2016
Строка 123:		Строка 123:
	7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;		7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;

	8. theta_td^j := (1 / n_d) * на сумму по w из d (n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j), для всех t из T;		8. theta_td^j := (1 / n_d) * на сумму по w из d n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j, для всех t из T;

	9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;		9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;

MelLain: /* Схема реализации последовательного алгоритма */

2016-12-08T12:55:17Z

Схема реализации последовательного алгоритма

← Предыдущая версия		Версия от 12:55, 8 декабря 2016
Строка 123:		Строка 123:
	7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;		7. Z_w^j := сумме по всем t из T (phi_wt^(i-1) * theta_td^(j-1)), для всех w из d;

	8. theta_td^j := (1 / n_d) * на сумму по ~~всем~~ w из d (n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j), для всех t из T;		8. theta_td^j := (1 / n_d) * на сумму по w из d (n_dw * phi_wt^(i-1) * theta_td^(j-1) / Z_w^j), для всех t из T;

	9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;		9. Увеличить n_wt^i и n_t^i на (n_dw * phi_wt^(i-1) * theta_td / Z_w), для всех w из W и t из T;

MelLain: /* Общие слова о модернизациях */

2016-12-08T12:54:07Z

Общие слова о модернизациях

← Предыдущая версия		Версия от 12:54, 8 декабря 2016
Строка 87:		Строка 87:
	Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.		Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.

	=== ~~Общие слова о модернизациях~~ ===		=== Модернизации алгоритма ===

	Как уже было сказано, и как видно из описания выше, данный алгоритм сложно применять на практике в чистом виде из-за необходимости хранения трёхмерной матрицы <math>p(t\, \| \,d, \,w)</math> и двумерной матрицы <math>\Theta</math>, размеры которых зависят от количества обрабатываемых и данных, которых может быть очень много.		Как уже было сказано, и как видно из описания выше, данный алгоритм сложно применять на практике в чистом виде из-за необходимости хранения трёхмерной матрицы <math>p(t\, \| \,d, \,w)</math> и двумерной матрицы <math>\Theta</math>, размеры которых зависят от количества обрабатываемых и данных, которых может быть очень много.

MelLain: /* Математическое описание ЕМ-алгоритма */

2016-12-08T12:52:37Z

Математическое описание ЕМ-алгоритма

← Предыдущая версия		Версия от 12:52, 8 декабря 2016
Строка 83:		Строка 83:
	</math>		</math>

	Под <math>~~n_dw~~</math> здесь понимается абсолютная частота встречаемости слова <math>w</math> в документе <math>d</math>.		Под <math>n_{dw}</math> здесь понимается абсолютная частота встречаемости слова <math>w</math> в документе <math>d</math>.

	Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.		Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.

MelLain: /* Математическое описание ЕМ-алгоритма */

2016-12-08T12:52:17Z

Математическое описание ЕМ-алгоритма

← Предыдущая версия		Версия от 12:52, 8 декабря 2016
Строка 82:		Строка 82:
	\end{align}		\end{align}
	</math>		</math>

			Под <math>n_dw</math> здесь понимается абсолютная частота встречаемости слова <math>w</math> в документе <math>d</math>.

	Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.		Строгое обоснование данных формул можно получить с помощью теоремы Куна-Таккера.