На тему word2Vec в качестве классификатора. Я недавно проводил масштабный эксперимент, получил удивительно хорошие результаты .
Краткая суть подхода в следующем. Для классификации документа мы определяем набор затронутых в нём тем. Темы определяются как кластеры в пространстве Word2Vec. Практически идентично, как и описано в данной заметке. Но потом делается следующий шаг. Пространство тем само превращается в пространство признаков и уже в этом пространстве происходит классификация по kMeans. Грубо говоря, мы по всей выборке вычисляем среднее удельное количество тем-кластеров на документ, что нам даёт моменты — мат ожидание и дисперсию среднего удельного количества тем на документ. Тогда, взяв исследуемый образец, мы нормируем его относительно средних моментов — и уже отнормированные вектора сравниваем. Нормировка позволяет хорошо разделять документы частых тематик и уменьшает влияние размера документа на результаты.
Может вам прислушаться к…
1. У моих сотрудников будет прозрачная зарплатная схема, чтобы всем было ясно, кому и за что платят деньги.
2. Все планы компании будут сначала претворяться в жизнь, и только потом анонсироваться, а не наоборот.
3. Нелояльные руководители будут уволены раньше, чем они сколотят свои команды и уйдут из фирмы, забрав «своих» сотрудников.
4. Я никогда не буду считать себя Самым Идеальным Начальником.
5. Также я не буду толкать долгие пафосные речи — кому они нужны?
6. Я буду прислушиваться к советам моих специалистов. Иначе зачем я их нанимал?
7. Более того, я буду нанимать специалистов умнее себя. Если они глупее меня, зачем они мне нужны?
8. Если мои сотрудники спросят, почему мы должны все бросить и заниматься этим проектом — я не начну проект, пока у меня не будет разумного ответа.
10. Все благодарности моим сотрдуникам будут напечатаны не лазерным принтером, а российским и американским казначействами.
11. Я не буду опускать уходяших сотрудников, иначе они будут говорить про компанию гадости. Простого увольнения вполне достаточно.
12. Я буду учить сотрудников действовать в любой обстановке. Тогда повреждение компьютерной сети или даже отключение электричества не парализуют работу фирмы.
13. У меня не будет незаменимых сотрудников. Все сотрудники будут иметь дублеров и должны будут составить письменные инструкции к своей работе.
14. Я не буду принимать на работу человека только потому, что это родственник или знакомый моих друзей/родственников/знакомых. Для меня будут более важны профессиональные качества человека.
15. Я буду нанимать супер-специалистов с большой осторожностью. Такие специалисты часто любят эффектные решения вместо эффективных.
16. Неважно, насколько красива моя секретарша, но я не буду склонять ее к сексу. Ведь найти девушку для секса гораздо проще, чем хорошую секретаршу.
17. Все засранцы, портящие жизнь моим сотрудникам, даже самые незаменимые, будут уволены.
18. Я буду повышать зарплату заранее, а не ждать, когда сотрудники начнут разбегаться. Ведь первыми уйдут наиболее востребованные и квалифицированные.
19. У сотрудников будут хорошие условия работы. Что толку платить специалисту 2000$ в месяц и жалеть 100$ на нормальное кресло?
21. Я не буду ругать сотрудника, сообщивщего о проблеме. Ведь даже если его уволить, проблема-то все равно останется.
22. В проблемной ситуации для меня будут намного важнее предложения по конкретным действиям, а не поиск виновного.
23. Тем не менее, у меня будет четкое пpедставление, кто за что отвечает в моей оpганизации. Я стану наказывать только тех, кто реально отвечал за выполнение задачи.
24. Я буду относиться к сотрудникам с любовью и уважением. Так я сохраню хорошие отношения даже тогда, когда я перестану быть их начальником.
25. Компьютеры на фирме не будут иметь дисковода, пишущего CD и открытых USB-портов, а интернет будет только у доверенных сотрудников.
26. У моего компьютера пароль будет длинее 8 символов — и я никогда не оставлю его написанным на бумажке рядом с монитором.
27. Увольняемым сотрудником не будет позволено скопировать с компьютера личные файлы. Максимум, что они смогут, это собрать свои вещи, обязательно в присутствии охранника.
28. Даже если я буду кричать «Мы — лучшие! Мы — непобедимы!», я буду трезво оценивать положение дел в компании.
29. Если кто-то из сотрудников провалит работу, я дам ему шанс исправится. Но я не буду давать этот шанс снова и снова, каждый раз ругая сотрудника на новый лад.
30. Обращаясь ко всем сотрудникам сразу, я не буду упрекать их и корить. Тому, кто работает честно, это будет неприятно, а тем кто нечестен, все увещевания по барабану!
31. Я никогда не буду делать замечания и указывать на ошибки руководителям подразделений предприятия в присутствии их подчиненных. В конце концов, это я поставил их руководителями.
32. У меня не будет любимчиков среди подчиненных.
Краткая суть подхода в следующем. Для классификации документа мы определяем набор затронутых в нём тем. Темы определяются как кластеры в пространстве Word2Vec. Практически идентично, как и описано в данной заметке. Но потом делается следующий шаг. Пространство тем само превращается в пространство признаков и уже в этом пространстве происходит классификация по kMeans. Грубо говоря, мы по всей выборке вычисляем среднее удельное количество тем-кластеров на документ, что нам даёт моменты — мат ожидание и дисперсию среднего удельного количества тем на документ. Тогда, взяв исследуемый образец, мы нормируем его относительно средних моментов — и уже отнормированные вектора сравниваем. Нормировка позволяет хорошо разделять документы частых тематик и уменьшает влияние размера документа на результаты.
В складном виде и в разборном виде:
1. У моих сотрудников будет прозрачная зарплатная схема, чтобы всем было ясно, кому и за что платят деньги.
2. Все планы компании будут сначала претворяться в жизнь, и только потом анонсироваться, а не наоборот.
3. Нелояльные руководители будут уволены раньше, чем они сколотят свои команды и уйдут из фирмы, забрав «своих» сотрудников.
4. Я никогда не буду считать себя Самым Идеальным Начальником.
5. Также я не буду толкать долгие пафосные речи — кому они нужны?
6. Я буду прислушиваться к советам моих специалистов. Иначе зачем я их нанимал?
7. Более того, я буду нанимать специалистов умнее себя. Если они глупее меня, зачем они мне нужны?
8. Если мои сотрудники спросят, почему мы должны все бросить и заниматься этим проектом — я не начну проект, пока у меня не будет разумного ответа.
10. Все благодарности моим сотрдуникам будут напечатаны не лазерным принтером, а российским и американским казначействами.
11. Я не буду опускать уходяших сотрудников, иначе они будут говорить про компанию гадости. Простого увольнения вполне достаточно.
12. Я буду учить сотрудников действовать в любой обстановке. Тогда повреждение компьютерной сети или даже отключение электричества не парализуют работу фирмы.
13. У меня не будет незаменимых сотрудников. Все сотрудники будут иметь дублеров и должны будут составить письменные инструкции к своей работе.
14. Я не буду принимать на работу человека только потому, что это родственник или знакомый моих друзей/родственников/знакомых. Для меня будут более важны профессиональные качества человека.
15. Я буду нанимать супер-специалистов с большой осторожностью. Такие специалисты часто любят эффектные решения вместо эффективных.
16. Неважно, насколько красива моя секретарша, но я не буду склонять ее к сексу. Ведь найти девушку для секса гораздо проще, чем хорошую секретаршу.
17. Все засранцы, портящие жизнь моим сотрудникам, даже самые незаменимые, будут уволены.
18. Я буду повышать зарплату заранее, а не ждать, когда сотрудники начнут разбегаться. Ведь первыми уйдут наиболее востребованные и квалифицированные.
19. У сотрудников будут хорошие условия работы. Что толку платить специалисту 2000$ в месяц и жалеть 100$ на нормальное кресло?
21. Я не буду ругать сотрудника, сообщивщего о проблеме. Ведь даже если его уволить, проблема-то все равно останется.
22. В проблемной ситуации для меня будут намного важнее предложения по конкретным действиям, а не поиск виновного.
23. Тем не менее, у меня будет четкое пpедставление, кто за что отвечает в моей оpганизации. Я стану наказывать только тех, кто реально отвечал за выполнение задачи.
24. Я буду относиться к сотрудникам с любовью и уважением. Так я сохраню хорошие отношения даже тогда, когда я перестану быть их начальником.
25. Компьютеры на фирме не будут иметь дисковода, пишущего CD и открытых USB-портов, а интернет будет только у доверенных сотрудников.
26. У моего компьютера пароль будет длинее 8 символов — и я никогда не оставлю его написанным на бумажке рядом с монитором.
27. Увольняемым сотрудником не будет позволено скопировать с компьютера личные файлы. Максимум, что они смогут, это собрать свои вещи, обязательно в присутствии охранника.
28. Даже если я буду кричать «Мы — лучшие! Мы — непобедимы!», я буду трезво оценивать положение дел в компании.
29. Если кто-то из сотрудников провалит работу, я дам ему шанс исправится. Но я не буду давать этот шанс снова и снова, каждый раз ругая сотрудника на новый лад.
30. Обращаясь ко всем сотрудникам сразу, я не буду упрекать их и корить. Тому, кто работает честно, это будет неприятно, а тем кто нечестен, все увещевания по барабану!
31. Я никогда не буду делать замечания и указывать на ошибки руководителям подразделений предприятия в присутствии их подчиненных. В конце концов, это я поставил их руководителями.
32. У меня не будет любимчиков среди подчиненных.
пока нашел только это http://www.google-watch.org/
http://labs.google.com/papers/bigtable.h…
http://labs.google.com/papers/gfs-sosp20…
http://labs.google.com/papers/googleclus…
http://labs.google.com/papers.html