Пирожки в дистрибутивной семантике

def semantic_similarity(bag1, bag2: list, w2v_model, unknown_coef=0.0) -> float:
    sim_sum = 0.0
    for i in range(len(bag1)):
        for j in range(len(bag2)):
            try:
                sim_sum += w2v_model.similarity(bag1[i], bag2[j])
            except Exception:
                sim_sum += unknown_coef
    return sim_sum / (len(bag1) * len(bag2))

def canonize_words(words: list) -> list:
    stop_words = ('быть', 'мой', 'наш', 'ваш', 'их', 'его', 'её', 'их',
                  'этот', 'тот', 'где', 'который', 'либо', 'нибудь', 'нет', 'да')
    grammars = {'NOUN': '_S',
                'VERB': '_V', 'INFN': '_V', 'GRND': '_V', 'PRTF': '_V', 'PRTS': '_V',
                'ADJF': '_A', 'ADJS': '_A',
                'ADVB': '_ADV',
                'PRED': '_PRAEDIC'}

    morph = pymorphy2.MorphAnalyzer()
    normalized = []
    for i in words:
        forms = morph.parse(i)
        try:
            form = max(forms, key=lambda x: (x.score, x.methods_stack[0][2]))
        except Exception:
            form = forms[0]
            print(form)
        if not (form.tag.POS in ['PREP', 'CONJ', 'PRCL', 'NPRO', 'NUMR']
                or 'Name' in form.tag
                or 'UNKN' in form.tag
                or form.normal_form in stop_words):  # 'ADJF'
            normalized.append(form.normal_form + grammars.get(form.tag.POS, ''))
    return normalized

def make_data_model(file_name: str) -> dict:
    poems = read_poems(file_name)
    bags, voc = make_bags(poems)
    w2v_model = sem.load_w2v_model(sem.WORD2VEC_MODEL_FILE)
    sd = [sem.semantic_density(bag, w2v_model, unknown_coef=-0.001) for bag in bags]
    sa = [sem.semantic_association(bag, w2v_model) for bag in bags]
    rates = [0.0 for _ in range(len(poems))]
    return {'poems'       : poems,
            'bags'        : bags,
            'vocabulary'  : voc,
            'density'     : sd,
            'associations': sa,
            'rates'       : rates}

 0.16305980883482543
['убить_V', 'обида_S', 'гнев_S', 'похоть_S', 'гордыня_S', 'зависть_S', 'тоска_S', 'остаться_V', 'милосердие_S', 'добить_V']
['жалость_S', 'ненависть_S', 'злоба_S', 'ревность_S', 'страх_S', 'страсть_S', 'злость_S', 'стыд_S', 'печаль_S', 'презрение_S']

 -0.023802562235525036
['судно_S', 'спастись_V', 'прародитель_S', 'поставить_V', 'дурачиться_V', 'больной_A']
['корабль_S', 'заболевать_V', 'парусник_S', 'больной_S', 'заболеть_V', 'теплоход_S', 'бригантина_S', 'лодка_S', 'припадочный_S', 'бот_S']

def similar_poems_idx(poem: str, poem_model, w2v_model, topn=5) -> list:
    poem_bag = dm.canonize_words(poem.split())
    similars = [(i, sem.semantic_similarity(poem_bag, bag, w2v_model))
                for i, bag in enumerate(poem_model['bags'])]
    similars.sort(key=lambda x: x[1], reverse=True)
    return similars[:topn]

>> pprint(similar_poems("сознание", pm, w2v, topn=5))
[('олег пытается не думать'
  'но мысли проникают в мозг'
  'скорей всего тому виною'
  'негерметичность головы',
  0.13678271365987432),
 ('моё прекрасно настроенье'
  'красивы тело и лицо'
  'лишь мысли грязные немного'
  'но что поделаешь весна',
  0.1337333519127788),
 ('по логике общаться с зомби'
  'весьма полезней чем с людьми'
  'для них мозги имеют ценность'
  'и важно что у вас внутри',
  0.12728715072640368),
 ('землянин где твоя землянка'
  'не в смысле выемка в земле'
  'а человек с твоей планеты'
  'и выемка внутри него',
  0.12420312280907075),
 ('вы ничего сказала ольга'
  'вы очень даже ничего'
  'ничтожество пустое место'
  'знак ноль на ткани бытия',
  0.11909834879893783)]

>> pprint(similar_poems("свобода воли", pm, w2v, topn=5))
[('андрей любил немного выпить'
  'а много выпить не любил'
  'но заставлял себя надраться'
  'железной воли человек',
  0.12186796715891397),
 ('убей обиду гнев и похоть'
  'гордыню зависть и тоску'
  'а то что от тебя осталось'
  'из милосердия добей',
  0.10667187095852899),
 ('забудьте слово секс геннадий'
  'у нас в стране не принят секс'
  'у нас альтернатива сексу'
  'у нас любовь и доброта',
  0.10161426827828646),
 ('приятно быть кому то музой'
  'и знать что если бы не ты'
  'его бы творческому дару'
  'кранты',
  0.10136245188273822),
 ('я шла и на меня напали'
  'отняли всё но не смогли'
  'отнять любовь к земле и к людям'
  'и веру в мир и доброту',
  0.098855948557813059)]

>> pprint(similar_poems("зима", pm, w2v, topn=5))
[('зимой дороги убирают'
  'под грязный снег и гололед'
  'ну а когда зима минует'
  'дороги снова достают',
  0.1875936291758869),
 ('идет безногий анатолий'
  'стоп как же он идет без ног'
  'а так как снег идет как осень'
  'идет за летом в сентябре',
  0.18548772093805863),
 ('илья готовил сани летом'
  'телегу ладил он зимой'
  'так и возился постоянно'
  'кататься он не успевал',
  0.16475609244668787),
 ('захарий смотрит исподлобья'
  'на проходящую весну'
  'на девок бегающих в поле'
  'на трактор тонущий в реке',
  0.14671085483137575),
 ('я не хочу как все в могилу'
  'и в крематорий не хочу'
  'хочу быть скормленным весною'
  'грачу',
  0.13253569027346904)]