Получи специальное предложение Получить
  • Анастасия Шкуратова
  • Сауле Ж
  • Ariana Vishnevskaya
  • Ольга
  • +25
Оставили заявки

Алгоритмы классификации текстов

16 октября 2020 3004
Никита Левашов

Никита Левашов

CTO Lia
В прямом эфире мы: 
  • Разберём ДЗ #1 и подготовка датасета; 
  • Рассмотрим алгоритмы сравнения текстов; 
  • Введение в машинное обучение; 
  • Рассмотрим процесс векторизации текстов; 
  • Напишем алгоритм классификации текстов; 
  • Измерим качество классификатора; 
  • Обучим модель классификации намерений на собранном в ДЗ #1 датасете и вставим в чат-бота; 
  • Обучим такую же модель на внешнем датасете и подключим ее в качестве болталки.
444 комментария
  • Skillbox.Live

    Skillbox.Live

  • Станислав

    Станислав

    22:47

    Спасибо всем!

  • Дмитрий Данилюк

    Дмитрий Данилюк

    22:32

    Спасибо!

  • Михаил С

    Михаил С

    22:31

    чАо рогацэ!

  • Рамиль

    Рамиль

    22:31

    Спасибо

  • Феликс

    Феликс

    22:31

    Спасибо

  • Денис

    Денис

    22:31

    Спасибо

  • Иван Сергеев

    Иван Сергеев

    22:31

    Спасибо, до завтра

  • Илья

    Илья

    22:31

    Спасибо!

  • Артур Ступаков

    Артур Ступаков

    22:31

    Спасибо

  • Skillbox.Live

    Skillbox.Live

    22:31
  • Elena Vasileva

    Elena Vasileva

    22:31

    занятие - супер, спасибо

  • Артур Ступаков

    Артур Ступаков

    22:31

    А сдавать до когда?

  • Alexey Inq

    Alexey Inq

    22:31

    Спасибо, Никита! Было оОЧЕНЬ интересно !!!

  • Alexey Inq

    Alexey Inq

    22:30

    победит тот, кому это скорей всего уже не нужно

  • Elena Vasileva

    Elena Vasileva

    22:28

    чтобы выиграть скидку на обучение программированию, надо уже уметь программировать))))

  • Дмитрий Данилюк

    Дмитрий Данилюк

    22:25

    По интентам что посоветуете из больших компаний? Google, Яндекс, ТензорFlow, JustAI? Будет ли по ним краткий обзор?

  • Станислав

    Станислав

    22:23

    g1shy, про книгу, что вы порекомендовали, там пишется что в книге рассматривается версия 2.0 хотелось бы 3.0 +

    • Сергей Савинов

      Сергей Савинов

      22:25
    • Станислав

      Станислав

      22:26
      Сергей Савинов

      хотелось бы физическую книжку )

    • Станислав

      Станислав

      22:27
      Сергей Савинов

      но все равно спасибо, надеюсь найду там что нужно для грамотного обучения

    • g1shy

      g1shy

      22:28
      Станислав

      Изначально книжка писалась по версии 2.0, но, когда появилась 3-я версия пайтона, автор внёс правки

    • Сергей Савинов

      Сергей Савинов

      22:28
      Станислав

      Твой вопрос "Какую книгу прочитать, чтобы быстро бегать и кидать копье". Нет книги, есть знания в разном виде. Именно книга - Марк Лутц Изучаем Python

    • Станислав

      Станислав

      22:29
      g1shy

      Спасибо огромное! )

    • g1shy

      g1shy

      22:30
      Станислав

      Не за что)

    • Станислав

      Станислав

      22:31
      Сергей Савинов

      У Марк Лутц несколько томов и в чем разница не ясно (

    • Сергей Савинов

      Сергей Савинов

      22:32
      Станислав

      Поэтому и предлагаю роадмап, чтобы не умереть со скуки

    • Станислав

      Станислав

      22:33
      Сергей Савинов

      хорошо, спасибо

  • Mustakhimov Dair

    Mustakhimov Dair

    22:22

    расскажите пожалуйста про архитектуру сценарного бота

  • Артём Харитонов

    Артём Харитонов

    22:21

    Готовы базы простых словарей где брать?

    • Timur V

      Timur V

      22:23
      Артём Харитонов

      набери в поисковике: корпус русского языка

  • Дмитрий Данилюк

    Дмитрий Данилюк

    22:21

    как организуется не простой ответ по совпадению фразы, а сложная логика по цепочке диалога? С уточняющими вопросами юзера?

  • Ivan Aykashev

    Ivan Aykashev

    22:20

    то есть это нормально, что я не особо понял сегодняшнюю трансляцию?

    • Ariana Vishnevskaya

      Ariana Vishnevskaya

      22:21
      Ivan Aykashev

      с учетом прерываний - абсолютно)

    • Ariana Vishnevskaya

      Ariana Vishnevskaya

      22:22
      Ivan Aykashev

      ну и плюс, чтобы нормально понимать, надо уверено себя чувствовать в питоне, а потом уже можно МО копать)

    • Ivan Aykashev

      Ivan Aykashev

      22:23
      Ariana Vishnevskaya

      ну с питоном вроде каких то прям больших проблем нет

  • Timur V

    Timur V

    22:19

    Как найти в выборке малозначащие слова т.е. которые можно выкинуть и качество модели не ухудшится? Приведите пример. Наверно это делается не руками, когда очень много слов. Какие инструменты используются для этого. Т.е. уменьшить количество слов в модели и увеличить её скорость.?

  • Дмитрий Данилюк

    Дмитрий Данилюк

    22:19

    Есть ли общедоступные датасеты для обучения модели?

  • Timur V

    Timur V

    22:18

    Как мусор вычищать из большого датасета? Какие инструменты?

  • Илья

    Илья

    22:17

    Intent, вопросы и ответы бизнес формулирует?

  • Петр

    Петр

    22:17

    С библиотеками нейросетей будем работать

  • g1shy

    g1shy

    22:16

    Сам лично тренируюсь в мобильных приложениях: SoloLearn и Mimo(только на английском)

  • Timur V

    Timur V

    22:16

    Вы алгоритмы на обум подбираете? Брутфорс?

    • Alexey Inq

      Alexey Inq

      22:16
      Timur V

      "Ты чО пёс, он математик!!!"

  • Сергей Савинов

    Сергей Савинов

    22:15

    Сколько % нормально для условного стартапа?

  • Mustakhimov Dair

    Mustakhimov Dair

    22:10

    попробуйте рандом форест

    • Станислав

      Станислав

      22:13
      Mustakhimov Dair

      А вы можете подсказать именно книгу по Python чтоб с нуля?

    • g1shy

      g1shy

      22:14
      Станислав

      Попробуйте Byte of Python

    • Станислав

      Станислав

      22:15
      g1shy

      Спасибо большое!

    • g1shy

      g1shy

      22:15
      Станислав

      Пожалуйста)

    • Станислав

      Станислав

      22:19
      g1shy

      там пишется что в книге рассматривается версия 2.0

  • Виктор

    Виктор

    22:08

    подскажите название перечня заготовок

  • Alexey Inq

    Alexey Inq

    22:03
  • Timur V

    Timur V

    21:59

    Выложите код сегодняшнего урока в телеграмм.

    • Skillbox.Live

      Skillbox.Live

      22:00
      Timur V

      Обязательно

  • Дмитрий Данилюк

    Дмитрий Данилюк

    21:59

    17.9

  • Mustakhimov Dair

    Mustakhimov Dair

    21:55

    на самом деле тут ничего сложного нет, просто надо почитать про базовые вещи в машинном обучении

    • Станислав

      Станислав

      21:56
      Mustakhimov Dair

      Источник какой-нибудь посоветуете?

    • Сообщение удалено
    • Станислав

      Станислав

      21:58
      Mustakhimov Dair

      Спасибо!

    • Alexey Inq

      Alexey Inq

      21:58
      Mustakhimov Dair

      Спасибо!

    • Mustakhimov Dair

      Mustakhimov Dair

      21:59
      Alexey Inq

      нзч, есть такое сообщество ods.ai и там можно кучу полезностей найти

  • Станислав

    Станислав

    21:55

    Боюсь новеньких в этом сейчас добьют

  • Михаил Дубков

    Михаил Дубков

    21:53

    Никита подскажите какие модели могут обрабатывать динамически данные в риал тайм? что применяется сейчас в продакшене?Какие то есть генераторы фичей которые помогут нам новичкам?? какие признаки для модели важны,где смотреть в модели ?

  • Mustakhimov Dair

    Mustakhimov Dair

    21:53

    лучше используй train test split

    • Станислав

      Станислав

      21:54
      Mustakhimov Dair

      а я уже слабо что понимаю ((

    • Mustakhimov Dair

      Mustakhimov Dair

      21:54
      Станислав

      да тут надо понимать как работают алгоритмы классификации

  • Сообщение удалено