Алгоритмы классификации текстов
26 мая 2020
39022

Никита Левашов
Технический директор в Lia
Продолжаем наш интенсив «Чат-бот с искусственным интеллектом на Python». Основы для простого бота изучены, пора сконцентрировать свое внимание на текстах.
В прямом эфире мы:
- разберём ДЗ #1 и подготовка датасета;
- рассмотрим алгоритмы сравнения текстов;
- введение в машинное обучение;
- рассмотрим процесс векторизации текстов;
- напишем алгоритм классификации текстов;
- измерим качество классификатора;
- обучим модель классификации намерений на собранном в ДЗ #1 датасете и вставим в чат-бота;
- обучим такую же модель на внешнем датасете и подключим ее в качестве болталки.
Рекомендованные
1 час практики разработки на PHP с нуля
10.07.2018 7250100 вопросов программисту
28.07.2020 4661100 вопросов программисту
20.08.2020 28061С: делаем онлайн-сервис для мониторинга курсов валют
05.11.2020 87591С: делаем онлайн-сервис погоды
06.11.2020 44731С. Поднимаем CRM
30.08.2019 30561С. С чего начнём?
29.08.2019 4675Алгоритмы классификации текстов
21.07.2020 5692Алгоритмы классификации текстов
16.10.2020 6836Алгоритмы классификации текстов
18.08.2020 4832Алгоритмы классификации текстов
22.09.2020 3127Алгоритмы классификации текстов
14.03.2020 16340Алгоритмы классификации текстов
19.06.2020 15633Аналитика данных на Python
02.07.2019 4627Анализ данных в Data Science: подводим итоги
02.12.2020 3333
Алина Вейнкрот
21:47А когда будет код с домашкой?
Алексей
19:27Коллеги, дайте, плиз код 1-го урока.
Ульяна Шнайдер
19:22Спасибо!!!
Alex Yang
19:17Что означает надпись: «Skillbox + Lia ASSISTANT» в левом верхнем углу на слайдах у докладчика? 🙄
Наталья
19:24Никита - основатель Lia
Елена
19:16Спасибо, сегодня было очень интересно!
Влада
19:16Спасибо, Настя и Никита!
Яцкина Елена
19:16всем спасибо
Артем Провороцкий
19:15Благодарю!
Маргарита
19:15для выполнения ДЗ можно пользоваться любыми библиотеками или только sklearn?
Людмила
19:14победит тот кто первый пришлет, в случае одинакового результата?
Наталья
19:13ТГ-чат - https://u.to/RmSFGA <br /> Если не срабатывает, либо напишет «ссылка устарела или недействительна» - скопируйте ссылку https://t.me/joinchat/SRgBLk68Urxmf7l3R3bmJQ, сохраните ее в ТГ в Избранное - и достаточно будет по ней кликнуть, точно сработает!
София
19:11Куда и как присылать ДЗ?
Наталья
19:12в ТГ-чат, ссылку на него сейчас выложим в комментарии
Яцкина Елена
19:09есть вопрос. вчера задавал,но без ответа:<br /> что с глубиной контекста? а то каждый вопрос боты воспринимают отдельно от всего, что раньше говорилось...
Наталья
19:11Более подробно этот вопрос можно будет рассмотреть в ТГ-чате
Роман Егоров
19:11В данном случае рассматриваются только отдельные вопросы.
Яцкина Елена
19:14да, Максим, это по коду очевидно. но и все Алисы с Гугл ассистантами болеют тем же
Виктория Тулупова
19:07дайте телегу!!!
Наталья
19:08https://u.to/RmSFGA<br /> Но лучше дождитесь ДЗ
София
19:06Давайте домашнее задание
Наталья
19:09даем
Regina
19:03Извините,Надо было отойти,можно скачать все что было сегодня на интенсиве?
Наталья
19:04Да, запись эфира останется на этой странице
Regina
19:04А код в тг будет? Или кода особо не было?
Наталья
19:05Макар, материалы будут выложены в ТГ-чат
Ульяна Маршанкина
19:04Можно, но тебе это вряд ли поможет
Татьяна
19:03Что по оплате, если передумаешь учиться спустя несколько месяцев?
Анастасия
19:06Там контракт. Придется платить за все. Разбиение на курсы, похоже, не предусмотрено.
Татьяна
19:09Не круто. Сделали бы хотя бы скидку на другие курсы
Роман Егоров
18:59Лэндинг по брифу - на Питоне?
Мария
19:00на питоне только бэк может быть
Роман Егоров
19:03оттого и вопрос
Яцкина Елена
18:58у меня ноут не выдержал - ребут)
Amir
18:56как у Вас с высшей математикой? Для понимания гиперпараметров без нее никак?
Мария
18:55Правильно ли понимаю, что помимо алгоритмов классификации можно использовать и алгоритмы регрессии? Если да, что по вашему опыту лучшие результаты работы с текстом дает?
Наталья
18:56расскажем чуть позже
Валерий
18:54чем отличается питон разработчик от аналитика или датасаентиста? можно ли сказать, что питонист - это универсальный "боец"?
Мария
18:58датасайнс не обязательно на питоне реализуется. Если брать курс чисто по питону, то большой упор на веб разработку идет, в том числе с Джанго. А в датасайнс больше работа с алгоритмами, знание питона требуется минимальное.
Игорь Туренков
18:51Кто нахуй это делает , я так в еб@ло дам этому ёбаному роботу
Игорь Туренков
18:51Кто нахуй это делает , я так в еб@ло дам этому ёбаному роботу
Валерий
18:50а сам ноутбук с кодом скинут в телеграм?
Игорь Туренков
18:50Бл@т , кто мои коментарии удаляет .Пизды дам нахуй!!!
Наталья
18:49а пришлете файл юпитера?
Виктория Тулупова
18:50Написали что ВСЕ материалы будут в телеге!!
Наталья
18:50Более подробная информация будет выложена в ТГ-чате
Яцкина Елена
18:51наверняка в тг чате
Игорь Туренков
18:49Здравствуйте , а сколько ещё будет ийдти трансляция(примерно)???
Игорь Туренков
18:48Здравствуйте , а сколько ещё будет ийдти трансляция(примерно)???
орень
18:48никто не хочет попробовать совместно написать что то подобное? Это обмен опытом и практика которая так нужна.
Яцкина Елена
18:49идея хорошая
орень
18:50есть у вас почта, вк или что то подобное?)
Анастасия
18:48По-моему, надо с качеством примеров играться. )
Роман Егоров
18:48Может увеличить обучающий сет, уменьшить тестовый?
Яцкина Елена
18:46можно ссылку на библиотеку склёрн?
Игорь Туренков
18:46Новерно , да
Наталья
18:47Более подробная информация будет выложена в ТГ-чате
Яцкина Елена
18:50scikit-learn: machine learning in Python — scikit-learn 0.23.1 ...scikit-learn.org ?
Galina
18:52Да, это она
Ольга
18:450.129 мдаааа
Игорь Туренков
18:45А можно выразить все эмоции 1-му человеку!
Анастасия Пухова
18:45Домашка это улучшить вероятность?
Наталья
18:46Расскажем чуть позже)
Валерий
18:43векторайзер нужно прописывать только для Х?
Ульяна Шнайдер
18:42Будет ли датасет доступен для работы с ним?
Наталья
18:43да, в ТГ-чате
Яцкина Елена
18:44мы все можем скинуть свои ботконфиги и слить их воедино самостоятельно
Ульяна Шнайдер
18:47То же вариант, когда есть достаточно времени, но с другой стороны - хорошо бы все попробовать. Вчера было все знакомо, сегодня - все новое
Лариса
18:42Почему vectorizer не в этом же цикле?
Ольга Полетаева
18:44А зачем каждый раз векторизовать все данные? мы их векторизовали и делим каждый раз по новой уже в цикле
Irina Mansurova
18:41экран поменьше не видно где пишет
Виктория Тулупова
18:42пониже может?
Игорь Туренков
18:42Всем видно , а тебе нет?