Skip to main content
Опівночні Балачки

Опівночні Балачки

By Денис, Ігор, Саша

Машинне навчання (Machine Learning aka ML), програмування і драми в айті.
🇺🇦україномовний, наскільки ми можемо🇺🇦
Про технології і штучний інтелект від айтівців.
Available on
Amazon Music Logo
Apple Podcasts Logo
Castbox Logo
Google Podcasts Logo
Overcast Logo
Pocket Casts Logo
RadioPublic Logo
Spotify Logo
Currently playing episode

№37: Теорія тестування. TDD – не треба?

Опівночні БалачкиApr 27, 2023

00:00
01:06:53
№43: Дизайн-інтерв'ю

№43: Дизайн-інтерв'ю

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠⁠

  • 0:00-1:16 Інтро
  • 1:17-4:35 Як проходить дизайн-інтерв'ю? Мета-кроки, які повторюються.
  • 4:36-7:09 Особливість інструментів для дизайн-інтерв'ю. Усякі https://excalidraw.com/, https://miro.com/ і подібне. А також варіант для багатих – беріть планшет
  • 7:10-9:54 Основні аспекти дизайн інтерв'ю. Компоненти і їх взаємодія. Збереження даних. Нефункціональні вимоги, де довгий перелік *bility штук
  • 9:55-12:31 Чи будуть на дизайн-інтерв'ю питати про внутрянку Postgres?
  • 12:32-14:06 Можливі варіації дизайн задач. Питання щодо речей, про які ви не думаєте в стартапі на 3 юзера
  • 14:07-21:49 Як готуватися до дизайн інтерв'ю? bytebytego, donnemartin/system-design-primer. Блоги github, discord. Блог AWS Solutions. https://www.educative.io
  • 21:49-25:50 А тепер насправді, як готуватися. Dry-run інтерв'ю. І в цілому про важливість говорити слова ротом. ExponentTV на ютуб
  • 25:51-28:23 Хот-тейки від Ігоря. 7 DBs in 7 Weeks.
  • 28:24-33:09 За що можуть "віднімати бали" при проходженні. Чи варто казати, що юзатимеш технологію, з якою не знайомий? Показуйте ініціативність. І не сперечайтеся
  • 33:10-36:57 Висновки. Що прикольне/не прикольне в дизайн-інтерв'ю. Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

Dec 31, 202336:58
№42: Рекомендаційні системи, ч.2. Будуємо моделі, зворотній зв'язок, а як схочемо, то і ChatGPT підключимо

№42: Рекомендаційні системи, ч.2. Будуємо моделі, зворотній зв'язок, а як схочемо, то і ChatGPT підключимо

В гостях ⁠Дмитро Войтех⁠, СТО @ S-PRO

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠⁠

  • 00:00 - 00:56 – Intro
  • 00:57 - 02:50 – з чого почати побудову recommender system; як будувати baseline моделі
  • 02:51 - 04:10 – говоримо про бейзлайн систему рекомендації для зображень
  • 04:11 - 7:30 – говоримо про бейзлайн систему рекомендації для текстових даних; Bag of Words; BM-25
  • 7:31 - 11:15 – які хороші методи для отримування вектора ознак для тексту? TF-IDF
  • 11:16 - 14:47 – проблема холодного старту (Cold Start)
  • 14:48 - 20:10 – моделі рекомендацій на основі механізму зворотнього зв’язку; кенселінг за дієвидло; колаборативна фільтрація – @benfred/implicit, улюблена Alternating Least Squares у каглерів
  • 20:11 - 22:06 – знову говоримо про cold start; маленький кейс megogo
  • 22:07 - 30:25 – Word2Vec, чи то пак Entity2Vec — як оригінальний NLP алгоритм можна використовував для побудови рекомендацій
  • 30:26 - 33:20 – векторна арифметика на елементах вашої системи — як віднімати та додавати зображення та тексти один від/до одного; фантазуємо, які пошукові системи потрібні людям; слухайте подкаст з Олесем Петрівом, де космічні кораблі подорожують просторами ембедінгів
  • 33:21 - 36:53 – рекомендації на базі графових нейронних мереж (GNN); чому це можна розглядати як логічне продовження моделей на базі Word2Vec; кейс AliBaba;
  • 36:54 - 39:45 – чим графові нейронні мережі схожі на конволюційні; 3b1b про конволюції
  • 39:46 - 45:50 – як використовувати Mixture of Experts моделі в рекомендаціях; пейпер Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer; згадуємо symbolic AI та експретні системи
  • 45:51 - 51:56 – рекомендаційні системи на основні архітектури нейронних мереж Трансформер; паралелі з Deep & Wide model; слідкуйте за https://eugeneyan.com/
  • 51:57 - 1:01:46 – алгоритми Learning to Rank (навчання ранжуванню) — побороли recall, починаємо бороти precision; поточкові, попарні та помножинні підходи; RankNet; LambdaMart
  • 1:01:47 - 1:06:19 – рекомендації на базі моделі CLIP - Contrastive Language–Image Pre-training; як тюнити CLIP
  • 1:06:20 - 1:07:28 – знову фантазуємо про просунуті пошукові інтерфейси; reverse image search
  • 1:07:29 - 1:11:40 – як використовувати LLM для рекомендацій? Забудьте про ембеддінги – несемо prompt engineering в маси!
  • 1:11:41 - 1:17:18 – крейзі ідеї в світі LLM – ChatGPT розкаже вам, як спати та бігати, враховуючи дані з вашого Apple Watch; як LLM обробляє великі дані через маленьке контекстне вікно
  • 1:17:19 - 1:22:13 – Підбиваємо підсумки; перераховуємо теми в галузі рекомендаційних систем, про які ми НЕ поговорили, але які варто подосліджувати. Коли повернеться подкаст?

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

Jun 06, 202301:22:14
№41: Рекомендаційні системи, ч.1. CTO про побудову рекомендаційних систем, їх складові і оцінку якості.

№41: Рекомендаційні системи, ч.1. CTO про побудову рекомендаційних систем, їх складові і оцінку якості.

В гостях Дмитро Войтех, СТО @ S-PRO

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠

  • 0:00-0:30 Інтро
  • 0:30 - 1:18 — рекомендаційна система для банок на донати - поповнюйте рахунки Повернись Живим
  • 1:19 - 5:45 — Дмитро (ex-Giphy, CTO@S-PRO) розказує, чому він хороша людина на поговорити про рекомендаційні системи
  • 5:46 - 8:10 — чутки про те, в який ML/AI хочуть вкладати гроші європейські компанії
  • 8:10 - 11:43 — визначимо проблему рекомендацій, говоримо про задачу отримання інформації (information retrieval)
  • 11:44 - 12:20 — чому задачу рекомендацій варто розбивати на підсистеми
  • 12:21 - 17:15 — candidate generation – бази даних, векторні індекси, текстові індекси
  • 17:16 - 19:20 — що таке precision та recall, скільки потрібно сіньйорів…
  • 19:21 - 22:20 — чому фільтрувати кандидатів в рекомендації є хорошою ідеєю
  • 22:21 - 30:50 — на чому тренувати рекомендаційну систему: не забудьте полайкати наш подкаст на вашій улюбленій платформі!
  • 30:51 - 40:45 – для чого потрібні офлайн та онлайн метрики; роздумуємо про інтуїцію метрик для оцінки якості рекомендацій
  • 40:46 - 46:50 — чому Mean Reciprocal Rank (MRR) — ймовірно, не найкращий вибір для метрики, говоримо про Expected Reciprocal Rank (ERR) — чому структура гріда рекомендацій має значення
  • 46:51 - 47:45 – Click Through Rate (CTR)
  • 47:46 - 49:55 — говоримо про customer satisfaction та функції втрат для тренування рекомендаційної системи
  • 49:56 - 55:28 — проблема feedback loop, exploration vs exploitation, рандомізуємо рекомендації; багаторукі бандити
  • 55:29 - 57:28 — робимо паузу; оутро і канал 'Kyiv Data Science’; чекайте продовження в наступному випуску!

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

May 26, 202357:30
№40: AI Act – законодавство про ШІ з ЄС на експорт

№40: AI Act – законодавство про ШІ з ЄС на експорт

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠

  • 0:00-2:43 Інтро про закони і як в майбутньому кіберполіція буде накривати людей, що генерують меми з метою розповсюдження
  • 2:44-6:44  Aritificial Intelligence Act у ЄС 11 травня перейшов на наступний етап законотворчого воркфлоу. Що далі?
  • 6:45-12:45 Що забороняють законом? (Текстовий переказ від the verge). Кейси ШІ на біометричних даних для високоризикових ситуацій – забороняємо.
  • 12:46-15:45 Реєстр високоризикованих систем з використанням ШІ. Приймаємо консент-попапи при вході в ЖК за парканом
  • 15:46-21:08 Змусимо всіх авторів великих моделей оцінювати ризики (і розповідати про датасети). Чим це загрожує Google і OpenAI? Прогнозуємо черговий бум у сфері дата провайдерів
  • 21:09-23:35 Якщо дані – дуже важливі, то буде розквіт… барж з даними? … скоріше, про федеративне навчання і data clean rooms
  • 23:36-27:03 Тут про правове поле в космосі, нейтральні води, застосунки з темних заковулків і першу космічну війну
  • 27:04-27:31 Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

May 18, 202327:32
№39: Практика тестування на Python, ч.2 коротко про більш екзотичні види тестування

№39: Практика тестування на Python, ч.2 коротко про більш екзотичні види тестування

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠

  • 0:00-0:49 Intro і пояснення існування 2ої частини
  • 0:50-2:25 Hypothesis для property-based testing на python. Неймдропінг atheris
  • 2:26-2:52 cleder/awesome-python-testing і розділи, які ми вирішили скіпати при записі
  • 2:53-11:17 Тестимо швидкодію ваших застосунків за допомогою locust. “Для всього іншого є timeit” © JMeter. Набір утиліт для профайлінга з HTML репортами – elastic/perf8
  • 11:18-11:57 Budget testing (різновид performance testing, але про нього складно гуглити, суто подібне може робити для вас pytest-benchmark)
  • 11:58-14:42 Data tests, чому їх ніхто не пише і пошук того самого апологета дата тестів в коментарях під випуском
  • 14:43-15:20 boxed/mutmut – щось і для мутаційного тестування є на пітоні
  • 15:21-17:10 Остання настанова: підглядайте в опенсорс (і може побачити там matrix) і вчиться у людей
  • 17:11-17:48 Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠⁠@stasgavrylov

May 11, 202317:48
№38: Практика тестування на Python, ч.1 unittest vs pytest

№38: Практика тестування на Python, ч.1 unittest vs pytest

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠⁠https://t.me/midnight_chatter⁠

  • 0:00-2:29 Інтро. Мультики, метасюжети і тестування на пітоні
  • 2:30-5:15 Тест-ранери: вбудований unittest, класичний pytest. На додачу tox. Олдскульні nose2 і nose. Зовсім зелений green і свіжий швидкий hammet (мову якого конфузив із-за rye)
  • 5:16-6:37 Як може тест-раннер на python бути швидшим за pytest? Rust скоро з’їсть всі утиліти
  • 6:38-8:00 pytest-parallel і pytest-xdist для паралельного запуску тестів
  • 8:01-19:47 Чому в rspec фікстури кращі, ніж фікстури в pytest? Як жити з pytest в такому випадку? Пишемо більш компактні тести за допомогою fixture і parametrize
  • 19:48-23:17 Писати тести функціями чи класами в pytest? FunctionTestCase в unittest
  • 23:18-29:37 Чому б не включити pytest в стандартну бібліотеку? Не забудьте чекнути, які опції можна передати в CLI пайтесту
  • 29:38-32:14 Скоро нам всім заборонять писати тести без assert’ів. Про пошук тестів pytest’ом і unittest discover
  • 32:15-32:38 Вбудовані фікстури pytest
  • 32:39-35:00 Про генерацію репортів і тест-каверейдж
  • 35:01-37:45 freezegun для підміни часу для тестів. unittest.mock#patch для тимчасової зміни поведінки стороннього коду
  • 37:45-38:46 Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠⁠@stasgavrylov

May 07, 202338:47
№37: Теорія тестування. TDD – не треба?

№37: Теорія тестування. TDD – не треба?

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠⁠https://t.me/midnight_chatter

  • 0:0:00 - 0:1:39 Intro. Про що цей і наступний епізод і кому це може бути корисним
  • 0:01:39 - 0:05:38 Окрім співбесід, для чого корисно знать щось про тести?
  • 0:05:39 - 0:09:10 Піраміда тестів: юніт - модульні - інтеграційні - e2e
  • 0:09:11 - 0:20:05 Чи треба юніт-тести? Сваримо карго-культ мокання всього підряд
  • 0:20:05 - 0:20:58 Додаємо кволіті інженерам посадових обов’язків лише для того, щоб одразу забрати. Що у нас роблять engineers in testing
  • 0:20:59 - 0:23:58 Моки, стаби і спаї. Стаття Мартіна Фаулера. Стаби на фікстурах (які пояснили трохи по іншому канону, але теж може бути)
  • 0:23:59 - 0:27:26 Анатомія тесту: сетап - тест - тірдаун. Що ваші інструменти роблять за вас і за що варто переживати?
  • 0:27:27 - 0:38:01 Test Driven Development (TDD) – інженерна практика. Метагейм і внутрішні інкрементальні зміни. Перший тест, який варто писати в *будь-якому* проекті. Протіп як фіксати баги. Намагаємося безуспішно навертати людей в церкву святого TDD
  • 0:38:01 - 0:40:46 Behavior Driven Development (BDD) – про підхід щодо походження і формату вимог при роботі. Cucumber і Gherkin. Given-when-then і подібні тестові сценарії. Згадуємо capybara
  • 0:40:47 - 0:44:54 Тест ранери і тестові фреймворки. Інструменти для мов, де це не вбудовано по замовчуванню, як в Go.
  • 0:44:55 - 0:46:31 Штучні дані для тестів, умовний faker під вашу мову програмування
  • 0:46:32 - 0:53:50 Тестуємо API сторонніх сервісів: стабити ваш клієнт запитів чи піднімати власну репліку? Існує проміжний варіант: передзаписані відповіді за допомогою vcr. Глобальні проблеми зламаних чужих АПІ, особливо які не були SaaS’ом раніше
  • 0:53:51 - 1:00:04 А як базу тестувати? За допомгою контейнерів! MinIOGoogle Cloud SDKLocalStack. Розбираємося з docker-compose’ом і depends_on. In-memory бази даних для тестів
  • 1:00:05 - 1:02:47 Мутаційне тестування – це що таке? Доводимо суть code coverage до межі. Не втримуємося і вперше за епізод згадуємо ChatGPT
  • 1:02:48 - 1:04:25 Property-based testing і QuickCheck. Coq і Agda для красного слівця
  • 1:04:26 – 1:06:52 Outro. Пишіть тести! А також коментарі

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠⁠ | ⁠⁠⁠⁠⁠@stasgavrylov

Apr 27, 202301:06:53
№36: Код рев'ю – для чого, і як (не) робити?

№36: Код рев'ю – для чого, і як (не) робити?

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠⁠https://t.me/midnight_chatter

  • 0:01-3:10 Інтро. Наші перші код-рев’ю.
  • 3:11-5:43 Чи є code review обовʼязковою практикою?
  • 5:44-9:50 Навіщо робити код рев’ю: обмінюємося знаннями. Життя буденне при дистанційній роботі. Pull request як арена для молодих челенджити старі шляхи написання коду
  • 9:51-11:20 Навіщо №2: шукаємо дефекти і налагоджуємо стиль, рев’ювлємо дизайн рішення
  • 11:21-12:28 Що є результатом код рев’ю? Хто мусить мерджити пулл реквест?
  • 12:29-12:49 Навіщо №3: шаримо відповідальність
  • 12:50-13:24 Навіщо №4: покращуємо здатність естімейтити в майбутньому
  • 13:25-15:18 Гітхабівські “пулл реквести” (PR) проти Гітлабівських “мердж реквестів” (MR)
  • 15:19-17:05 Недолік рев’ю “не всі дефекти знаходять”. Google про code review у статті (але про 1/6 була брехня, Сашко перепрошує, знаходять “скільки знаходиться”, якщо говорити про стати, хіба у статті 2014 від MS було про “в середньому 4 дефекта в рев’ю”, але там все складніше і в ноутсах не перекажемо)
  • 17:06-18:39 Ще недолік: довше закриваємо таски, що з цим робити?
  • 18:40-20:57 Вирішуємо проблему код рев’юверів “не розумію, про що ця зміна?”
  • 20:58-22:34 Ділимо фідбек на важливий і неважливий, а також питання. А також про комунікацію англійською.
  • 22:35-23:57 Золоте правило рев’ю “Не задовбуйте”. Тудушки і тікети “на потім”. Допомагайте молодим
  • 23:58-26:22 Як імплементувати цей поділ на популярних платформах для код рев’ю
  • 26:23-29:11 А ще, можна коментарями надавати контекст. Ну і робіть самі собі code review
  • 29:12-31:15 Якщо хтось створив і змерджив PR на вихідних – чи треба його пост-фактум рев’ювити?
  • 31:16-35:59 На що найбільше спрямовувати увагу при код-рев’ю?
  • 36:00-37:50 Чи є прохання написати тести порушенням заповіді “не задобвуй”? Без тестів – нікуди
  • 37:51-41:34 Скільки рев’юверів треба на 1 пулл реквест? Знову посилаємося на статті від Google & MS. Як працюють CODEOWNERS у Github
  • 41:35-43:38 Галопом по Європах: автоматизуємо тривіальне, де рев’ювити дизайн рішення і як довжина ПР впливає на тривалість рев’ю. Про кількість рядків за годину рев’ю посилаємося на smartbear
  • 43:41-45:06 І взагалі, не напружуйтесь. Бот експірієнс інженери ніколи не думають про перфокарти
  • 45:07-45:36 Як зменшити кількість рев’ю? Парне програмування. Рев’ю сесії
  • 45:37-46:18 Gitlab і їх рулетка для рев’юверів (а також хай тут буде їх матеріали про код рев’ю)
  • 46:19-47:50 Чи можна було б жити без код рев’ю завжди? Тести, ШІ і nocode
  • 47:51-50:10 Не забувайте, що з того боку – жива людина
  • 50:11-51:51 Outro, робіть код рев’ю цьому випуску і не будьте токсіком. Наступного тижня відпочиваємо

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠⁠https://www.streambeats.com/⁠⁠⁠⁠ | ⁠⁠⁠⁠@stasgavrylov

Apr 16, 202351:52
№35: AI та методи ірраціонального страху

№35: AI та методи ірраціонального страху

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠⁠https://t.me/midnight_chatter

  • 0:00-2:24 Інтро. Інтернет – AI психлікарня. Bard Beta, LLAMA, Alpaca. ChatGPT Plugins, Copilot X
  • 2:24-4:34 Copilot X і голосове управління. Пора вчитися робити код-рев’ю
  • 4:35-9:31 Відкритий лист щодо паузи в розробці моделей + думки Елізера Юдковського ака автор Harry Potter and the Methods of Rationality. Давайте бомбити центри скупчення GPU. Генетично модифіковані китайські діти. Що робитемимо наступні 6 місяців?
  • 9:31-14:44 Вірите в небезпеку ШІ? А ковід щеплення зробили? Чи має сенс зупиняти поступ науки? Читайте Анафему.
  • 14:45-19:08 Як часто ми зможемо перевчатися на фах, який ще не встигли автоматизувати? Чому self-driving cars можуть вбити міста в американській глибинці? Які галузі залишаться з нами за версією форбс? Що тут, знову чорні лебеді?
  • 19:08-19:59 Що будуть робити консерватори? Час для нових амішей
  • 20:00-22:00 Які професії залишаться в майбутньому? Bloomberg і їх власна GPT модель. Linus Tech Tips он взагалі на фермі працюватиме
  • 22:00-24:36 Але це все перестане працювати, як ШІ вийде в офлайн. OpenAI інвестував в 1X. Замикаємо коло історії, що почалося в Дармуті і робота Shakey. Інший варіант впливу на оффлайн світ – ШІ проектує оффлайн агентів
  • 24:37-30:58 ШІ нас не вб’є. Але може зробити боляче, дивіться Чорне Дзеркало. ІПСО від ШІ, як спосіб впливу на людей. Чи врятують нас Knowledge Bases? Де GPT постаріше зберігає факти? (публікація / відео)
  • 30:59-36:30 Живучи в світі дезінформації, як верифікувати, що ти спілкуєшся з людиною? ChatGPT може бути вашим wingman в тіндері. Чекніть, чи зможе людина відповісти на питання із серії Winograd Schema
  • 36:31-40:18 Щось тут все заскладно, але для чого нам були ці всі гучні заяви про заборону тренувань моделей? Але чомусь є і гарні новини
  • 40:19-42:52 Як навчити ШІ знати все про речі на вулиці? Мультимодальний ШІ вже не за горами
  • 42:53-46:20 Для справжнього ШІ нам треба зворотний зв’язок. Auto-GPT.
  • 46:21-48:22 Змушуємо ChatGPT будувати дерево знань. Проблеми подібних конструктів
  • 48:23-56:14 Справжній no code з ШІ. Як верифікувати програми, чий код ніхто не рев’ювив? Magi як представник TMR. Магічні декоратори ai_fn
  • 56:15-1:01:00 Пишемо петицію, щоб у всі ігри додали побільше нейроночок. AI Dungeon. Симуляції екосистем в STALKER, що так і не побачили світ
  • 1:01:01-1:04:04 Моделі психологів будуть лікувати людей, що закохуються в ігрові нейроночки. Рекомендуємо "The Discrete Charm of the Turing Machine," by Greg Egan (тут збірка) і “Я, робот” Азімова
  • 1:04:05-1:05:03 Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠⁠https://www.streambeats.com/⁠⁠⁠ | ⁠⁠⁠@stasgavrylov

Apr 06, 202301:05:18
№34: Розмови про second brain – як програмісти ведуть нотатки

№34: Розмови про second brain – як програмісти ведуть нотатки

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠⁠https://t.me/midnight_chatter

  • 0:00-0:42 Intro та дисклеймер
  • 0:43-2:10 Від Notion’а до Zettelkasten. Чи зміниться це з появою чат-асистентів? Про це і поговоримо
  • 2:11-4:42 Чи веде Ігор свою базу знань? Пошук в Notion – не як в github’а
  • 4:43-7:42 Як справи з нотатками Дениса? Markdown файли і zettlr. Наступна віха розвитку – Obsidian. Тут вже і zettelkasten можна робити. Фрактальна капуста
  • 7:42-9:04 Чому Денис більше не буде вести свою knowledge base?
  • 9:05-9:59 Чим корисні короткі замітки для створення контенту?
  • 10:00-11:47 Хронологічний journaling як альтернативний підхід
  • 11:48-13:10 Дампаємо посилання з тегами і коротким описом. Яким міг би бути ідеальний нотатник для такого?
  • 13:11-15:29 Але поки що, головна проблема – поганий пошук по цьому всьому. Мультимодальний пошук. Коротка лекція про японську мову
  • 15:30-19:16 Індексуємо все-все-все, що ви робите за комп’ютером. І згадуємо “Чорне Дзеркало” (S4E3). Пора робити на GPT-4. А може і unCLIP заюзаємо, як промпт-інженери розберуться, що писати
  • 19:16-21:36 Чи треба нам локальний пошук, якщо можна затьюнити пошуковий рушій? А також гібридні підходи
  • 21:36-22:15 Згадуємо Apple і їх AI помічника
  • 22:15-24:12 Потенційна небезпека сенсативних даних в чат-системах. Про OpenAI і кенійців. Фантазуємо, як це робити сек’юрно
  • 24:13-27:43 Саша і його нотатки. Глобальний gitignoreYou.com і їх чат
  • 27:43-28:35 Всі біжемо під замочок і накопичуємо замітки (поки Маск все не поламав)
  • 28:36-33:17 Рівні користі інформації. Лайфхаки збереження інформації. Шукаємо стартап зі скріншотами і чи то отримуємо ефект Мандели, чи просто інтернету пороблено
  • 33:18-34:15 Outro

Долучайтесь до наших соцмереж:

Музика: ⁠⁠https://www.streambeats.com/⁠⁠ | ⁠⁠@stasgavrylov

Mar 30, 202334:16
№33: Python проект з 0 – корисні інструменти для вашого коду

№33: Python проект з 0 – корисні інструменти для вашого коду

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі ⁠https://t.me/midnight_chatter

  • 0:00-0:40 Інтро
  • 0:41-6:51 Питання слухачів №1: python і приватні пакети в poetry. І взагалі про приватні реєстри пакетів на CI. І як на гітхабі достукатися до пакету в приватному репозиторії
  • 6:52-8:21 Питання/уточнення слухачів №2: ще є pdm-project/pdm для залежностей
  • 8:22-10:29 Повертаємося до deploy keys і як webfactory/ssh-agent це робить для декількох репозиторієв
  • 10:30-12:57 Питання слухачів №3: “так і що мені юзати?”
  • 12:58-17:43 Після створення проекту, що в першу додавати? make і task. Заздримо npm з їх scripts
  • 17:43-19:52 Менеджимо автоматичні перевірки при спробі закомітити за допомогою pre-commit
  • 19:53-20:56 Коли ваш інструмент не вміє в dev mode, допоможе watchdog
  • 20:57-23:23 Коміти по конвенціям за допомогою commitizen
  • 23:24-30:03 Ваші улюблені інструменти для перевірки/покращення коду від PyCQA: flake8, pycodestyle, pyflakes, autoflake, pep8-naming, isort, black. І новий мегашвидкий ruff. Як цими зв’язками користується Денис і flake8-print – золото
  • 30:04-31:47 Шукаємо стерво код за допомогою vultureBandit для сек’юріті перевірок і чому потрібні baseline’и
  • 31:48-32:49 Hadolint для докерфайлів, для shell скриптів – shellcheckhelm lint + helm-docs
  • 32:50-32:55 mypy чим корисна типізація, але чому ж так важко почати?
  • 35:56-38:28 tox і матричні білди
  • 38:29-39:09 Pylance, що ґрунтується на pyright
  • 39:10-39:49 Editorconfig для фіксації вигравшої сторони в суперечці “таби чи пробіли”
  • 39:49-40:40 Запускаємо проект в контейнері, щоб команді було простіше
  • 40:41-42:03 Інтегруємо платформи де ви правите код чи раните тести з таск-трекерами і месенджарами – обов’язково для ВСІХ agile команд. Swarmia
  • 42:03-43:07 Включаємо нагадування “онови залежності”: dependabotsnyk
  • 43:08-45:50 Outro. Закиньте грошей ПЖ

Долучайтесь до наших соцмереж:

Музика: ⁠https://www.streambeats.com/⁠ | ⁠@stasgavrylov

Mar 23, 202345:60
№32: Пошукова система Github

№32: Пошукова система Github

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:00-2:50 Intro. Спеціалізовані і генералізовані системи пошуків.
  • 2:51-9:12 Чому у Github була найгірша система пошуку? Натягуємо Elastic на код, який не є натуральною мовою. BM25 “на пальцях”. Ну і неймдропаємо Tf-Idf
  • 9:13-12:26 Повертаємося до оригінального блогпосту. Як весь код вліз в 25Тб? І інші цифри для оцінки масштабу розміру пошукової бази
  • 12:27-15:02 Які кола мікросервісів проходить ваш код перед тим, як потрапити в видачу пошуку? Самописні бази на такому швидкому і безпечному Rust, а також ліричні відступи з шеймінгом людей за спадок на Golang
  • 15:03-22:26 Що в цій базі? Інвертовані індекси, щоб не лупати днями всі документи в циклі. Триграми з прикладами “📃” ➡️👨‍⚕️,うく,💦. Як ділити величезний індекс по різних серверах? Трохи про шардінг, але може краще почитайте “кабанчика”. PGTune
  • 22:26-25:24 Як відбувається безпосередньо пошук?
  • 25:25-30:17 Невеликі, здавалося б, оптимізації, які значно покращували все: мінімальне остовне дерево, k-мердж списків, … Зато за 36 годин все переіндексовують з нуля, як треба буде
  • 30:18-34:25 На чому все це крутиться? І навіщо взагалі треба пошук по коду? Даєш ReversoContext для коду!
  • 34:26-35:40 Outro

Долучайтесь до наших соцмереж:

Музика: https://www.streambeats.com/ | @stasgavrylov

Mar 16, 202335:40
№31: Python проект з 0 – менеджмент залежностей

№31: Python проект з 0 – менеджмент залежностей

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:00-1:53 Інтро, про що випуск і використовуємо в одному реченні Starlink і Python
  • 1:54-2:22 Закриваємо тему pip
  • 2:23-7:37 Стильний poetry, зробить все як у найкращих пакетних менеджерів, як у мові програмування сина маминої подруги. Які проблеми вирішує лок файл?
  • 7:38-10:45 Але і з poetry бувають проблеми…
  • 10:46-17:22 Чи перейдуть всі ваші улюблені бібліотеки на poetry, який стане стандартом в пітоні? Проводимо паралелі з glide
  • 17:22-18:58 pip-tools і саме pip-compile звідти, як корисна виручалочка при великому наборі різних опціональних бібліотек
  • 18:59-20:02 Для менеджменту версій пітона, pyenv – молодець. asdf + venv теж ок
  • 20:02-21:15 pipenv - це не про нас
  • 21:16-22:27 conda – ліпший бро дата-саєнтистів, і інколи – маководів
  • 22:28-23:12 Чи існують гайди як будувати пакети за допомогою conda? Питаємо у вас, розкажіть нам в коментарях!
  • 23:12-24:19 Outro. Пам’ятайте: кожен ваш коментар нині – +1 тиждень до існування цього подкасту

Долучайтесь до наших соцмереж:

Музика: https://www.streambeats.com/ | @stasgavrylov

Mar 08, 202324:21
№30: Золота лихоманка ChatGPT

№30: Золота лихоманка ChatGPT

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:00-2:27 Інтро. ChatGPT в Україні, історії про швайнокарасів і r/bing
  • 2:28-6:12 Юзаємо ChatGPT як бекенд. І Copilot + gptcommit для менш радикально налаштованих забирати хліб у розробників. Референсимо Януковича
  • 6:13-6:58 Чекаємо ще рідше побачити живу людину у чаті служби підтримки
  • 6:59-10:39 Журналісти і їх ґайпожерство на темі ШІ. І описуємо найшвидший спосіб ChatGPT зменшити розмір людства
  • 10:40-16:18 Як GPT3 в Square аналітиком працював. Світле майбутнє, де запити в сховища даних можна писати зрозумілою мовою. Чат модель пошуковика Bing, яка не завжди дружить з реальністю. І попередження аналітикам
  • 16:18-16:55 Наші аналітики передбачають нові продукти Apple
  • 16:56-18:39 Langchain додав wolfram alpha інтеграцію. ChatGPT як універсальний перекладач між різними структурованими мовами
  • 18:40-21:52 “Уяви, що ти – Х” для ChatGPT. Корисний промпт-інжиніринг чи експлоіт?
  • 21:53-22:41 Люди, що заробляють на GPT-3 + StableDiffusion на Amazon
  • 22:42-26:23 Чи зможе геймерський ноут запустити ChatGPT? Згадуємо Jim Keller
  • 26:23-28:27 Що робити, якщо API запити до OpenAI задорогі? GPT3 вдома: EleutherAI/gpt-neo-1.3B / GPT2 / PaLM(на жаль, наче закритий, щось наплутали) / CTRL / BLOOM / OPT
  • 28:28-30:00 Відео про побудову GPT та сам проект nanoGPT від Andrej Karpathy
  • 30:01-32:30 Два слова про відмінність GPT і ChatGPT. Reinforcement learning with human feedback
  • 32:31-33:51 Outro

Долучайтесь до наших соцмереж:

Музика: https://www.streambeats.com/ | @stasgavrylov

Mar 02, 202334:04
№29: gRPC – що це, як це і чому не підходить для всіх?

№29: gRPC – що це, як це і чому не підходить для всіх?

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:01-1:09 intro
  • 1:10-3:26 gRPC очима senior JSON девелоперів. Які недоліки у класичної передачі даних за допомогою JSON’ів по REST’у?
  • 3:27-8:06 gRPC = HTTP/2 + ProtoBuf. Машинерія, що ув’язує всі ці речі між собою. Зрозуміла оф дока
  • 08:07-10:16 - плюс №1: перевикористання прото інтерфейсів різними командами
  • 10:17-10:54 - плюс №2: загальна швидкодія
  • 10:55-12:50 - плюс №3: експресивна комунікація можливих помилок
  • 12:51:15:51 - мінус №1: слідкування за схемою – це не завжди просто. Розповідаємо, як оновлювати схеми на CI і чому не вийде так просто переіменувати поле.
  • 15:52:16:35 - Чи допоможуть тут schema registry? Відкрите питання 😊
  • 16:36-19:19 - мінус №2: підвищена складність debug’у. Клієнти: grpcurl, класичний postman, insomnia. І мимохіть згадуємо чим Linux ліпший за Windows
  • 19:20-21:21 - (формальний) мінус №3: ваша схема не буде робити більшість валідацій, які ви очікуєте, будьте готові імплементувати їх самі
  • 21:22-23:36 - (пітонячий) мінус №4: генеровані класи по вашим прото читати ви не захочете, а IDE не обов’язково зможе підхопити і правильно підказувати. [Коли вже здогадаються pydantic туди додати?]
  • 23:37-24:03 - Міряємо перформанс за допомогою ghz
  • 24:04-27:34 - Балансування навантаження в k8s кластері
  • 27:35-29:31 - outro і місце для ваших коментарів

Долучайтесь до наших соцмереж:

Музика: https://www.streambeats.com/ | @stasgavrylov

Feb 22, 202329:32
№28: Serverless databases або ж "безсерверні бази даних"

№28: Serverless databases або ж "безсерверні бази даних"

🔞 Тут (може) будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:00 - 0:45 Нове інтро + про цей "сезон" + про що цей випуск
  • 0:45 - 4:16 Сценарії деплою бази даних на вашому проекті, від "дешевших" до дорожчих
  • 4:16 - 5:38 Рух serverless і чому він дібрався і до баз даних. AWS Aurora як приклад
  • 5:38 - 7:12 Які проблеми селфхостед постгресу ви оминаєте з serverless базою. Чи потрібно всім знати тюнінг?
  • 7:12 - 9:30 Чи не стане вендорлок проблемою? Кубернетіс вже занадто дорого для бізнесу? Клауд рішення, що приносять value з першої хвилини запуску
  • 9:30 - 12:31 Serverless не лише про великі дані, до речі. Параметр бази, який всі вічно забувають апдейтити і чому це не проблема для CockroachDB. Ще трохи, і AWS здогадається тарифікувати бази як djuice у 2003ому
  • 12:31 - 15:07 Заплатив за cockroach, а як його в кластер запхати? А ніяк, платіть за Aurora. Слоупок коментарі про кубернетіс
  • 15:07 - 17:05 Нові можливості, які відкривають serverless бази. Болі time-series баз. Amazon Timestream
  • 17:05 - 20:14 Cloudflare і їх хмарні функції. А також їх D1 – серверлес сховище даних. Обіцяні посилання на проекти, базовані на sqlite: rqlite, duckdb
  • 20:14 - 21:40  Повертаємося до Aurora і її спільні риси з D1. Доповідь про Aurora як геній інженерної думки. І чому це поки що не безкоштовно
  • 21:40 - 22:50 Аутро

Долучайтесь до наших соцмереж:

Музика: https://www.streambeats.com/ | @stasgavrylov

Feb 14, 202322:52
№27: ML в e-commerce для ціноутворення

№27: ML в e-commerce для ціноутворення

🔞 Тут будуть матюки 🔞

В гостях – Дмитро Ткаченко

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:00-0:30 Дисклеймер
  • 0:30-2:05 Книга з Амазона за 23 млн $. Про що цей епізод
  • 2:05-5:20 Динаміка E-commerce останніми роками
  • 5:20-11:36 E-commerce агрегатори: що це і як вони працюють?
  • 11:36-14:28 Як агрегатори обирають, які бізнеси придбати? Тех нічні виклики аналітики
  • 14:28-20:56 Як нам визначити, за якою ціною продавати наш продукт: базові економічні матерії
  • 20:56-23:22 Про що мовчить базова модель: зміни реального світу з часом та поведінкова економіка
  • 23:22-28:44 Як максимізувати прибуток? Відповідь зарита десь у еластичності попиту, але спочатку визначимо, що це таке. Еластичні і нееластичні товари
  • 28:44-32:24 Але як порахувати еластичність попиту? Чому просту теоретичну формулу не так-то і просто обрахувати на практиці?
  • 32:24-36:26 Отримуємо дані для обрахування еластичності: A/B тести і "натуральні" експерименти. Агрегація сигналів по товарам тієї ж категорії
  • 36:26-38:40 Знову про економічну теорію: що таке крос-еластичність
  • 38:40-48:17 Розчехляємо ML: чим корисні CV і NLP для цих задач? Моделюємо еластичність попиту. Лінійна регресія. Causal inference. Confounding factors
  • 48:17-1:00:20 Fixed effects model. Demeaning / log-трансформації. Як від коефіцієнтів моделі переходимо до еластичності попиту
  • 1:00:20-1:09:20 От порахували ми еластичність попиту, що далі? Визначення оптимальної ціни. І як для різних обставин ми маємо різні точки оптимальності
  • 1:09:20-1:10:00 Інтерлюдія про посилання, що можна знайти в нашому телеграмі
  • 1:10:00-1:22:08 Як визначати якість наших моделей? Хитрощі для проведення A/B тестів з цінами
  • 1:22:08-1:29:10 2х ступеневий підхід для кейсів, коли даних недостатньо, а вирахувати еластичність хочеться – R-learner підхід
  • 1:29:10-1:31:15 Аномальність історичних даних останніми роками
  • 1:31:15-1:34:20 Чому варто почитати оригінальні пейпери?
  • 1:34:20-1:36:47 Outro
  • 1:36:49-1:39:39 Post-credits: підручник дрозофіл за 23 млн $

Долучайтесь:

Музика: https://www.streambeats.com/ | @stasgavrylov

Jan 27, 202301:39:56
№26: Технологічні підсумки 2022

№26: Технологічні підсумки 2022

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • - 0:00-1:15 Intro
  • - 1:15-16:58 Copilot і сингулярність. Багато про восьминогів і жодного слова про октокотів. Ruby, Cucumber і Gherkin як ідеї, що опередили свій час. 
  • - 16:58-18:25 Питаємо у ChatGPT як вирішувати робочі задачі.
  • - 18:25-20:20 Знову про Copilot і важливіть верифікації нагенерованого коду
  • - 20:20-21:25 Tabnine і дуже короткий досвід з цією альтернативою Copilot
  • - 21:25-23:30 Тренди дата інжиніринг року: SQL в кожен двір!
  • - 23:30-28:17 Проходимося по тулах, щоб просто робити інжест, а там і до аналітики недалеко: domo, fivetran, airbyte. Чи стало легше будувати пайплайни?
  • - 28:17-31:25 Опенсорсний dbt і секрет їх бізнес моделі
  • - 31:25-39:00 2022 рік не став роком лінуксу на десктопах. Скарги на аудіо, зовнішні монітори і ранодмні баги. А ще і iOS туди ж.
  • - 39:00-43:04 Листи в "Пізнайко": чому в світі більше одного Amazon сайту? І куди діваються рев'ю при перемиканні країни в апсторі?
  • - 43:04-45:24 EKS > ECS. А також інші способи ранити код в клауді.
  • - 45:24-47:28 Outro. Всіх з Новим Роком!

Долучайтесь:

Музика: https://www.streambeats.com/ | @stasgavrylov

Dec 28, 202247:29
№25: Python 3.11. Що там новенького?

№25: Python 3.11. Що там новенького?

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 00:00-01:43 Інтро.
  • 01:43-08:53 Пришвидшення Python з новим релізом. Зменшення кількості фреймів і інлайнінг деяких функцій.
  • 08:54-15:19 Ще про швидкодію. PEP 659 пришвидшення певних операцій над специфічними типами даних
  • 15:19-17:01 Марк Шенон і його план про пришвидшення Пайтону
  • 17:02-20:36 PEP 657 Більш дружні повідомлення про помилки
  • 20:36-27:05 PEP 654 ExceptionsGroup ака дерева помилок
  • 27:05-32:14 PEP 646 Варіадичні Дженерики
  • 32:14-35:48  PEP 655 необов’язкові поля у typing.TypedDict
  • 35:48-45:23 Тайпінги і асінкайко - це милиці? По-черзі бомбимо на пітон.
  • 45:23-46:43 PEP 673 - продовжуємо про тайпінги. Новий тип Self
  • 46:43-48:21 PEP 675. Arbitrary Literal String Type
  • 48:21-49:07 PEP 681. Data Class Transform
  • 49:07-52:43 PEP 680 стандартний парсер TOML
  • 52:43-56:04 Зміни в асінкайоу: таск групи і людьскі таймаути
  • 56:05-57:15 Нарешті дефолтовий Str + Enum = StrEnum
  • 57:17-58:22 Атомарні регексп групи
  • 58:22-1:00:14 Що подеприкейтили?
  • 1:00:14-1:01:48 Outro

Долучайтесь:

Музика: https://www.streambeats.com/ | @stas_gee

Nov 22, 202201:01:48
№24: Дикий Захід Crypto світу: хаки, баги та інші неприємні ситуації, що коштували грошей

№24: Дикий Захід Crypto світу: хаки, баги та інші неприємні ситуації, що коштували грошей

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

В гостях – Ярослав Ходаковський

  • 00:00-02:04 Дисклеймер, “що в епізоді” та представлення нашого гостя Ярослава. Фазовий перехід від трьох людей до чотирьох у записі
  • 02:05-12:12  Основні “дійові особи” зі світу криптовалют:  консенсус, гаманець, транзакція, блок. Proof-of-Work і Proof-of-Stake. Паливо і ціна на нього
  • 12:12-15:06 Основні застосування крипти.  Decentralized Finance aka DeFi: (Market Makers aka MM, Order Books, Automated Market Makers aka AMM, похідні фінансові інструменти, позики і страхування). Decentralized Autonomous Organization aka DAO. NFT. Зберігання даних. Корпоративні/закриті блокчейни
  • 15:06-18:16 Наскільки децентралізовані “децентралізовані блокчейн системи”? Флешбечимо до епізоду №20
  • 18:16-18:52 Як ми обирали історії для випуску
  • 18:52-21:34 Хтось заплатив 2.6млн $ за переказ 130$
  • 21:34-24:18 Продаж Bored Ape NFT за 0.75 ефіра замість 75 ефіра через помилку у формі продажу
  • 24:18-25:30 Новий правопис і назва “Етер”
  • 25:30-29:30 Нульова адреса в блокчейні, яка має 11.5к ефірів. Коментарі до транзакцій на сайті etherscan. Аналогії з example.com
  • 29:30-32:43 Стандарт ERC20 токенів. Пост-мортем одного проекту, де замість віднімання токенів у словнику-лічильнику токенів, було присвоєння
  • 32:43-36:01 Конфлікт децентралізації і регуляризації. Адмін-адреси і замороження гаманців/транзакцій після ґаків чи по запиту представників правопорядку
  • 36:01-45:44 DAO hack. Із-за вразливості, 15% всього ефіру (тогочасного) були під загрозою крадіжки від зловмисника. Як результат, hard fork і розділ на Ethereum і Ethereum Classic
  • 45:44-48:30  Враховуючи попередню історію, наскільки це все “надійно” і коли стане ліпше. Єдине правильне використання крипти — донатити
  • 48:30-54:45 Parity Multisig. Неініціалізований бібліотечний контракт привів до заморозки  коштів на 500k ефірів на ~577 гаманцях
  • 54:45-56:50 Незмінюванність контрактів на ефірі. Паттерн з проксі-контрактами
  • 56:50-1:05:14 Ґаки в крипті. Ronin hack і крадіжка 625M$. Уроки з цього ґаку і рефлексія про стан розробки під блокчейн. Прохання від простих користувачів до ґакера поділитися награбованим
  • 1:05:14-1:10:48 Ґак Poly network на 610M$. Драматичний розвиток подій з поверненням грошей, Q&A сесією і винагородою для ґакера
  • 1:10:48-1:12:40 Етап ICO (Initial Coin Offering) у ефіра
  • 1:12:40-1:14:22 Prodeus як приклад поганого ICO. Обіцянки революціонізувати овочево-фруктову галузь і подальший “дефейс” сайту
  • 1:14:22-1:18:04 Мнемонічна фраза с туторіала в публічному доступі дає доступ до аккаунта, на який хтось перевів 10 ефірів(~40k$ на той час)
  • 1:18:04-1:24:35 Tornadocash - міксер на ефірі. Що таке міксер? Накладання санкцій американським казначейством на цей криптопроект, “відлучення” від популярних API
  • 1:24:35-1:28:20 Підбиваємо підсумки
  • 1:28:20-1:30:21 Outro


Долучайтесь:

Музика: https://www.streambeats.com/ | @stas_gee

Oct 31, 202201:30:22
№23: Stable Diffusion – вбачаємо образи в шумі

№23: Stable Diffusion – вбачаємо образи в шумі

🔞 Тут будуть матюки 🔞

Робочі посилання і коментарі в каналі https://t.me/midnight_chatter

  • 0:0-0:30 Дисклеймер
  • 0:31-1:10 Про що цей епізод?
  • 1:11-4:45 Які свіжі моделі вміють у text -> image? (Спойлер: midjourney / stable diffusion / dalle-2 / parti / imagen / dalle-mini aka craiyon). Якими можна погратись безкоштовно?
  • 4:46-15:10 Що таке архітектура encoder-decoder, латентне представлення, задача прибирання шуму
  • 15:11-21:00 Поглянемо на механізм роботи дифузійних моделей (diffusion models) з висоти польоту птиці — що лякає Сашу? Важливість апскейлінгу. Обсяги дата поінтів коли працюємо на хайрез картинках
  • 21:01-24:28 Задачі, які можна вирішувати такими моделями — інпеінтінг, скетч в картинку, текст в картинку, різні стилі — чому страждають художники? Професіонали залишаться професіоналами!
  • 24:29-32:35 Юзкейси і штуки які вже роблять: плагіни для фотошопу, інструменти для колажів, відео, етс – як AI допоможе вам виграти $300
  • 32:36-36:26 Як відбувається сучасна інтеграція людини та машини — чи досі актуально використовувати для цього “морзянку”?
  • 36:27-43:28 Кому дадуть $600k на опен сорс? Тренуйте правильні моделі! Аромат комунізму. Федеративне навчання — розв’язок?
  • 43:29-46:28 Суперкомп’ютер КПІ не допоможе вам натренувати свою дифузійну модель
  • 46:29-58:42 Гуманізація моделей. Всередині dalle-2 є прихована language model! А фейсбук боти трейдили і "вигадали приховану мову"
  • 58:43-1:03:59 Яка модель генерує найгарніші зображення? І чи зможе якась з них зрозуміти концепт швайнокарася? 9/11 у світі AI
  • 1:04:00-1:04:22 Які дипломні роботи будуть писати люди в КПІ?

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Twitter: @O_Balachky

TikTok: @o_balachky

Музика: https://www.streambeats.com/ | @stas_gee

Sep 27, 202201:04:27
№22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

№22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

В гостях – Олександр з Zalando

🔞 Ми перестали вирізати матюки 🔞

Робочі посилання в каналі https://t.me/midnight_chatter

  • 00:00-00:30 Дисклеймер
  • 00:30-01:50 Інтро і 🇩🇪Data See
  • 01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
  • 02:31-04:00 Звідки назва? Дельта формат і дата лейк
  • 04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
  • 08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
  • 10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
  • 13:40-14:46 Неструктуровані дані і дельта лейк
  • 14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
  • 15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
  • 18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
  • 19:28-22:15 Як дельта лейк працює на запис
  • 22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
  • 34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”.
  • 35:59-36:26 Милі котусики сперечаються, хто кого більше любить
  • 36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
  • 42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
  • 44:47-47:37 Зручніть розгортання копій таблиць
  • 47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
  • 48:57-50:00 Заглядаємо в саму суть дельти ака висновки
  • 50:00-51:34 Outro

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Twitter: @O_Balachky

TikTok: @o_balachky

Музика: https://www.streambeats.com/ | @stas_gee

Aug 23, 202251:35
№21: Новини зовнішнього інтернету, скорочитання і поганий гумор.

№21: Новини зовнішнього інтернету, скорочитання і поганий гумор.

🔞 Ми перестали вирізати матюки 🔞

Робочі посилання в каналі https://t.me/midnight_chatter

  • 0:00-2:50  Як гакерньюзівці свій data warehouse будували на SQLite. SQLite у D1 від Cloudflare. Clickhouse 💩 в твітері (exhibit A, B, C, D)
  • 2:50-3:25 Інтро і головні дієві особи цього випуску
  • 3:25-4:43 Ян Гудфелоу тікає з Apple через режим роботи в офісі. Вестернери ще не знають, що у них все буде погано
  • 4:43-5:28 MASSIVE датасет від Amazon
  • 5:28-6:05 Опенсорсний arnheim від DeepMind для генеративних колажів
  • 6:05-07:11 Ще від DeepMind: RL агент Gato🐈 . Єдиний трансформер вирішує різний спектр задач
  • 07:11-09:04 Чи робить arnheim те, що робить dalle чи imagen? [тоді ще не було dalle-mini] Але ніякої України
  • 09:04-13:08 Prompt Engineering. Як генеративні моделі змінюють підходи до рішення різних задач. Хфілософія про майбутнє, де люди благатимуть моделі вирішити їх задачі
  • 13:08-16:14 Філосовська підводка до злоумисної модифікації пакета ctx, щоб забрати ваші секрети.
  • 16:14-18:40 Чому кастомні домени можуть бути не дуже гарною ідеєю
  • 18:40-19:02 Tiny news about TinyGo
  • 19:02-27:10 Застосунки для скорочитання. Bionic Reader. [тут один з нас трішки полюбив козу, бо розробкою займався хлопак, що мав дуже поверхневе відношення до Швейцарського інститута, але ніяк не група з MIT] TorpedoRead що не дуже вірить у ексклюзивність цієї ідеї. SwiftRead.
  • 27:10-31:42 Відмова від софта російського. Short list на викидання. 1C у Касті
  • 31:42-35:23 Як Укрпошта показала е-коммерсу, що є ще куди рости. Бага чекауту в Касті.
  • 35:24-36:27 Outro. Новий візуал від @duke_mort_pixel. Відправте десь щось комусь.

Музика: https://www.streambeats.com/

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Jun 14, 202236:57
№20: WEB2.0 люди поринають у WEB3
Jan 24, 202255:19
№19: Ще більше причин бути параноїком
Dec 27, 202141:33
№18: Розумний будинок з Денисом Довганем

№18: Розумний будинок з Денисом Довганем

В гостях Денис Довгань @denysdovhan

  • 00:43 - з чого почався розумний будинок
  • 03:20 - пожежна безпека
  • 04:15 - софт та хард з якого все почалось у 2018 році (apple home kit sdk та сумісність різних екосистем)
  • 14:20 - перехід на home assistant
  • 21:45 - setup home assistant з існуючими девайсами
  • 25:45 - підключення ZigBee до Raspberry Pi
  • 30:40 - різні способи встановлення home assistant (док)
  • 38:47 - самостійне розгортання home assistant на raspberry, без home assistant os
  • 44:25 - додаткові self-hosted штуки на домашньому сервері: cockpit, portainer, duplicati, AirConnect, AdGuardHome, Plex, Umami.is, Vaultwarden
  • 50:20 - організація доступу ззовні та інформаційна безпека: duckdns, nginx proxy manager, Cloudflare, fail2ban
  • 55:24 - наскільки все надійно працює
  • 1:01:50 - про власний open source навколо home assistant і сайт з документацією
  • 1:07:17 - як створювати автоматизацію (задавати сценарії)
  • 1:11:56 - найкрутіший сценарій: голосові сповіщення
  • 1:15:55 - автоматизація робота пилососа
  • 1:18:25 - автоматизація присутності
  • 1:23:05 - підключення кліматичної техніки
  • 1:26:18 - автоматизція режиму тищі під чс дзвінків
  • 1:27:30 - інші прості автоматизції на сенсорах
  • 1:32:00 - flux на всю квартиру
  • 1:32:30 - факапи та стрьомні моменти
  • 1:37:15 - wife approval

Музика подкаста: Harris Heller - StreamBeats

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Nov 12, 202101:40:05
Полуночный трёп №17: Facebook упал, Twitch утёк
Oct 11, 202127:47
Полуночный Трёп №16: DIY – делайте железки сами

Полуночный Трёп №16: DIY – делайте железки сами

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

  • 00:00-01:02 Intro.
  • 01:02-08:14  DIY. Про железки. Как правильно мигать светодиодом на ардуино. Arduino C. Как использовать протоколы посложнее.
  • 08:17-11:34 Игра "Жизнь" на Arduino. Взаимодействуем с OLED-дисплеями. Bit array для хранения битов внутри целых чисел.
  • 11:34-12:12 Про датчики.
  • 12:13-15:55 Аппаратный ввод пароля. Внезапный Counter-Strike.
  • 15:55-18:24 Как упаковывать свои железки.
  • 18:24-34:34 Система автополива цветов на raspberry pi. Датчик влажности, температуры и давления – bme280. АЦП который типа "вольтметр" – ads1015. Ёмкостный датчик влажности: https://www.dfrobot.com/product-1385.html. Как решается проблема нескольких датчиков на одних и тех же пинах. Добавляем python & cron по вкусу. Собираем метрики в prometheus.
  • 34:34-43:22 Микроконтроллеры с Wi-Fi: esp32, esp8266. Потребление энергии и затраты на передачу данных по wi-fi. NodeMCU. Почему все таки raspberry pi, а не NodeMCU для полива цветов?
  • 43:22-53:12 Умный глазок. Простой трюк для повышения угла обзора raspberry pi совместимой камеры. Как использовать неодимовые магниты в хозяйстве. Motion и mjpeg. MinIO. Как можно было бы организовать софт для этого лучше.
  • 53:12-55:15 Зачем все таки DIY?
  • 55:15-56:49 Outro

Музыка подкаста: Harris Heller - StreamBeats

Sep 13, 202156:44
Полуночный Трёп №15: Apple CSAM, выбрасываем iphone и идём жить в лес

Полуночный Трёп №15: Apple CSAM, выбрасываем iphone и идём жить в лес

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter



Музыка подкаста: Harris Heller - StreamBeats

Aug 27, 202121:28
Полуночный Трёп №14: много запикиваний, ищем приблизительных соседей и фильтруем плохие DNS запросы своими руками

Полуночный Трёп №14: много запикиваний, ищем приблизительных соседей и фильтруем плохие DNS запросы своими руками

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

Aug 09, 202144:34
Полуночный трёп №13: Визуализация данных

Полуночный трёп №13: Визуализация данных

К сожалению, все описание не влазит, полный перечень ссылок и деталей 👉 вот тут 👈

  • 00:00-00:50 Интро, дисклеймер и прочая.
  • 00:50-03:53 Что изучить по теме визуализации.
  • 03:53-13:31 Кейс №1: EDA, графики метрик и прочая. 
  • 13:31-25:38 Кейс №2: визуализация эмбедингов
  • 25:38-28:41 Кейс №3: картинки
  • 28:41-29:58 Кейс №4: визуализация аудио
  • 29:58-32:10 Кейс №5: загружаем и рисуем видео
  • 32:12-34:25 Кейс №6: рисуем графы
  • 34:35-35:27 Кейс №7: автоматический EDA
  • 35:27-49:25 Кейс №8: визуализируем непосредственно работу (моделей/кода etc)
  • 49:25-50:49 Кейс №9: делаем репорты
  • 50:49-52:49 Если ничего не подошло
  • 52:49-1:10:18 Странные и интересные визуализации
  • 1:10:18-1:12:17 Outro, и призыв присылать ужасные визуализации.

Музыка подкаста: Harris Heller - StreamBeats


Jul 26, 202101:12:18
Полуночный трёп №12: Data Mesh - почему, что и как.

Полуночный трёп №12: Data Mesh - почему, что и как.

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

Ссылки

Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

Инструменты не влазят в лимиты описание, поэтому они вот.


Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

May 07, 202101:33:56
Полуночный трёп №11: находим куски видео по тексту, и обсуждаем новые фичи Go и Python

Полуночный трёп №11: находим куски видео по тексту, и обсуждаем новые фичи Go и Python

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

Mar 15, 202140:52
Полуночный трёп №10: @retry(1), ML уже в твоей базе, и о чем забывают, когда обсуждают шатающий акции реддит.

Полуночный трёп №10: @retry(1), ML уже в твоей базе, и о чем забывают, когда обсуждают шатающий акции реддит.

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

Mar 01, 202150:30
Полуночный трёп №9 - @tiangolo/fastapi - Project Spotlight

Полуночный трёп №9 - @tiangolo/fastapi - Project Spotlight

Sebastián Ramírez https://dev.to/tiangolo | https://medium.com/@tiangolo | https://twitter.com/tiangolo | https://github.com/tiangolo/blog-posts

Код проекта https://github.com/tiangolo/fastapi

Другие подкасты-интревью с создателем

Flask VS FastAPI https://amitness.com/2020/06/fastapi-vs-flask/

ApiStar v0.5.X - прообраз проекта https://github.com/encode/apistar/tree/version-0.5.x

Интересные пакеты из кода/примеров:

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter


Jan 26, 202159:17
Полуночный трёп №8: Apple жгут ваш счет за wi-fi, потенциальные причины харакири дата инженеров из Японии и дата феменизм

Полуночный трёп №8: Apple жгут ваш счет за wi-fi, потенциальные причины харакири дата инженеров из Японии и дата феменизм

Телеграм канал с анонсами (и рабочими ссылками) и возможностью оставить комментарий к выпуску: https://t.me/midnight_chatter

🔗 Radio Kottans

Музыка подкаста: Harris Heller - StreamBeats

Dec 14, 202047:48
Полуночный трёп №7: кашляем ИИ в ухо, проксируем популярность языков по выдаче поисковиков и готовимся к собеседованиям с сортированными массивами
Dec 07, 202038:05
Полуночный трёп №6: Миллиарды деревьев в Сахаре, когда стоит менять работу и даже драма в МЛ комьюнити

Полуночный трёп №6: Миллиарды деревьев в Сахаре, когда стоит менять работу и даже драма в МЛ комьюнити

Nov 30, 202044:50
Полуночный трёп №5: Сито памяти от линкедин, JWT по-прежнему плох, а фейсбук модели отбирают работу у переводчиков пушту

Полуночный трёп №5: Сито памяти от линкедин, JWT по-прежнему плох, а фейсбук модели отбирают работу у переводчиков пушту

Телеграм канал с анонсами и возможностью оставить комментарий к выпуску: https://t.me/midnight_chatter

  • 0:00 - 0:20 Intro
  • 0:21 - 4:30 видеорегистраторы: с вайфаем, с sim-картами, на Raspberry Pi. Motion
  • 4:30 - 5:06 jbang
  • 5:06 - 7:53 pyenv-virtualenv и корнер-кейс из реальной жизни с аргументами. Ну и вообще, пользуйтесь докером.
  • 7:53 - 11:15 Изобретение из Оксфорда: компьютерное зрение детектит микрочастицы ковид вируса.
  • 11:16 - 18:51 Facebook модель для машинного перевода между сотней языков. M2M-100 (альтернативная версия). FLoRes – бенчмарк-датасет машинного перевода для редких языков. А еще общие рассуждения о том, сколько BERTов в этой модели и куда отправлять гуманитарную помощь за чужие рисерч деньги.
  • 18:51 - 25:11 Во всем виноваты странные дефолты вашей джава библиотеки или How I Found An alg=none JWT Vulnerability in the NHS Contact Tracing App. А также ворчание на общепринятость JWT. Ну и в Awesome-nodejs нет jwt библиотек
  • 25:11 - 26:30 QR коды можно делать для машин людей – RevK®'s ramblings: How not to QR (NHS COVID-19 App)
  • 26:30 - 43:39 Case study от LinkedIn с названием из мира Гарри Поттера. Pensieve: An embedding feature platform. Строим эмбеддинги для высокоразмерных признаков, сервим с помощью Apache Beam и улучшаем даунстрим модели. Гипотетически рассуждаем, почему сделано так, а не иначе.
  • 43:39 - 58:30 Youtube-dl репу удалили из-за DMCA (приложение с перечислением конкретных видео). А также сценарии конца мира, где ПО доступно, налоги на мозги и прочие ужасы.
  • 58:30 - 59:17 Outro

Музыка подкаста: Harris Heller - StreamBeats

Nov 16, 202059:18
Полуночный трёп №4: в очередной раз дропаем продакшен базу, большие корпорации опять буки и наживаются на вашем опенсорс софте, а Glassdoor’у нельзя верить!
Nov 09, 202052:27
Полуночный трёп №3: не ходите работать в Твитч, роботы Амазона обгоняют людей, а злодеи воруют ваши модели!
Nov 02, 202001:07:59
Полуночный трёп №2: Special Edition, выбираем компанию, о чем говорить?
Oct 26, 202058:08
Полуночный трёп №1: This Week I learned, Hacktoberfest сломан, злые гении из Encrochat
Oct 15, 202049:50