AWS на русском

Прошло довольно много времени с момента последнего новостного выпуска, а значит, свежих апдейтов подоспело немало! Что же нового вышло в AWS с конца весны?

Подборка материалов и актуальной информации о последних релизах:

В этом выпуске мы поговорили о DynamoDB, что это за база данных такая. Начали с основ, какого именно типа база данных DynamoDB, как именно данные хранятся в таблицах. Что такое локальные и глобальные вторичные индексы - чем они отличаются, и когда их стоит применять и создавать. На что стоит обратить внимания во время проектирования хранилища данных используя DynamoDB, и какие есть плюсы минусы при работе с GSI, и почему не стоит забывать про проблему "hot" partition. Все это и не только в новом выпуске вместе с Кареном (Data Community Builder)

Полезные ссылки

Продолжаем говорить про AWS организации. 

В первой части мы закончили говорить про Organization Units, а во второй уже начали с service control policies (SCPs): как работают политики и как внутренний сервис Amazon - Zelkova, помогает с безопасностью. Что такое AWS Control Tower и как он помогает в построении организации. Не забыли раскрыть тему уменьшения расходов при использовании AWS организации и другие преимущества работы с ней.

Полезные ссылки

В этом выпуске обсудили специфику бизнеса разработчиков игр и выяснили на опыте интересных публичных кейсов, почему облака так привлекательны игровым компаниям.

Также обсудили:

• Как AWS связан с разработкой игр и их оперированием.
• Какие бывают задачи: аналитика, гейм-сервера, мета, билды, доставка контента.
• Рекомендации для инди девелоперов / небольших студий, с чего лучше начать.
• Как можно экономить, используя AWS, если у вас уже есть игра в оперировании.

Полезные ссылки

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации. 

Полезные ссылки

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Саша (Solutions Architect, AWS) и Ростислав (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков.

• Какие лиги есть в DeepRacer?
• Как правильно натренировать вашу модель?
• Как именно освоение DeepRacer может впоследствии помочь на проекте?

Полезные ссылки

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач. 

Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали:

• Что такое MLOps? 
• Из каких фаз строиться MLOps - какие шаги включены в CI/CD. 
• Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте. 
• Как реализовать MLOps в AWS. 
• MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок.

Полезные ссылки

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов. 

В этом выпуске вы узнаете:

• Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы
• История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже). 
• Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов.
• Поможет ли сертификация в карьере, на примере конкретного человека.

Все это и не только в нашем выпуске про сертификацию. 

Полезные ссылки

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили:

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными.

· Место Data Lake в современной организации. Дата продукты и что из них готовят

· Что предлагает AWS: каждый кейс индивидуален

· DevOps: нетривиальные задачи – нетривиальные решения. 

· Безопасность превыше всего: AWS LakeFormation

· Data Mesh как следующее звено эволюции использования данных

Ссылки

Новостной выпуск, говорим о последних релизах с марта по апрель.

AWS предлагает большое количество разнообразных сертификаций, начиная с простого погружения в базовые знания облачных технологий, заканчивая сложными сертификатами уровня Pro (например, AWS Solution Architect Professional). Также существует множество сертификаций с узкой специализацией - базы данных, сети, безопасность и пр.  Но стоит ли тратить свое время на подготовку и сдачу сертификатов в 2022-ом году? Какова их ценность и влияет ли прохождение сертификации на повышение уровня вашей экспертизы? Наша гостья Viktoria Semaan помогла разобраться с вопросами: 

• Нужны ли сертификаты в 2022-ом году?
• Как часто работодатели обращают внимание на наличие сертификатов у кандидата?
• Стоит ли проходить сертификацию, если нет практического опыта?
• Как будет отличаться уровень сертификации Associate level vs Professional AWS Certified Solutions Architect – Associate Certification and AWS Certified Solutions Architect - Professional Certification
• Сертификаций много - в каком порядке правильно их сдавать? 
• Как готовиться к сертификации?

Таймкоды: 

00:00:28 - Viktoria Semaan в гостях   

00:01:35 - Виктория сдала 3 сертификата за 6 недель

00:05:06 - Нужны ли сертификаты в 2022-ом году?

00:14:35 - Как часто работодатели обращают внимание на наличие сертификатов у кандидата?

00:18:05 - Стоит ли проходить сертификацию, если нет практического опыта?

00:22:15 - Сертификаций много - в каком порядке правильно их сдавать?

00:25:55 - Как будет отличаться уровень сертификации Associate level vs Professional

00:31:33 - Как готовиться к сертификации?

00:36:09 - Стоит ли смотреть на примеры вопросов? 

Ссылки

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому 

00:29:40 - Инструменты для создания инфраструктуры  

00:34:00 - Советы для других


Ссылки

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом.

Таймкоды:
00:00:24 - Рома Бойко в гостях  
00:02:28 - Почему serverless
00:07:20 - 4 характеристики serverless
00:09:05 - Cписок serverless сервисов в AWS
00:12:00 - Основные use-cases
00:16:23 - Как построить CI/CD для serverless
00:22:20 - Ограничения Lambda
00:24:30 - AWS Lambda power tuning
00:28:43 - Разогрев Lambda функций

Ссылки

Анонсы в AWS идут каждый день, и чтобы оставаться в курсе последних новинок мы добавляем отдельную категорию - новостные выпуски.
Обсудили следующие новинки:

• Guard Duty - теперь обнаруживает когда профиль EC2 инстанса, используется в другом AWS аккаунте. А также можно подключать Guard Duty к вашему Kubernetes EKS кластеру.
• Amazon VPC теперь поддерживает управляемый AWS список префиксов для Amazon CloudFront
• App Runner теперь поддерживает VPC
• Репликация существующих объектов с помощью batch репликации Amazon S3
• Amazon DocumentDB (с совместимостью с MongoDB) добавляет дополнительные возможности геопространственных запросов

Таймкоды:
00:01:10 - Guard Duty  
00:10:55 - AWS-managed prefix list for Amazon CloudFront
00:13:58 - App Runner – VPC Support
00:19:10 - Replicate Existing Objects with Amazon S3 Batch Replication
00:22:35 - Mocking service integrations with AWS Step Functions Local
00:26:40 - Новости одной строкой

Ссылки

Как и обещал в этом выпуске у нас гость из Австралии, Евгений Ваганов Head of Networking SA в APJ. Рассказал как про особенности региона, как устроена опорная сеть в AWS. Почему мы используем свое железо и софт для работы сети. Особенности работы SRD (Scalable Reliable Datagram) протокола. И какие тренды в сетях в 2022-ом году. 

Таймкоды:
00:00:24 - Представления Евгения  
00:03:40 - Особенность APJ региона
00:10:05 - Услуги сети в AWS
00:15:03 - Опорная сеть AWS
00:19:00 - AWS hardware для сети
00:26:02 - SRD (Scalable Reliable Datagram) протокол
00:31:23 - Тренды в сетях

Ссылки

AWS на русском: говорим про облачные технологии и не только.

В 5-ом выпуске мы рассмотрели:

• лучшие практики безопасности в Amazon S3;
• с чего стоит начинать, когда создаешь свой первый или очередной бакет;
• как не допустить утечки данных, если они уже доступны в интернете;
• какой метод шифрования выбрать в вашей ситуации;
• как правильно настроить политики, используя IAM Access Analyzer

Таймкоды: 

• История из жизни - суровые политики 00:01:30
• Политики для S3 00:02:15
• IAM Access Analyzer для S3 как использовать 00:07:00
• Шифрование в S3 00:08:45
• Защита от случайного удаления 00:14:30
• Репликация данных 00:18:22
• Что нужно сделать, когда дослушаете эпизод 00:20:04
• Guard Duty + S3 00:23:00
• Подведение итого 00:27:50

Ссылки:

Приоритет номер 0 для AWS — безопасность. Именно с новостей о безопасности мы и начали наш выпуск: Amazon Inspector, AWS Shield.

Продолжили ML/AI новинками: как можно быстро и бесплатно начать погружаться в мир с новой Amazon SageMaker Studio Lab. Как понять нужен ли вообще бизнесу ML без знаний в ML, можно c помощью Amazon SageMaker Canvas быстро проанализировать данные и уже понять надо или нет.

Не обошли стороной мир разработчиков и сетевых инженеров. И в конце выпуска затронули новинки в мире мониторинга: приложения и пользовательского.

Всё это и не только в нашем 4-м выпуске подкаста "AWS на русском".

Таймкоды:

Security 00:01:00

Database 00:06:42

ML 00:09:34

Networking 00:17:54

Development 00:25:19

CloudWatch 00:31:15

AWS re:post 00:34:40

Ссылки

Как же сократить расходы в AWS? Продолжаем тему первого эпизода "AWS на русском".

00:00:22 Вернулись к AWS Well-Architected: как правильно его читать и где можно получить практики по нему.

00:07:30 В деталях разобрали Networking: лучшие практики построения сети (где трафик бесплатный) и как самим правильно настроить маршруты для уменьшения счета за сеть.

00:21:24 И на финал — хранение данных: как правильно настроить жизненный цикл данных и как подходить к хранению данных.

Ссылки:

Самые свежие новости в самом свежем выпуске "AWS на-русском".

На конференции AWS reInvent 2021 было анонсировано почти 100 новых релизов. Осторожно! В этом большом списке апдейтов можно пропасть на несколько вечеров.

Я, Виктор Ведмич (Developer Advocate) вместе с архитекторами AWS, Михаилом Голубевым и Александром Изюмовым, рассмотрели важные анонсы из мира аналитики, хранилищ данных и управления организацией.

30-ти минут выпуска оказалось недостаточно на все новости: скоро выйдет вторая часть. Подписывайтесь на #aws_на-русском, чтобы не пропустить!

Control Tower updates: Terraform support, nested OU, region deny

Добро пожаловать, с вами подкаст "AWS на русском"!

Где и как сэкономить на облачных ресурсах - один из самых часто задаваемых вопросов. Виктор Ведмич, AWS Developer Advocate  и  Михаил Голубев (Solutions Architect AWS) решили начать нашу серию подкастов именно с этой темы.

В первом выпуске мы обсудили AWS Well Architecture: почему лучше начать рассматривать затраты  с архитектурной точки зрения? А также обсудили некоторые детали по compute: Spot Instances, Graviton, Saving plans.

Ссылки: