How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

Part 1: Understanding The ChallengesBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesIntroductionAt Netflix, we manage over a thousand global content launches each month, backed by billions of dollars in annual investment. Ensuring the success and discoverability of each title across our platform is a top priority, as we aim to connect every story with the right audience to delight our members. To achieve this, we are committed to building robust systems that deliver comprehensive observability, enabling us to take full accountability for every title on our service.The Challenge of Title Launch ObservabilityAs engineers, we’re wired to tr…

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

Angel Vargas | Software Engineer, API Platform; Swati Kumar | Software Engineer, API Platform; Chris Bunting | Engineering Manager, API PlatformThe inside of the Pinterest lobby in Mexico City, showing a patterned ceiling, a receptionist deck with a plant on it, a light above it, and a gallery of images of pins you’d find on Pinterest, behind it. To the left, a glowing Pinterest P sign hovers in front of a glass wall.NGAPI, the API platform for serving all first party client API requests, requires optimized system performance to ensure a high success rate of requests and allow for maximum efficiency to provide Pinners worldwide with engaging content. Recently, our team made a significant im…

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

As advanced analytics and AI continue to drive enterprise strategy, leaders are tasked with building flexible, resilient data pipelines that accelerate trusted insights. AI pioneer Andrew Ng recently underscored that robust data engineering is foundational to the success of data-centric AI—a strategy that prioritizes data quality over model complexity. McKinsey Quarterly’s latest research further forecasts […]

The post Elevating Productivity: Cloudera Data Engineering Brings External IDE Connectivity to Apache Spark appeared first on Cloudera Blog.

AI can do a great job with your SEO campaign, as long as you use the right tools to help you.

Agile development is becoming more useful for AI software development teams.

AI technology is playing a very important role in helping fight counterfeiting in the 21st Century.

Data analytics can be very helpful for companies trying to improve their SEO.

BPA software is great for data-driven companies that are trying to improve their bottom line.

China has a unique zip code system, which makes it easier to develop great business intelligence models.

Data analytics can help rehab providers improve their local SEO significantly, which will boost their bottom lines.

AI is great for helping to improve your SEO strategy, especially when you are trying to reach customers across different regions.

AI technology can play an integral role in building stronger business relationships in 2024.

AI is invaluable for cybersecurity professionals trying to help stop unauthorized access to their complex IT ecosystems.

Coming up with the right pricing strategy is crucial for any business, so it is a good idea to use data analytics to help.

Data analytics can be very helpful for brands trying to get more reach on TikTok.

AI has made tradelines more accessible which helps people improve their credit scores.

Autotask and Connectwise are two amazing AI tools that can help with MSPs.

Prompt engineering has become a key discipline for optimizing AI systems. Among the various prompt engineering techniques, role-playing prompting stands out for its creativity and effectiveness. In this last blog of WeCloudData’s Prompt Engineering Series, we’ll dive deep into role-playing prompting, explore its applications, and share actionable tips to master this innovative approach. Whether you’re […]

The post Role Play Prompting appeared first on WeCloudData.

Welcome to the fourth blog in WeCloudData’s Prompt Engineering Series! In the previous blog we explored basic prompt engineering techniques, such as zero-shot prompting and few-shot prompting. These techniques are effective in helping large language models to produce contextually relevant output. This blog is an introduction to a more advanced technique known as chain of […]

The post Chain of Thought Prompting (CoT) appeared first on WeCloudData.

Generative AI is one of the most transformative innovations in artificial intelligence. This technology has revolutionized multiple domains like healthcare, education, and business. From generating text to composing music and creating art, generative AI has opened a world of limitless possibilities. The aim is to create content that is as similar to humans as possible […]

The post Complete Guide to Generative AI: Applications, Benefits & More appeared first on WeCloudData.

Our interactions with AI models are as important as the technology itself. Prompt engineering is the secret to maximizing the potential of AI systems like ChatGPT, Gemini, DALL-E, and other Large Language Models (Link to our blog on GAI & LLM) , whether you’re summarizing complex documents, or brainstorming creative ideas. At WeCloudData, we are […]

The post Introduction to Prompt Engineering appeared first on WeCloudData.

At WeCloudData, we’re passionate about deciphering emerging technologies like Generative AI. Whether you’re a student exploring career options, a professional looking to upskill, or a business owner seeking innovative solutions, understanding Generative AI and its backbone, Large Language Models (LLMs), is critical in today’s fast-paced world. What Is Generative AI? Generative AI is a type […]

The post Generative AI with LLMs: The Future of Creativity and Intelligence appeared first on WeCloudData.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

Today, we’re excited to announce multi-turn conversation with an agent node (preview), a powerful new capability in Flows. This new capability enhances the agent node functionality, enabling dynamic, back-and-forth conversations between users and flows, similar to a natural dialogue in a flow execution.

On October 22, 2024, we announced the availability of the Aurora Global Database writer endpoint, a highly available and fully managed endpoint for your global database that Aurora automatically updates to point to the current writer instance in your global cluster after a cross-Region switchover or failover, alleviating the need for application changes and simplifying routing requests to the writer instance. In this post, we dive deep into the new Global Database writer endpoint, covering its benefits and key considerations for using it with your applications.

In this post, we show you an innovative solution to a challenge faced by security teams in highly regulated industries: the efficient security analysis of vast amounts of video recordings from Privileged Access Management (PAM) systems. We demonstrate how you can use Anthropic’s Claude 3 family of models and Amazon Bedrock to perform the complex task of analyzing video recordings of server console sessions and perform queries to highlight any potential security anomalies.

Accurately converting free text inputs into structured data is crucial for applications that involve data management and user interaction. In this post, we introduce a real business use case from Cato Networks that significantly improved user experience. By using Amazon Bedrock, we gained access to state-of-the-art generative language models with built-in support for JSON schemas and structured data.

In this post, we show you how Amazon Web Services (AWS) helps in solving forecasting challenges by customizing machine learning (ML) models for forecasting. We dive into Amazon SageMaker Canvas and explain how SageMaker Canvas can solve forecasting challenges for retail and consumer packaged goods (CPG) enterprises.

In this post, we show how you can integrate Amazon Lex with Amazon Bedrock Knowledge Bases and ServiceNow to provide 24/7 automated support and self-service options.

In this two-part series, we show how you can import and export using Parquet and CSV to quickly gather insights from your existing graph data. In Part 1, we introduced the import and export functionalities, and walked you through how to quickly get started with them. In this post, we show how you can use the new data mobility improvements in Neptune Analytics to enhance fraud detection.

In this two-part series, we show how you can import and export using Parquet and CSV to quickly gather insights from your existing graph data. Part 1 introduces the import and export functionalities, and walks you through how to quickly get started with them. In Part 2, we show how you can use the new data mobility improvements in Neptune Analytics to enhance fraud detection.

Skello is a human resources (HR) software-as-a-service (SaaS) platform that focuses on employee scheduling and workforce management. It caters to various sectors, including hospitality, retail, healthcare, construction, and industry. In this post, we show how Skello uses AWS Database Migration Service (AWS DMS) to synchronize data from an monolithic architecture to microservices and perform data ingestion from the monolithic architecture and microservices to our data lake.

In this post, we demonstrate how to use the OpenSearch Ingestion’s Lambda processor to generate embeddings for your source data and ingest them to an OpenSearch Serverless vector collection. This solution uses the flexibility of OpenSearch Ingestion pipelines with a Lambda processor to dynamically generate embeddings.

Orca Security, an AWS Partner, is an independent cybersecurity software provider whose patented agentless-first cloud security platform is trusted by hundreds of enterprises globally. At Orca Security, we use a variety of metrics to assess the significance of security alerts on cloud assets. Our Amazon Neptune database plays a critical role in calculating the exposure of individual assets within a customer’s cloud environment. By building a graph that maps assets and their connectivity between one another and to the broader internet, the Orca Cloud Security Platform can evaluate both how an asset is exposed as well as how an attacker could potentially move laterally within an account. In th…

Modern applications are built as a group of microservices, and the latency for one component can impact the performance of the entire system. Monitoring latency is critical for maintaining optimal performance, enhancing user experience, and maintaining system reliability. In this post, we explore ways to monitor latency, detect anomalies, and troubleshoot high-latency issues effectively for your self-designed (node-based) ElastiCache clusters.

Amazon MemoryDB is a Valkey– and Redis OSS-compatible, durable, in-memory database service that delivers ultra-fast performance. With MemoryDB, data is stored in memory with Multi-AZ durability, which enables you to achieve microsecond read and single-digit millisecond write latency and high throughput. MemoryDB is often used for building durable microservices and latency-sensitive database workloads such as […]

In this post, we show you how Kyndryl integrated Amazon Q Business with ServiceNow in a few simple steps. You will learn how to configure Amazon Q Business and ServiceNow, how to create a generative AI plugin for your ServiceNow incidents, and how to test and interact with ServiceNow using the Amazon Q Business web experience. This post will help you enhance your ServiceNow experience with Amazon Q Business and enjoy the benefits of a generative AI–powered interface.

In this post, we address common challenges associated with manual MSK topic configuration management and present a robust Terraform-based solution. This solution supports both provisioned and serverless MSK clusters.

This post introduces HCLTech’s AutoWise Companion, a transformative generative AI solution designed to enhance customers’ vehicle purchasing journey. In this post, we analyze the current industry challenges and guide readers through the AutoWise Companion solution functional flow and architecture design using built-in AWS services and open source tools. Additionally, we discuss the design from security and responsible AI perspectives, demonstrating how you can apply this solution to a wider range of industry scenarios.

In this post, we show how you can use our enterprise graph machine learning (GML) framework GraphStorm to solve prediction challenges on large-scale complex networks inspired by our practices of exploring GML to mitigate the AWS backbone network congestion risk.

In this post, we show you how EUROGATE uses AWS services, including Amazon DataZone, to make data discoverable by data consumers across different business units so that they can innovate faster. Two use cases illustrate how this can be applied for business intelligence (BI) and data science applications, using AWS services such as Amazon Redshift and Amazon SageMaker.

In this post, we showcase how to use PGRX and PL/Rust to efficiently access and manipulate all built-in PostgreSQL data types in Rust. We demonstrate how to write performant functions that create and serialize JSON objects that include these built-in types. These functions are directly usable in your database and use the newly supported serde and serde_json crates. We also walk through deploying an Amazon RDS for PostgreSQL instance with PL/Rust enabled, and how PGRX type mapping allows you to use all built-in PostgreSQL types in a JSON object.

Deploying AWS Elastic Disaster Recovery at scale provides robust protection for your infrastructure. The DRS Settings Tool is an invaluable resource for updating settings across your infrastructure efficiently. In this post, we show you how to setup and use the DRS Settings Tool to update all your Elastic Disaster Recovery source server settings in bulk.

Juicebox is an AI-powered talent sourcing search engine, using advanced natural language models to help recruiters identify the best candidates from a vast dataset of over 800 million profiles. At the core of this functionality is Amazon OpenSearch Service, which provides the backbone for Juicebox’s powerful search infrastructure, enabling a seamless combination of traditional full-text search methods with modern, cutting-edge semantic search capabilities. In this post, we share how Juicebox uses OpenSearch Service for improved search.

In this post, we show how to extend Amazon Bedrock Agents to hybrid and edge services such as AWS Outposts and AWS Local Zones to build distributed Retrieval Augmented Generation (RAG) applications with on-premises data for improved model outcomes. With Outposts, we also cover a reference pattern for a fully local RAG application that requires both the foundation model (FM) and data sources to reside on premises.

The research team at AWS has worked extensively on building and evaluating the multi-agent collaboration (MAC) framework so customers can orchestrate multiple AI agents on Amazon Bedrock Agents. In this post, we explore the concept of multi-agent collaboration (MAC) and its benefits, as well as the key components of our MAC framework. We also go deeper into our evaluation methodology and present insights from our studies.

In this post, we discuss configurations in AWS DMS endpoints and AWS DMS tasks to migrate spatial columns from Oracle to Aurora PostgreSQL-Compatible efficiently.

The CLI struggle is real Command-line tools are meant to simplify infrastructure and DevOps workflows, but the reality is often the opposite. Instead of speeding things up, the vast array of commands, flags, and syntax turns the CLI into a puzzle. Tools meant to enhance productivity have developers endlessly tab-switching between searches, forums, and docs […]

This post showcases how to use Spark on AWS Glue to seamlessly ingest data into OpenSearch Service. We cover batch ingestion methods, share practical examples, and discuss best practices to help you build optimized and scalable data pipelines on AWS.

Hey r/dataengineering, I’ve been working with dbt snapshots, and I recently ran into a challenge: an upstream schema change resulted in a column being renamed in the source table. Since dbt snapshots rely on unique_key and check_cols to track changes, I’m curious about how others handle these situations. Specifically: How do you deal with column renames in a way that avoids breaking the snapshot or duplicating data? Is it a common practice to join sql insert the old data into the new column? Do you just rebuild the snapshot and "lose" the old data? Do you have proactive processes or tools in place to handle schema changes like this? Any tips for ensuring historical data remains consistent? …

Hey guys, my company is initiating a project which will gather our customer's data (around 10k-50k records per month) and will try to map it back to our huge database of 250 million records in Clickhouse. Right now, we're ingesting data from our customers using a web service that dumps the data into kafka (AWS MSK) and exporting nightly all the data to S3. An ideal solution should be consuming the data from S3, doing some transformations on them, joining it with our data in Clickhouse, and then dump the joined data (alongwith some metadata) to somewhere (undecided right now, could be postgres, clickhouse, or just another S3 file). We built a prototype for it by loading the data from Clickho…

Just Got Hired as a Data engineer what are the things i need to know guys submitted by /u/Longjumping_Ring8904 [link] [comments]

At my company, as I am sure with yours, management has been pushing us to find genAI use cases. One thought I've had is add a step in some of my data flows that sends data from BigQuery (via a python app running on Cloud run) to openai's API to summarize text data. Reducing the text string from 10000 characters to 200 - 250 character summaries. It makes human interaction with this text data much easier for our stakeholders. What sort of data products are you creating with genAI at your work? Edit for clarity submitted by /u/Bananaforscale0 [link] [comments]

Hi, I am looking to use the above to do a project but lack ideas. I tried chatgpt and will take ideas from there and implement it. Has anybody worked on a "real live project using the above." I want to build a solid project which I can use in my github profile with a good readme file structure etc. any tips are appreciated or guidance/collabs submitted by /u/Many-Tea-1175 [link] [comments]

My company is currently migrating from SAP Data Service to Azure (Data Factory). Everyone is new to this so we are currently experimenting. After recreating a few of the earlier jobs (Get max date from table, SQL another table using this max date as filter, insert new rows into table) as pipelines, the costs are very large considering the small amount of work being done. Our current piplines are basically copy to blob > get max date from table > use procedure to insert > delete files – but we will need to do more transforms and stuff later on. I have read that using SQL Stored procedures / Python as Azure Function as much as possible is the way to go. Only us DF as an orchestrator and use C…

Who are the champions of honey production? This bar chart race tracks the leading honey-producing countries, highlighting the nations that dominate the global honey market. Expect surprising shifts and changes as countries compete for the title of "Honeycomb Hero." submitted by /u/OrxanMirzayev [link] [comments]

Hi, im planning on getting certified for Databricks DE Associate Certification in March. Anyone who has written the exam recently & was it tough? Please recommend some Prep materials/courses which is enough for the certification (covering all the topics)! submitted by /u/Dizzy_Consequence392 [link] [comments]

If you've worked with object storage like Amazon S3, you're probably familiar with the pain of those sky-high API costs—especially when it comes to those pesky list API calls. Well, we recently tackled a cool case study that shows how our open-source data warehouse, Databend, managed to reduce S3 list API costs by a staggering 70% through some clever optimizations.Here's the situation: Databend relies heavily on S3 for data storage, but as our user base grew, so did the S3 costs. The real issue? A massive number of list operations. One user was generating around 2,500–3,000 list requests per minute, which adds up to nearly 200,000 requests per day. You can imagine how quickly that burns thr…

I'm working on a Python-based control hub for the Walmart Marketplace API. So far, in terms of progress, the program creates two datasets: Items dataset: Contains detailed product metadata of about 8k items. Orders dataset: Contains detailed information of 10k+ orders. Currently, I have two massive JSON files, and I’m not sure if storing these files locally is the best approach or if I should move the data to a server or database before processing it. I've never worked with data to this degree, and I've never worked with large datasets, so I'm trying to get some advice before I start adding features in the program using the datasets. submitted by /u/Icy_Heron_7322 [link] [comments]

Investigating Geoffrey Hinton’s Nobel Prize-winning work and building it from scratch using PyTorchOne recipient of the 2024 Nobel Prize in Physics was Geoffrey Hinton for his contributions in the field of AI and machine learning. A lot of people know he worked on neural networks and is termed the “Godfather of AI”, but few understand his works. In particular, he pioneered Restricted Boltzmann Machines (RBMs) decades ago.This article is going to be a walkthrough of RBMs and will hopefully provide some intuition behind these complex mathematical machines. I will provide some code on implementing RBMs from scratch in PyTorch after going through the derivations.An Overview of RBMsRBMs are a fo…

Let’s Explore Major Design Choices from Meta’s Apollo PaperContinue reading on Towards Data Science »

These 3 starter projects only take a weekend (and a few cups of coffee, maybe)Continue reading on Towards Data Science »

Things that still confuse many Data AnalystsRecently, I gave a presentation on a specific topic: how to investigate drop-offs in conversion funnels within the context of marketing and product analysis.What surprised me? The incredible engagement from the audience. The questions were varied and not just from Data Analysts. Even Data Engineers were curious about how the data they collect is used to make strategic decisions.A question that often comes up…“Is what you do like Google Analytics?”It’s probably the most frequent question I get. And for those who know a bit more, they say:“Oh, so it’s about improving conversion rates and user experience?Not wrong. But the reality is much broader… an…

The Solar Cycle(s): History, Data Analysis and Trend ForecastingA brief article on the Solar Cycles, the history behind their observation, data analysis and time series forecasting for the incoming solar maximum in 2025–2026 and the next decadesYou have probably heard about the 11-year Solar Cycle and about solar maximums and minimums at some point in your life — every 11 years, solar activity peaks, with more auroras in the poles and more noise to electronic devices. This is the period where Solar Storms also appear, and when the sunspots also show up.Well, as things usually are in physics, it is not that simple.A solar cycle: a montage of ten years’ worth of Yohkoh SXT images, demonstrati…

Turning complex ML models into simple, interpretable rules with Human Knowledge Models for actionable insights and easy inferenceCover, image by AuthorModern machine learning has delivered incredible breakthroughs in lots of fields. These successes come from advanced models that can uncover intricate patterns in massive datasets.But there’s one area where this approach falls short: easy interpretation. Most ML models, often referred to as “black boxes,” take vast amounts of data and contain thousands of coefficients and weights. Instead of extracting clear, actionable insights, they leave us with results that are difficult for humans to understand or apply.This gap highlights the need for a…

As businesses and organizations scramble to find good use cases for AI, several crucial questions consistently emerge: do you even need AI-powered tools? How should you go about building or integrating them into your existing workflows? And how will you know if the effort was worth it?Whether you’re an independent practitioner or part of a larger team trying to make sense of this emerging technology, you’ll find concrete and actionable insights in the lineup of articles we’ve selected this week. They each tackle the nuts and bolts of building AI apps and leveraging their potential for well-defined goals, while avoiding common pain points.While these posts zoom in on specific topics and busi…

Image generated by Dall-e. All images and visualisations in this article are created by the author.Data science demonstrates its value when applied to practical challenges. This article shares insights gained from hands-on machine learning projects.In my experience with machine learning and data science, transitioning from development to production is a critical and challenging phase. This process typically unfolds in iterative steps, gradually refining the product until it meets acceptable standards. Along the way, I’ve observed recurring pitfalls that often slow down the journey to production.This article explores some of these challenges, focusing on the pre-release process. A separate a…

Raspberry Pi programmable IO pitfalls illustrated with a musical examplePico PIO Surprises — Source: https://openai.com/dall-e-2/. All other figures from the author.In JavaScript and other languages, we call a surprising or inconsistent behavior a “Wat!” [that is, a “What!?”]. For example, in JavaScript, an empty array plus an empty array produces an empty string, [] + [] === "". Wat!Python, by comparison, is more consistent and predictable. However, one corner of MicroPython on the Raspberry Pi Pico microcontroller offers similar surprises. Specifically, the Pico’s Programmable Input/Output (PIO) subsystem, while incredibly powerful and versatile, comes with peculiarities.PIO programming m…

Learn the steps to approach any data analytics project like a pro.Having worked as a data analyst for a while and tackled numerous projects, I can say that even though each project is unique, there is always a proven way to approach it.Today, I’ll share with you the steps I usually take when working on a data project so you can follow them too.Step 1: Define the Problem and ObjectivesYou cannot solve a problem or answer a business question if you do not understand what it is and how it fits into the bigger picture.No matter how big or complex the task is, you must always understand what your business stakeholders are trying to achieve before diving into data. This is the part where you ask …

R code to extract data from unique datasets and combine them in one harmonized dataset ready for seamless analysisContinue reading on Towards Data Science »

A comparison of two cutting-edge dynamic topic models solving consumer complaints classification exerciseContinue reading on Towards Data Science »

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

A beginner’s guide to implementing the latest industry trend: a data mesh.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

В продолжение прошлого поста

Время AI War, кто первый одержит вверх, того уже не догнать. На картинке реклама из Washington Post, 21 января, 2025.Окружение нового президента из BigTech, их цель ясна и они уже пообещали 500млр вложить в создание AI инфраструктуры.Думаю Китай тоже старается, у них уже машины прыгают на автопилоте.Ниже приведён отредактированный текст с исправленной орфографией, пунктуацией и стилистикой. Сохранён общий смысл и манера изложения:Наступает эра «войны ИИ»: кто первым одержит верх, того уже не догнать.На изображении — реклама из The Washington Post от 21 января 2025 года.Окружение нового президента состоит из представителей BigTech. Их цель ясна: они уже пообещали вложить 500 млрд в создание …

Всем привет, буду в LA 1,2 го февраля в районе Irvine. Если есть народ с LA можно где-нибудь выпить некрепкого и не поздно, просто покупаться🥶, или погреться у огонька🔥 в элитном районе LA.Чатик https://t.me/+gay7oVPZyqA0MmJh

Немножко метрик и проверки гипотез.ГипотезаИспользование социальных сетей на ежедневной основе, чтобы публиковать туда shorts/reels по тематике поможет вырасти аудиторию Surfalytics (условно дата сообщества) и вырасти свой бренд.Что было сделаноНачиная с Апреля 2024 до Января 2025 года (8 месяцев) почти каждый день сначала и потом 3 раза в неделю мы постили shorts/reels в 4 социальных сети:- LinkedIn- TikTok- Youtube shorts- X/TwitterЯ использовал сервис Buffer (6$ в месяц за одну соц сеть). Сервис по расписанию загружает видосы и посты по всем соц сетям. И конечно я сам не делал нарезку, так как это огромное кол-во время. Я платил товарищу и он создавал реально крутые и интересные reels/sh…

Каникулы закончились, самое время пойти учиться! Совет: лучше тратить деньги работодателя на курсы, чем свои. Но выхлопа за свои всегда больше! 👌

Личный пример использования VSCode + Claude. Нашел плагин для VSCode - Cline (раньше назывался Claude Dev). Он позволяет открыть окно чата. Ему нужен ключ API от Claude. У меня была простая и скучная задача - для поля type сделать CASE WHEN для 40+ сценариев. Я скопировал исходный код из приложения, показал пример в prompt и плагин сразу обновил мой файл с dbt моделью, даже написал сколько это стоило.

Dbt labs купили SDF стартап.SDF — это высокопроизводительный набор инструментов для разработки на SQL, объединённый в одну CLI. Он включает в себя мультидиалектный SQL-компилятор, систему типов, фреймворк для трансформаций, линтер и сервер языка. Написанный на Rust, он обладает высокой степенью параллелизации и рассчитан на масштабирование.Этот набор инструментов основан на передовых разработках в понимании SQL. SDF представляет каждый SQL-диалект (Snowflake, Redshift, BigQuery и др.) как полную ANTLR-грамматику с определениями всех типов данных, правил приведения, функций, тонкостей областей видимости и многого другого. В отличие от исторического подхода dbt (где SQL воспринимался как стро…

Очень хорошо прошло утро понедельника в Т-Банк! Шикарная организация, вкусный завтра и теплая компания! Спасибо всем, кто смог прийти или подключиться онлайн.Вот, что у меня есть из материалов:1. Моя презентация - Примеры аналитических решений и команд из реальных проектов2. Всем презентации.3. Запись на YouTube и VK4. Космический фотоотчет от профессионального фотографа Екатерины Советкиной, можете себя найти!PS Долетел до Ванкувера без задержек.

А кто не смог оффлайн, будет онлайн, но нужно зарегестрироваться, чтобы ссылку на стрим прислали.

Завтра у нас вкусные завтраки в Т Банк, сбор уже в 9 утра, но нужно записаться https://meetup.tbank.ru/event/data-zavtrak/

Если вы делали проект в vk cloud, не забудьте удалить БД, а то она будет кушать кредиты

Запись стрима

Live stream finished (1 hour)

Всем доброе утро! Мы начинаю 2ю часть!

Еще один убийца Tableau? BI-тул Sigma призывает забыть, что творилось в BI-сфере последние 20 лет — якобы это было ужасно скучное время.Веселье начнется как раз с Sigma, которая обрабатывает триллионы строк данных, масштабируется вместе с бизнесом и, конечно же, позволяет интегрировать в работу LLM. 🔵Главной фичей инструмента, судя по всему, до сих пор остаются таблички — на reddit’е пишут, что когда-то это была его основная функция. Sigma позволяет обрабатывать огромные массивы данных в табличном формате и без знания кода.🔵Рисовать дашборды и отчеты Sigma тоже умеет. Тут также обещают гибкость и простоту — собирается дашборд с помощью простого drag'n'drop, а в режиме Explore юзер может кас…

7 баз данных за 7 недельЧеллендж на 2025 год — изучить 7 баз данных, выделив на каждую по одной неделе. Экспертом не станете, но изучите основные фишки.Можно, конечно, составить свой список, но можно мы нашли для вас готовый:1️⃣ PostgreSQL. Куда уж без него — если вы уже работаете с данными, то скорее всего вы работали и в Postgres. Но даже если вы с ним уже знакомы, все равно найдется, что изучить за неделю — например, богатую экосистему расширений.2️⃣ SQLite. Встраиваемая СУБД, идеально подходящая для сайтов и приложений, для которых особенно важны легкость быстродействие. Из-за этого SQLite используют многие популярные мессенджеры и браузеры.3️⃣ DuckDB. Еще одна встраиваемая СУБД. Ее гла…

Пятничная дискуссия про карьеру в аналитике и за ее пределамиНе можем пройти мимо самой обсуждаемой HR-новости индустрии: стало известно, что тимлид продуктовой аналитики в крупном российском екоме задолго до того, как прийти в IT, снималась в фильмах 18+.В интернете девушку активно обсуждают и осуждают — мы к этому присоединяться не будем и не будем постить никакие ссылки, имя и фото. Все желающие и так найдут либо уже нашли.🔜 Вопрос в другом — безотносительно личности конкретной девушки, считаете ли вы, что прошлый социально неодобряемый опыт должен влиять на сегодняшнюю деятельность — уже социально приемлемую? Важно ли это для вас, как для сотрудника или руководителя?

LEFT JOIN pinned «💙 Розыгрыш мерча для аналитиков от LEFT JOIN! Чтобы получить шанс стать обладателем нашей фирменной футболки или шоппера, надо принять участие в розыгрыше: 1️⃣ Подписаться на наш Telegram-канал. 2️⃣ Отправить свою карту желаний или цели на год в комментарии…»

💙 Розыгрыш мерча для аналитиков от LEFT JOIN!Чтобы получить шанс стать обладателем нашей фирменной футболки или шоппера, надо принять участие в розыгрыше:1️⃣ Подписаться на наш Telegram-канал. 2️⃣ Отправить свою карту желаний или цели на год в комментарии под этим постом — любое количество и в любой форме. Да, мы не просто так недавно спрашивали, ставите ли вы себе цели на год!Важное условие: мы готовы отправить посылку в пределах России. Если вы живете за границей и хотите принять участие, в случае выигрыша мы можем отправить вашу футболку или шоппер вашему другу или родственнику, чтобы он переслал ее вам.10 февраля мы выберем 5 счастливчиков с помощью рандомайзера, и вы получите эксклюзив…

Навизуализировали: как мы сделали мерч, работает на бренд и не только💙 LEFT JOIN — это уже давно не просто авторский блог про аналитику. Это и дата-консалтинг, и медиа-проекты на разных площадках, и курсы по SQL. В общем, это уже целый бренд.А любой уважающий себя бренд рано или поздно выпускает свой мерч, и кто мы такие, чтобы идти против трендов.Конечно, мы не стали делать скучные футболки с логотипом. В своем мерче мы отразили подход к работе, который объединяет, кто смотрит на мир через цифры: сначала данные — потом все остальное мечты.Про то, как мы делали мерч, что получилось (спойлер: там не только футболки) и какие планы по развитию проекта, читайте в статье на VC 🔜 https://vc.ru/li…

Кому не надо идти в бизнес? Интервью с основателем дата-консалтингаЗнаете, что худшее, что может сделать профильный специалист?Найти еще таких же профильных специалистов и открыть свое агентство.Это, конечно, шутка, но и доля правды в ней есть. В новом выпуске LEFT JOIN Partners с Сергеем Захарченко разбираемся, что меняется в жизни аналитика, когда он решает открыть свой дата-консалтинг.🔵Почему если и идти в предпринимательство, то не только ради денег?🔵 Как найти подходящих специалистов — особенно если ты маленькое агентство, о котором никто не знает?🔵 Как находить и привлекать клиентов, и работают ли холодные звонки?🔵 Почему важно выбрать свою специализацию и сфокусироваться на ней?🔵 Как…

LEFT JOIN pinned «»

ИИ всех заменит, но не сегодняИ это неточно.💬 Одна наша статья на VC собрала рекордное количество комментариев от людей, переживающих, что скоро ИИ отберет у нас работу. Статья было про доработку бота, который выполнял обязанности сейлза и совершал продажи, так что отчасти реакция понятна.Некоторые компании и правда пытаются с переменным успехом часть задач отдать нейросетям и ботам — это давно не просто страшилка. Но кажется, несмотря на все успехи в развитии ИИ, мы все еще сильно его переоцениваем.Хороший пример — то, как ИИ используют для кодингаИИ уже умеет писать рабочий код или может провести ревью. Это отличный способ быстро набросать MVP, чтобы не набивать все руками, оптимизировать…

Астрологи объявили неделю постов на тему «А вы уже составили планы на год?» Эти посты сейчас во всех каналах, и кто мы такие, чтобы идти против трендов?Так что тоже спросим — а вы планы составили? И если да, то поделитесь, как вы это делаете в комментариях или в опросе ниже. 👇🏻Кто-то составляет обычные списки в текстовых документах, кто-то ведет трекеры личных задач и целей в Notion, а кто-то даже делает настоящие карты желаний, что навизуализировать себе успешный успех. Интересно, есть ли среди наших подписчиков те, кто хотя бы раз олдскульно делал на ватмане коллажи из вырезанных картинок?Для тех, кто еще не озадачился планами на год, мы подготовили небольшую подборку приложений и шаблоно…

Минутка историиВсе эти ваши датавизы, графики и хитрые многосоставные дашборды — это, конечно, хорошо. Но идеальным, проверенным временем способом структурировать данные остаются самые обычные, простые таблицы.🔜💬 И про «проверенный временем способ» мы написали не просто так.Во время раскопок в Ираке нашли глиняную табличку с таблицей, в которой подсчитывали зарплаты рабочих. В одной колонке записаны имена, в других — разные суммы денег и, судя по всему, число отработанных часов или смен. Возраст находки — 3500-4000 лет.Может быть, когда вы в следующий раз придется поработать с отчетом по зарплатам сотрудникам или выплатам подрядчикам, вы вспомните, что неизвестный житель древнего города Лар…

Новогодние праздники почти все.Готовы отвечать на неудобные вопросы заказчиков?Если что, в помощь считающим активность юзеров у нас даже статья на VC есть!

Очередной пост любви к TableauКто-то спросит — да что такого в этом вашем Tableau? Что он на самом деле умеет такого, что не умеет тот же Superset?А мы просто покажем им дашборд с анимированной схемой складывания оригами. Можно такое сделать в Superset? То-то же. А в Tableau можно сделать, кажется, все, что угодно, если задаться такой целью.Но при всей своей любви к Tableau признаем, что очень уж часто про него пишем. Может, стоит поискать интересные дашборды, сделанные в других BI-тулах?Голосуйте ниже, какой инструмент вам интереснее всего!

Искусство и датавизПрекрасно понимаем, что на праздниках нет никакого желания читать длинные сложные тексты про данные и ИИ, так что просто делимся красотой, еще и познавательной.Дашборд с 37 портретами Ван Гога — каждый с разбором цветовой гаммы и основных элементов и с краткими комментариями. Сплошная польза — и на красивые картинки посмотреть, и что-то новое узнать, и возможностями Tableau по сборке дашбордов впечатлиться.

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.Хотите освоить эти инструменты?Попробуйте симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных.Уникальный формат обучения:⚡️ максимум прикладных практических навыков⚡️ браузерная IDE для запуска проектов dbt⚡️ геймифицированные задания с подробным описанием и подсказками⚡️ экспресс-квизы для быстрого запоминанияВас ждут более 100 задач из разных бизнес-сфер, которые вы возьмете в портфолио, например:✅ Статистика поездок на самокатах - вы сможете выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дн…

Начни год так, чтобы гордиться собой!Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты? Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформ данных (DWH).Это возможность прокачать свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — ИТ-холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время. Что ты получишь?🔹Уникальный рыночный опыт и масштабные ИТ-проекты: Т1 — одни из первых, кто внедряет технологии для управления данными. Лучшие выпускники смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере.🔹Быстрый рост в ИТ при э…

📊 Как аналитику не стать заложником «визуализации ради визуализации»Я в своё время достаточно часто слышал сотни запросов вида «сделай красивый дашборд» или «добавь ещё метрик»Типичная ситуация: продакт прибегает с горящими глазами, просит «быстренько собрать все метрики по новой фиче». Ты тратишь неделю на идеальный дашборд с когортным анализом, расчетом unit-экономики и даже предиктивными моделями. А через месяц узнаёшь, что им никто не пользуется, потому что «там слишком много всего»За годы работы с данными я могу выделить три главные ловушки, в которые мы как аналитики (и бизнес в целом) регулярно попадаем:1. Синдром потерянного инсайтаСтейкхолдер, умеющий кое-как работать с данными, сл…

😀😃😄😁😀😅😂🤣🥲Поиск работы может быть простым и быстрымДа, даже в конкурентной IT-сфере. С подпиской hh PRO ваше резюме будет выделено и поднимется в топ поиска — на него обратят внимание в первую очередь. А еще вы сможете изучить статистику зарплатных запросов и навыков конкурентов, чтобы поправить свои данные в соответствии с ситуацией на рынке. Результат — в 3 раза больше показов резюме, в 2,4 раза больше просмотров, в 2,3 раза больше приглашений.Оформляем подписку тут.HeadHunter не гарантирует просмотры резюме, приглашения и трудоустройство, расчёт данных здесь.

Предлагаем немного отвлечься от предновогодней суеты, отключиться от рабочей рутины и понастальгировать! Играйте в СберЗмейку – пройдите уровни и соберите звездочки⭐️, чтобы украсить новогоднюю ёлку 🎄Правила такие же, как и в знакомой всем игре 😉Начинаем!💫💫💫

Бытует мнение, что роль руководителя при внедрении Data Culture — обеспечить компанию инструментами аналитики 📊Но это лишь часть правды.В нашей новой статье мы разобрали, какие ещё навыки нужны руководителю для успешного внедрения Data Driven подхода в бизнес и как он должен влиять на этот процесс на разных его этапах.📥📥📥Многие управленцы совершают ошибку, полагая, что достаточно мотивировать сотрудников и дать им необходимые инструменты (например, системы аналитики, инструменты визуализации данных и базы данных). На самом деле, главная роль лидера заключается в том, чтобы на своем примере показывать, как именно нужно использовать данные. Например, руководитель, анализируя KPI и данные о пр…

🔥 Как стать востребованным Data Warehouse Analyst в 2025? Пройди тест по DWH! Ответь на вопросы и проверь свои знания. Сможешь сдать — сможешь претендовать на продвинутый курс "Data Warehouse Analyst" по специальной Новогодней цене!➡️ ПРОЙТИ ТЕСТ: https://clck.ru/3FMDfRРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.Хотите освоить эти инструменты?Попробуйте симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных.Уникальный формат обучения:⚡️ максимум прикладных практических навыков⚡️ браузерная IDE для запуска проектов dbt⚡️ геймифицированные задания с подробным описанием и подсказками⚡️ экспресс-квизы для быстрого запоминанияВас ждут более 100 задач из разных бизнес-сфер, которые вы возьмете в портфолио, например:✅ Статистика поездок на самокатах - вы сможете выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дн…

Как связаны борщ и архитектура хранилищ данных?Это не шутка! На открытом уроке мы покажем, как метод «борща» помогает готовить идеальные DWH. Разберем, что лежит в основе core- и аналитического слоев DWH, и как создавать платформу, которая работает, а не простаивает.🔥Узнайте успешные подходы к созданию хранилищ данных и прокачайте навыки аналитика. После урока вы сможете строить DWH, способное переварить любой объем данных!⏺Забронируйте место на открытый вебинар 17 декабря в 20:00 мск. Участники получат скидку на курс «Data Warehouse Analyst»: https://clck.ru/3FDKKnРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упаковать свой опыт, чтобы заинтересовать, объяснять и мотивировать. Если вы обладаете опытом работы в этой области и умеете объяснять сложные вещи простым языком, то эта позиция для вас. ➡️ Откликнуться

💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, какие навыки выделяют успешных кандидатов.Подготовьтесь так, чтобы даже сложные вопросы на собеседовании не застали вас врасплох. Узнайте секреты, которые помогут вам занять позицию уровня Middle+.Спикер Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. ⏺Встречаемся 4 декабря в 20:00 мск. Участникам урока – скидка на участие в курсе «Data Warehouse Analyst». Регистрируйтесь: https://clck.ru/3EzcAEРекл…

Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище. Вы узнаете:🟡 Что такое ETL и как он работает🟡 Какие есть различия между пакетной и потоковой обработкой🟡 Какие виды документации используют в дата-проектах🟡 Как оценивать и поддерживать высокое качество данных🟡 Как мониторить ETL-процессыВ конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁Встречаемся 4 декабря в …

Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы.• Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования.• Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта.Когда: 12 декабря в 11:00.Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO.Регистрируйтесь!

Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут.Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK.Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми …

https://www.answer.ai/posts/2025-01-08-devin.htmlПомните, какое-то время назад, в интернете появился Devin, AI программист, который должен был нас всех заменить? Тогда в демо этого AI Agent компания показывала, что он от и до смог решить какую-то задачу с Upwork без какого-либо вмешательства.Так вот пока это все пустые обещания, все очень так себе.@ohmydataengineer - канал "🕯Труба Данных" говорит что нас заменят, но не скоро

https://github.com/databrickslabs/dqxDatabricks выложили в опенсорс DQX - фреймворк для DQ поверх pyspark датафреймов.Больше фреймворков богу фреймворков.Даже мотивация для этого фреймворка какая-то хлюпкаяCurrent data quality frameworks often fall short in providing detailed explanations for specific row or column data quality issues and are primarily designed for complete datasets, making integration into streaming workloads difficult.@ohmydataengineer - канал "🕯Труба Данных" не верит в очередной фреймворк

2.10 Reparse buttonКогда не надо лишних слов.

https://howqueryengineswork.comОч приятное и комфортное чтиво про то, как работают query engine (ну то есть вот та фигня, которая планирует и исполняет ваш запрос к базенке). Описано все в общих словах, но достаточно детально.@ohmydataengineer - канал "🕯Труба Данных" предлагает вам написать свой движок запросов!

Пятничный юмор или модные словечки!@ohmydataengineer

https://www.qlik.com/us/news/company/press-room/press-releases/qlik-acquires-upsolver-to-deliver-low-latency-ingestion-and-optimization-for-apache-icebergНовость один в один как предыдущаяQlik купил Upsolver.Шо, кто, зачем, как.... Вот иногда читаешь новости, и даже не понял, что произошло.@ohmydataengineer - канал "🕯Труба Данных" который все еще не в курсе всех новостей!

https://www.getdbt.com/blog/dbt-labs-acquires-sdf-labsdbt купили себе какой-то sdf.Впервые слышу про эту штуку и так сразу и не скажу, что она делает. Но в англоязычном интернете все очень рады, говорят, что dbt будет работать "в 10 раз быстрей". Чему там правда работать быстрей, если основную нагрузку выполняет база.... Ну да ладно, мб я тупой.@ohmydataengineer - канал "🕯Труба Данных" который не в курсе что такое SDF!

https://www.jetbrains.com/lp/devecosystem-2024/Ежегодный очень большой отчет/исследования про языки программирования от JetBrains.Все как обычно - TypeScript подъедает JavaScript, Rust все также всеми очень любим и все хотят на него переехать.В базах данных правда нет разделения на OLAP / OLTP, поэтому самый популярный - MySQL, а у того же Snowflake или Clickhouse по 3% всегоAWS в 3 раза больше ближайшего конкурента, который оказывается Azure, а не GCP.Почти 50% (или всего лишь 50%, не знаю как отреагировать) пользуются регулярно каким-то AI в разработке (Copilot, ChatGPT).@ohmydataengineer - канал "🕯Труба Данных" это больше чем просто канал про данные!

https://arch.dev/blog/2025-the-dawn-of-the-ai-data-team/Бла-бла-бла, AI всех заменит, подходы меняются, меняйся или умри. Пожалуйста, не поддавайтесь этой истерике, в самой статье ж прям написано: The Foundation Remains CriticalНичего ульра-прорывного именно в data engineering с появлением AI пока не произошло, вы ничего не пропустили.Copilot и другие умные автокомплиты - это да. Вот это стоит взять на вооружение.@ohmydataengineer - канал "🕯Труба Данных" на страже хайпожорства!

Возвращение легендарной рубрики на телеканале @ohmydataengineer!"Пусть данные говорят сами за себя!"

https://www.newsletter.swirlai.com/p/memory-in-agent-systemsСпустя почти год перерыва Swirl вернулся со своими статьями про ML, ML&Data Ops и AI. Достаточно доступным языком про эту тему пишет, с наглядными картинками. Поговаривают в соцсеточках, что в этом году оч модно у бизнеса будут AI Agents, которые, как обычно обещают, заменят нас всех и мы пойдем грузить вагоны. Как пример - хорошая статья про то, как работает память у AI Agents.@ohmydataengineer - канал "🕯Труба Данных" продолжает расширять горизонты контента!

https://clickhouse.com/blog/a-simple-guide-to-clickhouse-query-optimization-part-1Чем меньше SLA, тем быстрей должен работать Clickhouse, реальность моей текущей работы.Поэтому приходится читать много про всякие оптимизации.А тут и сам Clickhouse подвез прекрасную стартовую статью для этого. Просто следуйте за ходом мыслей в статье при анализе плана запроса и применяйте в своей работе.Ах да, мое любимое, каждый раз забываю 🤪 - An easy rule of thumb for determining which columns are good candidates for LowCardinality is that any column with less than 10,000 unique values is a perfect candidate.@ohmydataengineer - канал "🕯Труба Данных" продолжает любить Clickhouse!

Пора подводить итоги 2024!Вот тут год назад писал про свои цели. Посмотрим, что ж из этого вышло:✔️ Рост каналов @ohmydataengineer и @career_worksВторой канал я удалил, потому что он что-то совсем меня не зажигал в течении года. Материалов копилось много, а обрабатывать их совершенно не было сил. Ну а Труба Данных выросла до 3600+, исполнив цель минимум. Так что можно сказать успех.✔️ Полноценный релиз Data Catalog, Data Contracts и удалить JenkinsКаталог появился, дата контракты тоже, да и на Airflow с Jenkins пошел полным ходом. ⚠️ Карьерные консультацииПродолжало идти само по себе. Но есть несколько хороших кейсов (+800 евро net в месяц на вакухе в Европе или +150 тыс. руб. net в России)…

Помните, какое-то время назад просил заполнить опрос, на каких специалистов в публичном поле и каналы / блоги вы подписаны? Так вот NEWHR выпустили рейтинг и список.В этом году ни в какие топы я не попал 😁, а в топе есть пара новых имен.Если вам интересно посмотреть на полные рейтинги и списки экспертов из исследования можно тут.@ohmydataengineer - канал "🕯Труба Данных" вне всяких рейтингов!

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

Запуск завтра возвращается с новыми эпизодами! 12-й сезон — о власти в цифровом пространстве. В первом выпуске Самат пытается проследить, как менялся интернет по мере прихода туда новых пользователей, больших технологических компаний и государств. Сбылись ли надежды его создателей? Кто на самом деле контролирует цифровое пространство? И есть ли место для технооптимизма в 2025 году? На эти вопросы помогает ответить Алёна Епифанова, исследовательница в германском Совете по международным отношениям.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnje73pCUКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании:…

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Одно из самых айтишных хобби – селфхостинг. Вместо того, чтобы полагаться на ненадежных облачных провайдеров, которые могут вас забанить в любой день по цвету паспорта, перед этим случайно слив ваши приватные данные, вы поднимаете свой собственный домашний сервер и разворачиваете на нем все, что нужно для комфортной жизни. Роман Богданов, инженер с огромным опытом системного администрирования и селфхостинга, рассказал нам о том, как правильно вкатиться в селфхостинг и собрать свой сетап. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Tw…

Как разобраться в мире современных подходов к питанию и не потеряться среди популярных диет, инста-советов и исследований? В этом выпуске мы поговорили с Марией Кардаковой — ученым-нутрициологом, которая живет и работает в Великобритании, руководит IT-стартапом по планированию меню и продвигает доказательный подход к здоровому питанию. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: https://facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Екатерина Петрова, Стас Цыганов, Аня Симонова Полезные ссылки:

Профессиональный с…

Это запись нашего новогоднего стрима 🎅🏼 Выходить в прямой эфир перед новым годом — наша давняя, любимая традиция! На стриме мы подводим итоги года, обсуждаем любимые выпуски, отвечаем на вопросы слушателей, делимся открытиями, достижениями и провалами года. Ну и как же без новогоднего чуда? Традиционно, мы устроили квиз среди зрителей лайва на знание лора вселенной Подлодки. Если хотите посмотреть, как прошел квиз, а так же заценить наши новогодние наряды — приглашаем посмотреть запись стрима на YouTube: https://www.youtube.com/watch?v=9t_kb1-z7ag Всех с новым годом! Спасибо, что были с нами в 2024, и до встречи в 2025 ❤️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Что общего у скорости вычислений, мутабельности, кеширования и исключений? Все это – сайд-эффекты, которые сопровождают результаты вычислений. Виталий Брагилевский показал нам невероятно прекрасную картину, которая открывается, если рассматривать все возможные эффекты как часть одной системы – программирование становится более простым, контролируемым и выразительным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Толстой Полезные ссылки: Книга про…

Продолжаем серию выпусков о кроссплатформенной разработке под десктоп! На этот обозреваем сразу два фреймворка – JavaFX и Swing, а чтобы было честно, мы пригласили двух экспертов: Михаила Соколова, Platform UI разработчика из JetBrains, и Кирилла Кириченко, который занимался разработкой Swing/JavaFX еще в Sun/Oracle. Вместе с гостями мы не только заглянем в кишочки каждого из фреймворков, но и обсудим их прикладные аспекты. Разберемся, как так получилось, что в Java-экосистеме существуют сразу два конкурирующих решения для разработки UI, попробуем понять, кто все таки победил, или оба фреймворка пора запокать. В выпуске много технических деталей, клевых фактов из истории развития экосистемы…

Когда продукт уже устоялся, перед командой встает задача масштабирования и поиска новых направлений для роста. В этом выпуске мы поговорили с Анной Булдаковой — фаундером No flame no game и Meander, ex Meta & Intercom. Обсудили, как понять, что продукт “работает нормально”. Разобрались, что важнее: привлекать новых пользователей или глубже решать проблемы текущей аудитории. Поговорили о том, почему роадмап не всегда отражает пользовательские метрики. Также обсудили, как меняются процессы и работа со стейкхолдерами на этапе масштабирования. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews С…

А что, если взять SQL, добавить к нему всякие расширения, чтобы было проще писать бизнес-логику, и максимально тесно интегрировать с конкретной базой данных? Получится PL/SQL! Обсуждаем в выпуске сам язык, а также экосистему Oracle, в которую он тесно внедрен. А в гостях у нас Иван Дубашинский. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В разных проектах всегда находятся вызовы, поэтому сотрудники могут строить свой карьерный трек и перемещаться между командами, чтобы наращивать опыт и контекст. Узнать больше о технологиях …

Друзья, встречайте наш юбилейный 400-й выпуск! 🎉 Мы посвятили этот особенный эпизод темам, которые волнуют каждого слушателя и слушательницу: разбираем проблемы и страхи IT-индустрии и обсуждаем, как с ними бороться. Поговорим о том, есть ли недостаток фундаментальных знаний и грозит ли нам полная монополизация технологий. Порассуждаем о том, как бороться с тем, что желание краткосрочной выгоды в индустрии все чаще преобладает над смыслом работы. Обсудим страхи увольнения, экономического спада, замену человека искусственным интеллектом, а также проблему выгорания. Мы не смогли выбрать одного гостя для такой масштабной темы, поэтому собрали комментарии сразу шести!!! ваших любимых экспертов:…

А вот и финальная часть нашего гайда по качалке! В этот раз обсудили, нужна ли специальная диета для силовых тренировок и какие ключевые рекомендации по питанию стоит учесть. Разобрали, как и зачем считать калории, сколько белка нужно есть, откуда его брать и какие есть лайфхаки. Поговорили о том, стоит ли отказываться от каких-то продуктов, действительно ли быстрые углеводы — зло, и как вписать пиво в вашу диету. Бонусом разобрали тему травм и проблем со здоровьем: какие заболевания являются противопоказаниями, а при каких силовые тренировки могут помочь. Как и в предыдущих 2-х частях вас ждут концентрированные знания от Станислава Цаллагова, приправленные шутейками, а также личными истори…

Наконец-то выпуск про релокацию не на какой-то там очередной остров, а в Соединенные Штаты Америки! Тема обширная, так что обсудили не все, но подняли много непростых тем – визы и легализацию, безопасность и владение оружием, медицину и страховки. А в гостях у нас уже дважды релокант в США – Артем Зиннатуллин! 18 ноября стартует новый сезон Podlodka Java Crew. Тема сезона – "Асинхронная архитектура"! По промокоду JAVA_STREAM скидка на билеты. Полная программа и подробности – на сайте https://podlodka.io/javacrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.face…

В этот выпуск гостем пришел Матвей Кукуй, сооснователь KeepHQ.dev, а в прошлом — Engineering Director в Grafana Labs. Говорим о том, что такое AIOps и как искусственный интеллект трансформирует мониторинг и алертинг, помогая обрабатывать и интерпретировать данные из Observability-инструментов. Обсуждаем, как AIOps модели обучаются, тестируются и автоматизируют инциденты, а также какие сложности возникают при создании AI-продуктов для корпораций. По ходу выпуска также поговорили про роль open-source, выбор модели монетизации и то, что ждёт AIOps в ближайшие годы. 11 ноября стартует новый сезон Podlodka iOS Crew. Тема сезона – "Многопоточность"! По промокоду IOS_CONCURRENCY скидка на билеты. …

В этом выпуске c Артуром Голубцовым из Cognitive Pilot погружались в мир робототехники и говорили про особенности разработки автопилотов и автономных систем: от выбора ниши и MVP до тестирования в реальной среде и запуска в производство. Обсудили как автономные технологии уже изменили многие сферы и почему роботов “на улицах” до сих пор не так много. Партнёр эпизода — Genotek, лидер в области персональной и медицинской генетики. ДНК-тест «Генетический паспорт» анализирует ваше происхождение, предрасположенность к заболеваниям и предлагает рекомендации по их профилактике, исходя из ваших генетических особенностей. В стоимость включена консультация врача, который поможет разобраться в результ…

Понятный и удобный API – залог успеха хорошей библиотеки. Но, чтобы его спроектировать, нужно решить огромное количество проблем, связанных с выбором правильного уровня абстракции, историческим наследием, необходимостью поддерживать обратную совместимость, неоднозначностью естественного языка и, самое главное, человеческой природой. Сева Толстопятов, главный за core-библиотеки Kotlin, рассказал нам о том, как принимать решения в дизайне API, учитывая все возможные их последствия. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В…

В этом выпуске заглядываем одним глазком туда, где цена ошибки максимально высока. В медицину! Что уже может делать ИИ, в чем он лучше или хуже врачей – разберемся с Евгением Никитиным, CTO компании Цельс. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом и измерять эффективность — там, где раньше нужно было несколько разных решений…

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Topics include , Winloop, , and uv-secure.

Topics include dbos-transact-py, Typed Python in 2024: Well adopted, yet usability challenges persist, RightTyper, and Lazy self-installing Python scripts with uv.

Topics include New project to shorten django-admin to django because we are not monsters, django-unicorn sparkles, Testing some tidbits, and The State of Python 2024 article.

Topics include jiter, A new home for python-build-standalone, moka-py, and uv: An In-Depth Guide.

Topics include Loop targets, asyncstdlib, Bagels: TUI Expense Tracker, and rloop:

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

Topics include terminal-tree, posting: The API client that lives in your terminal, , and UV does everything or enough that I'm not sure what else it needs to do.

Topics include GitHub action security: zizmor, Python is now the top language on GitHub, Python 3.13, what didn't make the headlines, and PyCon US 2025.

Topics include Python 3.14.0 alpha 1 is now available, uv supports dependency groups, dive: A tool for exploring each layer in a docker image, and pytest-metadata.

Topics include Open Source Pledge, DjangoTV, PEP 735 – Dependency Groups in pyproject.toml, and livereload.

Topics include Briefer: Dashboards and notebooks in a single place, Introduction to programming with Python, setup-uv, and HTML for people.

Topics include Python 3.13.0 released Oct 7, PEP 759 – External Wheel Hosting, pytest-freethreaded, and pytest-edit.

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

QuantStack is an open-source technology software company specializing in tools for data science, scientific computing, and visualization. They are known for maintaining vital projects such as Jupyter, the conda-forge package channel, and the Mamba package manager. Sylvain Corlay is the CEO of QuantStack. He joins the podcast to talk about his company, Conda, Mamba, the

The post Mamba and Software Package Security with Sylvain Corlay appeared first on Software Engineering Daily.

Ableton is a music software and hardware company based in Germany. The company develops Ableton Live which is a digital audio workstation for both improvisation and traditional arrangements. The software is remarkable for successfully blending good UI design with a powerful feature set. This has made it popular with new musicians as well as professionals

The post Ableton Live with Tobias Hahn appeared first on Software Engineering Daily.

beeps is a startup focused on building an on-call platform for Next.js. The company is grounded in the key insight that Next.js has become a dominant framework for modern development. A key motivation in leveraging Next.js is to create a developer-first experience for on-call. Joey Parsons is the founder and CEO of beeps, and he

The post beeps and on-call for Next.js developers with Joey Parsons appeared first on Software Engineering Daily.

Digital forensics is the process of identifying, preserving, analyzing, and presenting electronic data for investigative purposes. It’s often related to addressing cybercrime and is crucial in tracing the origin of breaches, recovering lost data, and security hardening. Emre Tinaztepe is the Founder and CEO of Binalyze which is a cybersecurity company specializing in digital forensics

The post Digital Forensics with Emre Tinaztepe appeared first on Software Engineering Daily.

Fallout: London is a 2024 total conversion mod developed by Team FOLON. The mod is based on Fallout 4 by Bethesda Softworks and takes place in a post-apocalyptic rendition of London. The project is remarkable for its ambition and scope, with the small indie team delivering a fully-realized open world RPG. Daniel Morrison Neil led

The post Fallout: London with Daniel Morrison Neil and Jordan Albon appeared first on Software Engineering Daily.

Heroku is a cloud platform-as-a-service that enables developers to build, deploy, and manage applications. It was founded in 2007 and was acquired by Salesforce in 2010. The platform supports multiple programming languages, including Ruby, Python, Node.js, and Java, and has features such as automated scaling, database monitoring tools, and a streamlined deployment workflow. Vish Abrams

The post Heroku and the Twelve-Factor App with Vish Abrams appeared first on Software Engineering Daily.

Over the years, Google has released a variety of ML, data science, and AI developer tools and platforms. Prominent examples include Colab, Kaggle, AI Studio, and the Gemini API. Paige Bailey is the Uber Technical Lead of the Developer Relations team at Google ML Developer Tools, working on Gemini APIs, Gemma, AI Studio, Kaggle, Colab

The post AI Developer Tools at Google with Paige Bailey appeared first on Software Engineering Daily.

Video game emulation is the process of using software to replicate the functionality of gaming hardware. It’s a fundamental approach to making older games accessible on modern devices. The Carbon Engine is a tool developed internally at video game publisher and distributor Limited Run Games. It allows a variety of emulators to interface with modern

The post Game Emulation on the Carbon Engine with Dimitris “MVG” Giannakis appeared first on Software Engineering Daily.

Serverless computing is a cloud-native model where developers build and run applications without managing server infrastructure. It has largely become the standard approach to achieve scalability, often with reduced operational overhead. However, in banking and financial services, adopting a serverless model can present unique challenges. Brian McNamara is a Distinguished Engineer at Capital One where

The post Going Serverless in Financial Services with Brian McNamara appeared first on Software Engineering Daily.

Teardown is a 2022 sandbox puzzle game developed and published by Tuxedo Labs. The game revolves around the owner of a financially stricken demolition company, who is caught undertaking a questionable job and becomes entangled between helping police investigations and taking on further dubious assignments. The game stands out for its technical achievements, particularly its

The post Teardown and Voxel-Based Rendering with Dennis Gustafsson appeared first on Software Engineering Daily.

Expo is a development framework that streamlines the process of building cross-platform mobile apps using React Native. It eliminates the need for complex native code setup by providing pre-built APIs for common device features like the camera and GPS, making it easier to access hardware functionality. It also simplifies the deployment process with built-in tools

The post Streamlined React Native Development with Charlie Cheever and James Ide appeared first on Software Engineering Daily.

To our Software Engineering Daily listeners – as we wrap up 2024, we want to thank you all for listening to the show. We’ve had a great time putting together all of our episodes this year, and we’re grateful for your support. This year we continued our wide lens coverage of software engineering, and we

The post Special End-of-Year Message from Software Engineering Daily appeared first on Software Engineering Daily.

Vulkan is a low-level graphics API designed to provide developers with more direct control over the GPU, reducing overhead and enabling high performance in applications like games, simulations, and visualizations. It addresses the inefficiencies of older APIs like OpenGL and Direct3D and helps solve issues with cross-platform compatibility. Tom Olson is a Distinguished Engineer at

The post The Vulkan Graphics API with Tom Olson and Ralph Potter appeared first on Software Engineering Daily.

Deno is a free and open source JavaScript runtime built on Google’s V8 engine, Rust, and Tokio. It’s designed to offer a more secure and standardized alternative to Node.js, with native TypeScript support. Deno 2.0 just released and it’s a significant update, focusing on improved compatibility with Node.js and addressing developer feedback. Some of the

The post Deno 2.0 with Luca Casonato appeared first on Software Engineering Daily.

JFrog is a DevOps platform that specializes in managing software packages and automating software delivery. One of its best known services is the JFrog Artifactory which is a universal artifact repository. JFrog is also focused on rapidly emerging needs in the MLOps space. Bill Manning is a Senior Solution Architect at JFrog. He joins the

The post MLOps at JFrog with Bill Manning appeared first on Software Engineering Daily.

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

By using Abstract Syntax Trees (AST), codemods allow you to automate large-scale code changes with precision and minimal effort, making them especially useful when dealing with breaking API changes.

A codemod (code modification) is an automated script used to transform code to follow new APIs, syntax, or coding standards.

Codemods can also handle complex refactoring scenarios, such as changes to deeply nested structures or removing deprecated API usage.

With jscodeshift, you can write tests to verify how the codemod behaves: const transform = require("../remove-feature-new-product-list"); defineInlineTest( transform , {}, ` const data = featureToggle('feature-new-product-list') ?

Codemods I…

Ao Mar by Ão sample track: Mulher Ão is a four-piece band from Belgium that have blended the otherworldly vocals of Brenda Corijn with trip-hop electronica.

Future Forecast by Jack Magnet Science sample track: Extra Polation Iceland has given the world a few quirky musical innovators, unafraid to push into new territories.

The result is distinctly a horn-led jazz sound, inspired by Ornette Coleman, with solid melodic sense and a finish that's vaguely unsettling.

I've enjoyed it more Indian musical traditions mesh with western ones, and I've found several good examples of that in jazz.

MRA by Emel sample track: Lose my Mind Emel is a Tunisian singer whose fame rose from her protest songs du…

This is where codemods come in—a powerful tool for automating large-scale code transformations, allowing developers to introduce breaking API changes, refactor legacy codebases, and maintain code hygiene with minimal manual effort.

For example, React provides codemods to handle the migration from older API patterns, like the old Context API, to newer ones.

Codemods can also handle complex refactoring scenarios, such as changes to deeply nested structures or removing deprecated API usage.

A codemod (code modification) is an automated script used to transform code to follow new APIs, syntax, or coding standards.

Codemods Improve Code Quality and Maintainability Codemods aren’t just useful for…

By using Abstract Syntax Trees (AST), codemods allow you to automate large-scale code changes with precision and minimal effort, making them especially useful when dealing with breaking API changes.

We’ll also discuss potential pitfalls and how to avoid them when using codemods at scale.

This is where codemods come in—a powerful tool for automating large-scale code transformations, allowing developers to introduce breaking API changes, refactor legacy codebases, and maintain code hygiene with minimal manual effort.

For example, React provides codemods to handle the migration from older API patterns, like the old Context API, to newer ones.

Codemods can also handle complex refactoring scenar…

Design tokens are design decisions as data and serve as a single source of truth for design and engineering.

Tools like code generators, documentation systems, and UI design software are now better equipped to support design tokens, underscoring their growing importance in modern UI architecture.

The Design Tokens Community Group describes design tokens as “a methodology for expressing design decisions in a platform-agnostic way so that they can be shared across different disciplines, tools, and technologies Let’s break this down: Cross-Disciplinary Collaboration: Design tokens act as a common language that aligns designers, developers, product managers, and other disciplines.

Such a pipeli…

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most o…

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most of the existing data products, we’ll need to…

Before we begin designing data products, let’s first establish a shared understanding of what they are and what they aren’t.

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data dr…

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

It’s one of many products in the market that focus on using AI to understand and ask questions about large codebases.

There is a mindset shift we have to make when using Generative AI tools in general.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

TDD is especially needed when using AI coding assistants.

How I use Social Media Different people use social media in different ways, and my thoughts are governed by how I use them.

I'm not really a social user of social media.

I first started using social media (in some form) in the late 1980's with Usenet.

To find my social media pages, use the icons in the site banner, or look at the list on my about page.

RSS This isn't really a social media, as there isn't a mechanism for discussion, but since I'm mostly into social media to find out about interesting publications, RSS fits into my discussion.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

Limitations and Identified Drawbacks So far we’ve mostly highlighted the benefits of a Strangler Fig approach to legacy mobile App displacement.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

A case study of gradually modernizing an established mobile applicationIncremental replacement of a legacy mobile application is a challenging concept to articulate and execute.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Linking Modular Architecture to Development Teams Can a modular architecture improve software delivery?

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

The key to implementation of the Strangler Fig pattern involved embedding an entire React Native application inside the existing legacy application.

I was interviewed on the Book Overflow podcast about the Refactoring book. We talked about the origins of the book, the relationship between refactoring, testing, and extreme programming, how refactoring is used in the wild, and the role of books and long-form prose today.

more…

Эмодзи-пак с текстовыми реакциями для телеграма.

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.