How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

Part 1: Understanding The ChallengesBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesIntroductionAt Netflix, we manage over a thousand global content launches each month, backed by billions of dollars in annual investment. Ensuring the success and discoverability of each title across our platform is a top priority, as we aim to connect every story with the right audience to delight our members. To achieve this, we are committed to building robust systems that deliver comprehensive observability, enabling us to take full accountability for every title on our service.The Challenge of Title Launch ObservabilityAs engineers, we’re wired to tr…

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

As advanced analytics and AI continue to drive enterprise strategy, leaders are tasked with building flexible, resilient data pipelines that accelerate trusted insights. AI pioneer Andrew Ng recently underscored that robust data engineering is foundational to the success of data-centric AI—a strategy that prioritizes data quality over model complexity. McKinsey Quarterly’s latest research further forecasts […]

The post Elevating Productivity: Cloudera Data Engineering Brings External IDE Connectivity to Apache Spark appeared first on Cloudera Blog.

AI can do a great job with your SEO campaign, as long as you use the right tools to help you.

Agile development is becoming more useful for AI software development teams.

AI technology is playing a very important role in helping fight counterfeiting in the 21st Century.

Data analytics can be very helpful for companies trying to improve their SEO.

BPA software is great for data-driven companies that are trying to improve their bottom line.

China has a unique zip code system, which makes it easier to develop great business intelligence models.

Data analytics can help rehab providers improve their local SEO significantly, which will boost their bottom lines.

AI is great for helping to improve your SEO strategy, especially when you are trying to reach customers across different regions.

AI technology can play an integral role in building stronger business relationships in 2024.

AI is invaluable for cybersecurity professionals trying to help stop unauthorized access to their complex IT ecosystems.

Coming up with the right pricing strategy is crucial for any business, so it is a good idea to use data analytics to help.

Data analytics can be very helpful for brands trying to get more reach on TikTok.

AI has made tradelines more accessible which helps people improve their credit scores.

Autotask and Connectwise are two amazing AI tools that can help with MSPs.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

In this post, we show you how Kyndryl integrated Amazon Q Business with ServiceNow in a few simple steps. You will learn how to configure Amazon Q Business and ServiceNow, how to create a generative AI plugin for your ServiceNow incidents, and how to test and interact with ServiceNow using the Amazon Q Business web experience. This post will help you enhance your ServiceNow experience with Amazon Q Business and enjoy the benefits of a generative AI–powered interface.

In this post, we address common challenges associated with manual MSK topic configuration management and present a robust Terraform-based solution. This solution supports both provisioned and serverless MSK clusters.

This post introduces HCLTech’s AutoWise Companion, a transformative generative AI solution designed to enhance customers’ vehicle purchasing journey. In this post, we analyze the current industry challenges and guide readers through the AutoWise Companion solution functional flow and architecture design using built-in AWS services and open source tools. Additionally, we discuss the design from security and responsible AI perspectives, demonstrating how you can apply this solution to a wider range of industry scenarios.

In this post, we show how you can use our enterprise graph machine learning (GML) framework GraphStorm to solve prediction challenges on large-scale complex networks inspired by our practices of exploring GML to mitigate the AWS backbone network congestion risk.

In this post, we show you how EUROGATE uses AWS services, including Amazon DataZone, to make data discoverable by data consumers across different business units so that they can innovate faster. Two use cases illustrate how this can be applied for business intelligence (BI) and data science applications, using AWS services such as Amazon Redshift and Amazon SageMaker.

In this post, we showcase how to use PGRX and PL/Rust to efficiently access and manipulate all built-in PostgreSQL data types in Rust. We demonstrate how to write performant functions that create and serialize JSON objects that include these built-in types. These functions are directly usable in your database and use the newly supported serde and serde_json crates. We also walk through deploying an Amazon RDS for PostgreSQL instance with PL/Rust enabled, and how PGRX type mapping allows you to use all built-in PostgreSQL types in a JSON object.

Deploying AWS Elastic Disaster Recovery at scale provides robust protection for your infrastructure. The DRS Settings Tool is an invaluable resource for updating settings across your infrastructure efficiently. In this post, we show you how to setup and use the DRS Settings Tool to update all your Elastic Disaster Recovery source server settings in bulk.

Juicebox is an AI-powered talent sourcing search engine, using advanced natural language models to help recruiters identify the best candidates from a vast dataset of over 800 million profiles. At the core of this functionality is Amazon OpenSearch Service, which provides the backbone for Juicebox’s powerful search infrastructure, enabling a seamless combination of traditional full-text search methods with modern, cutting-edge semantic search capabilities. In this post, we share how Juicebox uses OpenSearch Service for improved search.

In this post, we show how to extend Amazon Bedrock Agents to hybrid and edge services such as AWS Outposts and AWS Local Zones to build distributed Retrieval Augmented Generation (RAG) applications with on-premises data for improved model outcomes. With Outposts, we also cover a reference pattern for a fully local RAG application that requires both the foundation model (FM) and data sources to reside on premises.

The research team at AWS has worked extensively on building and evaluating the multi-agent collaboration (MAC) framework so customers can orchestrate multiple AI agents on Amazon Bedrock Agents. In this post, we explore the concept of multi-agent collaboration (MAC) and its benefits, as well as the key components of our MAC framework. We also go deeper into our evaluation methodology and present insights from our studies.

In this post, we discuss configurations in AWS DMS endpoints and AWS DMS tasks to migrate spatial columns from Oracle to Aurora PostgreSQL-Compatible efficiently.

The CLI struggle is real Command-line tools are meant to simplify infrastructure and DevOps workflows, but the reality is often the opposite. Instead of speeding things up, the vast array of commands, flags, and syntax turns the CLI into a puzzle. Tools meant to enhance productivity have developers endlessly tab-switching between searches, forums, and docs […]

This post showcases how to use Spark on AWS Glue to seamlessly ingest data into OpenSearch Service. We cover batch ingestion methods, share practical examples, and discuss best practices to help you build optimized and scalable data pipelines on AWS.

The Education and Training Quality Authority (BQA) plays a critical role in improving the quality of education and training services in the Kingdom Bahrain. BQA reviews the performance of all education and training institutions, including schools, universities, and vocational institutes, thereby promoting the professional advancement of the nation’s human capital. In this post, we explore how BQA used the power of Amazon Bedrock, Amazon SageMaker JumpStart, and other AWS services to streamline the overall reporting workflow.

This post shows how MuleSoft introduced a generative AI-powered assistant using Amazon Q Business to enhance their internal Cloud Central dashboard. This individualized portal shows assets owned, costs and usage, and well-architected recommendations to over 100 engineers.

Introduction Developers, IT Operators, and in some cases, Site Reliability Engineers (SREs) are responsible for deploying and operating infrastructure and applications, as well as responding to and resolving incidents effectively and in a timely manner. Effective incident management requires quick diagnosis, root cause analysis, and implementation of corrective actions. Diagnosing the root cause can be […]

In our previous post Backtesting index rebalancing arbitrage with Amazon EMR and Apache Iceberg, we showed how to use Apache Iceberg in the context of strategy backtesting. In this post, we focus on data management implementation options such as accessing data directly in Amazon Simple Storage Service (Amazon S3), using popular data formats like Parquet, or using open table formats like Iceberg. Our experiments are based on real-world historical full order book data, provided by our partner CryptoStruct, and compare the trade-offs between these choices, focusing on performance, cost, and quant developer productivity.

In this post, we propose a solution using DigitalDhan, a generative AI-based solution to automate customer onboarding and digital lending. The proposed solution uses Amazon Bedrock Agents to automate services related to KYC verification, credit and risk assessment, and notification. Financial institutions can use this solution to help automate the customer onboarding, KYC verification, credit decisioning, credit underwriting, and notification processes.

Vacasa is North America’s leading vacation rental management platform, revolutionizing the rental experience with advanced technology and expert teams. In the competitive short-term vacation property management industry, efficient systems are critical. To maintain its edge and continue providing top-notch service, Vacasa needed to modernize its primary transactional database to improve performance, provide high availability, and reduce costs. In this post, we share Vacasa’s journey from Amazon Relational Database Service (Amazon RDS) for MariaDB to Amazon RDS for MySQL, and finally to Amazon Aurora, highlighting the technical steps taken and the outcomes achieved.

In this post, we explore how Deep Instinct’s generative AI-powered malware analysis tool, DIANNA, uses Amazon Bedrock to revolutionize cybersecurity by providing rapid, in-depth analysis of known and unknown threats, enhancing the capabilities of AWS System and Organization Controls (SOC) teams and addressing key challenges in the evolving threat landscape.

As organizations navigate the complexities of the digital realm, generative AI has emerged as a transformative force, empowering enterprises to enhance productivity, streamline workflows, and drive innovation. To maximize the value of insights generated by generative AI, it is crucial to provide simple ways for users to preserve and share these insights using commonly used tools such as email. This post explores how you can integrate Amazon Q Business with Amazon SES to email conversations to specified email addresses.

This blog post introduces a new disk-based vector search approach that allows efficient querying of vectors stored on disk without loading them entirely into memory. By implementing these quantization methods, organizations can achieve compression ratios of up to 64x, enabling cost-effective scaling of vector databases for large-scale AI and machine learning applications.

Amazon Bedrock is a fully managed service that offers a choice of high-performing foundation models (FMs) from leading AI companies such as AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, and Amazon through a single API, along with a broad set of capabilities to build generative AI applications with security, privacy, and responsible AI. In this post, I’ll show you how to use Amazon Bedrock—with its fully managed, on-demand API—with your Amazon SageMaker trained or fine-tuned model.

Amazon DynamoDB enables you to back up your table data continuously by using point-in-time recovery (PITR). When you enable PITR, DynamoDB backs up your table data automatically with per-second granularity. PITR helps protect you against accidental writes and deletes. For example, if a test script accidentally writes to a production DynamoDB table, or someone mistakenly […]

This post explores how to automate Amazon OpenSearch Service cluster management using CI/CD best practices. It presents two options: the Terraform OpenSearch provider and the Evolution library. The solution demonstrates how to use AWS CDK, Lambda, and CodeBuild to implement automated index template creation and management. By applying these techniques, organizations can improve the consistency, reliability, and efficiency of their OpenSearch operations.

Generative AI applications should be developed with adequate controls for steering the behavior of FMs. Responsible AI considerations such as privacy, security, safety, controllability, fairness, explainability, transparency and governance help ensure that AI systems are trustworthy. In this post, we demonstrate how to use the AWS generative AI best practices framework on AWS Audit Manager to evaluate this insurance claim agent from a responsible AI lens.

In this blog post, we explore a client services agent assistant application developed by the London Stock Exchange Group (LSEG) using Amazon Q Business. We will discuss how Amazon Q Business saved time in generating answers, including summarizing documents, retrieving answers to complex Member enquiries, and combining information from different data sources (while providing in-text citations to the data sources used for each answer).

submitted by /u/anoonan-dev [link] [comments]

I work with data, and in my data i have two columns "Rate at origination" and "Rate (current)". In my example, they both are, in the real world, 1.25 percent (1.25%) But, in my table, "Rate at origination" is stored as 0.0125, and "Rate (current)" is stored as 1.25 (they come from different systems). I want to explain to someone this difference/problem, but i'm struggling due to lacking the proper terminology. Basically, I need to explain that they both should be stored in the same ..__?__.. format?? But, I think there's probably a better more precise/accurate term for this. Help! submitted by /u/Financial-Tailor-842 [link] [comments]

I have a pretty simple table with a column for quantities along with time stamps, units and sources of those quantities. The majority of my data are double with some int values as well. Initially there wasn’t too much of a problem with those two existing in the same column. The reason why they aren’t all double for example is that the type of the data is described in another column and that may dictate that there are whole number counts. That worked for a while but I did a large (compared to the amount of existing data) data load and now some quantities are strings. Those strings map to a limited set of ordinal rather than the cardinal values that the existing doubles can take. Now I’m gett…

I have to carry out a project using PRESTO and I have the price breakdown and the basis of the project (units, subunits...) but I don't really know where to look at the issue of looking at the budget of each unit. submitted by /u/Academic-Steak9224 [link] [comments]

I'd like to find a Python batch ETL framework that I can inherit from that has opinionated defaults. I'd like to be able to run something like the code below and have the metrics (run time, failures, success, etc) written to postgres, sensible logging, and a way to cache data to restart a job at the transform/load steps. class MyETLJob(ETLJob): def __init__(self, file_path): self.file_path = file_path def extract(self): with open(filepath) as file: data = file.read() return data def transform(self, data): lines = data.split("\n") return lines def load(self, lines): for line in lines: write_to_database(line) job = MyETLJob("data.txt") job.run() I don't want any chaining, orchestration, job d…

HI’m looking to change my life around. Is there anyone here that purely self taught coding and did a couple of courses and then got an entry into software dev/coding jobs? Even data analyst jobs? Right now I got 3. options because of financial constraints. Do a 9 month software dev bootcamp at a university and come out with some connections and a good portfolio and then apply from there Simply learn from Udemy and coursera and use my certificates and a good portfolio to apply Maybe (MAYBE) I do 3 jobs this year so I can afford a masters in data science and then apply for job. I don’t have a degree in anything and I can’t afford a full 4 year degree submitted by /u/CaptainPrice65 [link] [com…

Ok data nerds, who can help me. I am fixing 60,000 contact records I have 3 tables: raw, audit log, and transform My scripts focus on one field at a time E.g. Titles that are Mr or Ms - Load to table.transform as Mr. or Ms. - table.auditlog gets a new record for each UID that is transformed with fieldname, oldvalue, new value - table.tranform also gets a RevisionCounter where every UID new record is incremental so I can eventually query for the latest record This is flawed because I'm only querying table.raw should I copy all records into transform and just run scripts against max RevisionCounter per UID in transform? I'm worried about this table (mySQL) getting so huge really fast - 60,000…

I am new to data engineering, transitioning from a data analyst role, and I have this kind of issue. I am moving data from MongoDB to BigQuery using Airbyte and then performing transformations using dbt inside BigQuery. I have a raw layer (the data that comes from Airbyte), which is then transformed through dbt to create an analytics layer in BigQuery. My issue is that I sometimes encounter errors during dbt execution because the schema of the raw layer changes from time to time. While MongoDB itself is schemaless and doesn’t change, Airbyte recognizes the fields differently. For example, some columns in the raw layer are loaded as JSON at times and as strings at other times. Sometimes they…

And I ask, HOW? every website I checked has ToS / doesn't allowed to be scraped for ML model training. For example, scraping images from Reddit? hell no, you are not allowed to do that without EACH user explicitly approve it to you. Even if I use hugging face or Kaggle free datasets.. those are not real - taken by people - images (for what I need). So massive, rather impossible augmentation is needed. But then again.... free dataset... you didn't acquire it yourself... you're just like everybody... I'm sorry for the aggressive tone but I really don't know what to do. submitted by /u/01jasper [link] [comments]

I am running Airbyte OSS locally on a windows laptop using Docker for Desktop. I was able to configure it and run a job/connection where it is reading from a Oracle table and writing to a local CSV. I can see that my execution was successful, but am not able to locate the CSV file created by Airbyte. As I am running Docker with WSL2, I though the docker folders would be available under //wsl$/docker-desktop-data, but the folder doesn't exist. Appreciate any input on this. submitted by /u/kash80 [link] [comments]

submitted by /u/eternviking [link] [comments]

"Hey everyone, I’m thrilled to share that I’ll be starting as a Data Engineer Intern soon, and I’ve got just a week left to prepare! 😄 As someone stepping into the field, I’m eager to make the most of this time. Could you guide me on what to focus on before joining? Maybe specific skills, projects, or tools that would make an impact? I’m open to suggestions, whether it’s brushing up on SQL, learning about data pipelines, or even building a mini-project in Python or Spark. Your insights or experiences would mean the world to me. Let’s make this first step a strong one! 🚀 Thanks in advance for your advice!" submitted by /u/Ordinary_Web_3580 [link] [comments]

I’m currently interning for a company that had laid off the entire data engineering team in the US. I’m a data engineer intern have been here for over 6 months. I have build around 10 end to end data pipelines on AWS using glue, s3 and other services as part of the internship. I have a strong data experience and prior to this I have 1 year of full time DE experience. Given the situation in my company, should I ask for a full time offer as I’m set to graduate from my graduate program this May? submitted by /u/NefariousnessSea5101 [link] [comments]

Sebastian Raschka has helped demystify deep learning for thousands through his books, tutorials and teachingsSebastian Raschka has helped shape how thousands of data scientists and machine learning engineers learn their craft. As a passionate coder and proponent of open-source software, a contributor to scikit-learn and the creator of the mlxtend library, his code runs in production systems worldwide. But his greatest impact are through his teachings — his books Machine Learning with PyTorch and Scikit-Learn, Machine Learning Q and AI and Build a Large Language Model (From Scratch) have become essential guides for practitioners navigating the complex landscape of modern AI.Drawing from over…

A new cutting edge video generation tool, and the theory behind itContinue reading on Towards Data Science »

From Raw Data to Stunning Visuals: LLMs in ActionContinue reading on Towards Data Science »

I created a graph storage from dozens of annual reports (with tables)Continue reading on Towards Data Science »

Exploring the latest advancements in time seriesContinue reading on Towards Data Science »

What Did I Learn from Building LLM Applications in 2024? — Part 2An engineer’s journey to building LLM-powered applicationsIllustration of building AI application (image by author — generated using DALLE-3)In part 1 of this series, we discussed use case selection, building a team and the importance of creating a prototype early into your LLM-based product development journey. Let’s pick it up from there — if you are fairly satisfied with your prototype and ready to move forward, start with planning a development approach. It’s also crucial to decide on your productionizing strategy from an early phase.With recent advancements with new models and a handful of SDKs in market, it is easy to fe…

Practical insights for a data-driven approach to model optimizationContinue reading on Towards Data Science »

Practical insights for a data-driven approach to model optimizationContinue reading on Towards Data Science »

Practical insights for a data-driven approach to model optimizationContinue reading on Towards Data Science »

Questions that guide architectural decisions to balance functional requirements with non-functional ones, like latency and scalabilityContinue reading on Towards Data Science »

Data Analyst is probably the most underrated job in the data industryContinue reading on Towards Data Science »

Photo by julien Tromeur on UnsplashMAS Is All You Need: Supercharge Your Retrieval-Augmented Generation (RAG) with a Multi-Agent SystemHow to build a Multi-Agent RAG with AG2 and ChromaDBRetrieval-Augmented Generation (RAG) systems have improved rapidly in recent years. Ideally, we can distinguish their evolution into three phases: in the pre-LLM era, information retrieval systems primarily relied on traditional search algorithms and indexing techniques. These systems were limited in their ability to understand context and generate human-like responses. Then, LLMs entered the scene, resulting in a drastic paradigm shift. Now, there are agents and another paradigm shift is happening.But let’…

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

A beginner’s guide to implementing the latest industry trend: a data mesh.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

Dbt labs купили SDF стартап.SDF — это высокопроизводительный набор инструментов для разработки на SQL, объединённый в одну CLI. Он включает в себя мультидиалектный SQL-компилятор, систему типов, фреймворк для трансформаций, линтер и сервер языка. Написанный на Rust, он обладает высокой степенью параллелизации и рассчитан на масштабирование.Этот набор инструментов основан на передовых разработках в понимании SQL. SDF представляет каждый SQL-диалект (Snowflake, Redshift, BigQuery и др.) как полную ANTLR-грамматику с определениями всех типов данных, правил приведения, функций, тонкостей областей видимости и многого другого. В отличие от исторического подхода dbt (где SQL воспринимался как стро…

Очень хорошо прошло утро понедельника в Т-Банк! Шикарная организация, вкусный завтра и теплая компания! Спасибо всем, кто смог прийти или подключиться онлайн.Вот, что у меня есть из материалов:1. Моя презентация - Примеры аналитических решений и команд из реальных проектов2. Всем презентации.3. Запись на YouTube и VK4. Космический фотоотчет от профессионального фотографа Екатерины Советкиной, можете себя найти!PS Долетел до Ванкувера без задержек.

А кто не смог оффлайн, будет онлайн, но нужно зарегестрироваться, чтобы ссылку на стрим прислали.

Завтра у нас вкусные завтраки в Т Банк, сбор уже в 9 утра, но нужно записаться https://meetup.tbank.ru/event/data-zavtrak/

Если вы делали проект в vk cloud, не забудьте удалить БД, а то она будет кушать кредиты

Запись стрима

Live stream finished (1 hour)

Всем доброе утро! Мы начинаю 2ю часть!

Live stream started

Live stream scheduled for Jan 6 at 06:30

Запись трансляции 🧠 dbt: С ЧЕГО НАЧАТЬ? | Вебинар с Дмитрием Аношиным 🚀

Live stream finished (1 hour)

Вопросы к стриму

LEFT JOIN pinned «💙 Розыгрыш мерча для аналитиков от LEFT JOIN! Чтобы получить шанс стать обладателем нашей фирменной футболки или шоппера, надо принять участие в розыгрыше: 1️⃣ Подписаться на наш Telegram-канал. 2️⃣ Отправить свою карту желаний или цели на год в комментарии…»

💙 Розыгрыш мерча для аналитиков от LEFT JOIN!Чтобы получить шанс стать обладателем нашей фирменной футболки или шоппера, надо принять участие в розыгрыше:1️⃣ Подписаться на наш Telegram-канал. 2️⃣ Отправить свою карту желаний или цели на год в комментарии под этим постом — любое количество и в любой форме. Да, мы не просто так недавно спрашивали, ставите ли вы себе цели на год!Важное условие: мы готовы отправить посылку в пределах России. Если вы живете за границей и хотите принять участие, в случае выигрыша мы можем отправить вашу футболку или шоппер вашему другу или родственнику, чтобы он переслал ее вам.10 февраля мы выберем 5 счастливчиков с помощью рандомайзера, и вы получите эксклюзив…

Навизуализировали: как мы сделали мерч, работает на бренд и не только💙 LEFT JOIN — это уже давно не просто авторский блог про аналитику. Это и дата-консалтинг, и медиа-проекты на разных площадках, и курсы по SQL. В общем, это уже целый бренд.А любой уважающий себя бренд рано или поздно выпускает свой мерч, и кто мы такие, чтобы идти против трендов.Конечно, мы не стали делать скучные футболки с логотипом. В своем мерче мы отразили подход к работе, который объединяет, кто смотрит на мир через цифры: сначала данные — потом все остальное мечты.Про то, как мы делали мерч, что получилось (спойлер: там не только футболки) и какие планы по развитию проекта, читайте в статье на VC 🔜 https://vc.ru/li…

Кому не надо идти в бизнес? Интервью с основателем дата-консалтингаЗнаете, что худшее, что может сделать профильный специалист?Найти еще таких же профильных специалистов и открыть свое агентство.Это, конечно, шутка, но и доля правды в ней есть. В новом выпуске LEFT JOIN Partners с Сергеем Захарченко разбираемся, что меняется в жизни аналитика, когда он решает открыть свой дата-консалтинг.🔵Почему если и идти в предпринимательство, то не только ради денег?🔵 Как найти подходящих специалистов — особенно если ты маленькое агентство, о котором никто не знает?🔵 Как находить и привлекать клиентов, и работают ли холодные звонки?🔵 Почему важно выбрать свою специализацию и сфокусироваться на ней?🔵 Как…

LEFT JOIN pinned «»

ИИ всех заменит, но не сегодняИ это неточно.💬 Одна наша статья на VC собрала рекордное количество комментариев от людей, переживающих, что скоро ИИ отберет у нас работу. Статья было про доработку бота, который выполнял обязанности сейлза и совершал продажи, так что отчасти реакция понятна.Некоторые компании и правда пытаются с переменным успехом часть задач отдать нейросетям и ботам — это давно не просто страшилка. Но кажется, несмотря на все успехи в развитии ИИ, мы все еще сильно его переоцениваем.Хороший пример — то, как ИИ используют для кодингаИИ уже умеет писать рабочий код или может провести ревью. Это отличный способ быстро набросать MVP, чтобы не набивать все руками, оптимизировать…

Астрологи объявили неделю постов на тему «А вы уже составили планы на год?» Эти посты сейчас во всех каналах, и кто мы такие, чтобы идти против трендов?Так что тоже спросим — а вы планы составили? И если да, то поделитесь, как вы это делаете в комментариях или в опросе ниже. 👇🏻Кто-то составляет обычные списки в текстовых документах, кто-то ведет трекеры личных задач и целей в Notion, а кто-то даже делает настоящие карты желаний, что навизуализировать себе успешный успех. Интересно, есть ли среди наших подписчиков те, кто хотя бы раз олдскульно делал на ватмане коллажи из вырезанных картинок?Для тех, кто еще не озадачился планами на год, мы подготовили небольшую подборку приложений и шаблоно…

Минутка историиВсе эти ваши датавизы, графики и хитрые многосоставные дашборды — это, конечно, хорошо. Но идеальным, проверенным временем способом структурировать данные остаются самые обычные, простые таблицы.🔜💬 И про «проверенный временем способ» мы написали не просто так.Во время раскопок в Ираке нашли глиняную табличку с таблицей, в которой подсчитывали зарплаты рабочих. В одной колонке записаны имена, в других — разные суммы денег и, судя по всему, число отработанных часов или смен. Возраст находки — 3500-4000 лет.Может быть, когда вы в следующий раз придется поработать с отчетом по зарплатам сотрудникам или выплатам подрядчикам, вы вспомните, что неизвестный житель древнего города Лар…

Новогодние праздники почти все.Готовы отвечать на неудобные вопросы заказчиков?Если что, в помощь считающим активность юзеров у нас даже статья на VC есть!

Очередной пост любви к TableauКто-то спросит — да что такого в этом вашем Tableau? Что он на самом деле умеет такого, что не умеет тот же Superset?А мы просто покажем им дашборд с анимированной схемой складывания оригами. Можно такое сделать в Superset? То-то же. А в Tableau можно сделать, кажется, все, что угодно, если задаться такой целью.Но при всей своей любви к Tableau признаем, что очень уж часто про него пишем. Может, стоит поискать интересные дашборды, сделанные в других BI-тулах?Голосуйте ниже, какой инструмент вам интереснее всего!

Искусство и датавизПрекрасно понимаем, что на праздниках нет никакого желания читать длинные сложные тексты про данные и ИИ, так что просто делимся красотой, еще и познавательной.Дашборд с 37 портретами Ван Гога — каждый с разбором цветовой гаммы и основных элементов и с краткими комментариями. Сплошная польза — и на красивые картинки посмотреть, и что-то новое узнать, и возможностями Tableau по сборке дашбордов впечатлиться.

Дорогие подписчики, друзья, поздравляю вас с наступающим Новым годом! В формате кружка рассказал свои пожелания и запускаю флешмоб/марафон поздравлений, пусть классных слов сегодня будет много!Передаю слово своему другу и известному в data-кругах предпринимателю Роме Нестеру@datakolya

Наши итоги 2024!Вспоминаем, как прошел год. Получается, что весьма неплохо!Надеемся, что следующий будет еще лучше.🔜 Как прошел ваш 2024?

LEFT JOIN pinned a video

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

📊 Как аналитику не стать заложником «визуализации ради визуализации»Я в своё время достаточно часто слышал сотни запросов вида «сделай красивый дашборд» или «добавь ещё метрик»Типичная ситуация: продакт прибегает с горящими глазами, просит «быстренько собрать все метрики по новой фиче». Ты тратишь неделю на идеальный дашборд с когортным анализом, расчетом unit-экономики и даже предиктивными моделями. А через месяц узнаёшь, что им никто не пользуется, потому что «там слишком много всего»За годы работы с данными я могу выделить три главные ловушки, в которые мы как аналитики (и бизнес в целом) регулярно попадаем:1. Синдром потерянного инсайтаСтейкхолдер, умеющий кое-как работать с данными, сл…

😀😃😄😁😀😅😂🤣🥲Поиск работы может быть простым и быстрымДа, даже в конкурентной IT-сфере. С подпиской hh PRO ваше резюме будет выделено и поднимется в топ поиска — на него обратят внимание в первую очередь. А еще вы сможете изучить статистику зарплатных запросов и навыков конкурентов, чтобы поправить свои данные в соответствии с ситуацией на рынке. Результат — в 3 раза больше показов резюме, в 2,4 раза больше просмотров, в 2,3 раза больше приглашений.Оформляем подписку тут.HeadHunter не гарантирует просмотры резюме, приглашения и трудоустройство, расчёт данных здесь.

Предлагаем немного отвлечься от предновогодней суеты, отключиться от рабочей рутины и понастальгировать! Играйте в СберЗмейку – пройдите уровни и соберите звездочки⭐️, чтобы украсить новогоднюю ёлку 🎄Правила такие же, как и в знакомой всем игре 😉Начинаем!💫💫💫

Бытует мнение, что роль руководителя при внедрении Data Culture — обеспечить компанию инструментами аналитики 📊Но это лишь часть правды.В нашей новой статье мы разобрали, какие ещё навыки нужны руководителю для успешного внедрения Data Driven подхода в бизнес и как он должен влиять на этот процесс на разных его этапах.📥📥📥Многие управленцы совершают ошибку, полагая, что достаточно мотивировать сотрудников и дать им необходимые инструменты (например, системы аналитики, инструменты визуализации данных и базы данных). На самом деле, главная роль лидера заключается в том, чтобы на своем примере показывать, как именно нужно использовать данные. Например, руководитель, анализируя KPI и данные о пр…

🔥 Как стать востребованным Data Warehouse Analyst в 2025? Пройди тест по DWH! Ответь на вопросы и проверь свои знания. Сможешь сдать — сможешь претендовать на продвинутый курс "Data Warehouse Analyst" по специальной Новогодней цене!➡️ ПРОЙТИ ТЕСТ: https://clck.ru/3FMDfRРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.Хотите освоить эти инструменты?Попробуйте симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных.Уникальный формат обучения:⚡️ максимум прикладных практических навыков⚡️ браузерная IDE для запуска проектов dbt⚡️ геймифицированные задания с подробным описанием и подсказками⚡️ экспресс-квизы для быстрого запоминанияВас ждут более 100 задач из разных бизнес-сфер, которые вы возьмете в портфолио, например:✅ Статистика поездок на самокатах - вы сможете выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дн…

Как связаны борщ и архитектура хранилищ данных?Это не шутка! На открытом уроке мы покажем, как метод «борща» помогает готовить идеальные DWH. Разберем, что лежит в основе core- и аналитического слоев DWH, и как создавать платформу, которая работает, а не простаивает.🔥Узнайте успешные подходы к созданию хранилищ данных и прокачайте навыки аналитика. После урока вы сможете строить DWH, способное переварить любой объем данных!⏺Забронируйте место на открытый вебинар 17 декабря в 20:00 мск. Участники получат скидку на курс «Data Warehouse Analyst»: https://clck.ru/3FDKKnРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упаковать свой опыт, чтобы заинтересовать, объяснять и мотивировать. Если вы обладаете опытом работы в этой области и умеете объяснять сложные вещи простым языком, то эта позиция для вас. ➡️ Откликнуться

💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, какие навыки выделяют успешных кандидатов.Подготовьтесь так, чтобы даже сложные вопросы на собеседовании не застали вас врасплох. Узнайте секреты, которые помогут вам занять позицию уровня Middle+.Спикер Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. ⏺Встречаемся 4 декабря в 20:00 мск. Участникам урока – скидка на участие в курсе «Data Warehouse Analyst». Регистрируйтесь: https://clck.ru/3EzcAEРекл…

Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище. Вы узнаете:🟡 Что такое ETL и как он работает🟡 Какие есть различия между пакетной и потоковой обработкой🟡 Какие виды документации используют в дата-проектах🟡 Как оценивать и поддерживать высокое качество данных🟡 Как мониторить ETL-процессыВ конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁Встречаемся 4 декабря в …

Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы.• Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования.• Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта.Когда: 12 декабря в 11:00.Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO.Регистрируйтесь!

Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут.Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK.Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми …

На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академические бенчмарки. Но эти тесты упускают главное: LLM создаются не для решения ЕГЭ, а для реальных задач — ведение диалога, перевод, суммаризация, брейншторминг. К тому же все бенчмарки подвержены протечкам данных — тестовые задания попадают в тренировочные наборы, искажая результаты.LLM-модели не имеют той внутренней картины мира, которая есть у людей. Для нас вопрос «стоит ли брать кирпичи на пляж» звучит абсурдно, а для модели этот ответ с…

Неделя IT-донора: масштабируем добро С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал федеральной акцией, привлёк более 650 IT-компаний и 40 Министерств. В прошлую акцию: ❤️ Зарегистрировалось более 2600 добровольцев из 200 городов России; ❤️ Сдали почти 500 литров крови, которые помогли спасти жизни людей со всей России. И это не предел — ведь скоро стартует декабрьская акция IT-донор. Как участвовать в акции? 1. Регистрируйтесь через чат-бот IT-донора до 7 декабря включительно; 2. Приходите с 2 по 7 декабря сдавать кровь на …

https://www.qlik.com/us/news/company/press-room/press-releases/qlik-acquires-upsolver-to-deliver-low-latency-ingestion-and-optimization-for-apache-icebergНовость один в один как предыдущаяQlik купил Upsolver.Шо, кто, зачем, как.... Вот иногда читаешь новости, и даже не понял, что произошло.@ohmydataengineer - канал "🕯Труба Данных" который все еще не в курсе всех новостей!

https://www.getdbt.com/blog/dbt-labs-acquires-sdf-labsdbt купили себе какой-то sdf.Впервые слышу про эту штуку и так сразу и не скажу, что она делает. Но в англоязычном интернете все очень рады, говорят, что dbt будет работать "в 10 раз быстрей". Чему там правда работать быстрей, если основную нагрузку выполняет база.... Ну да ладно, мб я тупой.@ohmydataengineer - канал "🕯Труба Данных" который не в курсе что такое SDF!

https://www.jetbrains.com/lp/devecosystem-2024/Ежегодный очень большой отчет/исследования про языки программирования от JetBrains.Все как обычно - TypeScript подъедает JavaScript, Rust все также всеми очень любим и все хотят на него переехать.В базах данных правда нет разделения на OLAP / OLTP, поэтому самый популярный - MySQL, а у того же Snowflake или Clickhouse по 3% всегоAWS в 3 раза больше ближайшего конкурента, который оказывается Azure, а не GCP.Почти 50% (или всего лишь 50%, не знаю как отреагировать) пользуются регулярно каким-то AI в разработке (Copilot, ChatGPT).@ohmydataengineer - канал "🕯Труба Данных" это больше чем просто канал про данные!

https://arch.dev/blog/2025-the-dawn-of-the-ai-data-team/Бла-бла-бла, AI всех заменит, подходы меняются, меняйся или умри. Пожалуйста, не поддавайтесь этой истерике, в самой статье ж прям написано: The Foundation Remains CriticalНичего ульра-прорывного именно в data engineering с появлением AI пока не произошло, вы ничего не пропустили.Copilot и другие умные автокомплиты - это да. Вот это стоит взять на вооружение.@ohmydataengineer - канал "🕯Труба Данных" на страже хайпожорства!

Возвращение легендарной рубрики на телеканале @ohmydataengineer!"Пусть данные говорят сами за себя!"

https://www.newsletter.swirlai.com/p/memory-in-agent-systemsСпустя почти год перерыва Swirl вернулся со своими статьями про ML, ML&Data Ops и AI. Достаточно доступным языком про эту тему пишет, с наглядными картинками. Поговаривают в соцсеточках, что в этом году оч модно у бизнеса будут AI Agents, которые, как обычно обещают, заменят нас всех и мы пойдем грузить вагоны. Как пример - хорошая статья про то, как работает память у AI Agents.@ohmydataengineer - канал "🕯Труба Данных" продолжает расширять горизонты контента!

https://clickhouse.com/blog/a-simple-guide-to-clickhouse-query-optimization-part-1Чем меньше SLA, тем быстрей должен работать Clickhouse, реальность моей текущей работы.Поэтому приходится читать много про всякие оптимизации.А тут и сам Clickhouse подвез прекрасную стартовую статью для этого. Просто следуйте за ходом мыслей в статье при анализе плана запроса и применяйте в своей работе.Ах да, мое любимое, каждый раз забываю 🤪 - An easy rule of thumb for determining which columns are good candidates for LowCardinality is that any column with less than 10,000 unique values is a perfect candidate.@ohmydataengineer - канал "🕯Труба Данных" продолжает любить Clickhouse!

Пора подводить итоги 2024!Вот тут год назад писал про свои цели. Посмотрим, что ж из этого вышло:✔️ Рост каналов @ohmydataengineer и @career_worksВторой канал я удалил, потому что он что-то совсем меня не зажигал в течении года. Материалов копилось много, а обрабатывать их совершенно не было сил. Ну а Труба Данных выросла до 3600+, исполнив цель минимум. Так что можно сказать успех.✔️ Полноценный релиз Data Catalog, Data Contracts и удалить JenkinsКаталог появился, дата контракты тоже, да и на Airflow с Jenkins пошел полным ходом. ⚠️ Карьерные консультацииПродолжало идти само по себе. Но есть несколько хороших кейсов (+800 евро net в месяц на вакухе в Европе или +150 тыс. руб. net в России)…

Помните, какое-то время назад просил заполнить опрос, на каких специалистов в публичном поле и каналы / блоги вы подписаны? Так вот NEWHR выпустили рейтинг и список.В этом году ни в какие топы я не попал 😁, а в топе есть пара новых имен.Если вам интересно посмотреть на полные рейтинги и списки экспертов из исследования можно тут.@ohmydataengineer - канал "🕯Труба Данных" вне всяких рейтингов!

Интересные времена, оказывается разбивать данные на партиции в момент их заливки уже немодно, согласно Progressive Partitioning for Parallelized Query Execution in Google’s NapaВнедрили динамическое партицирование для каждого запроса, потому что: * Гранулярность партиций сильно зависит от конкретного запроса. * Фиксированные партиции не справляются с перекошенным распределением данных и динамическими нагрузками.Система использует прогрессивное партицирование, уточняя границы партиций итеративно до тех пор, пока не будет достигнута оптимальная гранулярность для запроса. Это позволяет балансировать между качеством разбиения и производительностью.Как это работает?1. Данные хранятся в LSM дерев…

https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-s3-tables-apache-iceberg-tables-analytics-workloads/Ну что я могу поделать, если уже и Amazon подкидывает мне новости, которые я обещал не рассказывать? AWS выкатывает специальные Amazon S3 Tables бакеты, с нативной и встроенной поддержкой Apache IcebergПо словам провайдера - specifically optimized for analytics workloads, resulting in up to 3x faster query throughput and up to 10x higher transactions per second compared to self-managed tables@ohmydataengineer - канал "🕯Труба Данных" все-таки иногда нарушает своих обещаний!.

https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (на скриншоте пример чтения из Apache Polaris)@ohmydataengineer - канал "🕯Труба Данных" не нарушает своих обещаний!.

https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно.

https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrowДолго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясняет. Как пример - как работает Apache Arrow.Потыкайте в его блог, там еще очень много всяких интересных чтив.@ohmydataengineer - канал "🕯Труба Данных" не прячет от вас крутые блоги и статьи и не переписывает их своими словами

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Как разобраться в мире современных подходов к питанию и не потеряться среди популярных диет, инста-советов и исследований? В этом выпуске мы поговорили с Марией Кардаковой — ученым-нутрициологом, которая живет и работает в Великобритании, руководит IT-стартапом по планированию меню и продвигает доказательный подход к здоровому питанию. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: https://facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Екатерина Петрова, Стас Цыганов, Аня Симонова Полезные ссылки:

Профессиональный с…

Это запись нашего новогоднего стрима 🎅🏼 Выходить в прямой эфир перед новым годом — наша давняя, любимая традиция! На стриме мы подводим итоги года, обсуждаем любимые выпуски, отвечаем на вопросы слушателей, делимся открытиями, достижениями и провалами года. Ну и как же без новогоднего чуда? Традиционно, мы устроили квиз среди зрителей лайва на знание лора вселенной Подлодки. Если хотите посмотреть, как прошел квиз, а так же заценить наши новогодние наряды — приглашаем посмотреть запись стрима на YouTube: https://www.youtube.com/watch?v=9t_kb1-z7ag Всех с новым годом! Спасибо, что были с нами в 2024, и до встречи в 2025 ❤️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Что общего у скорости вычислений, мутабельности, кеширования и исключений? Все это – сайд-эффекты, которые сопровождают результаты вычислений. Виталий Брагилевский показал нам невероятно прекрасную картину, которая открывается, если рассматривать все возможные эффекты как часть одной системы – программирование становится более простым, контролируемым и выразительным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Толстой Полезные ссылки: Книга про…

Продолжаем серию выпусков о кроссплатформенной разработке под десктоп! На этот обозреваем сразу два фреймворка – JavaFX и Swing, а чтобы было честно, мы пригласили двух экспертов: Михаила Соколова, Platform UI разработчика из JetBrains, и Кирилла Кириченко, который занимался разработкой Swing/JavaFX еще в Sun/Oracle. Вместе с гостями мы не только заглянем в кишочки каждого из фреймворков, но и обсудим их прикладные аспекты. Разберемся, как так получилось, что в Java-экосистеме существуют сразу два конкурирующих решения для разработки UI, попробуем понять, кто все таки победил, или оба фреймворка пора запокать. В выпуске много технических деталей, клевых фактов из истории развития экосистемы…

Когда продукт уже устоялся, перед командой встает задача масштабирования и поиска новых направлений для роста. В этом выпуске мы поговорили с Анной Булдаковой — фаундером No flame no game и Meander, ex Meta & Intercom. Обсудили, как понять, что продукт “работает нормально”. Разобрались, что важнее: привлекать новых пользователей или глубже решать проблемы текущей аудитории. Поговорили о том, почему роадмап не всегда отражает пользовательские метрики. Также обсудили, как меняются процессы и работа со стейкхолдерами на этапе масштабирования. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews С…

А что, если взять SQL, добавить к нему всякие расширения, чтобы было проще писать бизнес-логику, и максимально тесно интегрировать с конкретной базой данных? Получится PL/SQL! Обсуждаем в выпуске сам язык, а также экосистему Oracle, в которую он тесно внедрен. А в гостях у нас Иван Дубашинский. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В разных проектах всегда находятся вызовы, поэтому сотрудники могут строить свой карьерный трек и перемещаться между командами, чтобы наращивать опыт и контекст. Узнать больше о технологиях …

Друзья, встречайте наш юбилейный 400-й выпуск! 🎉 Мы посвятили этот особенный эпизод темам, которые волнуют каждого слушателя и слушательницу: разбираем проблемы и страхи IT-индустрии и обсуждаем, как с ними бороться. Поговорим о том, есть ли недостаток фундаментальных знаний и грозит ли нам полная монополизация технологий. Порассуждаем о том, как бороться с тем, что желание краткосрочной выгоды в индустрии все чаще преобладает над смыслом работы. Обсудим страхи увольнения, экономического спада, замену человека искусственным интеллектом, а также проблему выгорания. Мы не смогли выбрать одного гостя для такой масштабной темы, поэтому собрали комментарии сразу шести!!! ваших любимых экспертов:…

А вот и финальная часть нашего гайда по качалке! В этот раз обсудили, нужна ли специальная диета для силовых тренировок и какие ключевые рекомендации по питанию стоит учесть. Разобрали, как и зачем считать калории, сколько белка нужно есть, откуда его брать и какие есть лайфхаки. Поговорили о том, стоит ли отказываться от каких-то продуктов, действительно ли быстрые углеводы — зло, и как вписать пиво в вашу диету. Бонусом разобрали тему травм и проблем со здоровьем: какие заболевания являются противопоказаниями, а при каких силовые тренировки могут помочь. Как и в предыдущих 2-х частях вас ждут концентрированные знания от Станислава Цаллагова, приправленные шутейками, а также личными истори…

Наконец-то выпуск про релокацию не на какой-то там очередной остров, а в Соединенные Штаты Америки! Тема обширная, так что обсудили не все, но подняли много непростых тем – визы и легализацию, безопасность и владение оружием, медицину и страховки. А в гостях у нас уже дважды релокант в США – Артем Зиннатуллин! 18 ноября стартует новый сезон Podlodka Java Crew. Тема сезона – "Асинхронная архитектура"! По промокоду JAVA_STREAM скидка на билеты. Полная программа и подробности – на сайте https://podlodka.io/javacrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.face…

В этот выпуск гостем пришел Матвей Кукуй, сооснователь KeepHQ.dev, а в прошлом — Engineering Director в Grafana Labs. Говорим о том, что такое AIOps и как искусственный интеллект трансформирует мониторинг и алертинг, помогая обрабатывать и интерпретировать данные из Observability-инструментов. Обсуждаем, как AIOps модели обучаются, тестируются и автоматизируют инциденты, а также какие сложности возникают при создании AI-продуктов для корпораций. По ходу выпуска также поговорили про роль open-source, выбор модели монетизации и то, что ждёт AIOps в ближайшие годы. 11 ноября стартует новый сезон Podlodka iOS Crew. Тема сезона – "Многопоточность"! По промокоду IOS_CONCURRENCY скидка на билеты. …

В этом выпуске c Артуром Голубцовым из Cognitive Pilot погружались в мир робототехники и говорили про особенности разработки автопилотов и автономных систем: от выбора ниши и MVP до тестирования в реальной среде и запуска в производство. Обсудили как автономные технологии уже изменили многие сферы и почему роботов “на улицах” до сих пор не так много. Партнёр эпизода — Genotek, лидер в области персональной и медицинской генетики. ДНК-тест «Генетический паспорт» анализирует ваше происхождение, предрасположенность к заболеваниям и предлагает рекомендации по их профилактике, исходя из ваших генетических особенностей. В стоимость включена консультация врача, который поможет разобраться в результ…

Понятный и удобный API – залог успеха хорошей библиотеки. Но, чтобы его спроектировать, нужно решить огромное количество проблем, связанных с выбором правильного уровня абстракции, историческим наследием, необходимостью поддерживать обратную совместимость, неоднозначностью естественного языка и, самое главное, человеческой природой. Сева Толстопятов, главный за core-библиотеки Kotlin, рассказал нам о том, как принимать решения в дизайне API, учитывая все возможные их последствия. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В…

В этом выпуске заглядываем одним глазком туда, где цена ошибки максимально высока. В медицину! Что уже может делать ИИ, в чем он лучше или хуже врачей – разберемся с Евгением Никитиным, CTO компании Цельс. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом и измерять эффективность — там, где раньше нужно было несколько разных решений…

В этом выпуске мы обсуждаем социальную инженерию — угрозу, которая касается каждого, будь то человек или компания. Мы разберем основные методы атак, и какие психологические техники используют мошенники. Вы узнаете, насколько опасно переходить по ссылкам, открывать видео и скачивать файлы. Эксперт Антон Бочкарев – эксперт по информационной безопасности и сооснователь площадки «Третья Сторона», поделится советами, как защитить себя, помочь близким и бороться с этой угрозой на уровне компании. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготов…

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Topics include dbos-transact-py, Typed Python in 2024: Well adopted, yet usability challenges persist, RightTyper, and Lazy self-installing Python scripts with uv.

Topics include New project to shorten django-admin to django because we are not monsters, django-unicorn sparkles, Testing some tidbits, and The State of Python 2024 article.

Topics include jiter, A new home for python-build-standalone, moka-py, and uv: An In-Depth Guide.

Topics include Loop targets, asyncstdlib, Bagels: TUI Expense Tracker, and rloop:

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

Topics include terminal-tree, posting: The API client that lives in your terminal, , and UV does everything or enough that I'm not sure what else it needs to do.

Topics include GitHub action security: zizmor, Python is now the top language on GitHub, Python 3.13, what didn't make the headlines, and PyCon US 2025.

Topics include Python 3.14.0 alpha 1 is now available, uv supports dependency groups, dive: A tool for exploring each layer in a docker image, and pytest-metadata.

Topics include Open Source Pledge, DjangoTV, PEP 735 – Dependency Groups in pyproject.toml, and livereload.

Topics include Briefer: Dashboards and notebooks in a single place, Introduction to programming with Python, setup-uv, and HTML for people.

Topics include Python 3.13.0 released Oct 7, PEP 759 – External Wheel Hosting, pytest-freethreaded, and pytest-edit.

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

Topics include , narwhals, Microsoft wants Three Mile Island to fuel its AI power needs, and zsh-in-docker.

Digital forensics is the process of identifying, preserving, analyzing, and presenting electronic data for investigative purposes. It’s often related to addressing cybercrime and is crucial in tracing the origin of breaches, recovering lost data, and security hardening. Emre Tinaztepe is the Founder and CEO of Binalyze which is a cybersecurity company specializing in digital forensics

The post Digital Forensics with Emre Tinaztepe appeared first on Software Engineering Daily.

Fallout: London is a 2024 total conversion mod developed by Team FOLON. The mod is based on Fallout 4 by Bethesda Softworks and takes place in a post-apocalyptic rendition of London. The project is remarkable for its ambition and scope, with the small indie team delivering a fully-realized open world RPG. Daniel Morrison Neil led

The post Fallout: London with Daniel Morrison Neil and Jordan Albon appeared first on Software Engineering Daily.

Heroku is a cloud platform-as-a-service that enables developers to build, deploy, and manage applications. It was founded in 2007 and was acquired by Salesforce in 2010. The platform supports multiple programming languages, including Ruby, Python, Node.js, and Java, and has features such as automated scaling, database monitoring tools, and a streamlined deployment workflow. Vish Abrams

The post Heroku and the Twelve-Factor App with Vish Abrams appeared first on Software Engineering Daily.

Over the years, Google has released a variety of ML, data science, and AI developer tools and platforms. Prominent examples include Colab, Kaggle, AI Studio, and the Gemini API. Paige Bailey is the Uber Technical Lead of the Developer Relations team at Google ML Developer Tools, working on Gemini APIs, Gemma, AI Studio, Kaggle, Colab

The post AI Developer Tools at Google with Paige Bailey appeared first on Software Engineering Daily.

Video game emulation is the process of using software to replicate the functionality of gaming hardware. It’s a fundamental approach to making older games accessible on modern devices. The Carbon Engine is a tool developed internally at video game publisher and distributor Limited Run Games. It allows a variety of emulators to interface with modern

The post Game Emulation on the Carbon Engine with Dimitris “MVG” Giannakis appeared first on Software Engineering Daily.

Serverless computing is a cloud-native model where developers build and run applications without managing server infrastructure. It has largely become the standard approach to achieve scalability, often with reduced operational overhead. However, in banking and financial services, adopting a serverless model can present unique challenges. Brian McNamara is a Distinguished Engineer at Capital One where

The post Going Serverless in Financial Services with Brian McNamara appeared first on Software Engineering Daily.

Teardown is a 2022 sandbox puzzle game developed and published by Tuxedo Labs. The game revolves around the owner of a financially stricken demolition company, who is caught undertaking a questionable job and becomes entangled between helping police investigations and taking on further dubious assignments. The game stands out for its technical achievements, particularly its

The post Teardown and Voxel-Based Rendering with Dennis Gustafsson appeared first on Software Engineering Daily.

Expo is a development framework that streamlines the process of building cross-platform mobile apps using React Native. It eliminates the need for complex native code setup by providing pre-built APIs for common device features like the camera and GPS, making it easier to access hardware functionality. It also simplifies the deployment process with built-in tools

The post Streamlined React Native Development with Charlie Cheever and James Ide appeared first on Software Engineering Daily.

To our Software Engineering Daily listeners – as we wrap up 2024, we want to thank you all for listening to the show. We’ve had a great time putting together all of our episodes this year, and we’re grateful for your support. This year we continued our wide lens coverage of software engineering, and we

The post Special End-of-Year Message from Software Engineering Daily appeared first on Software Engineering Daily.

Vulkan is a low-level graphics API designed to provide developers with more direct control over the GPU, reducing overhead and enabling high performance in applications like games, simulations, and visualizations. It addresses the inefficiencies of older APIs like OpenGL and Direct3D and helps solve issues with cross-platform compatibility. Tom Olson is a Distinguished Engineer at

The post The Vulkan Graphics API with Tom Olson and Ralph Potter appeared first on Software Engineering Daily.

Deno is a free and open source JavaScript runtime built on Google’s V8 engine, Rust, and Tokio. It’s designed to offer a more secure and standardized alternative to Node.js, with native TypeScript support. Deno 2.0 just released and it’s a significant update, focusing on improved compatibility with Node.js and addressing developer feedback. Some of the

The post Deno 2.0 with Luca Casonato appeared first on Software Engineering Daily.

JFrog is a DevOps platform that specializes in managing software packages and automating software delivery. One of its best known services is the JFrog Artifactory which is a universal artifact repository. JFrog is also focused on rapidly emerging needs in the MLOps space. Bill Manning is a Senior Solution Architect at JFrog. He joins the

The post MLOps at JFrog with Bill Manning appeared first on Software Engineering Daily.

Offensive penetration testing, or offensive pentesting, involves actively probing a system, network, or application to identify and exploit vulnerabilities, mimicking the tactics of real-world attackers. The goal is to assess security weaknesses and provide actionable insights to strengthen defenses before malicious actors can exploit them. Bishop Fox is a private professional services firm focused on

The post The Future of Offensive Pentesting with Mark Goodwin appeared first on Software Engineering Daily.

WipEout is a futuristic racing game that was originally released in 1995 for the PlayStation. The game fused fast gameplay, striking art direction, and licensed electronic music. It was a cultural phenomenon and an early showcase for 3D graphics in console gaming. Dominic Szablewski is an engineer, game developer and hacker who has released projects

The post WipEout with Dominic Szablewski appeared first on Software Engineering Daily.

Discord is a popular communication and streaming platform that was originally launched in 2015. It was first popularized in the gaming space, but its user base has grown to include a broad array of communities, businesses, and social groups. Justin Beckwith is the Director of Engineering at Discord. He leads engineering for the Platform Ecosystem

The post Engineering at Discord with Justin Beckwith appeared first on Software Engineering Daily.

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

Ao Mar by Ão sample track: Mulher Ão is a four-piece band from Belgium that have blended the otherworldly vocals of Brenda Corijn with trip-hop electronica.

Future Forecast by Jack Magnet Science sample track: Extra Polation Iceland has given the world a few quirky musical innovators, unafraid to push into new territories.

The result is distinctly a horn-led jazz sound, inspired by Ornette Coleman, with solid melodic sense and a finish that's vaguely unsettling.

I've enjoyed it more Indian musical traditions mesh with western ones, and I've found several good examples of that in jazz.

MRA by Emel sample track: Lose my Mind Emel is a Tunisian singer whose fame rose from her protest songs du…

This is where codemods come in—a powerful tool for automating large-scale code transformations, allowing developers to introduce breaking API changes, refactor legacy codebases, and maintain code hygiene with minimal manual effort.

For example, React provides codemods to handle the migration from older API patterns, like the old Context API, to newer ones.

Codemods can also handle complex refactoring scenarios, such as changes to deeply nested structures or removing deprecated API usage.

A codemod (code modification) is an automated script used to transform code to follow new APIs, syntax, or coding standards.

Codemods Improve Code Quality and Maintainability Codemods aren’t just useful for…

By using Abstract Syntax Trees (AST), codemods allow you to automate large-scale code changes with precision and minimal effort, making them especially useful when dealing with breaking API changes.

We’ll also discuss potential pitfalls and how to avoid them when using codemods at scale.

This is where codemods come in—a powerful tool for automating large-scale code transformations, allowing developers to introduce breaking API changes, refactor legacy codebases, and maintain code hygiene with minimal manual effort.

For example, React provides codemods to handle the migration from older API patterns, like the old Context API, to newer ones.

Codemods can also handle complex refactoring scenar…

Design tokens are design decisions as data and serve as a single source of truth for design and engineering.

Tools like code generators, documentation systems, and UI design software are now better equipped to support design tokens, underscoring their growing importance in modern UI architecture.

The Design Tokens Community Group describes design tokens as “a methodology for expressing design decisions in a platform-agnostic way so that they can be shared across different disciplines, tools, and technologies Let’s break this down: Cross-Disciplinary Collaboration: Design tokens act as a common language that aligns designers, developers, product managers, and other disciplines.

Such a pipeli…

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most o…

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most of the existing data products, we’ll need to…

Before we begin designing data products, let’s first establish a shared understanding of what they are and what they aren’t.

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data dr…

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

It’s one of many products in the market that focus on using AI to understand and ask questions about large codebases.

There is a mindset shift we have to make when using Generative AI tools in general.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

TDD is especially needed when using AI coding assistants.

How I use Social Media Different people use social media in different ways, and my thoughts are governed by how I use them.

I'm not really a social user of social media.

I first started using social media (in some form) in the late 1980's with Usenet.

To find my social media pages, use the icons in the site banner, or look at the list on my about page.

RSS This isn't really a social media, as there isn't a mechanism for discussion, but since I'm mostly into social media to find out about interesting publications, RSS fits into my discussion.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

Limitations and Identified Drawbacks So far we’ve mostly highlighted the benefits of a Strangler Fig approach to legacy mobile App displacement.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

A case study of gradually modernizing an established mobile applicationIncremental replacement of a legacy mobile application is a challenging concept to articulate and execute.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Linking Modular Architecture to Development Teams Can a modular architecture improve software delivery?

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

The key to implementation of the Strangler Fig pattern involved embedding an entire React Native application inside the existing legacy application.

I was interviewed on the Book Overflow podcast about the Refactoring book. We talked about the origins of the book, the relationship between refactoring, testing, and extreme programming, how refactoring is used in the wild, and the role of books and long-form prose today.

more…

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

Эмодзи-пак с текстовыми реакциями для телеграма.

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.