How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In part one we shared the overall design of Moka, our new next gen data processing platform, and detailed its application focused components. In part two of our series, we spotlight the infrastructure focused aspects of our platform: how we deploy Moka using AWS E…

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Imagine being able to use AI to create 3D virtual worlds using prompts as easily as you can generate images. The intersection of AI and VR was one of the biggest topics at Meta Connect this year. In his keynote, Mark Zuckerberg shared his vision of a future where anyone can create virtual worlds using [...]

Read More...

The post AssetGen: Generating 3D Worlds With AI appeared first on Engineering at Meta.

Over the past 21 years, Meta has grown exponentially from a small social network connecting a few thousand people in a handful of universities in the U.S. into several apps and novel hardware products that serve over 3.4 billion people throughout the world. Our infrastructure has evolved significantly over the years, growing from a [...]

Read More...

The post Meta’s Infrastructure Evolution and the Advent of AI appeared first on Engineering at Meta.

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

We’re sharing how Meta is applying machine learning (ML) and diversity algorithms to improve notification quality and user experience. We’ve introduced a diversity-aware notification ranking framework to reduce uniformity and deliver a more varied and engaging mix of notifications. This new framework reduces the volume of notifications and drives higher engagement rates through more diverse [...]

Read More...

The post A New Ranking Framework for Better Notification Quality on Instagram appeared first on Engineering at Meta.

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

As AI adoption accelerates, companies must rethink their computing strategy to handle rising data and power demands effectively.

Data analytics is reshaping the pharmacy industry by driving smarter decisions, tracking market shifts, and improving patient outcomes.

Call centers are rapidly evolving with generative AI driving faster service, smarter interactions, and stronger customer relationships.

Learn how data analytics can help drivers cut costs, track expenses, and make better decisions for long-term vehicle savings.

Explore how companies invest in BI tools, why adoption rates remain modest, and what defines a true Data Leader in today’s market.

The race for AI supremacy isn't won with better algorithms, but with better data. Explore why the quality, scale, and diversity of datasets are the true differentiators.

Discover how data analytics reshapes e-commerce warehouses, improving decision-making, boosting returns, and supporting rapid growth.

Catalyst for Business explores how AI is reshaping nursing education as providers face staff shortages and tighter budgets.

From lab to life-saving: The AI technologies transforming how medical equipment gets made.

Why deals stall: The overlooked friction points in B2B sales—and how to fix them.

Why 89% of top fleets now rely on data analytics - and how you can too.

No more waiting for reports: AI's revolution in fund manager-investor information sharing.

You can improve sales performance by using data analytics to track, score, and convert leads more effectively.

You can create better email campaigns by using AI tools and the right platforms to personalize content and automate key tasks.

In 2025, every forward-thinking organization is asking the same question: “How is Generative AI used in business & how can we use it effectively?” From marketing and analytics to software development and cybersecurity, Generative AI (Gen AI for business) is reshaping industries at a pace we’ve never seen before. For business leaders, understanding this technology […]

The post What Is Generative AI for Business? appeared first on WeCloudData.

The demand for skilled cloud engineers has exploded over the past few years — and 2025 is shaping up to be an even bigger year. As organizations adopt multi-cloud strategies, embrace AI, and scale their infrastructure globally, mastering the right cloud engineering skills is what sets top talent apart. Whether you’re a beginner exploring cloud […]

The post Top 7 Cloud Engineering Skills You Need appeared first on WeCloudData.

Cybersecurity has always been a critical pillar of the digital world, but in 2025, the stakes are higher than ever. As organizations face increasingly sophisticated cyberattacks, Artificial Intelligence in cybersecurity is becoming a powerful ally in defending digital infrastructure. From detecting anomalies in real time to automating incident responses, AI cybersecurity is reshaping how we […]

The post How AI Is Transforming Cybersecurity in 2025: Skills, Tools & Career Opportunities appeared first on WeCloudData.

Artificial Intelligence is no longer just a buzzword, it’s at the core of how businesses innovate, automate, and grow. Whether it’s powering chatbots, predicting financial trends, or driving cars, AI is everywhere. If you’ve ever wondered how to learn AI from scratch, 2025 is the perfect time to start. This roadmap will guide you step […]

The post Beginners Guide: How to Learn AI From Scratch in 2025 appeared first on WeCloudData.

Learning Python from scratch in 2025 is still one of the best moves you can make. Whether you’re new to coding or switching careers, this language opens doors in AI, data science, automation, and more. Below is a guided path to get you started — even if you’ve never programmed before. Why Python Is a […]

The post Best way to learn Python From Scratch in 2025 appeared first on WeCloudData.

Starting your coding journey can feel overwhelming. With so many languages out there, how do you decide the first programming language to learn for beginners? Wondering which is the best programming language to learn first today? This guide helps you choose wisely, considering job demand, learning curve, and long-term value. What Matters When Choosing Your […]

The post Best Programming Language to Learn First in 2025 appeared first on WeCloudData.

MLOps (Machine Learning Operations) has quickly become one of the most in-demand fields in tech. As more organizations scale their AI initiatives, the need for professionals who can build, deploy, and maintain machine learning models in production is skyrocketing. But here’s the question many aspiring engineers ask: What’s the best programming language for MLOps? The […]

The post Best Programming Language for MLOps? appeared first on WeCloudData.

If you’re starting a career in data, AI, or MLOps, one of the biggest questions you’ll face is: Should I learn SQL or Python first? Which one is more in demand? Both SQL and Python are essential for data professionals — but they serve different purposes. Let’s break down the differences, answer common questions like […]

The post SQL vs Python: Which Should You Learn First? appeared first on WeCloudData.

What is DevOps? If you’ve been exploring career paths in technology, you’ve probably asked yourself: What is DevOps? Simply put, DevOps is a set of practices, tools, and a cultural philosophy that brings together software development (Dev) and IT operations (Ops). The goal is to shorten the software development lifecycle, deliver features faster, and improve […]

The post Beginner Friendly DevOps Transformation Roadmap for 2025 appeared first on WeCloudData.

Artificial Intelligence has been popping up everywhere, and the demand for AI/ML engineer skills has skyrocketed. From Meta to Microsoft, companies across industries are racing to hire engineers who can build and scale cutting-edge solutions. Are you also interested in becoming an AI engineer but don’t know where to start? But what exactly are the […]

The post Top Skills Employers Want in AI Engineers in 2025 appeared first on WeCloudData.

In a time when artificial intelligence is rapidly changing industries, the ability to develop AI applications locally, without depending on expensive cloud resources, has become essential for developers, data scientists, and businesses. On September 4, 2025, WeCloudData partnered with Docker to host a live webinar titled “Getting Started with Local AI Development,” featuring Mike Coleman, […]

The post Getting Started with Local AI Development: Insights from WeCloudData’s Webinar with Docker’s Mike Coleman appeared first on WeCloudData.

In data science and machine learning, Python has become the preferred language due to its extensive range of libraries and support. One of the recent Python library named PandasAI is gaining attention from the data people. This generative AI Python library enhances the popular pandas library by incorporating large language models (LLMs). In this blog, […]

The post PandasAI: Generative AI Python Library appeared first on WeCloudData.

In today’s fast-paced development world, containerization has become essential for building, shipping, and running applications efficiently. Docker is a leading platform that enables developers to package applications along with all their dependencies into a standardized container. For Windows users, Docker Desktop provides a straightforward way to take advantage of these features on a local machine. […]

The post Getting Started with Docker Desktop on Windows 10/11 appeared first on WeCloudData.

When most developers think about artificial intelligence, they immediately consider algorithms, models, and data. However, anyone who has attempted to build an AI-powered application in the real world will tell you that the toughest part isn’t always the modeling. It’s about getting the environment right. Framework versions, CUDA dependencies, and conflicting Python libraries can all […]

The post Building an AI Application with Docker appeared first on WeCloudData.

In our previous post, we explored LangChain, a powerful framework for developing applications with large language models (LLMs). We discussed its core components, operational workflows, and real-world applications. Now, it’s time to see LangChain in action. In this post, we’ll walk through building a basic, context-aware chatbot using LangChain’s modular tools. By the end of […]

The post Getting Started with LangChain: Building a Simple Context-Aware Chatbot appeared first on WeCloudData.

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

Organizations need to efficiently manage data assets while maintaining governance controls in their data marketplaces. Although manual approval workflows remain important for sensitive datasets and production systems, there’s an increasing need for automated approval processes with less sensitive datasets. In this post, we show you how to automate subscription request approvals within SageMaker, accelerating data access for data consumers.

On February 6th 2025, AWS introduced fine-grained access control based on AWS Lake Formation for EMR on EKS from Amazon EMR 7.7 and higher version. You can now significantly enhance your data governance and security frameworks using this feature. In this post, we demonstrate how to implement FGAC on Apache Iceberg tables using EMR on EKS with Lake Formation.

In this post, we explore the critical design considerations for building responsible AI systems in healthcare and life sciences, focusing on establishing governance mechanisms, transparency artifacts, and security measures that ensure safe and effective generative AI applications. The discussion covers essential policies for mitigating risks like confabulation and bias while promoting trust, accountability, and patient safety throughout the AI development lifecycle.

Introduction As organizations adopt multi-account strategies for improved security features and governance, AWS CloudFormation StackSets enables organizations to deploy infrastructure across multiple accounts and regions. However, monitoring and tracking these distributed deployments across multiple accounts presents operational challenges. When a critical security baseline deployed across 50 accounts suddenly starts failing, teams face the daunting task of logging […]

In this post, we explore the Five V's Framework—a field-tested methodology that has helped 65% of AWS Generative AI Innovation Center customer projects successfully transition from concept to production, with some launching in just 45 days. The framework provides a structured approach through Value, Visualize, Validate, Verify, and Venture phases, shifting focus from "What can AI do?" to "What do we need AI to do?" while ensuring solutions deliver measurable business outcomes and sustainable operational excellence.

In this post, we explore an innovative approach that converts natural language to Gremlin queries using Amazon Bedrock models such as Amazon Nova Pro, helping business analysts and data scientists access graph databases without requiring deep technical expertise. The methodology involves three key steps: extracting graph knowledge, structuring the graph similar to text-to-SQL processing, and generating executable Gremlin queries through an iterative refinement process that achieved 74.17% overall accuracy in testing.

In this post, we explore how companies can systematically incorporate responsible AI practices into their generative AI project prioritization methodology to better evaluate business value against costs while addressing novel risks like hallucination and regulatory compliance. The post demonstrates through a practical example how conducting upfront responsible AI risk assessments can significantly change project rankings by revealing substantial mitigation work that affects overall project complexity and timeline.

GroundTruth, an advertising platform leading the way in location- and behavior-based marketing, empowers brands to connect with consumers through real-world behavioral data to drive real business results. As our advertising platform scaled to process increased volume of ad requests and third-party segment ingestion, maintaining our Aerospike-based caching infrastructure introduced significant operational complexity and rising costs, while also compromising performance and limiting our ability to scale efficiently. To meet our requirements we implemented Amazon ElastiCache for Valkey, which streamlined our operations, improved reliability, and reduced costs. In this post, we walk through our…

This post showcases a solution that businesses can use to access real-time data insights without the traditional delays between data creation and analysis. By combining Amazon MSK Serverless, Debezium MySQL connector, AWS Glue streaming, and Apache Iceberg tables, the architecture captures database changes instantly and makes them immediately available for analytics through Amazon Athena. A standout feature is the system's ability to automatically adapt when database structures change—such as adding new columns—without disrupting operations or requiring manual intervention.

In this post, we explore how product teams can leverage Amazon Bedrock and AWS services to transform their creative workflows through generative AI, enabling rapid content iteration across multiple formats while maintaining brand consistency and compliance. The solution demonstrates how teams can deploy a scalable generative AI application that accelerates everything from product descriptions and marketing copy to visual concepts and video content, significantly reducing time to market while enhancing creative quality.

JSON has become the standard data exchange protocol in modern applications. Its human-readable format, hierarchical structure, and schema flexibility make it ideal for representing complex, evolving data models. As applications grow more sophisticated, traditional relational databases often struggle with several challenges: Rigid schemas that resist frequent changes Complex joins for hierarchical data Performance bottlenecks when […]

In this post, we show you the upgrade process from DC2 instances to Amazon Redshift Serverless. By using Amazon Redshift Serverless, you can run and scale analytics without managing data warehouse infrastructure.

In this post, we explore advanced cost monitoring strategies for Amazon Bedrock deployments, introducing granular custom tagging approaches for precise cost allocation and comprehensive reporting mechanisms that build upon the proactive cost management foundation established in Part 1. The solution demonstrates how to implement invocation-level tagging, application inference profiles, and integration with AWS Cost Explorer to create a complete 360-degree view of generative AI usage and expenses.

In this post, we introduce a comprehensive solution for proactively managing Amazon Bedrock inference costs through a cost sentry mechanism designed to establish and enforce token usage limits, providing organizations with a robust framework for controlling generative AI expenses. The solution uses serverless workflows and native Amazon Bedrock integration to deliver a predictable, cost-effective approach that aligns with organizational financial constraints while preventing runaway costs through leading indicators and real-time budget enforcement.

In this post, we demonstrate how Amazon Nova Premier with Amazon Bedrock can systematically migrate legacy C code to modern Java/Spring applications using an intelligent agentic workflow that breaks down complex conversions into specialized agent roles. The solution reduces migration time and costs while improving code quality through automated validation, security assessment, and iterative refinement processes that handle even large codebases exceeding token limitations.

In this post, we detail how Metagenomi partnered with AWS to implement the Progen2 protein language model on AWS Inferentia, achieving up to 56% cost reduction for high-throughput enzyme generation workflows. The implementation enabled cost-effective generation of millions of novel enzyme variants using EC2 Inf2 Spot Instances and AWS Batch, demonstrating how cloud-based generative AI can make large-scale protein design more accessible for biotechnology applications .

This post is co-written with Nazariy Popov, Volodymyr Konchuk, and Andrii Davydenko from EPAM Legacy code modernization presents significant challenges for organizations looking to stay competitive in today’s rapidly evolving digital landscape. Organizations face the dual challenge of maintaining business continuity while modernizing their legacy systems for cloud environments. This transformation requires organizations to carefully […]

In this post, we discuss methods to effectively monitor parallel replication performance and tune its related parameters for Amazon Aurora MySQL and Amazon Relational Database Service for MySQL and MariaDB.

In this first post, we dive into the world of MySQL replication, with a special focus on parallel replication techniques. We start with a quick overview of how MySQL replication works, then explore the intricacies of multithreaded replication. We discuss key configuration options and best practices for optimization.

As more organizations migrate their self-managed Db2 Linux-based workloads to Amazon RDS for Db2, migration teams are learning that preparation is key to avoiding project delays. Common roadblocks include outdated database versions, invalid objects, and improper storage configurations that surface migration process. In this post, we introduce a Db2 Migration Prerequisites Validation Tool that catches these issues before they impact your timeline. This tool performs thorough pre-migration validation and guides you through the necessary preparations for Amazon RDS for Db2.

Stifel Financial Corp, a diversified financial services holding company is expanding its data landscape that requires an orchestration solution capable of managing increasingly complex data pipeline operations across multiple business domains. Traditional time-based scheduling systems fall short in addressing the dynamic interdependencies between data products, requires event-driven orchestration. Key challenges include coordinating cross-domain dependencies, maintaining data consistency across business units, meeting stringent SLAs, and scaling effectively as data volumes grow. Without a flexible orchestration solution, these issues can lead to delayed business operations and insights, inc…

In this post, we show you how to create custom notifications for events occurring in SageMaker Catalog using Amazon EventBridge, AWS Lambda, and Amazon SNS. You can expand this solution to automatically integrate SageMaker Catalog with in-house enterprise workflow tools like ServiceNow and Helix.

At Twilio, we manage a 20 petabyte-scale Amazon S3 data lake that serves the analytics needs of over 1,500 users, processing 2.5 million queries monthly and scanning an average of 85 PB of data. To meet our growing demands for scalability, emerging technology support, and data mesh architecture adoption, we built Odin, a multi-engine query platform that provides an abstraction layer built on top of Presto Gateway. In this post, we discuss how we designed and built Odin, combining Amazon Athena with open-source Presto to create a flexible, scalable data querying solution.

In this post, we walk through how to take an ML model built in SageMaker Canvas and deploy it using SageMaker Serverless Inference, helping you go from model creation to production-ready predictions quickly and efficiently without managing any infrastructure. This solution demonstrates a complete workflow from adding your trained model to the SageMaker Model Registry through creating serverless endpoint configurations and deploying endpoints that automatically scale based on demand .

In this post, we explore how Amazon Nova Sonic's speech-to-speech capabilities can be combined with Amazon Bedrock AgentCore to create sophisticated multi-agent voice assistants that break complex tasks into specialized, manageable components. The approach demonstrates how to build modular, scalable voice applications using a banking assistant example with dedicated sub-agents for authentication, banking inquiries, and mortgage services, offering a more maintainable alternative to monolithic voice assistant designs.

In this post, we demonstrate how to deploy and manage machine learning training workloads using the Amazon SageMaker HyperPod training operator, which enhances training resilience for Kubernetes workloads through pinpoint recovery and customizable monitoring capabilities. The Amazon SageMaker HyperPod training operator helps accelerate generative AI model development by efficiently managing distributed training across large GPU clusters, offering benefits like centralized training process monitoring, granular process recovery, and hanging job detection that can reduce recovery times from tens of minutes to seconds.

This post is cowritten by Danilo Tommasina and Lalit Kumar B from Thomson Reuters. Large organizations often struggle with infrastructure management challenges including compliance issues, development bottlenecks and errors from inconsistent AWS resource creation across teams. Without standardized naming, tagging and policy enforcement, teams face repeated boilerplate code and difficulty accessing centrally-managed resources. In this […]

This post demonstrates how to configure SageMaker Unified Studio with SSO, set up projects and user onboarding, and access data securely using integrated analytics tools.

This post shows how TP ICAP used Amazon Bedrock Knowledge Bases and Amazon Bedrock Evaluations to build ClientIQ, an enterprise-grade solution with enhanced security features for extracting CRM insights using AI, delivering immediate business value.

In the post Principal Financial Group increases Voice Virtual Assistant performance using Genesys, Amazon Lex, and Amazon QuickSight, we discussed the overall Principal Virtual Assistant solution using Genesys Cloud, Amazon Lex V2, multiple AWS services, and a custom reporting and analytics solution using Amazon QuickSight.

I’m dealing with a colleague who’s honestly becoming a pain to work with. He’s in his mid-career as a data engineer, and he acts like he knows everything already. The problem is, he’s incredibly lazy when it comes to actually doing the work. He avoids writing code whenever he can, only picks the easy or low-effort tasks, and leaves the more complex or critical problems for others to handle. When it comes to operational stuff — like closing tickets, doing optimization work, or cleaning up pipelines — he either delays it forever or does it half-heartedly. What’s frustrating is that he talks like he’s the most experienced guy on the team, but his output and initiative don’t reflect that at all…

So I was recently laid off but have been very fortunate in getting tons of interviews for DE position. I failed a bunch but recently passed two. Spouse is fine with relocation as he is fully remote. I have 5 years in consulting (1 real year in DE based consulting). I have masters degree as well. I was making 130k. So I’m definitely breaking into the industry. Two options: I’ve recently gotten a contract to hire position in HCOL city (sf, nyc). 150k no benefits. Company is big retail. I am married so I would get benefits through my spouse. Really nice people but don’t love the DE team as much. Business team is great. Big pharma/med device company in chi. This is only 100k but great benefits …

I would be grateful if anyone could share any practise questions for the Snowpro core certification. A lot of websites have paid options but I’m not sure if the material is good. You can send me message if you like to share privately Thanks a lot submitted by /u/Particular-Bag813 [link] [comments]

Hey guys, Every now and then we encounter a large report with a lot of useful data but that would be pain to read. Would be cool if you could quickly gather the key points and visualise it. Check out Visual Book: You upload a PDF Visual Book will turn it into a presentation with illustrations and charts Generate more slides for specific topics where you want to learn more Link is available in the first comment. submitted by /u/simplext [link] [comments]

Hello everyone, I am a beginner data engineer (~1 yoe in DE), we have built a python ingestion framework that does the following: Fetches data in chunks from RDS table Loads dataframes to Snowflake tables using put stream to SF stage and COPY INTO. Config for each source table in RDS, target table in Snowflake, filters to apply etc are maintained in a snowflake table which is fetched before each Ingestion Job. These ingestion jobs need to run on a schedule, therefore we created cronjobs on an on-prem VM (yes, 1 VM) that triggers the python ingestion script (daily, weekly, monthly for different source tables). We are moving to EKS by containerizing the ingestion code and using Kubernetes Cro…

Recently I have been contemplating the idea of a "data ontology" on top of Apache Iceberg. The idea is that within a domain you can change data schema in any way you intend using default Apache Iceberg functionality. However, when you publish a data product such that it can be consumed by other data domains then the schema of your data product is frozen, and there is some technical enforcement of the data schema such that the upstream provider domain cannot simply break the schema of the data product thus causing trouble for the downstream consumer domain. Whenever a schema change of the data product is required then the upstream provider domain must go through an official change request wi…

Hey everyone, I’m a data engineer with about 1 year of experience working in a 7 persons' BI team, and I’m the only data engineer there. Recently I realized I’ve been working extra hours for free. I deployed a local Git server, maintain and own the DB instance that hosts our DWH, re-implemented and redesigned Python dashboards because the old implementation was slow and useless, deployed some infrastructure for data engineering workloads, developed cli frameworks to cut-off manual work and code redundancy, and harmonized inconsistent sources to produce accurate insights (they used to just dump Excel files and DB tables into SSIS, which generated wrong numbers) all locally. Last Thursday, we…

As part of a wider move towards data products as well as building better controls into our pipelines, we’re looking at how we can implement data contracts as code. I’ve done a number of proof of concepts across various options and currently the Open Data Contract Specification alongside datacontract-cli is looking good. However, while I see how it can work well with “frozen” contracts, I start getting lost on how to allow schema evolution. Our typical scenarios for Python-based data ingestion pipelines are all batch-based, consisting of files being pushed to us or our pulling from database tables. Our ingestion pattern is to take the producer dataset, write it to parquet for performant oper…

As part of a wider move towards data products as well as building better controls into our pipelines, we’re looking at how we can implement data contracts as code. I’ve done a number of proof of concepts across various options and currently the Open Data Contract Specification alongside datacontract-cli is looking good. However, while I see how it can work well with “frozen” contracts, I start getting lost on how to allow schema evolution. Our typical scenarios for Python-based data ingestion pipelines are all batch-based, consisting of files being pushed to us or our pulling from database tables. Our ingestion pattern is to take the producer dataset, write it to parquet for performant oper…

Hey everyone 👋 I’m looking for some advice and guidance on how to start my path toward becoming a data analyst or data-oriented programmer. I’m about one year away from finishing my bachelor’s degree in Interaction and Animation Design. My major isn’t directly related to data science, but I already have some experience programming in C#, mainly for video game development. Recently, I’ve become really interested in database structures, data analysis, and data science in general (MAINLY DATA SCIENCE) I’m not a math expert, but right now I’m taking a university course called Structured Programming, where I’m learning about logic, control structures, loops, recursion, and memory management. I k…

Hey everyone I’m a Data Engineer currently working mostly in the Azure ecosystem — I’ve already got the DP-203 (Data Engineer Associate) certification under my belt. Now I’m planning to expand my scope and pick up an AWS certification for better cross-cloud opportunities… but I’m stuck between: AWS Certified Data Analytics – Specialty AWS Certified Solutions Architect (Associate or Professional) For someone who’s already comfortable with data pipelines, Spark, and cloud data engineering, which one do you think carries more weight in real-world jobs and interviews? Do hiring managers value the architecture breadth of Solutions Architect more, or the deep data focus of the Specialty? Would lo…

Hi ,I really need suggestions to move forward. Having close to 6yoe and my work solely focussed on databricks where sql primarily used for etl and everything. Now I want to make a career switch and need your inputs what things I need to know. I am sure I can't survive only knowing sql so please pour how to prepare for my career switch. submitted by /u/the_sandcastle_ [link] [comments]

hello people, what is the best possible way to load fixed length file via spark? thank you very much 🤗 submitted by /u/West_Bank3045 [link] [comments]

Airflow 2.x What did i learn : about airflow (what, why, limitation, features) airflow core components scheduler executors metadata database webserver DAG processor Workers Triggerer DAG Tasks operators airflow CLI ( list, testing tasks etc..) airflow.cfg metadata base(SQLite, Postgress) executors(sequential, local, celery kubernetes) defining dag (traditional way) type of operators (action, transformation, sensor) operators(python, bash etc..) task dependencies UI sensors(http,file etc..)(poke, reschedule) variables and connections providers xcom cron expressions taskflow api (@dag,@task) Any tips or best practices for someone starting out ? 2- Any resources or things you wish you knew whe…

We inherited an older ETL setup that uses desktop based designer, local XML configs and manual deployments through scripts. It works fine I would say but getting changes live is incredibly complex. Need to make the stack ready for faster iterations and cloud native deployment. We also need to use API sources like Salesforce and Shopify. There's also a requiremnet to handle schema drift correctly as now even small column changes cause errors. I think Talend is the closes fit to what we need but it is still very bulky for our requirements (correct me if I am wrong). Lots of setup, dependency handling and also maintenance overhead which we would ideally like to avoid. What Talend alternatives …

From theory to code: building feedback loops that improve LLM accuracy

The post Agentic AI from First Principles: Reflection appeared first on Towards Data Science.

Learn how to extract important pieces of information from your documents

The post How to Consistently Extract Metadata from Complex Documents appeared first on Towards Data Science.

A small-scale exploration using Tiny Transformers

The post Choosing the Best Model Size and Dataset Size under a Fixed Budget for LLMs appeared first on Towards Data Science.

Using OpenAI’s Agent Builder ChatKit

The post Deploy an OpenAI Agent Builder Chatbot to a Website appeared first on Towards Data Science.

Exploring the frequency fingerprints of Transformers to guide smarter knowledge distillation

The post When Transformers Sing: Adapting SpectralKD for Text-Based Knowledge Distillation appeared first on Towards Data Science.

Lessons from Scaling LLMs

The post How to Keep AI Costs Under Control appeared first on Towards Data Science.

3D simulations and movement control with PyBullet

The post How to Control a Robot with Python appeared first on Towards Data Science.

The math behind fitting a plane instead of a line.

The post Multiple Linear Regression Explained Simply (Part 1) appeared first on Towards Data Science.

From afar, new LLMs and the applications they power seem shiny, or even magical. The unrelenting pace of product launches and media coverage adds to their aura, and generates extreme levels of FOMO among ML practitioners and business executives alike. The overall effect? The feeling that AI is inevitable, and its value unquestionable. The articles we’ve selected […]

The post TDS Newsletter: What Happens When AI Reaches Its Limits? appeared first on Towards Data Science.

Quantum Machine Learning principles

The post Why Should We Bother with Quantum Computing in ML? appeared first on Towards Data Science.

A practical guide to designing and analyzing robust aggregation strategies

The post Federated Learning and Custom Aggregation Schemes appeared first on Towards Data Science.

Combining global and local search to get the most accurate response

The post Implementing DRIFT Search with Neo4j and LlamaIndex appeared first on Towards Data Science.

The rise of AI has touched nearly every industry — including finance. In fact, the financial sector has long been an adopter of what we now call “traditional machine learning,” using it for predictive modeling, credit scoring, and risk analytics. But with the current hype around Large Language Models (LLMs) and Agentic AI, I start […]

The post Agentic AI in Finance: Opportunities and Challenges for Indonesia appeared first on Towards Data Science.

How to implement a new generation of of transformer recommenders

The post Scaling Recommender Transformers to a Billion Parameters appeared first on Towards Data Science.

Context engineering, semantic layers, and the evolution of retrieval for agentic AI

The post Is RAG Dead? The Rise of Context Engineering and Semantic Layers for Agentic AI appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Jetbrains DataGrip бесплатно для некоммерческих целейТеперь JetBrains DataGrip можно использовать бесплатно в некоммерческих целях. Я уже давно пользуюсь продуктами JetBrains, мой фаворит безусловно PyCharm. Работая в компании Playirx, я регулярно использовал DataGrip и считаю его лучшей оболочкой для работы с базами данных. DataGrip пополнил линейку бесплатных продуктов (для некоммерческих целей) наряду с CLion, RustRover, WebStorm и RubyMine. Вполне возможно, что скоро мы увидим и Rider и GoLand в этом списке 🤞

Data Engineering Design Patterns 🔥В сети бесплатно раздают электронную копию книги Data Engineering Design Patterns. Я её ещё не читал. На книжных сайтах у неё неплохой рейтинг. Если вдруг искали что почитать по теме, то думаю стоит приглядеться. Ну а чтобы вам не нужно было заполнять форму, я сразу прикрепил pdf с книгой к сообщению.

Как я чищу метаданные Apache Airflow 3.xВ блоге Apache Airflow есть скрипт для периодической чистки метаданных в БД Apache Airflow. Но начиная с Airflow 3.0 невозможно обращаться к БД напрямую (через модели SQLAlchemy), в связи с этим скрипт не работает. Даже вызов shell команды airflow db clean через BashOperator выдаст ошибку по типу: Could not parse SQLAlchemy URL from string 'airflow-db-not-allowed:///': source="airflow.task.hooks.airflow.providers.standard.hooks.subprocess.SubprocessHook"RuntimeError: Direct database access via the ORM is not allowed in Airflow 3.0Как решить? Я нашел выход запуска через старый добрый Cron:0 0 * * * /home/airflow/.airflow/bin/airflow db clean --clean-be…

Apache Airflow 3 в Amazon CloudНа Amazon стала доступна 3-я версия Apache Airflow: Introducing Apache Airflow 3 on Amazon MWAA: New features and capabilitiesНо я бы пока не спешил бежать и обновляться, т.к. релиз спорный, а тем более вышла уже версия 3.1 (её ещё нет в Амазоне), в которой часть проблем как с движком так и с интерфейсом была исправлена. Постепенно всё же готовиться к переходу стоит начать. В этом поможет руководство по переходу со 2 на 3 от Amazon: Best practices for migrating from Apache Airflow 2.x to Apache Airflow 3.x on Amazon MWAAИз неприятного. В тройке запретили прямой доступ к базе из рабочих нод (рабочих лошадок), т.е. как раньше использовать модели SQLAlchemy для ч…

Очередной подгон в виде бесплатной книги от Astronomer — Orchestrating dbt with Apache Airflow® using Cosmos 🚀Неплохой вводный гайд по оркестрации dbt пайплайнов через Apache Airflow и пакет astronomer-cosmos. Я закончил свою работу с dbt, когда его возможно было запускать только через BashOperator, сейчас ситуация иная.

Последние года 4 я использовал Apache Airflow исключительно в облаке, преимущественно в Amazon — Amazon Managed Apache Airflow. И как обычно бывает, в облаках всё так или иначе между собой связано. Логи хранятся в Cloud Watch, воркеры запускаются в изолированной среде (Amazon Fargate). С июля месяца я стал активно использовать self-hosted Airflow на своих серверах (для своих личных целей), и в целях экономии храню всё в файлах. Так уж получилось, что задачу с регулярной "чисткой" я постоянно откладывал и вот настал час X, когда всё легко из-за исчерпания inodes в файловой системе. Для этого случая я написал DAG, который каждый день в полночь чистит папки со старыми логами, делюсь с вами вдр…

Python 3.14 уже здесь!Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно:- полная поддержка Free-threaded Python- T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings)- zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных- поддержка multiple interpreters из коробки- uuid 6-8, на 40% быстрееИ многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html

Что происходит в LLM. Октябрь 2025Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то вовсе в них разочаровался? Deepschool ответит на эти и другие вопросы на онлайн-лекции в четверг! За полтора часа вы получите актуальный срез индустрии вокруг LLM:— актуальные модели и их свойства— бенчмарки— self-host VS API— типы задач— главные «болячки» ванильных решений— и актуальные советы по их лечениюСпикер — Дмитрий Калашников, NLP Team Lead в Янд…

Релиз Apache Airflow 3.1Вышла новая версия Apache Airflow 3.1, в ней куча изменений и новых фич, бессмысленно пересказывать — бегите читать пост в блоге: https://airflow.apache.org/blog/airflow-3.1.0/

На Ютуб-канале CultRepo вышел большой документальный фильм про наш любимый язык программирования — Python.Python: The Documentary | An origin storyСам ещё не смотрел, но уже в предвкушении!

Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как выглядит путь модели после обучения!Что вы узнаете на лекции:- когда стоит использовать Jupyter-ноутбуки, а когда нет- как подготовить репозиторий моделинга- варианты конвертации модели- как обернуть инференс в http-приложение- чем помогает Model Serving- как деплоят приложения и автоматизируют этот процессТакже мы расскажем о курсе, на котором вы сможете научиться самостоятельно создавать и деплоить DL-сервисы. Всем участникам лекции под…

Продвинутый SQL и PostgresSQLЗашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL. Профессиональный SQL является продолжением другой книги — PostgreSQL. Основы языка SQL, в ней поднимаются более продвинутые темы SQL такие как общие табличные выражения (CTE), агрегатные и оконные функции, пользовательские функции и процедуры. В общем, must read.

Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/Недавно столкнулся с задачей, где мне захотелось использовать "ленивые" вычисления и Django ORM. Что получилось, читайте в посте.

Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но мне необходимо время чтобы его проверить и подтвердить (и возможно исправить ещё одним PR в мастер). К сожалению, релиз 3-й версии не очень радует, слишком много проблем + непривычный UI, ждём-с 3.1.А вы уже поставили тройку? Как полёт?Хотите запишу в YouTube скринкаст с комментариями об установке и настройке новой версии? Накидайте лайкосов и комментов под постом. 🔥🔥🔥

Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.Судя по всему релиз 3.0.3 не за горами.

Проект, который может сделать каждый - Кастомизацию резюме.Мой пример. Она пока работает, но еще надо тюнить и добавить prompts с рекомендациями.Что использую:- Cursor ID- Antropic API key (вы можете любой AI использовать)- Markdown файл с моим исходным резюме- Open Resume framework (создает PDF резюме в нужном формате). Сам framework я даже не использовал, только взял идею JSON->PDF и сделал ее в PDF. Механика простая:1) Запускаю скрипт2) Даю ссылку на вакансию3) Python crawler забирает все4) Antropic читает требования и обновляет резюме5) Open Resume создает JSON и конвертирует его в PDFЭто пока сырой пример, и он там немного от себя напридумывал и зачем-то даты убрал из резюме, и написал…

У меня в linkedin 10477 followers. Они дались очень сложно. Я сам не понимаю как там все утроено, некоторые посты набирают 2 лайка, а некоторые 100 лайков. Нет никакой корреляции между качеством поста и кол-ом лайков.Я так и не понял, нужен ли linkedIn или не нужен. Единственный маленький плюс, что мне прислали 4 книги на ревью, чтобы я про них написал отзыв.Похоже, он создаёт псевдоощущение экспертности и значимости, чтобы подпитать уверенность.

Я завидую ребятам, кто может так взять и уволиться, потому что ценности компании не совпадают с личными ценностями. В 2020 году я отказался от предложения Meta и решил присоединиться к Salesforce, потому что ценности Meta не совпадали с моими, а Salesforce казалась «нейтральной» компанией, которая хотя бы пыталась выглядеть прогрессивной благодаря инициативам вроде модели 1:1:1.Первые пару лет всё было отлично — интересные задачи, баланс между работой и личной жизнью, хорошая автономия и потрясающие коллеги. Мне казалось, что я наконец нашёл «ту самую» компанию.В 2023 году начались сокращения, система оценки эффективности и корпоративные директивы, которые сильно разрушили культуру. Я перес…

Bugs? Нет - bed bugs. Смешная новость, про офис Гугл, где появились постельные клопы. Все очень заняты созданием искусственного интеллекта, на гигиену время нет.Я бы мог удивиться, но не удивлюсь, потому что из школ периодически приходят письма о вшах у детей и просят проверить им головы🦯

🔐 Craft IT Talk: закрытое комьюнити Big Data-специалистовЕсть темы, которые не разбирают на конференциях, и задачи, о которых не пишут в блогах. Craft IT Talk — закрытое сообщество, где Big Data-эксперты из финтеха говорят начистоту.Клуб объединяет архитекторов, дата-инженеров, аналитиков и тимлидов из крупных банков, страховых и ИТ-компаний. 🔹Закрытые встречи в неформальной обстановке🔹Разговоры о реальных кейсах с экспертами вашего уровня🔹Опыт коллег из Big Data в финансах, который обычно остается за стенами офисов🔹Доступ к эксклюзивным материалам, которые мы создаем вместеЧленство бесплатное: сообщество формируется по профессиональному принципу.👉 Вступить в клуб

Самый популярный pet проект для западной аналитики.

Data.Meetup от Сбера: честно об агентизации😏Отправляйтесь на жёсткую прокачку скилов — обсудим AI-Ready Data, аспекты построения AI-агентов, умный поиск, генерацию SQL и доступ агентов к данным одним кликом. Встречаемся 23 октября: в московском офисе Сбера! 👌

Сначала нам рассказывают, что 75% изменений делается с помощью AI, а потом мы видим как куча компаний сталкиваются с AWS outage. Совпадение?))

А вы пойдёте на Матемаркетинг’25?20–21 ноября в Москве пройдёт крупнейшая конференция по маркетинговой и продуктовой аналитике — более 2 000 участников, 12 потоков и 100+ докладов.Темы: • AI и ML в аналитике и автоматизации маркетинга • Data-платформы, персонализация и CVM • BI, визуализация и A/B-тестирование • Новые решения от Яндекс и Tengri DataБудут интерактивные зоны, карьерные консультации, настольные игры и подкасты.Участники получат 6-месячный доступ к онлайн-платформе с записями докладов прошлых лет.📍 Кластер «Ломоносов» МГУ, Раменский бульвар 1🔗 Подробности и регистрация — на сайте конференции.P.S. До сих пор считаю, что это лучшая конференция в русскоязычном пространстве. Поэтом…

👨‍🦳Как мы раньше делали резюме? У нас был/есть Word (Google) документ, который мы меняем раз в год. Иногда, мы можем иметь несколько копий с разными flavours. Некоторые, меняют в ручную аж для каждой вакансии.🤖Как можно (и нужно) делать сейчас?У нас есть наше базовое резюме в Markdown. Есть базовый промпт, который не меняет даты и название компаний. Далее мы скармливаем ссылку с вакансией и на выходе получаем готовый PDF под конкретную вакансию. При желании можно сделать бота, который будет все делать в автоматическом режиме, например через телеграмм бота. Можно построить целого агента на n8n или может быть уже можно на Open AI.Какие есть варианты, для такого подхода?1) Pandoc + LaTeX (самы…

⚫️ Surfalytics VS RoadmappersНе знаю, куда смотрит Дима, но я смотрю в прошлое — в то время, когда учился на DataLearn.Моя фотка — это оммаж на фото Димы. И вот почему. Ещё задолго до канала и Школы 21, когда я зимой катался на коньках у дома, я включал разные подкасты, видео и интервью с Димой — и слушал про Дату. Конечно, тогда я почти ничего не понимал, всё казалось каким-то ну очень заоблачным и недостижимым. Ведь я не учился на программиста — я вообще музыку писал и видосы снимал. Какое, к чёрту, «ОЙТИ»? 😄 Короче, вдохновил он меня на Data Engineering!Знаете это чувство, когда слушаешь, чего уже добился человек, а у тебя даже ещё ничего не начато? Такое ощущение, что ты капец как далек…

AI, который мы заслужили. Отличный пивот у OpenAI 👙

Нас ведь скоро заменят AI агенты? Сегодня попался репозиторий для оценки работы агента для инжиниринга данных:ADE-bench[^1] — это фреймворк для оценки работы ИИ-агентов в задачах аналитика данных.Фреймворк состоит из нескольких основных частей:* изолированных окружений с dbt-проектами и базами данных, которые предоставляются агенту;* методов для изменения или «повреждения» этих окружений перед передачей агенту;* песочниц, в которых каждая задача выполняется независимо;* методов оценки результатов работы агента по сравнению с ожидаемыми результатами.На данный момент каждая сессия ADE-bench состоит из одного dbt-проекта и базы данных.Однако фреймворк можно расширить, добавив поддержку несколь…

dbt 101: что нужно знать на старте и лучшие практикиdbt — отличный тул для трансформации данных и заслуженный стандарт индустрии. Мы его часто используем, потому что он сильно упрощает работу на проектах со сложной аналитикой и множеством SQL-скриптов. Кое-что из своего опыта собрали в новой статье. Это не инструкция, как настроить dbt и начать работу, а вводный материал, где мы решили поделиться, а что это вообще такое: зачем нужно, какие функции выполняет, какие задачи решает. Ну и заодно добавили парочку лучших практик, которые хорошо показывают себя на проектах. Кстати, один реальный проект тоже чуть-чуть показали.🔜 Статья уже на Хабре!

«Мало получить инсайт — надо еще донести его понятным языком»И другие вызовы в работе аналитика в большой компании.В подкасте «Потом доделаю» вышел выпуск как раз для нас с вами: Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы, рассказал, как в корпорации работают с данными. Многие компании об этом либо ничего не рассказывают, либо говорят насколько общими фразами, что лучше бы ничего не говорили. Что-то реально интересное и полезное на эту тему — как этот подкаст — появляется не так уж и часто.Про что говорили? 🔵С какими сложностями приходится сталкиваться, как доносить ценность данных до коллег и что делать, если ваши инсайты идут вразрез с решениями бизнеса.🔵Как ИИ влияет …

OpenAI представила ChatGPT Atlas Вы никогда не думали, как было бы удобно, если бы кто-то за вас покидал покупки в корзину в онлайн-магазине, а перед этим еще сравнил, чем отличаются два на первый взгляд идентичных товара? Прочитал длинную статью и пересказал содержание? Придумал остроумный ответ в дискуссии в соцсети? В общем, взял на себя эту сложную, нудную задачу сидения в интернете? 🔜 Что ж, если вы пользуетесь Mac’ом (остальным придется подождать), то теперь можете обзавестись таким помощником. OpenAI представила браузер ChatGPT Atlas, с прикрученным к нему ИИ-ассистентом. На картинке выше вы можете увидеть пример задачи для него — выбрать товары для похода на пляж с семьей.Пользовате…

Вайб-кодинг против вайб-инжинирингаВсе мы уже поняли, что такое «вайб-кодинг» — это человек генерирует код с помощью нейросетей, иногда даже не особо вникая, что они ему там пишут. Код работает, и ладно. Быстро, просто, но результат может быть непредсказуем.Но ведь есть и альтернативный подход — не сваливать на нейросеть всю работу, а использовать ее как помощника. При этом человек все еще руководит процессом и отвечает за качество работы. Получается быстрее, чем все делать руками, уже не так просто, зато за результат не стыдно. Это уже не вайб-кодинг — но что тогда?Есть вариант называть это «вайб-инжиниринг».В чем суть?🔵Чтобы от ИИ получать реальную пользу (а не только едва жизнеспособный …

Valiotti Analytics — 6 лет! 🥳Наш канал существует не сам по себе — это один из проектов дата-консалтинга Valiotti Analytics.Мы, конечно, уже про это писали, но вдруг вы пропустили или забыли🔜 И вот сегодня Valiotti Analytics исполняется 6 лет. За эти годы мы успели поработать над десятками проектов для заказчиков со всего мира, строили системы аналитики с нуля и разбирали тысячи строк legacy кода, радовались успехам и учились на ошибках.В общем, это были насыщенные 6 лет, за которые компания выросла и сильно изменилась, но суть осталась та же — делать данные ближе и понятнее для бизнеса. Намерены продолжать делать это и дальше, только еще лучше. ❤️

Догадаетесь, что на этих картинках?А это работы участников первого российского конкурса датавиза Data Kids. ❤️Напоминаем, что он уже в самом разгаре: участники смотрят обучающие вебинары и присылают свои работы. Но присоединиться все еще можно и даже нужно: мало того, что это полезно и весело, так еще и бесплатно. В общем, ноль минусов, сплошные плюсы и даже шанс выиграть какой-нибудь крутой приз.🔜 Регистрируйтесь на сайте конкурса.А если нет детей или не хотите участвовать, то просто заходите посмотреть на галерею работ.

Вы аналитик? Расскажите, как вам работаетсяСтарые добрые осенние традиции: готовиться к Хеллоуину (если отмечаете), пересматривать «Сумерки» (если любите такое), участвовать в опросе NEWHR про рынок труда аналитиков (если вы аналитик).Ребята каждый год проводят исследование, чтобы выяснить: 🔵уровень зарплат,🔵лучшие места для работы,🔵какие требования к аналитикам предъявляют работодатели, 🔵каких экспертов читают и смотрят те, кто работает с данными. А когда они собирают все эти данные вместе с сравнивают с предыдущими годами, это позволяет посмотреть на изменения в динамике и увидеть главные тренды на рынке дата-труда. Ну а мы их с радостью поддерживаем в этом начинании и приглашаем наших чи…

Всем привет! Я уже раньше упоминал, что решил выпустить адаптацию книги «Аналитика для руководителей» на английском языке. Мы уже на финишной прямой — все перевели, отредактировали (кстати, спасибо нашим бета-ридерами и всем, кто поделился фидбеком!), верстаем и готовимся выпускать. Сейчас самое сложное испытание для любого автора — выбрать обложку. Мы решили сменить название и концепт, отсмотрели сотню книг из той же ниши и собрали три весьма разные версии. Все кажутся по-своему классными, но выпустить книгу с тремя обложками — не вариант.Скажите, какая из трех нравится вам больше?

Амбассадоры Tableau 2025Tableau регулярно обновляет список своих амбассадоров— людей, которые делают большой вклад в сообщество, делятся своими знаниями и навыками и вообще всячески популяризуют этот тул. В 2025 году звания удостоились 386 человек из 48 стран.🔜 Список можно увидеть на сайте, но намного интереснее — потыкать в кнопки на дашборде. Он позволяет отфильтровать людей по странам, городам и специализациям.Пишут, что в этом году получился самый разнообразный состав амбассадоров с точки зрения географии, и это нагляднее видно на другом дашборде. Он не такой удобный, как первый, зато с картой.В списке, кстати, вы наверняка заметите какие-нибудь знакомые лица. Возможно, на кого-то из н…

Почему Text 2 SQL не работает?Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным. Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На с…

Как подружить ClickHouse с процессором на 100+ ядерЯдер в процессорах все больше, и в теории это прекрасно: больше ядер — больше производительности. На практике это тоже хорошо, но есть нюанс.Чтобы на 100% использовать мощности железа, софт нужно под него оптимизировать — и базы тоже. ClickHouses выложили в своем блоге статью, написанную инженерами Intel Shanghai, о том, как преодолеть ограничения БД и «научить» ее использовать вычислительные мощности их процессоров с 100+ ядер.💬 Всего они выявили 5 ключевых областей, где ClickHouse можно (и нужно) докрутить, чтобы увеличить производительность: прекратить тормозящую всю базу конкуренцию за блокировки, оптимизировать работу с памятью, распар…

Стартовал первый детский конкурс датавиза! В программе: диаграммы из конфет и графики, нарисованные цветными карандашами. Если у вас есть дети от 6 до 11 лет и вы хотите привить им любовь к данным и помочь развить аналитическое мышление — присоединяйтесь! Вас ждут: 🔵Образовательные эфиры, где дети узнают, что такое данные, и познакомятся с основами датавиза.🔵Подарки для всех участников, а для победителей — iPad, набор LEGO и другие крутые призы,🔵Бонусы и полезные материалы. Конкурс пройдет с 1 по 30 октября — в это время участники как раз будут смотреть эфиры и смогут подать свою работу в одной из трех номинаций: поделка, рисунок или диджитал. 15 ноября организаторы подведут итоги и наградя…

Состоялся релиз Claude Sonnet 4.5Новую версию Claude Anthropic представила нескромно:Claude Sonnet 4.5 — лучшая модель для кодинга в мире. Это самая сильная модель для создания сложных агентов. Она лучше всех работает с компьютерами.🔵Свое заявление компания подтверждает бенчмарками — их результаты на картинке выше. ☝🏻🔵Еще Claude теперь намного лучше разбирается в финансах, юриспруденции, медицине и точных науках.🔵Не считая того, что он поумнел, он стал менее склонен к галлюцинациям, обману, лести и другим нежелательным моделям поведения. Апгрейд получил и Claude Code: добавились нативное расширение VS Code и чек-поинты для сохранения прогресса. Но если даже после этого Claude Code вам все р…

sqlite-vector: простой и удобный векторный поиск в SQLiteSQLite тоже умеет в векторный поиск — для этого уже есть несколько расширений. Но их главная проблема в том, что в основном они либо медленные, либо неудобные. А ведь, наверное, главное, чего хотят от SQLite — чтобы он был легким, простым и быстрым. И, конечно, нашлись люди, которые попробовали разработать свое решение, отвечающее этим требованиям.🔜 sqlite-vector — бесплатное кросс-платформенное расширение, которое обходится 30 МБ памяти, складывает векторы в обычные таблицы (без возни с виртуальными и сложными SQL-запросами), хранит данные локально и работает оффлайн. Ему не нужен дополнительный сервер и долгая нудная подготовка, нас…

ChatGPT Pulse: новая парадигма взаимодействия с ИИ? Кстати, пока мы тут обсуждаем пагубные последствия от повсеместного внедрения ИИ, OpenAI представила ChatGPT Pulse.Это новая фича, пока доступная только на смартфонах пользователям с подпиской Pro. С ней ChatGPT сможет анализировать ваши переписки с ним, данные из календаря и почты (если они подключены) и первым начинать разговор. Например, он предложить продолжить обсуждение какой-то темы, подкинуть идею, что приготовить на ужин, или напомнить про важную дату. Пользователь, в свою очередь, может регулировать, какие именно сообщения от Pulse он хочет получать. И хочет ли вообще — по умолчанию функция отключена, и ее надо включить в настрой…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

🔐 Craft IT Talk: закрытое комьюнити Big Data-специалистовЕсть темы, которые не разбирают на конференциях, и задачи, о которых не пишут в блогах. Craft IT Talk — закрытое сообщество, где Big Data-эксперты из финтеха говорят начистоту.Клуб объединяет архитекторов, дата-инженеров, аналитиков и тимлидов из крупных банков, страховых и ИТ-компаний. 🔹Закрытые встречи в неформальной обстановке🔹Разговоры о реальных кейсах с экспертами вашего уровня🔹Опыт коллег из Big Data в финансах, который обычно остается за стенами офисов🔹Доступ к эксклюзивным материалам, которые мы создаем вместеЧленство бесплатное: сообщество формируется по профессиональному принципу.👉 Вступить в клуб

IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач:→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.🏆 Призовой фонд: 900 000 рублей💻 Формат: онлайн🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsudatalytx Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.Что тебя ждёт:• Применишь навыки системного анализа, построения архитектуры и работы с пот…

👍Быстрый старт в математику ML: 2 бесплатных урокаПрисоединяйтесь на любой или несколько открытых уроков курса «Рекомендательные системы» для DS/ML-специалистов.Получите ключевые знания для работы с данными:🟣 15.10.2025 в 20:00 «Двухэтапные модели: как объединить матричную факторизацию и бустинг для победы в соревнованиях и в реальном бизнесе» Разбор двухэтапных моделей для рекомендаций.🟣 20.10.2025 в 20:00 «Sequential Recommendations: учимся на последовательностях действий пользователей» Разберем, как крупнейшие стриминги и видеохостинги угадывают следующий клик.➡️ Регистрация: https://clck.ru/3PiLY9Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Когда-то мы сами думали, что цифры - это скукотища…Первый конкурс для детей по визуализации данных заставит всю семью взглянуть на диаграммы по-новому!Приглашаем детей 6-11 лет и их родителей!Что ждёт участников:• подарки победителям, о которых мечтает каждый ребёнок - iPad, LEGO и многое другое • образовательные эфиры, где графики строят из конфет и даже на основе компьютерных игр• бонусы каждому ребёнкуДавайте покажем детям, что IT - это больше не душно👉 Регистрация

❤️❤️❤️❤️❤️Хочу поделиться крутой новостью для всех, кто работает с данными и интересуется BI — в Москве 7 октября пройдёт РУBIКОНФ’25.🔥Если коротко — это крупнейшая ежегодная конференция по бизнес-аналитике и дата-грамотности, где собираются эксперты, интеграторы и аналитики, чтобы обсудить тренды, поделиться кейсами и, что самое ценное, реально прокачать свои навыки.Вот что будет интересного📊📎Три параллельных потока:🟡большой зал: стратегические доклады/кейсы BI-внедрений;🟡малый зал: узкотематические выступления от практиков; 🟡мастер-классы: можно сесть и руками освоить новые методы работы с данными под руководством экспертов. 📎Дебаты на острые темы «РУBIЛОВО» — это формат, где не боятся по…

Наблюдаю тренд, который меня одновременно и печалит, и заставляет задуматься о том, как вообще устроен рынок труда в аналитикеВ общем, сейчас попасть в российский big-tech аналитиком без опыта — это практически невозможная история. И я понимаю, почему люди продолжают хотеть туда попасть, потому что для карьерного роста различные Яндексы, Авито и Т-Банки — это действительно хорошая школа, где можно научиться работать с данными на серьезном уровнеНо штука в том, что сейчас никто в бигтехе не готов инвестировать в обучение сотрудников с нуля. Совсем. Потому что это дорого — очень большие накладные расходы получаются на миддлов-сеньоров, которых нужно максимально утилизировать для задач бизнеса…

Коллеги, кто куда идёт на конференции осенью?Наш взгляд уже упал на предстоящую avito.tech.conf — конференцию для лидов, менеджеров и всех тех, кто растит команды и принимает стратегические решения.Важно сходить, потому что будет возможность:• Послушать про лучшие практики управления от топовых менеджеров разработки Авито;• Понетворкать с лидами больших IT-компаний; • Прокачать и проверить себя на воркшопах и интерактивных зонах. Будет опция и послушать доклады онлайн! В любом случае, регистрируйтесь по ссылке и пересылайте этот пост знакомым менеджерам. И да, количество мест ограничено, успевайте!

Топовый апдейт в DataLens — теперь с ИИ-аналитиком!С 24 сентября открывается для всех доступ к Нейроаналитику в DataLens — ИИ-агенту, который не просто чатит, а реально помогает с анализом.Что он умеет на практике:• Анализирует готовые дашборды: смотрит на таблицы и чарты, находит инсайты и формулирует выводы.• Генерирует код: например, для кастомных визуализаций, которые не входят в стандартный набор.• Пишет формулы для вычисляемых полей прямо по вашему текстовому запросу.По сути, он берет на себя часть рутинных задач: быстрый осмотр данных, а также помощь в создании кастомных элементов через генерацию кода. Заявлено, что это сокращает время на проверку гипотез на 30%.Фича будет полезна вс…

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только https://t.me/biheadhunter🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR🟢 Data jobs feed — Вакансии для Data Engineers (но иногда проскакивают и другие data-related вакансии). Также есть чат 🟢 Data jobs — Вакансии по data science, анализу данных, аналитике, искусственному …

Газпромбанк.Тех приглашает в экспедицию по миру Data Science!Когда: 22 сентябряВо сколько: сбор гостей с 15:00, начало трансляции в 15:30Где: очно (Москва, конференц-зал на 2 этаже БЦ «Оазиc») и онлайнВ программе:3 доклада, панельная дискуссия, викторина с призами, настольные игры и фуршет.Маршрут нашей экспедиции оставляем ниже. Каждая остановка — новое открытие:🗺 Калининград: верфь талантовПуть от стажера до специалиста в финтехе: личные истории🥶 Антарктида: лаборатория изучения рисковИИ как члены команды риск-менеджмента: миф или реальность? 🦭 Галапагосы: архипелаг персонализацииКак за месяц мы на 25% увеличили возврат задолженности с помощью автоматизации🌋 Камчатка: долина вулканов выго…

Flow — конференция для тех, кто видит систему целикомСистемы становятся всё сложнее, а их изменения требуют всё больше внимания. Искусственный интеллект открывает огромные возможности, но иногда непонятно, как его использовать. Именно поэтому блоки «Архитектура» и «AI» — ключевые в программе конференции.Однако на Flow обсуждают не только технологии. В осенней программе — доклады про работу с требованиями и интеграциями, переговоры и командные процессы. А еще — про смыслы: что стоит за профессией аналитика, что мотивирует и помогает влиять на результат.📍 3–4 октября, Санкт-ПетербургПодробности и билеты — на сайте Flow.С промокодом DATALYTX персональный билет стоит дешевле. Реклама. ООО «Джуг…

Стань участником МТС True Tech Champ 2025 — масштабного ИТ-чемпионата по программированию с призовым фондом 10 250 000 рублей.Соревнования пройдут в двух треках:1. Алгоритмические задачиПокажи индивидуальное мастерство в работе со структурами данных и написании алгоритмов. Чтобы успешно справиться с заданиями, пригодится опыт решения олимпиад.2. Программирование роботовОживи робота с помощью кода, чтобы он прошел лабиринт быстрее всех. Трек будет интересен разработчикам: С++, Go, Python, JS, Java, C# и не только. Участвовать могут школьники, студенты, начинающие ИТ-специалисты и опытные разработчики. Отборочные этапы пройдут онлайн, шоу-финал — 21 ноября в МТС Live Холл в Москве. Ты можешь …

Вы работаете с данными, но хотите более разнообразных задач? Вам нужно перейти в Data Science. До 15 сентября в Вышке продолжается набор на онлайн-магистратуру «Магистр по наукам о данных». Поступить можно даже без технического бэкграунда, а учиться — в удобном формате. За время обучения вы станете:⚪️ Data Scientist⚪️ ML EngineerЧто вы получите, когда поступите? ⚪️ качественное обучение на очной программе в онлайн-формате⚪️ возможность стать специалистом в области DS без бэкграунда⚪️ отсрочка от армии, льготный проезд и другие студенческие привилегии⚪️ практические проекты, которые можно сразу включить в портфолио⚪️ диплом государственного образца очной магистратуры.Во время обучения студен…

Решил завести канал для вакансий про LLM... 🤖Рынок LLM-приложений развивается с космической скоростью, а хорошие специалисты нарасхват. Каждый день вижу, как компании ищут ML-инженеров, дата-сайентистов, продактов и разработчиков, которые понимают в языковых моделяхПроблема в том, что:- Вакансии разбросаны по всей телеге и на job board'ах- Много шума и мало действительно интересных позиций- HR-ы часто не понимают специфику AI-ролей- Люди тратят кучу времени на поиски- Непонятно с чего вкатиться в LLM-ролиЧто будет в канале:✅ Только проверенные вакансии от реальных компаний✅ Позиции разного уровня — от джунов до тех-лидов✅ Удаленка, офис, релокация — все варианты✅ Стартапы, корпорации, проду…

Python 3.14 уже здесь!Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно:- полная поддержка Free-threaded Python- T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings)- zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных- поддержка multiple interpreters из коробки- uuid 6-8, на 40% быстрееИ многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html

Очередная движуха для тех, кто живёт аналитикой. Коллеги и друзья из NEWHR снова собирают рынок — кого, где, за сколько и зачем нанимают. Всё по классике: зарплаты, новые задачи, как и где работают, кто топит за культуру.В этот раз цепляют и бизнес/системных аналитиков, и даже начальников.⏳ 20 минут на опрос — и потом инсайты, стрим и вся вкусная инфа (полный разбор ждём в 2026, а промежуточное — сразу по ходу).Чем больше залетит народу — тем точнее картина, поэтому и делюсь ссылкойP.S. Да, ждать результат надо, но стоит того — предыдущие выпуски были полезнымиСсылка на последнее 2024 Как принять участие в исследовании?⏩ Заполните 20-мин опросник⏪

Big data integration company Fivetran Inc. is reportedly holding advanced talks with dbt Labs Inc. over a multibillion-dollar acquisition.https://siliconangle.com/2025/09/28/report-fivetran-talks-dbt-labs-multibillion-dollar-big-data-merger/Просто новость. Выводов никаких не будет =) @ohmydataengineer - канал "🕯Труба Данных"

https://medium.com/@thedatainsight/bronze-is-the-battlefield-why-real-data-engineers-start-at-the-source-6eaa16730f0aНормально делай - нормально будет! Саша снова насыпал базисной базы, а мне даже добавить нечего.@ohmydataengineer - канал "🕯Труба Данных"

Данные от самого OpenAI, для чего используют ChatGPT. Мы в пузырике, в общей доле запросов к модели, программирование - всего 4%@ohmydataengineer - канал "🕯Труба Данных"

Уже совсем скоро Smartdata'25, а это значит что там будут свежие результаты опроса State-of-Data, ну а это значит что я призываю всех и каждого не просто принять участие самим, но и распространять информацию об этом.➡️ Сам опрос тут пройди сам, приведи троих коллег из соседних компаний :)зы результаты прошлого года в презентации тут, видос тут зыы лендос с результатами '24 + сырье в виде arrow(хехе) уже вот-вот на подлетезыыы доклад с результатами '25 откроем для всех сразу же после конфы

https://www.anthropic.com/engineering/writing-tools-for-agentsЕсли на волне хайпа вам работодатель ставит задачи "А давайте сделаем наш собственный MCP, чтобы аналитики могли использовать его в работе с данными!", у Anthropic вышла неплохая поясняющая статья про то как писать хорошие тулзы для агентов.... при помощи агентов! (да-да, конечно же, промоутят использование 😃, но не отменяет набора принципов, которые описаны в статье)@ohmydataengineer - канал "🕯Труба Данных"

https://smartdataconf.ruВсе как всегда, Смартдата остается лучшим источником послушать технические доклады про DE на русском языке и понетворкаться. Я в очередной раз без доклада, потому что ленивая жопа и нет ни сил, ни времени, хотя материала накопилось. Но вам оч советую, особенно учитывая, что программа не замусорена хайпом про AI.Сам, ввиду георграфических сложностей, буду смотреть онлайн.(как видите, никаких реферальных ссылок, никто за рекламу мне не платит, пора бы уже запомнить, что я люблю то, что делают ребята, безусловно и меня никто и не просит ничего. Но если вдруг вам нужна скидка - приходите в личку, что-нибудь придумаем, напишем).@ohmydataengineer - канал "🕯Труба Данных"

https://github.com/fortiql/data-forgeСаша один из самых классных инженеров, с которым я работал. Если бы я был снова менеджером - это первый человек, которого я бы нанимал к себе в команду.Он тут прикольную штуку запилил, большую-большую песочницу разных связанных технологий. С его слов:𝐃𝐚𝐭𝐚 𝐄𝐧𝐠𝐢𝐧𝐞𝐞𝐫𝐢𝐧𝐠 is not just about learning new tools.It is about understanding 𝐩𝐚𝐭𝐭𝐞𝐫𝐧𝐬 — pipelines, layers, orchestration, federation — and practicing them until they flow smoothly. Tools change, but principles endure.I wanted a place to build pipelines, see data move, and try new tech without waiting on corporate infrastructure. A space to polish best practices and experiment with close-to-real flows.So I…

Они все лучше меня… 🤦‍♂️Круглосуточно обитая в телеграмме, читаю кучу профессиональных блогов.Все какие-то классные. Энергичные. У каждого свой проект, а то и десять. Этот профессионал из зеленого банка, а этот из красного магазина, пара желтых компаний, разбор на вакансию в синий магазин, в цветной поисковик. Этот чемпион, этот книгу написал. И все вокруг лучше меня. Эта мысль не давала мне покоя и два года назад, когда я только смутно понимал что хочу поменять профессию, и иногда накрывает и сейчас.И таки недавно получил кучу комментариев, которые писали что и я в какой-то степени смог смотивировать людей, к каким-то переменам. И я подумал, да как же это круто. 🤟В очередной раз понимаю чт…

В последнее время я чет не очень много пишу, почему - да не знаю.Пока вы ждете новых заметок от меня, почитайте другие каналы про данные, например, вот этот. Всегда рад помочь коллегам по цеху маленьким репостом 😏

Насколько Iceberg залез во все просто углы, даже Apache Hive в своем Linkedin на 500 человек рассказал, что Apache Hive 4 из коробки поддерживает Iceberg!😂@ohmydataengineer - канал "🕯Труба Данных"

https://cloud.google.com/blog/products/data-analytics/committing-to-apache-iceberg-with-our-ecosystem-partners/Apache Iceberg завезли в Google Cloud. Следующие лет 20 будем говорить, что он помирает как Hadoop 😆@ohmydataengineer - канал "🕯Труба Данных"

От этого мема меня порвало в клочья 😂@ohmydataengineer

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: http…

В этом выпуске разбираемся, что такое векторные базы данных – зачем они понадобились, если есть SQL и текстовый поиск, как устроены под капотом и в чём их ключевое отличие от привычных подходов. Объясняем простыми словами: как данные превращаются в векторы, как по ним происходит быстрый поиск и почему это вообще работает. В гостях Андрей Васнецов – основатель Qdrant. Вместе обсуждаем, откуда пошёл хайп, что изменилось с приходом LLM, как на практике применяются векторные базы (не только в RAG), какие есть популярные движки и встроенные решения в Postgres и ClickHouse, а также с какими подводными камнями, ограничениями и компромиссами сталкиваются команды при работе. Партнёр команды Podlodka…

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов Полезные ссылки: Illustrated Transformer

https://jalammar.github.io/illustrated-transformer/ Attention is all you need

https://arxiv.org/abs/1706.03762 Illustra…

Сегодня AI внедряют во всё: от образования и медицины до финтеха и путешествий. Но что на самом деле означает «AI-продукт» и чем он отличается от классического? Вместе с Анной Подображных разбираем полный цикл их создания: от первых прототипов и проверки гипотез ценности до бенчмарков и эвалов, помогающих измерять качество. Обсуждаем почему важно и как проверить технологическую реализуемость. Этот выпуск – практическая карта для тех, кто хочет осознанно строить AI-продукты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт:…

Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один язык программирования, за что энтузиасты любят его, и есть ли шанс у “Elixir для хипстеров” на реальную популярность? Разбираем философию языка и его ключевые фичи с контрибьютером Gleam и CPython-core-разработчиком Никитой Соболевым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast

Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в…

Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и как от этого защититься. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Прогноз AI-2027

https://ai-2027.com/ Про XAI

https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_284095 Открытые вакансии…

В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по всему числовому зоопарку: обсудили, зачем нужны разные типы, где они подводят, и почему 0.1 + 0.2 ≠ 0.3 – не баг, а особенность. Разбираемся, как работают переполнения, откуда берётся погрешность, можно ли использовать float для денег (спойлер: нельзя), и что общего между округлением и падением ракеты. А ещё вспомнили любимые числовые фэйлы, сравнили числа в разных языках программирования и даже сыграли в игру на угадывание результатов арифметических операций. Также ждем вас, ваши лайки, репосты …

Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей под капотом, как их обучают и верифицируют результаты работы, мы пригласили Евгения Никишина, исследователя из OpenAI, работающего над масштабированием reasoning моделей и test-time compute. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой Полез…

В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая банковская система. В этом классическом языковом выпуске вместе с Сергеем Куксом, principal инженером из JetBrains, разбираемся с тем, что когда-то помогло COBOL стать таким популярным, и как он продолжает развиваться по сегодняшний день. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущи…

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!» Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги …

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться, что же именно там происходит! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (online book with code and formulas) https://d2l.ai/ https://www.am…

Синтез речи давно вышел за рамки утилитарных задач и стал важной частью взаимодействия человека с технологией: от помощников до медиа и образовательных продуктов. В гости к нам пришел Сергей Дуканов, который разрабатывал голосовые ассистенты Маруси, Алисы и Олега, а сейчас – CTO в международном AI dubbing стартапе Dubformer. В этом выпуске мы прошлись по четырём поколениям TTS-систем: от простейшего склеивания фрагментов до нейросетевых моделей, способных передавать интонации и эмоции. Обсуждаем, зачем синтезированной речи характер, почему интонационные “ошибки” делают голос живым и что важно учитывать при встраивании TTS в продукты. Также ждем вас, ваши лайки, репосты и комменты в мессендж…

В этом выпуске обсуждаем, почему программирование для космоса – это не про фреймворки и кнопки, а про науку, физику и уникальные инженерные решения. Почему баги на орбите стоят миллионы, а код пишется так, как нигде больше. Зачем космическим программистам понимать дифференциальные уравнения, как перепрошивают космические аппараты, и почему здесь до сих пор всё ручное и междисциплинарное. Партнёр эпизода — IT-компания Selectel. 27 июля в Санкт-Петербурге ребята организуют IT-фестиваль против выгорания. Воркшопы, полезные доклады, IT-стендап и разные активности — от кастома вещей до рыбалки — ждут тебя на мероприятии. Участие бесплатное, регистрируйтесь. Количество мест ограничено. https://sl…

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт…

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include PyPI+, uv-ship, How fast is 3.14?, and air - a new web framework built with FastAPI, Starlette, and Pydantic.

Topics include , Free-threaded Python Library Compatibility Checker, Claude Sonnet 4.5, and Python 3.15 will get Explicit lazy imports.

Topics include PostgreSQL 18 Released, Testing is better than DSA (Data Structures and Algorithms), Pyrefly in Cursor/PyCharm/VSCode/etc, and Playwright & pytest techniques that bring me joy.

Topics include pandas is getting pd.col expressions, Cline, At-Cost Agentic IDE Tooling, uv cheatsheet, and Ducky Network UI.

Topics include Mozilla’s Lifeline is Safe After Judge’s Google Antitrust Ruling, troml - suggests or fills in trove classifiers for your projects, pqrs: Command line tool for inspecting Parquet files, and.

Topics include prek, tinyio, The power of Python’s print function, and Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database.

Topics include rathole, pre-commit: install with uv, A good example of what functools.Placeholder from Python 3.14 allows, and Converted 160 old blog posts with AI.

Topics include pypistats.org, State of Python 2025, wrapt: A Python module for decorators, wrappers and monkey patching., and pysentry.

Topics include pyx - optimized backend for uv, Litestar is worth a look, Django remake migrations, and django-chronos.

Topics include Coverage.py regex pragmas, Python of Yore, nox-uv, and.

Topics include rumdl, Coverage 7.10.0: patch, aioboto3, and You might not need a Python class.

Topics include Open Source Security work isn't “Special”, uv v0.8, , and Announcing Toad - a universal UI for agentic coding in the terminal.

Topics include Turso Litestream, PEP 792 – Project status markers in the simple index, Run coverage on tests, and docker2exe.

Topics include Switching to direnv, Starship, and uv, rqlite - Distributed SQLite DB, and.

A common challenge in software development is creating and maintaining robust development environments. The rise of AI agents has amplified this complexity by adding new demands around permission controls, environment isolation, and resource management. Ona is a platform for AI-native software development and engineering agents. The platform combines autonomous agents with secure, standardized environments, with

The post Turning Agent Autonomy into Productivity with Chris Weichel appeared first on Software Engineering Daily.

Homebrew is a widely used package manager that simplifies the installation of open-source software on macOS. It was created in response to the growing demand for a lightweight, developer-friendly tool suited to an increasingly Mac-centric development ecosystem. Today, Homebrew is a near-essential part of the macOS software development toolkit. Mike McQuaid joined the project early

The post Homebrew and macOS Package Management with Mike McQuaid appeared first on Software Engineering Daily.

Modern software platforms are increasingly composed of diverse microservices, third-party APIs, and cloud resources. The distributed nature of these systems makes it difficult for engineers to gain a clear view of how their systems behave, which can slow down troubleshooting and increase operational risk. groundcover is an observability platform that uses eBPF sensors to capture

The post Engineering in the Age of Agents with Yechezkel Rabinovich appeared first on Software Engineering Daily.

Dynamic languages like Ruby, Python, and JavaScript determine the types of variables at runtime rather than at compile time. This flexibility allows for rapid development and concise code, but it also makes it harder to catch certain classes of bugs before execution. Type checkers for dynamic languages add structure and safety without compromising their expressive

The post Static Analysis for Ruby with Jake Zimmerman appeared first on Software Engineering Daily.

The rise of language-model coding assistants has led to the creation of the vibe coding paradigm. In this mode of software development, AI agents take a plain language prompt and generate entire applications, which dramatically lowers the barriers to entry and democratizes access to software creation. However, many enterprise environments have large, legacy codebases and

The post Scaling AI in Enterprise Codebases with Guy Gur-Ari appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover NVIDIA‘s $5B investment in Intel and $100M stake in OpenAI, Meta’s stumble with its AR glasses demo, and the

The post SED News: NVIDIA Bets on Intel, Meta’s Demo Crash, and Anthropic’s Explosive Growth appeared first on Software Engineering Daily.

Modern software systems are composed of many independent microservices spanning frontends, backends, APIs, and AI models, and coordinating and scaling them reliably is a constant challenge. A workflow orchestration platform addresses this by providing a structured framework to define, execute, and monitor complex workflows with resilience and clarity. Orkes is an enterprise-scale agentic orchestration platform

The post Orkes and Agentic Workflow Orchestration with Viren Baraiya appeared first on Software Engineering Daily.

Vector search has become a foundational technology for AI applications, enabling everything from semantic code search to contextual retrieval for large language models. However, a major challenge with vector databases has been the cost as data storage scales. Turbopuffer is a vector database that focuses on speed, cost and scalability. It was created by Simon

The post Turbopuffer with Simon Hørup Eskildsen appeared first on Software Engineering Daily.

Cassette Beasts is a turn-based monster-battling RPG that lets players record creatures onto cassette tapes and transform into them during battle. The game was an indie hit, and is also one of the most successful games built with the open source Godot Engine. Jay Baylis and Tom Coxon are the creators of Cassette Beasts at

The post Building an Indie Hit in Godot with Jay Baylis and Tom Coxon appeared first on Software Engineering Daily.

A challenge in modern frontend application design is efficiently fetching and managing GraphQL data while keeping UI components responsive and maintainable. Developers often face issues like over-fetching, under-fetching, and handling complex query dependencies, which can lead to performance bottlenecks and increased development effort. Relay is a JavaScript framework developed by Meta for managing GraphQL data

The post Rethinking GraphQL Frontends with Robert Balicki appeared first on Software Engineering Daily.

Traditional package management systems for JavaScript have faced several inefficiencies related to dependency storage, resolution, and project performance. pnpm is a fast, disk-efficient package manager for JavaScript and TypeScript projects, serving as an alternative to npm and Yarn. Due to its efficiency and reliability, pnpm is increasingly popular for managing monorepos and large-scale applications. Zoltan

The post pnpm with Zoltan Kochan appeared first on Software Engineering Daily.

Modern application development often involves juggling multiple types of databases to handle diverse data models. The lack of unification can lead to complex architectures with attendant security concerns and fragmented development workflows. SurrealDB is an open-source, multi-model database developed in Rust and integrates functionalities of many databases including relational, document, graph, time series, search and

The post SurrealDB 3.0 and Building Event-Driven AI Applications with Tobie Morgan Hitchcock appeared first on Software Engineering Daily.

Modern web development faces several challenges, particularly when building scalable, maintainable, and high-performance applications. As applications grow, managing complex user interfaces, and ensuring efficient data handling and modular code structures, becomes increasingly difficult. Angular is a TypeScript-based web framework developed by Google. It’s component-driven and designed for building single-page applications with a strong emphasis on

The post AngularJS with Jessica Janiuk appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they discuss Perplexity’s headline-grabbing offer to buy Google Chrome, the U.S. government’s large stake in Intel, Meta’s abrupt pause on AI

The post SED News: Perplexity’s Chrome Play, Meta’s AI Freeze, and Intel Becomes Too Big to Fail appeared first on Software Engineering Daily.

A common challenge in data-rich organizations is that critical context about the data is often hard to capture and even harder to keep up to date. As more people across the organization use data and data models get more complex, simply finding the right dataset can be slow and create bottlenecks. Select Star is a

The post Context-Aware SQL and Metadata with Shinji Kim appeared first on Software Engineering Daily.

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

I looked at three of the tools that label themselves as SDD tools and tried to untangle what it means, as of now.

It turns out to be quite time-consuming to evaluate SDD tools and approaches in a way that gets close to real usage.

Tessl Framework(Still in private beta)Like spec-kit, the Tessl Framework is distributed as a CLI that can create all the workspace and config structure for a variety of coding assistants.

This is currently a 1:1 mapping between spec and code files, i.e.

(The Tessl team themselves see their framework as something that is more in the future than their current public product, the Tessl Registry.)

Service templates are a typical building block in the “golden paths” organisations build for their engineering teams, to make it easy to do the right thing.

And what’s more, if you’re creating prompts for multiple coding patterns, you want to keep them consistent with each other.

Maintaining code samples in a reference application project that you can compile and run (like a service template) makes it a lot easier to provide AI with compilable, consistent samples.

So in a second step, I wondered how we might use this approach to do a “code pattern drift detection” between the codebase and the reference application.

I tested this with a relatively simple example, I added a logger…

And the more experience I get with using AI, the more honed and intuitive these assessments become.

You can also more generally consider if you’re working on a use case that needs a high level of “correctness”, or not.

This dimension leans heavily on traditional engineering skills: test coverage, system knowledge, code review practices.

Let’s take the extremes as an example to illustrate this idea:Low probability + low impact + high detectability Vibe coding is fine!

High probability + high impact + low detectability High level of review is advisable.

                ❄                ❄                ❄                ❄I’m often asked, “what is the future of programming?” Should people consider entering software development now?

                ❄                ❄               ❇                ❄I’m also asked: “is AI a bubble”?

                ❄                ❄                ❄                ❄I retired from public speaking a couple of years ago.

                ❄                ❅

This engagement revealed that turning a system from black box to blueprint empowers modernization decisions and accelerates migration efforts.

Yet the business logic they embody is still critical to daily operations of thousands of users.

The result is what we call a black box: a system whose outputs we can observe, but whose inner workings remain opaque.

Even with partial CDC, the insights proved valuable in linking UI behavior to underlying data changes and enriching the system blueprint.

We faced multiple challenges (API usage limit, rate limits) - We couldn't verify what LLM translation of business logic was right or wrong.

To guide this process, I adopted a workflow that I refer to as “Research, Review, Rebuild”, which provides a structured, disciplined, and iterative approach to code migration.

Research, Review, Rebuild Figure 1: Research, Review, Rebuild Workflow The workflow I followed is called “Research, Review, Rebuild” — where we do a feature migration research using a couple of MCP servers, validate and approve the approach AI proposes, rebuild the feature and then once all the code generation is done, refactor things that you didn't like.

Research The “Research” phase of the approach involves generating an MCP-augmented LLM analysis of the selected Display Control.

Therefore, I strongly recommend…

CLI coding agents are a fundamentally different tool to chatbots or autocomplete tools - they're agents that can read code, run tests, and update a codebase.

The wave of CLI Coding Agents If you have tried Claude Code, Gemini Code, Open Code or Simon Willison’s LLM CLI, you’ve experienced something fundamentally different from ChatGPT or Github Copilot.

So that’s exactly what we did, and in this article I’ll take you through how we built our own CLI Coding Agent using the Pydantic-AI framework and the Model Context Protocol (MCP).

agent = Agent( instructions=instructions, model=model, ) The workflow change: The agent now understands our values around Test Driven Development and minimal chan…

“I need a Repository to access stored data”, “I need a Controller to handle user requests” or “I need to use a Factory to create objects” are all examples of abstractions which are well known in the programming community.

When I am building data pipelines, the functional paradigm helps to think about the chain of transformations working on the stream of data.

Once this mental model is clear, it's a lot easier to give specific instructions to LLMs.

This is the process which solidifies 'abstractions' - the essence of forming the vocabulary for growing the language.

That's dangerous, as without iterating with the code, you need to speculate a lot about the structure of the design.

Expansion Joints helped with this, I could aggressively trim the core talk to less than I needed, and rely on the Expansion Joints to fill the gap.

In practice I usually didn't need the Expansion Joints anyway, but their presence helped my confidence.

Using Expansion Joints was particularly important for me as I never rehearsed my talks.

Yet with Expansion Joints in place, I was able to finish a talk right on time.

Expansion Joints enabled me to give the same talk to different time slots.

What Makes Team OKRs Different Team OKRs aren’t assigned, nor are they dropped into trackers by leadership.

From Strategy to Team OKR Team OKRs don’t exist in isolation.

Strategic OKRs Are Refined in Conversation Strategic OKRs at both company and BU levels were refined through dialogue, not decree.

To respect confidentiality, details have been modified, but the essence of how Strategic OKRs and Team OKRs connect remains intact.

Figure 7: A typical Team OKR cycle Team OKR Planning Workshop The Team OKR Planning Workshop happens at the start of each cycle.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

But they’re also losing: 3 hrs per week due to slow builds4 hrs per week on dev environment toil2 hrs per week waiting for code reviews AI is not a silver bullet.

The difference between disposable code and durable code is not about whether the code was generated by AI or written by a human, or even how difficult it was to write.

This is the expensive part of software development, the type that requires deep expertise and familiarity with your language and environment.

Disposable code is cheap because you don’t even try to maintain it.

Jim Highsmith thinks that we should think of AI as Alternative IntelligenceIt’s not fake intelligence, or artificial empathy, or HAL 9000 with manners.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

This is because unlike proximate impact, downstream impact may be due to multiple factors.

You struggle to provide this justification because of a general deficit of impact intelligence within the organization.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.

Здесь денег нет.

Криптографически случайная строка.

Функция с приколоченным к ней получателeм.

omitzero на замену omitempty.

Больше криптографии.

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .