How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

George Kandalaft | Software Engineer II, Test Tools; Alice Yang | Staff Software Engineer, Test ToolsTL;DRProblem StatementOur Android end-to-end testing builds in CI were slow and flaky because the test shards were unbalanced and the entire build had to wait for the single slowest shard on a third-party testing platform.SolutionWe built a runtime-aware sharding mechanism that uses historical test duration and stability data to pack tests greedily in an in-house testing platform with EC2-hosted emulators, ensuring all shards have a similar total runtime.ImpactThe end-to-end build time was reduced by 9 minutes (a 36% improvement), decreased the slowest shard’s runtime by 55%, and compressed …

Lessons on building platforms, driving adoption, and evolving foundationsDavid Liu • Senior Director of Engineering, ML PlatformAI at Pinterest has been a proving ground for building platforms. Over the past decade, we went from ad-hoc machine learning stacks cobbled together by individual teams to a unified AI Platform that powers every major surface, spanning from recommendation and ranking models to emerging foundation and generative models.The rapid pace of ML and AI brought new capabilities, but also new limits. What appeared to be purely technical choices often turned out to hinge on organizational structures and timing. This retrospective looks back at lessons we learned that we hope…

Lin Zhu | Sr. Staff Machine Learning EngineerJaewon Yang | Principal Machine Learning EngineerRavi Kiran Holur Vijay | Director, Machine Learning EngineeringPinterest has always been a go-to destination for inspiration, a place where users explore everything from daily meal ideas to major life events like planning a wedding or renovating a home. Our core mission is to be an inspiration-to-realization platform. To fulfill this, we recognized a critical challenge: we needed to move beyond understanding immediate interests and comprehend the underlying, long-term goals of our users. Therefore, we introduce user journeys as the foundation for recommendations.We define a journey as the intersect…

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In part one we shared the overall design of Moka, our new next gen data processing platform, and detailed its application focused components. In part two of our series, we spotlight the infrastructure focused aspects of our platform: how we deploy Moka using AWS E…

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

We’re sharing details about Meta’s Generative Ads Recommendation Model (GEM), a new foundation model that delivers increased ad performance and advertiser ROI by enhancing other ads recommendation models’ ability to serve relevant ads. GEM’s novel architecture allows it to scale with an increasing number of parameters while consistently generating more precise predictions efficiently. GEM propagates [...]

Read More...

The post Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation appeared first on Engineering at Meta.

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Imagine being able to use AI to create 3D virtual worlds using prompts as easily as you can generate images. The intersection of AI and VR was one of the biggest topics at Meta Connect this year. In his keynote, Mark Zuckerberg shared his vision of a future where anyone can create virtual worlds using [...]

Read More...

The post AssetGen: Generating 3D Worlds With AI appeared first on Engineering at Meta.

Over the past 21 years, Meta has grown exponentially from a small social network connecting a few thousand people in a handful of universities in the U.S. into several apps and novel hardware products that serve over 3.4 billion people throughout the world. Our infrastructure has evolved significantly over the years, growing from a [...]

Read More...

The post Meta’s Infrastructure Evolution and the Advent of AI appeared first on Engineering at Meta.

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

We’re sharing how Meta is applying machine learning (ML) and diversity algorithms to improve notification quality and user experience. We’ve introduced a diversity-aware notification ranking framework to reduce uniformity and deliver a more varied and engaging mix of notifications. This new framework reduces the volume of notifications and drives higher engagement rates through more diverse [...]

Read More...

The post A New Ranking Framework for Better Notification Quality on Instagram appeared first on Engineering at Meta.

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

Learn how small business owners can use data analytics to compare suppliers and find the most durable, cost-effective poly bags.

Data analytics is giving e-commerce companies smarter, faster, and more secure payment systems that improve both profits and trust.

Discover how AI tools are helping artists create lyric videos faster, easier, and with more creative freedom than ever before.

As AI adoption accelerates, companies must rethink their computing strategy to handle rising data and power demands effectively.

Data analytics is reshaping the pharmacy industry by driving smarter decisions, tracking market shifts, and improving patient outcomes.

Call centers are rapidly evolving with generative AI driving faster service, smarter interactions, and stronger customer relationships.

Learn how data analytics can help drivers cut costs, track expenses, and make better decisions for long-term vehicle savings.

Explore how companies invest in BI tools, why adoption rates remain modest, and what defines a true Data Leader in today’s market.

The race for AI supremacy isn't won with better algorithms, but with better data. Explore why the quality, scale, and diversity of datasets are the true differentiators.

Discover how data analytics reshapes e-commerce warehouses, improving decision-making, boosting returns, and supporting rapid growth.

Catalyst for Business explores how AI is reshaping nursing education as providers face staff shortages and tighter budgets.

From lab to life-saving: The AI technologies transforming how medical equipment gets made.

Why deals stall: The overlooked friction points in B2B sales—and how to fix them.

Why 89% of top fleets now rely on data analytics - and how you can too.

In the modern tech landscape, collaboration, traceability, and version history are non-negotiable especially for developers, data analysts, and machine learning engineers. That’s where Git and version control come in. If you’ve ever wondered “What is Git and GitHub in simple terms?” or “What is the main use of Git?”, this guide breaks it down clearly […]

The post Learn Version Control and GitHub Basics appeared first on WeCloudData.

In today’s data-driven world, visualization tools like Power BI and Tableau are transforming how businesses interpret, share, and act on data insights. But for aspiring data professionals, one big question remains — Which is best, Power BI or Tableau? Whether you’re planning your first BI certification or looking to upskill, choosing between these two leading […]

The post Power BI vs Tableau Guide appeared first on WeCloudData.

In 2025, AI models don’t just need to be built, they need to be delivered. That’s where Docker and Kubernetes come in. For data professionals entering the world of MLOps, understanding how to deploy and scale machine learning models is just as critical as knowing how to train them. But if you’re new to this […]

The post Docker vs Kubernetes: What Should You Learn First appeared first on WeCloudData.

In 2025, data isn’t just a competitive advantage — it’s the foundation of every decision. The ability to transform raw information into actionable insights is what separates top-performing professionals from the rest. And when it comes to mastering this skill, few tools are as powerful and beginner-friendly as Power BI. If you’re looking to learn […]

The post Learn Power BI: Roadmap to Data Visualization Success appeared first on WeCloudData.

Artificial intelligence (AI) is no longer a future-facing concept, it is the defining force reshaping how we work, lead, and create value. As enterprises accelerate digital transformation, the conversation has shifted from “Will AI replace jobs?” to “How can organizations build an AI-ready workforce? Emerging AI Workforce trends” According to a 2025 McKinsey report, more […]

The post Emerging AI Workforce Trends appeared first on WeCloudData.

Artificial intelligence (AI) isn’t just changing how we work, it’s redefining what work means. Across industries, organizations are realizing that success in 2025 and beyond depends on one key question: Is the workforce ready for AI? According to a 2024 McKinsey Global Survey, 65% of organizations report adopting some form of generative AI, and nearly […]

The post Data to Decisions: Building an AI-Ready Workforce appeared first on WeCloudData.

In 2025, every forward-thinking organization is asking the same question: “How is Generative AI used in business & how can we use it effectively?” From marketing and analytics to software development and cybersecurity, Generative AI (Gen AI for business) is reshaping industries at a pace we’ve never seen before. For business leaders, understanding this technology […]

The post What Is Generative AI for Business? appeared first on WeCloudData.

The demand for skilled cloud engineers has exploded over the past few years — and 2025 is shaping up to be an even bigger year. As organizations adopt multi-cloud strategies, embrace AI, and scale their infrastructure globally, mastering the right cloud engineering skills is what sets top talent apart. Whether you’re a beginner exploring cloud […]

The post Top 7 Cloud Engineering Skills You Need appeared first on WeCloudData.

Cybersecurity has always been a critical pillar of the digital world, but in 2025, the stakes are higher than ever. As organizations face increasingly sophisticated cyberattacks, Artificial Intelligence in cybersecurity is becoming a powerful ally in defending digital infrastructure. From detecting anomalies in real time to automating incident responses, AI cybersecurity is reshaping how we […]

The post How AI Is Transforming Cybersecurity in 2025: Skills, Tools & Career Opportunities appeared first on WeCloudData.

Artificial Intelligence is no longer just a buzzword, it’s at the core of how businesses innovate, automate, and grow. Whether it’s powering chatbots, predicting financial trends, or driving cars, AI is everywhere. If you’ve ever wondered how to learn AI from scratch, 2025 is the perfect time to start. This roadmap will guide you step […]

The post Beginners Guide: How to Learn AI From Scratch in 2025 appeared first on WeCloudData.

Learning Python from scratch in 2025 is still one of the best moves you can make. Whether you’re new to coding or switching careers, this language opens doors in AI, data science, automation, and more. Below is a guided path to get you started — even if you’ve never programmed before. Why Python Is a […]

The post Best way to learn Python From Scratch in 2025 appeared first on WeCloudData.

Starting your coding journey can feel overwhelming. With so many languages out there, how do you decide the first programming language to learn for beginners? Wondering which is the best programming language to learn first today? This guide helps you choose wisely, considering job demand, learning curve, and long-term value. What Matters When Choosing Your […]

The post Best Programming Language to Learn First in 2025 appeared first on WeCloudData.

MLOps (Machine Learning Operations) has quickly become one of the most in-demand fields in tech. As more organizations scale their AI initiatives, the need for professionals who can build, deploy, and maintain machine learning models in production is skyrocketing. But here’s the question many aspiring engineers ask: What’s the best programming language for MLOps? The […]

The post Best Programming Language for MLOps? appeared first on WeCloudData.

If you’re starting a career in data, AI, or MLOps, one of the biggest questions you’ll face is: Should I learn SQL or Python first? Which one is more in demand? Both SQL and Python are essential for data professionals — but they serve different purposes. Let’s break down the differences, answer common questions like […]

The post SQL vs Python: Which Should You Learn First? appeared first on WeCloudData.

What is DevOps? If you’ve been exploring career paths in technology, you’ve probably asked yourself: What is DevOps? Simply put, DevOps is a set of practices, tools, and a cultural philosophy that brings together software development (Dev) and IT operations (Ops). The goal is to shorten the software development lifecycle, deliver features faster, and improve […]

The post Beginner Friendly DevOps Transformation Roadmap for 2025 appeared first on WeCloudData.

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

AWS CloudFormation models and provisions cloud infrastructure as code, letting you manage entire lifecycle operations through declarative templates. Stack Refactoring console experience, announced today, extends the AWS CLI experience launched earlier. Now, you move resources between stacks, rename logical IDs, and decompose monolithic templates into focused components without touching the underlying infrastructure using the CloudFormation […]

Introduction AWS CloudFormation StackSets enable you to deploy CloudFormation stacks across multiple AWS accounts and regions with a single operation, providing centralized management of infrastructure at scale through AWS Organizations integration. In enterprise environments, multiple StackSet often need to deploy in a specific order. For example, networking infrastructure must be ready before applications can deploy […]

In this post, we introduce the Multi-Provider Generative AI Gateway reference architecture, which provides guidance for deploying LiteLLM into an AWS environment to streamline the management and governance of production generative AI workloads across multiple model providers. This centralized gateway solution addresses common enterprise challenges including provider fragmentation, decentralized governance, operational complexity, and cost management by offering a unified interface that supports Amazon Bedrock, Amazon SageMaker AI, and external providers while maintaining comprehensive security, monitoring, and control capabilities.

You can now use resource governor with Amazon RDS for SQL Server Enterprise Edition to optimize your database performance by controlling how compute resources are allocated across different workloads. This post shows you how to optimize your database performance using resource governor on Amazon RDS for SQL Server. We walk you through the step-by-step process of enabling and configuring the feature, including how to set up resource pools, create workload groups, and implement classifier functions for effective resource management.

In this post, you'll learn how to deploy geospatial AI agents that can answer complex spatial questions in minutes instead of months. By combining Foursquare Spatial H3 Hub's analysis-ready geospatial data with reasoning models deployed on Amazon SageMaker AI, you can build agents that enable nontechnical domain experts to perform sophisticated spatial analysis through natural language queries—without requiring geographic information system (GIS) expertise or custom data engineering pipelines.

This blog will guide you through setting up and using Cluster Insights, including key features and metrics. By the conclusion, you'll understand how to use Cluster insights to recognize and address performance and resiliency issues within your OpenSearch Service clusters.

In this post, we share how Wipro implemented advanced prompt engineering techniques, custom validation logic, and automated code rectification to streamline the development of industrial automation code at scale using Amazon Bedrock. We walk through the architecture along with the key use cases, explain core components and workflows, and share real-world results that show the transformative impact on manufacturing operations.

Amazon RDS for SQL Server has enhanced SQL Server 2022 Web Edition by introducing high availability through block-level replication in Multi-AZ deployments. With this release, you can quickly set up and maintain highly available databases while significantly reducing operational overhead. In this post, we discuss the benefits of block-level replication and how to get started. For more information, see Licensing Microsoft SQL Server on Amazon RDS.

Amazon SageMaker Catalog now supports metadata enforcement rules for glossary terms classification (tagging) at the asset level. With this capability, administrators can require that assets include specific business terms or classifications. Data producers must apply required glossary terms or classifications before an asset can be published. In this post, we show how to enforce business glossary classification rules in SageMaker Catalog.

Amazon SageMaker Catalog now supports custom metadata forms and rich text descriptions at the column level, extending existing curation capabilities for business names, descriptions, and glossary term classifications. Column-level context is essential for understanding and trusting data. This release helps organizations improve data discoverability, collaboration, and governance by letting metadata stewards document columns using structured and formatted information that aligns with internal standards. In this post, we show how to enhance data discovery in SageMaker Catalog with custom metadata forms and rich text documentation at the schema level.

This blog post has explores how MSD is harnessing the power of generative AI and databases to optimize and transform its manufacturing deviation management process. By creating an accurate and multifaceted knowledge base of past events, deviations, and findings, the company aims to significantly reduce the time and effort required for each new case while maintaining the highest standards of quality and compliance.

In this blog post, we show you how agentic workflows can accelerate the processing and interpretation of genomics pipelines at scale with a natural language interface. We demonstrate a comprehensive genomic variant interpreter agent that combines automated data processing with intelligent analysis to address the entire workflow from raw VCF file ingestion to conversational query interfaces.

Amazon DynamoDB has announced support for up to 8 attributes in composite keys for Global Secondary Indexes (GSIs). Now, you can specify up to four partition keys and four sort keys to identify items as part of a GSI, allowing you to query data at scale across multiple dimensions. In this post we show you how to design similar data models more efficiently using Global Secondary Indexes with the additional attribute support in composite keys and provide examples of DynamoDB data models with reduced complexity.

Our team at Amazon builds Rufus, an AI-powered shopping assistant which delivers intelligent, conversational experiences to delight our customers. More than 250 million customers have used Rufus this year. Monthly users are up 140% YoY and interactions are up 210% YoY. Additionally, customers that use Rufus during a shopping journey are 60% more likely to […]

Today, we’re introducing the Amazon DynamoDB Data Model Validation Tool, a new component of the MCP server that closes the loop between generation, evaluation, and execution. The validation tool automatically tests generated data models against Amazon DynamoDB local, refining them iteratively until every access pattern behaves as intended.

In this post, we demonstrate how healthcare organizations can securely implement prompt caching technology to streamline medical record processing while maintaining compliance requirements.

In this post, we walk through the steps of integrating Oracle Database@AWS (ODB@AWS) with Amazon Bedrock for by creating a RAG assistant application using an Amazon Titan embedding model in Amazon Bedrock and vectors stored in Oracle AI Database 26ai.

In this post, you learn how to integrate SageMaker Unified Studio with S3 Tables and query your data using Amazon Athena, Amazon Redshift, or Apache Spark in EMR and AWS Glue.

In this post, we explore deployment patterns and best practices for Claude Code with Amazon Bedrock, covering authentication methods, infrastructure decisions, and monitoring strategies to help enterprises deploy securely at scale. We recommend using Direct IdP integration for authentication, a dedicated AWS account for infrastructure, and OpenTelemetry with CloudWatch dashboards for comprehensive monitoring to ensure secure access, capacity management, and visibility into costs and developer productivity .

Amazon Bedrock Guardrails now extends its safety controls to protect code generation across twelve programming languages, addressing critical security challenges in AI-assisted software development. In this post, we explore how to configure content filters, prompt attack detection, denied topics, and sensitive information filters to safeguard against threats like prompt injection, data exfiltration, and malicious code generation while maintaining developer productivity .

Today, we're announcing the AWS Well-Architected Responsible AI Lens—a set of thoughtful questions and corresponding best practices that help builders address responsible AI concerns throughout development and operation.

Amazon's AI-powered Amazon Compliance Screening system tackles complex compliance challenges through autonomous agents that analyze, reason through, and resolve cases with precision. This blog post explores how Amazon’s Compliance team built its AI-powered investigation system through a series of AI agents built on AWS.

If you’ve developed AWS CloudFormation templates, you know the drill; write YAML(YAML Ain’t Markup Language) in your IDE(Integrated Development Environment), switch to the AWS Management Console to validate, jump to documentation to verify property names. Then run CFN Lint(Cloudformation Linter) in your terminal, deploy and wait, then troubleshoot failures back in the console. This constant […]

Introduction: Repository-Level Code Migration Code migration is a repository-level transformation process that modernizes entire software projects to run on new platforms, frameworks, or runtime environments while preserving their original functionality and structure. Rather than focusing on isolated files or APIs, it operates across the full repository, spanning source code, dependencies, build systems, and configuration files […]

Introduction Is configuration drift preventing you from accessing the speed, safety, and governance benefits of AWS CloudFormation for infrastructure management? Configuration drift occurs when cloud resources are modified outside of CloudFormation, leading to a mismatch in the actual state and template definition of resources. Drift tends to accumulate from infrastructure changes that engineers make via […]

In this post, we cover how you can use tools from Snowflake AI Data Cloud and Amazon Web Services (AWS) to build generative AI solutions that organizations can use to make data-driven decisions, increase operational efficiency, and ultimately gain a competitive edge.

In this post you will learn how to use Spectrum to optimize resource use and shorten training times without sacrificing quality, as well as how to implement Spectrum fine-tuning with Amazon SageMaker AI training jobs. We will also discuss the tradeoff between QLoRA and Spectrum fine-tuning, showing that while QLoRA is more resource efficient, Spectrum results in higher performance overall.

AWS CloudFormation makes it easy to model and provision your cloud application infrastructure as code. CloudFormation templates can be written directly in JSON or YAML, or they can be generated by tools like the AWS Cloud Development Kit (CDK). Resources are created and managed by CloudFormation as units called Stacks. Additionally, change set enable you […]

In this post, we walk you through a practical solution for secure, efficient cross-account data sharing and analysis. You’ll learn how to set up cross-account access to S3 Tables using federated catalogs in Amazon SageMaker, perform unified queries across accounts with Amazon Athena in Amazon SageMaker Unified Studio, and implement fine-grained access controls at the column level using AWS Lake Formation.

RoboTic-Tac-Toe is an interactive game where two physical robots move around a tic-tac-toe board, with both the gameplay and robots’ movements orchestrated by LLMs. Players can control the robots using natural language commands, directing them to place their markers on the game board. In this post, we explore the architecture and prompt engineering techniques used to reason about a tic-tac-toe game and decide the next best game strategy and movement plan for the current player.

I will be graduating from Northeastern University on December 2025. I am seeking data analyst, data engineer, data scientist, or business intelligence roles. Could you recommend any effective strategies to secure employment by January or February 2026? submitted by /u/Drahkahris1199 [link] [comments]

AI assisted coding is now mainstream and most large companies seem to have procured licenses (of Claude Code / Cursor / GitHub Copilot etc) for most of their software engineers. And as the hype settles, there seems to be a reasonable assessment of how much productivity they add in different software engineering roles. Most tellingly, devs who have access to these tools now use them multiple times a day and would be pretty pissed if they were suddenly taken away. My impression is that “AI Assistants for data work(?)” hasn’t yet gone mainstream in the same way. Question: Whats holding them back?? Is there some essential capability they lack? Do you think it’s just a matter of time, or are the…

Hi everyone, I’m experimenting with a storage-engine design and I’d love feedback from people with database internals experience. This is a thought experiment with a small Python PoC, I'm not an expert SW engineer, for me would be really difficult to develop alone a complex system in Rust or C++ to get serious benchmarks, but I would like to share the idea to understand if it's interesting. Core Idea To think SQL like tables as geospatial raster data. Latitude ---> row_index (primary key) Longitude ---> column_index Time ---> MVCC version or transaction_id And from these 3 core dimensions (rows, columns, time), the model naturally generalize to N dimensions: Add hash-based dimensions for hi…

Understanding the data structure that powers fast queries in databases like MySQL, PostgreSQL, SQLite, and MongoDB. In this article, I explore: Why binary search trees fail miserably on disk How B-Trees optimize for disk I/O with high fanout and self-balancing A working Python implementation Real-world usage in major DBs, plus trade-offs and alternatives like LSM-Trees If you've ever wondered how databases return results in milliseconds from millions of records, this is for you! https://mehmetgoekce.substack.com/p/b-trees-why-every-database-uses-them submitted by /u/m3m3o [link] [comments]

Hey Folks, I am with 5 YoE, majorly in ADF, Snowflake and DBT stack. As you go through my profile and see posts related to DE, I am on my path to level-up for next roles. To start with “system design” and get ready to appear for some good companies I seek help from the DE community to suggest some resources whether it be a YouTube playlist or a Udemy course. submitted by /u/DramaticKoala5921 [link] [comments]

Data engineering people, I am a Data Engineer with 1+ YOE and I make 8 LPA. I need Suggestion that I want to change my career from data engineering to SDE role. So should I work on this to make this transition or make my career in data engineering field only. Reason for change: My project has almost nothing to develop, maintenance and support is left and very low level of data engineering task. Also please advise me on , how to tackle 90 days notice period. Please I need your help , I am very confused. Thanks submitted by /u/Perfect_Temporary7 [link] [comments]

I have dbt project for data transformation. I want a mechanism with which I can detect issues with Data Freshness / Data Quality and send an alert if the monitors fails. I am also thinking of using AI solution to find the root cause and suggest a fix for the issue (if needed). Has anyone done anything similar to it. Currently I use metaplane to monitor data issues. submitted by /u/Limp-Ebb-1960 [link] [comments]

Hey everyone, I work in the behavioral health / CCBHC world, and like a lot of orgs, we've spent years trapped in a nightmare of manual reporting, messy spreadsheets and low-quality data. So, after years of attempting to figure out how to automate while still remaining HIPAA compliant, without spending 10s of thousands of dollars, I designed a full analytics stack that (looks remarkably like a data engineering stack): Works in a Windows-heavy environment Doesn’t depend on expensive cloud services Is realistic for clinics with underpowered IT support Mostly relies on other people for HIPAA compliance so you can spend your time analyzing to your hearts desire I wrote up the full architecture …

I work at a small biotech and do a lot of sql stuff to create dashboards for scientists. My background is in Chemistry and I am in no way a “data analyst”. I mainly learned everything I know in my current job. I am now looking to learn more about our Warehouse/Data-Lake and maybe pivot into API work. I work with a lot of data-science and ML people. I have a good concept of how they work and interact, but want some outside resources to actually learn. It seems like all the data scientists I encounter say they magically learned the skills. Is data camp worth purchasing or are there other sites I can use? Maybe some certifications?? submitted by /u/LibraMood [link] [comments]

In our data lake, we apply spark based pre-ingestion dq checks and trino based post-ingestion checks. It's not feasible to do it on high volume of data (TBs hourly) because it's adding cost and increasing runtime significantly. How to handle this? Shall I use sampled data or run DQ checks for a few pipeline run in a day? submitted by /u/Then_Crow6380 [link] [comments]

I am looking for someone who can help me out either as a mentor specifically from Google. I want to get into Google in next 1-2 years. I would really welcome any advice. I switched from Salesforce dev / software engg to data engg recently. submitted by /u/Human-Match-1221 [link] [comments]

I’m looking for advice on how to structure partitions in Dagster for a new ingestion pipeline. We’re moving a previously manual process into Dagster. Our client sends us data every couple of weeks, and sometimes they include new datasets that belong to older categories. All data lands in S3 first, and Dagster processes it from there. The data follows a 3-tier hierarichal pattern. (note: the field names have been changed) Each EQP_Number contains multiple AP_Number Each AP_Number has 0 or more Part_Number for it (optional) https://preview.redd.it/20m26hc0ow2g1.png?width=1297&format=png&auto=webp&s=8f3aa452890a6e899815899ee9acf0129126f176&height=222 Example file list: EQP-12_AP-301_Part-1_foo…

A 27M-parameter model just outperformed giants like DeepSeek R1, o3-mini, and Claude 3.7 on reasoning tasks

The post Your Next ‘Large’ Language Model Might Not Be Large After All appeared first on Towards Data Science.

A step-by-step breakdown of empirical mode decomposition to help you extract patterns from time series

The post Empirical Mode Decomposition: The Most Intuitive Way to Decompose Complex Signals and Time Series appeared first on Towards Data Science.

The best models live in the sweet spot: generalizing well, learning enough, but not too much

The post Overfitting vs. Underfitting: Making Sense of the Bias-Variance Trade-Off appeared first on Towards Data Science.

How I learned to handle growing datasets without slowing down my entire workflow

The post Modern DataFrames in Python: A Hands-On Tutorial with Polars and DuckDB appeared first on Towards Data Science.

Use a shared taxonomy to connect RDF and property graphs—and power smarter recommendations with inferencing

The post How To Build a Graph-Based Recommendation Engine Using EDG and Neo4j appeared first on Towards Data Science.

Will conversational interaction replace SQL queries, KPI reports, and dashboards?

The post Natural Language Visualization and the Future of Data Analysis and Presentation appeared first on Towards Data Science.

Traditional manufacturers are using revolutionary technology for incremental optimization instead of fundamental re-imagination

The post Generative AI Will Redesign Cars, But Not the Way Automakers Think appeared first on Towards Data Science.

Many practitioners like to jump headfirst into the nitty-gritty details of implementing AI-powered tools. We get it: tinkering your way into a solution can sometimes save you time, and it’s often a fun way to go about learning. As the articles we’re highlighting this week show, however, it’s crucial to gain a high-level understanding of how […]

The post TDS Newsletter: How to Build Robust Data and AI Systems appeared first on Towards Data Science.

Learn the pros and cons of Gemini 3 Pro, from testing with both coding and console usage

The post How to Use Gemini 3 Pro Efficiently appeared first on Towards Data Science.

An explanation of time-series visualization, including in-depth code examples in Matplotlib, Plotly, and Altair.

The post Data Visualization Explained (Part 5): Visualizing Time-Series Data in Python (Matplotlib, Plotly, and Altair) appeared first on Towards Data Science.

Tracing the history of LLM attention: standing on the shoulders of giants

The post How Relevance Models Foreshadowed Transformers for NLP appeared first on Towards Data Science.

A fresh way to think about computational notebooks

The post Why I’m Making the Switch to marimo Notebooks appeared first on Towards Data Science.

Learn how to utilize AI agents to find information in your document corpus

The post How to Perform Agentic Information Retrieval appeared first on Towards Data Science.

How we learn is changing with generative AI — what does that mean for sex education, consent, and responsibility?

The post Developing Human Sexuality in the Age of AI appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Доклады с Airflow Summit 2025Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:— Airflow at OpenAI— Benchmarking the Performance of Dynamically Generated DAGs— Airflow That Remembers: The Dag Versioning Era is here!— DAGLint: Elevating Airflow DAG Quality Through Automated Linting— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale— Deadline Alerts in Airflow 3.1— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration— Security made us do it: Airflow’s new Task Execution Architecture— Unlocking Event-Driven Sc…

Очередной подгон от Astronomer про лучшие практики построения ETL/ELT пайплайнов на базе Apache Airflow 3 — Best practices for ETL and ELT pipelines with Apache Airflow 3Небольшая электронная книга на 50 страниц, удобно использовать как справочник.

XLTable - OLAP Cервер для нового стека данныхРаботайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel.Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.📈Ключевые возможности XLTable: • Аналог MS OLAP (SSAS) для больших данных • Интеграция с MS Excel по протоколу XMLA • Поддержка ClickHouse, BigQuery, Snowflake • Скоро: YDB, Greenplum • Множество групп мер, иерархий и измерений в одном кубе • Гибкие настройки кэширования • Развёртывание внутри вашей инфраструктуры или в облаке🔒Безопасность: • Интеграция с LDAP • Разграничение доступа на уровне мер, измерений и их членов⚙️Производительность:• Безлимитное количество мер и изме…

Apache Airflow 3.1.1Вышел новый релиз Apache Airflow 3.1.1 очередным паком багфиксов — Airflow 3.1.1 (2025-10-27). Пофиксали очередную утечку памяти с remote logging connection cache. Что-то 3-я версия Эйрфлоу богата на ошибки с утечками памяти. Бегу обновлять свой инстанс.

Построение пайплайнов dlt в Apache Airflowdlt это python библиотека для загрузки данных из разных источников. Она из коробки поддерживает работу с REST API, SQL, облачными хранилища и т.д. В сети появился бесплатный курс как подружить dlt и Apache Airflow — Deploy dlt pipelines. Сейчас доступны материалы про Apache Airflow, но на подходе информация и про Prefect, Dagster, Kestra, Orchestra и Modal. Я неоднократно слышал про dlt, но ни разу не доводилось использовать. Сейчас у меня есть пара проектов, где необходимо забирать данные из Airtable. Планирую ознакомиться с курсом и попробовать переделать свой пайплайн.

Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу данных: Qdrant EssentialsМеня в последнее время интересует тема векторного поиска и векторных БД, и Qdrant как раз неплохой кандидат на изучение и реализацию какого-нибудь проекта (спойлер: домашнего векторного поисковика). Курс прям как по заказу!

The Annual Airflow SurveyЕсли вы пользуетесь Apache Airflow, то давайте поможем сообществу собрать больше информации об использовании Airflow. До 20 ноября необходимо заполнить опросник на сайте взамен вы получите возможность пройти сертификацию по Airflow от Astronomer бесплатно (я сдавал их экзамен и он хороший). Опросник небольшой, замёт не более 10 минут вашего времени.

Airflow AI SDKНашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk.Пакет предлагает набор декораторов:— LLM tasks with @task.llm: Define tasks that call language models to process text— Agent tasks with @task.agent: Orchestrate multi-step AI reasoning with custom tools—Branching with @task.llm_branch: Change DAG control flow based on LLM output— Embedding tasks with @task.embed: Create vector embeddings from textПоддерживает работу с OpenAI, Anthropic, Gemini и другими через пакет pydantic-ai. С новым механизмом Human-in-the-Loop в Airflow 3.1 стало ещё удобнее контролировать процесс с помощью человека. Имхо, Airflow неплохо вписывает…

MCP сервер для Apache AirflowНашел репозиторий с готовым MCP сервером для Apache Airflow — mcp-server-apache-airflowMCP или Model Context Protocol - это протокол, позволяющий большим языковым моделям взаимодействовать со сторонними сервисами, дергая их за "ручки". Например, используя этот MCP сервер для Airflow можно через ИИ-агента манипулировать дагами и не только.

Jetbrains DataGrip бесплатно для некоммерческих целейТеперь JetBrains DataGrip можно использовать бесплатно в некоммерческих целях. Я уже давно пользуюсь продуктами JetBrains, мой фаворит безусловно PyCharm. Работая в компании Playirx, я регулярно использовал DataGrip и считаю его лучшей оболочкой для работы с базами данных. DataGrip пополнил линейку бесплатных продуктов (для некоммерческих целей) наряду с CLion, RustRover, WebStorm и RubyMine. Вполне возможно, что скоро мы увидим и Rider и GoLand в этом списке 🤞

Data Engineering Design Patterns 🔥В сети бесплатно раздают электронную копию книги Data Engineering Design Patterns. Я её ещё не читал. На книжных сайтах у неё неплохой рейтинг. Если вдруг искали что почитать по теме, то думаю стоит приглядеться. Ну а чтобы вам не нужно было заполнять форму, я сразу прикрепил pdf с книгой к сообщению.

Как я чищу метаданные Apache Airflow 3.xВ блоге Apache Airflow есть скрипт для периодической чистки метаданных в БД Apache Airflow. Но начиная с Airflow 3.0 невозможно обращаться к БД напрямую (через модели SQLAlchemy), в связи с этим скрипт не работает. Даже вызов shell команды airflow db clean через BashOperator выдаст ошибку по типу: Could not parse SQLAlchemy URL from string 'airflow-db-not-allowed:///': source="airflow.task.hooks.airflow.providers.standard.hooks.subprocess.SubprocessHook"RuntimeError: Direct database access via the ORM is not allowed in Airflow 3.0Как решить? Я нашел выход запуска через старый добрый Cron:0 0 * * * /home/airflow/.airflow/bin/airflow db clean --clean-be…

Apache Airflow 3 в Amazon CloudНа Amazon стала доступна 3-я версия Apache Airflow: Introducing Apache Airflow 3 on Amazon MWAA: New features and capabilitiesНо я бы пока не спешил бежать и обновляться, т.к. релиз спорный, а тем более вышла уже версия 3.1 (её ещё нет в Амазоне), в которой часть проблем как с движком так и с интерфейсом была исправлена. Постепенно всё же готовиться к переходу стоит начать. В этом поможет руководство по переходу со 2 на 3 от Amazon: Best practices for migrating from Apache Airflow 2.x to Apache Airflow 3.x on Amazon MWAAИз неприятного. В тройке запретили прямой доступ к базе из рабочих нод (рабочих лошадок), т.е. как раньше использовать модели SQLAlchemy для ч…

Очередной подгон в виде бесплатной книги от Astronomer — Orchestrating dbt with Apache Airflow® using Cosmos 🚀Неплохой вводный гайд по оркестрации dbt пайплайнов через Apache Airflow и пакет astronomer-cosmos. Я закончил свою работу с dbt, когда его возможно было запускать только через BashOperator, сейчас ситуация иная.

Хорошая статья - 3 levels of writing. Напоминает нам о важности использовать свой мозг.…Во-первых, ИИ останется с нами надолго. Мы должны использовать ИИ очень осознанно. Не меняйте свой долгосрочный рост на краткосрочную продуктивность.В мире, где все заняты тем, что используют ИИ для всей своей работе, будьте тем, кто использует мозг.Так же, как и мышцы, тренировка мозга требует целенаправленной практики.ИИ может помочь с исследованиями, корректировкой тона и проверкой ваших предположений.Но не заблуждайтесь, есть большая ценность в том, чтобы делать вещи "вручную" ради себя самого. Вы можете выбрать ходьбу пешком, даже если у вас есть машина. Это занимает больше времени, но долгосрочная …

Я уже писал про инструмент Agor, который позволяет управлять несколькими агентами одновременно без участия человека. Пока еще сыроват, но это реально выглядит как будущее разработки ПО и скоро инструменты будут разбивать ваш запрос на подзадачи и каждый агент будет играть свою роль. Вы уже можете сами протестировать подход https://agor.live/guide/spawned-subsessions#example-cross-agent-code-review

Вот это я понимаю народные цены. Ваше капучино дороже стоит, чем час с реальным дата инженером. Источник TopMate, где инженеры из Индии учат других инженеров за еду доллары.

Недавно появился новый тренд. Точнее он появился давно, но о нем стали говорить лидеры AI - дата центр в космосе.Уже одна компания Star Cloud (backed by Nvidia и Sam Altman) запустила свой первый спутник с GPU, есть и другие игроки на рынке, кто делает bet на космические дата центры, так как на земле не хватит энергии для AI. Примеры из новостей и игроки:- Starcloud-1 satellite reaches space, with Nvidia H100 GPU now operating in orbit- Интервью CEO Starcloud- Exploring a space-based, scalable AI infrastructure system design от Google Research- How I told a CEO his data centre was obsolete.- Jeff Bezos Creates A.I. Start-Up Where He Will Be Co-Chief Executive- Elon Musk is making it clear t…

dltHub - инструмент для интеграции данных (open source). Он не очень популярный, но про него всегда отзываются хорошо. Был бы там еще коннектор к 1С, было бы совсем замечательно.Они выпустили классный курс - Deploy dlt pipelines, в котором показывают как пользоваться dlt с Airflow, Prefect, Dagster, Modal, Kestra (инструменты оркестрами)Так же есть и базовые курсы:dlt Fundamentalsdlt AdvancedFreecodecamp: Data Engineering with Python and AIКто-нибудь использовал в продакшн?

Сейчас LinkedIn заполнен 3мя типами контента:1) все рассказывают про Toon, какой замечательный дата формат, и как он экономит токены. Но все, кто про него пишет, его даже не использовали. Я вот тоже написал здесь и тоже не использовал. 2) Несмотря на то, что Nvidia опубликовала свои доходы в + и все выдухнули - пузырь еще не дозрел, но сегодня весь рынок красный. Знающие люди делаются инсайдами.3) Если контент на русском, то часто народ жалуется на рекрутеров, рекрутеры жалуются на соискателей и обязательно с приложением скринов переписки. И еще будут посты о том, как кто-то кому-то помог найти работу. И чтобы вы подумали? Скриншоты и пруфы приложены🍪🍪А что вам там попадется?

Snowflake уже настоящая unified платформа с возможностью грузить данные из API. Так и fivetran не нужен будет. И еще в Snwoflake можно хостить бесплатно dbt core и создавать крутые Python Apps на Streamlit (BI). ML и AI там тоже есть.

VK RecSys Challenge: проверьте свой алгоритм в деле!В самом разгаре ежегодное соревнование по разработке рекомендательных систем от VK — RecSys Challenge 2025. Участникам предстоит решить одну из самых сложных проблем в мире рекомендаций: задачу холодного старта.Суть соревнования — построить модель, которая предскажет, кому из пользователей понравится новый клип, даже если его ещё никто не видел. Что ждёт участников:• Реальные данные — датасет VK-LSVD с 40 млрд взаимодействий и 20 млн коротких видео• Можно участвовать соло или в команде до 4 человек• Техническая свобода — до 5 сабмитов в день, возможность экспериментировать• Общий призовой фонд — 2 500 000 рублейПриглашают студентов, исслед…

Яндекс — место, где наука и бизнес работают вместе. Мы превращаем исследования и аналитические данные в реальные продукты для миллионов пользователей.Сейчас мы ищем сильных аналитиков — с опытом на Python от 3 лет. Участвуйте в Weekend Offer, чтобы пройти все собеседования и получить офер всего за 2 дня.Как всё устроено:• Подайте заявку до 3 декабря.• Пройдите технические секции 6 декабря.• Познакомьтесь с командами и получите офер 7 декабря.На сайте собрали все подробности — читайте по ссылке и регистрируйтесь: https://yandex.ru/project/events/wo-analytics-1225

https://github.com/mfontanini/presenterm Наконец можно и презентации делать в Markdown

Полезная статья - What It Really Takes to Move From Senior to Staff Data Engineer. Staff в РФ не очень распространено. Я знаю Т-Банк активно развивает это направление. Но по факту team lead это тот же staff инженер. Я работал как Staff DE 3 года и прочитал базовые книжки про Staff Engineer, их всего 2: The Staff Engineer's Path и Staff Engineer.Как обычно перевод и summary от AI. Сегодня это Raycast и Antropic API key. В последнее время я решил заморочиться на всякие горячие клавиши и спустя больше чем 10 лет прошел с touchpad на мышку Logi MX Master 3s. Надоело флексить с тачпадом и теперь у меня мышка с множество горячих клавиш и одна из них как раз AI чат. У Logi даже есть утилитка для c…

8. Будущее data engineering • Роли будут требовать знания языков за пределами Java/Scala/Python/SQL • Компании понимают, что проблемы не в объеме, а в governance и качестве данных • Эволюция open table форматов • GenAI не заменит junior-ов — младшие инженеры лучше работают с ИИ и учат seniorsКлючевая мысль:Staff engineer имеет "outsized impact" (непропорционально большое влияние). У всех одинаковое количество часов, и все кодят с примерно одинаковой скоростью. На определенном уровне важнее становится ЧТО вы кодите, а не скорость: • Находить проекты, двигающие бизнес вперед • Помогать бизнесу убирать неопределенность • Предотвращать выбор решений, которые будут стоить миллионы и потребуют ми…

Интересная статья - LLMs: The Illusion of Thinking, в которой рассказываю про LLM и насколько это далеко от реального искусственного интеллекта. Некоммерческие лидеры мнений тоже про это говорили.LLMs: The Illusion of Thinking — краткое резюме1 LLM создают иллюзию мышления, но не обладают пониманием, сознанием или намерением.2 Они предсказывают слова по статистике, а не рассуждают логически.3 Галлюцинации и уверенная ложь — системная проблема всех моделей.4 На сложных задачах (пример: Tower of Hanoi) модели полностью ломаются, даже если знают алгоритм.5 Chain-of-Thought не является реальным мышлением — часто рассуждения неверные, но ответ случайно правильный.6 LLM путают факты и смешивают и…

Welcome Time | Москва | 23 ноябряЯндекс организует очное мероприятие для специалистов в области аналитики и дата-сайентистов в своей штаб-квартире. Участники смогут познакомиться с особенностями работы команд аналитики в масштабном ecom-проекте.Что вас ждёт на встрече:💬 открытый диалог с экспертами Яндекса — задавайте любые вопросы;💬 разбор реальных кейсов из практики Яндекса;💬 погружение в мир e‑com аналитики: от товарной базы до продуктовой аналитики в Поиске;💬 диагностика навыков, которую, при успешном прохождении, на 2 года засчитают как техническую секцию.👉 Чтобы попасть на встречу, заполните форму по ссылке. Подробности о мероприятии на сайте. Аналитика — это не только цифры, но и люд…

Нашел классную имплементацию учебных материалов по Data Engineering и других смежных специальностей. Мне понравилась механика сайта и как сгруппированы задания. Единственный минус это сам контент, точнее отсутствие контекста. Если я посмотрю дорожную карту для дата инженера, то найду там все как полагается - git, bash, cli, python, MPP базы данных, облака и тп. Но нет контекста, зачем и почему. А как реально работают инженеры данных, где 20%, которые дадут 80% результата. То есть работу мы не найдем, если пройдем курсы и порешаем задачки. У меня в Surfalytics все наоборот, где фокус только на результат и контекст через конкретные измеряемые действия, но пока что нет такой красивой обложки, …

Как выбрать MCP-сервер: практическое руководствоИтак, вы решили использовать ИИ в работе, но не просто мучить ChatGPT вопросами, а сделать все по науке, через MCP-сервер. Осталось только выбрать, какой вам нужен.Идете в интернет, находите сайт-агрегатор или подборку серверов и видите там сотни вариантов. Если вам нужно подключить ИИ к какому-то популярному инструменту — например, к PostgreSQL, то в поисковой выдаче на вас вывалится несколько страниц результатов.🔵Чем они все друг от друга отличаются?🔵Что надо учитывать при выборе?🔵Какой MCP-сервер лучше — специализированный под узкий спектр задач или универсальный? 🔵А может, вы вообще не знаете пока, что такое MCP-сервера и где они водятся?🔜…

Нейроаналитик DataLens: ваш ключ к даннымО чем чаще всего просят аналитиков? «Да просто объясни, что эти данные значат? Что мне с ними делать?» Пользователь хочет увидеть руководство к действию и ответы на свои вопросы, а не сложные дашборды, где еще с фильтрами и гранулярностью надо разбираться.А что, если мы скажем, что уже есть такой помощник, который может сделать данные ближе и понятнее? Это — Нейроаналитик от DataLens.И если вы до сих пор не познакомились с ним — вы упускаете один из самых элегантных способов общаться с вашими цифрами.Как это работает? По-человеческиПредставьте, что вы можете спросить у системы так же, как спросили бы у коллеги: «Покажи, как изменилась выручка в этом …

Как когнитивные искажения убили стартапВы когда-нибудь слышали про приложение Takkle?Скорее всего, нет. Это была американская социальная сеть со спортивным уклоном. Takkle давно схлопнулась, и от нее остались только старые аккаунты в Twitter и на Youtube. Но ее недолгая история довольно любопытна.Что случилось с Takkle, и почему это должно быть интересно?По воспоминаниям бывшего VP по инжинирингу, одна из причин провала — это неудачное решение CTO еще на этапе разработки. Старый СТО уволился, а новый, пришедший ему на смену, сказал, что PHP никуда не годится и надо срочно все переписывать на Perl. Это был опытный специалист с серьезным резюме, который провел анализ, привел аргументы и в ито…

Вайб-кибершпионаж Уже был и вайб-кодинг, и вайб-инжиниринг, а вот теперь — вайб-кибершпионаж с помощью ИИ.Anthropic рассказали про операцию некой преступной группировки из Китая, которая пыталась использовать Claude для атаки на крупные технологические компании, финансовые и государственные учреждения. Злоумышленников уже остановили, а пострадавших оповестили. 🔜 Как проходила операция?Главной задачей для человека было убедить Claude заняться взломом. Чтобы обойти внутренние ограничения ИИ, ему давали небольшие, на первый взгляд безобидные задания, чтобы он «думал», будто участвует в тестировании системы безопасности. Это был первый этап атаки. На втором Clause изучал ИТ-инфраструктуру жертв…

OR или не OR? Представим, что у вас есть большая таблица applications, в которой хранятся данные о заявках пользователей, а также о людях, которые их подают (они указаны в столбце submitter_id) или рассматривают (reviewer_id). Вам нужно посчитать, со сколькими заявками взаимодействовал пользователь — неважно, отправлял или рецензировал. Какой запрос, на ваш взгляд сработает быстрее? SELECT COUNT(*)FROM applicationWHERE submitter_id = :user_id OR reviewer_id = :user_id;или SELECT ( SELECT COUNT(*) FROM application WHERE reviewer_id = :user_id)+ ( SELECT COUNT(*) FROM application WHERE submitter_id = :user_id)- ( SELECT COUNT(*) FROM application WHERE submitter_id = :user_id AND reviewer_id =…

Ваш PostgreSQL больше читает или пишет? Одна из причин, почему Postgres так популярен — это его универсальность и гибкость. Мало того, что он прекрасно встроится почти в любой проект, так еще и можно оптимизировать и докрутить под свои запросы, чтобы поднять и без того высокую производительность. Как именно его оптимизировать и докручивать, зависит от совокупности факторов, среди которых — то, каким операциям отдается приоритет: чтению или записи. 💬 Социальные сети, новостные сайты, интернет-магазины, в общем, все, где люди больше листают, чем что-то активно делают — это проекты, где больше приходится читать. Финансовые приложения, системы, которые отслеживают какие-то события на сайте или …

Выпрямитель графиков — незаменимый гаджет для аналитикаОписание товара гласит, что «выпрямитель исправляет некорректные графики, вводя пространственную осведомленность в неэвклидовы координаты». Купили бы? Всего-то 173 доллара, между прочим.Это один из товаров сайта anycrap, который «воплощает нереальные вещи в жизнь». Просто вводите любое слово в поисковую строку, и он выдает вам страницу продукта с картинкой, описанием и ценой, сгенерированных ИИ.В бесконечном ИИ-каталоге можно найти что угодно: от абсурдных гаджетов вроде «генератора пердежа» до квантового мусора. Ну, или вообще всего его угодно, что пожелаете. Как-то так мог бы выглядеть маркетплейс из «Рика и Морти» — тем более, что пл…

Сделай сам: БД ключ-значение своими рукамиБаза данных нужна, чтобы было куда удобно и компактно сложить данные, а потом — чтобы было где быстро и легко их найти. Звучит логично, но на практике добиться удобства, компактности, быстроты и легкости не так уж и просто. 🔵Как вносить новые данные в файл? 🔵Как изменять или удалять старые? 🔵Как сэкономить место на диске и не дать базе разрастись до неразумных размеров? 🔵Как ускорить поиск, особенно когда количество записей растет? Как только находите ответ на один вопрос, тут же появляются новые. Это хорошо видно на примере статьи про создание БД с нуля: автор начинает с простого файлика с ключами и значениями и, постепенно дорабатывая его, доходит…

Новогодняя реклама Coca-Cola опять со вкусом ИИХеллоуин отпраздновали (если праздновали) — пора готовиться к Новому году. К тому же, уже подоспела традиционная новогодняя реклама Coca-Cola. Как и в прошлом году, ее сделали с помощью ИИ.На Youtube-канале компании выложили сразу несколько вариантов. К посту прикреплен сокращенный, но есть и еще и минутная версия и ролик о создании.В прошлый раз ИИ-грузовики вызвали неоднозначную реакцию. В этом году картинка однозначно выглядит бодрее, но в комментариях еще все еще ругают за пластмассовость и бездушность. А как вам? Почувствовали новогоднее настроение?

Как выглядит кошмар аналитика В честь Хеллоуина решили обсудить с вами кое-что действительно жуткое — страшнее приведений или клоунов. Плохой SQL. 👻Потому что приведений не существует, а вот кривой код очень даже реален и иметь с ним дело приходится регулярно. Для затравки нашли для вас целую подборку примеров, среди которых: 🔵нагромождение CASE WHEN, создающее хаос, в котором может разобраться только автор кода (но это не точно),🔵несколько уровней подзапросов, разобраться в которых не может даже сам автор,🔵вьюхи поверх вьюх поверх других вьюх — сначала это может быть удобно и красиво, но со временем система рискует стать слишком непонятной, еще и создает нагрузку на базу, 🔵попытки «подчист…

Очистка ИИ-слопа: современные решения современных проблемЧто мы все о плохом — ИИ отнимает работу, из-за ИИ компании реже нанимают джунов, списки профессий, которые к (тут вставить какой-нибудь год) уничтожит ИИ и так далее. Он вообще-то еще и создает рабочие места вполне успешно. Современный генеративный ИИ работает быстро, но не очень хорошо. Он действительно может за секунды сделать то, на что люди потратили бы несколько часов или дней: написать текст или код, сделать иллюстрацию или видео. Проблема в том, что тексты у него водянистые и написанные в особом, очень узнаваемом ИИ-стиле, который всем уже приелся. На иллюстрациях и в видео часто встречаются ошибки, хотя рисовать правильное ко…

Viz of the Day во всем многообразииTableau любит показывать возможности своего тула и самые крутые датавизы выставляет на всеобщее обозрение как Viz of the Day, чтобы все смотрели, впечатлялись и вдохновлялись. Эти визы дня бывают кардинально разные: про бизнес, экологию, социальные вопросы, поп-культуру. Визуально они тоже отличаются — от классических лаконичных дашбордов до дизайнерских интерактивных инфографик. Отследить какие-то закономерности в этом разнообразии раньше было не просто, но теперь эта задача стала попроще. Амбассадор Tableau Хидеаки Ямамото собрал данные о 600 последних Viz of the Day и отобразил на инфографике. И вот на ней тренды уже видны:🔵Большинство авторов Viz of th…

dbt 101: что нужно знать на старте и лучшие практикиdbt — отличный тул для трансформации данных и заслуженный стандарт индустрии. Мы его часто используем, потому что он сильно упрощает работу на проектах со сложной аналитикой и множеством SQL-скриптов. Кое-что из своего опыта собрали в новой статье. Это не инструкция, как настроить dbt и начать работу, а вводный материал, где мы решили поделиться, а что это вообще такое: зачем нужно, какие функции выполняет, какие задачи решает. Ну и заодно добавили парочку лучших практик, которые хорошо показывают себя на проектах. Кстати, один реальный проект тоже чуть-чуть показали.🔜 Статья уже на Хабре!

«Мало получить инсайт — надо еще донести его понятным языком»И другие вызовы в работе аналитика в большой компании.В подкасте «Потом доделаю» вышел выпуск как раз для нас с вами: Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы, рассказал, как в корпорации работают с данными. Многие компании об этом либо ничего не рассказывают, либо говорят насколько общими фразами, что лучше бы ничего не говорили. Что-то реально интересное и полезное на эту тему — как этот подкаст — появляется не так уж и часто.Про что говорили? 🔵С какими сложностями приходится сталкиваться, как доносить ценность данных до коллег и что делать, если ваши инсайты идут вразрез с решениями бизнеса.🔵Как ИИ влияет …

OpenAI представила ChatGPT Atlas Вы никогда не думали, как было бы удобно, если бы кто-то за вас покидал покупки в корзину в онлайн-магазине, а перед этим еще сравнил, чем отличаются два на первый взгляд идентичных товара? Прочитал длинную статью и пересказал содержание? Придумал остроумный ответ в дискуссии в соцсети? В общем, взял на себя эту сложную, нудную задачу сидения в интернете? 🔜 Что ж, если вы пользуетесь Mac’ом (остальным придется подождать), то теперь можете обзавестись таким помощником. OpenAI представила браузер ChatGPT Atlas, с прикрученным к нему ИИ-ассистентом. На картинке выше вы можете увидеть пример задачи для него — выбрать товары для похода на пляж с семьей.Пользовате…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

Продуктовые аналитики — профессиональные детективы 🔎 Докажите это, разгадав тайну «уснувших» покупателей. Проведите собственное расследование с решением квиза и продуктового кейса. За самые быстрые и точные результаты детективы получат призы от Lamoda.Как принять участие:1. Пройдите квиз и предложите решение продуктового кейса2. Примите участие до 18 декабря. Результаты всех финалистов попадут в общий лидерборд, поэтому делитесь ссылкой с коллегами-аналитиками, чтобы повысить градус соревновательности! 3. Дождитесь публикации поста с результатами в канале Lamoda TechВремя пошло! Детали и задания ждут вас на сайте.Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:2W5zFJXDRw6

❓ NLP для Data Scientists: получайте навыки, которые помогают решать реальные задачи с текстами.🔥 Мы подготовили для вас 3 бесплатных вебинара курса «NLP / Natural Language Processing», где вы узнаете всё необходимое для работы с текстами и моделями.🔸 Вебинар №1: Анатомия нейросетей: от трансформеров к современным архитектурам 👨‍🏫 Спикер: Андрей Носов - AI Architect, Raft⏰ 24 ноября, 20:00 МСКНа этом занятии вы узнаете: • Из чего состоят современные нейросети — внимание, эмбеддинги, нормализация и другие ключевые механизмы. • Почему трансформеры стали стандартом в NLP и какие идеи приходят им на смену. • Как применять эти принципы в задачах генерации, классификации и анализа текста.🔸 Вебина…

«Круги Громова» представили новое исследование российского рынка ETL 2025Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?В новом исследовании «ETL Круг Громова 2025»:🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектур…

Как мы в Авито управляем трафиком маркетинговых коммуникацийЕжедневно Авито запускает более 900 маркетинговых CRM-кампаний и ежемесячно отправляет более 5 миллиардов коммуникаций. Чтобы повысить эффективность рассылок, аналитики стремятся улучшать покрытие пользователей, не спамить им и, главное, отправлять релевантные сообщения.Чтобы выполнить эти задачи, Авито анализирует поведение аудитории. Это огромный массив данных и разнородных факторов, поэтому мы используем ML в алгоритмах отправок.Хотим поделиться этим опытом, для чего записали ещё один выпуск «Диванной аналитики» с Арменом Есаяном, старшим аналитиком в CRM. Армен подробно разбирает, как машинное обучение помогает добиться максима…

Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчетности с помощью ИИ 🤖Когда документация устаревает, аналитика перестает работать. Метаданные разбросаны, отчеты описываются вручную, а поиск нужной таблицы превращается в квест.📆 25 ноября в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар с Павлом Хамриным (Lasmart).Разберем:— почему документация по данным всегда отстает от реальности;— как AI помогает описывать таблицы, отчеты и процедуры за минуты;— как «научить» модель понимать корпоративные термины;— как DataDesc автоматизирует документацию и интегрируется с data-catalog.👨‍💻 Кому будет полезно: data-инженерам, аналитикам, архитекторам DWH, BI-руководителям — и всем, к…

⚡️Пошаговый план: как получить оффер на аналитика в 2025 году?Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других.Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?На вебинаре разберём:🟠Разберем полный роадмап: что учить, в каком порядке, до какого уровня;🟠Структура хорошего портфолио с примерами;🟠Что говорят реальные наниматели — какие у ни…

avito.tech.conf, первая конфа от AvitoTech для менеджеров и лидов — как это было? ☄️Предлагаем проверить самим! Смотрим видео выше и обязательно переходим на плейлист с записями докладов:📺 Youtube🔵 VK ВидеоПочему важно послушать доклады, если не успели подключиться онлайн или прийти оффлайн? Во время них участники успели обсудить огромный спектр важных в индустрии тем: от внедрения в разработку и управления AI и LLM до барьеров, которые мешают инженерам вырасти в менеджера. И, на секундочку, ивент от ребят собрал 1000+ лидов, менеджеров и C-level. А в онлайне к трансляции подключилось 10 000+ человек. Поздравляем коллег и открываем плейлист 💻

Как в Авито нашли способ считать сделки, которых не видноВ классифайдах сделки часто происходят вне платформы: например, продавец и покупатель встретились, чтобы осмотреть машину, и на месте совершили сделку.Оценивать эти сделки и даже узнавать о них — нетривиальная задача. Но инженеры и аналитики из команды Авито всё равно научились замерять их ценность и формализовать понятие «договорённость» так, чтобы их могла распознавать ML-модель.В статье — история о том:— почему считать просто сделки может быть ошибкой,— как «договорённость» стала новой единицей ценности,— как превратили абстрактное понятие в рабочую бизнес-метрику.Подробности — в материале на Хабре.👉 «Как мы обучили ML-модель наход…

Митап в офлайне и афтепати в Нижнем НовгородеПриглашаем продактов, аналитиков и DS-специалистов послушать о сложностях, которые встретил Авито по пути улучшения сервиса. Расскажем, что произошло, какие уроки мы извлекли и как решили проблемы. После докладов общаемся и отдыхаем на афтепати.Спикеры:🎤 Роман Клочко — аналитик в команде Доставки. Расскажет, как пытались с помощью ML предсказывать опоздания в доставке.🎤 Максим Каширин — руководитель Data Science направления в модерации. Поделится историей, как создавали систему автоматической модерации.🎤 Илья Грубер — руководитель продуктового направления в Логистике. Расскажет о болезненных пивотах, которые пришлось пережить, когда решали точечн…

Наблюдаю интересный парадокс: аналитики жалуются, что сложно прокачиваться, если ты не в бигтехе, но при этом мало кто ходит на профильные конференции. А зряПотому что такие конфы — это место, где можно за пару дней закрыть сразу несколько проблем:Во-первых, актуальность. Онлайн-курсы — это хорошо, но там всегда есть лаг. А когда слушаешь чуваков из индустрии — получаешь контекст из первых рук, что вообще сейчас работает и почемуВо-вторых, нетворкинг. Звучит банально, но это работает — половина моих знакомых нашли работу или проекты именно через конференции. Просто потому что люди там реально готовы общаться, а не игнорировать запросы в соцсетяхВ-третьих, это просто эффективнее, чем разрозн…

📊📊📊📊 — ваша дата-аналитическая точка роста!🗓 30 октября, 13:00 | 📍 Москва🔗 РегистрацияЧто вас ждёт:— 10+ докладов про аналитику, автоматизацию и low-code.— Кейсы от компаний: Газпром проектирование, ПМСОФТ, Газпромнефть-Снабжение, АвтоВАЗ, Hoff.— Выступление директора по развитию исследовательского проекта «Круги Громова».— Демозона, партнёрские стенды, живые демонстрации и обсуждения с практиками.— Нетворкинг, живая музыка, фуршет и розыгрыши.Темы докладов:✅ Loginom 7.3 — что нового и зачем это бизнесу.✅ Data Science на базе Loginom: от данных к решениям.✅ Искусственный интеллект и его применение в аналитике.✅ Self-Service аналитика — как ускорить работу с данными.✅ Автоматизация, разверты…

🔐 Craft IT Talk: закрытое комьюнити Big Data-специалистовЕсть темы, которые не разбирают на конференциях, и задачи, о которых не пишут в блогах. Craft IT Talk — закрытое сообщество, где Big Data-эксперты из финтеха говорят начистоту.Клуб объединяет архитекторов, дата-инженеров, аналитиков и тимлидов из крупных банков, страховых и ИТ-компаний. 🔹Закрытые встречи в неформальной обстановке🔹Разговоры о реальных кейсах с экспертами вашего уровня🔹Опыт коллег из Big Data в финансах, который обычно остается за стенами офисов🔹Доступ к эксклюзивным материалам, которые мы создаем вместеЧленство бесплатное: сообщество формируется по профессиональному принципу.👉 Вступить в клуб

IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач:→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.🏆 Призовой фонд: 900 000 рублей💻 Формат: онлайн🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsudatalytx Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.Что тебя ждёт:• Применишь навыки системного анализа, построения архитектуры и работы с пот…

👍Быстрый старт в математику ML: 2 бесплатных урокаПрисоединяйтесь на любой или несколько открытых уроков курса «Рекомендательные системы» для DS/ML-специалистов.Получите ключевые знания для работы с данными:🟣 15.10.2025 в 20:00 «Двухэтапные модели: как объединить матричную факторизацию и бустинг для победы в соревнованиях и в реальном бизнесе» Разбор двухэтапных моделей для рекомендаций.🟣 20.10.2025 в 20:00 «Sequential Recommendations: учимся на последовательностях действий пользователей» Разберем, как крупнейшие стриминги и видеохостинги угадывают следующий клик.➡️ Регистрация: https://clck.ru/3PiLY9Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Когда-то мы сами думали, что цифры - это скукотища…Первый конкурс для детей по визуализации данных заставит всю семью взглянуть на диаграммы по-новому!Приглашаем детей 6-11 лет и их родителей!Что ждёт участников:• подарки победителям, о которых мечтает каждый ребёнок - iPad, LEGO и многое другое • образовательные эфиры, где графики строят из конфет и даже на основе компьютерных игр• бонусы каждому ребёнкуДавайте покажем детям, что IT - это больше не душно👉 Регистрация

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

IYKYK 😆@ohmydataengineer

https://clickhouse.com/blog/librechat-open-source-agentic-data-stackТут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂Вот этих https://www.librechat.ai@ohmydataengineer

На днях в open source выпустили распределённую файловую систему, которая рассчитана на эксабайты (тысячи петабайт).Сделали это чуваки из XTX, мощные трейдеры, которые известны двумя вещами: тем, что у них (по крайней мере недавно) был топ-3 кластер по количеству ГПУ, и тем, что их основатель, Александр Герко, так любит Лондон, что каждый год платит 500+ млн фунтов налогов на доходы как физическое лицо.Из интересного (они выделили 9 пунктов, но только 5 мне кажутся отличительными)Has no single point of failure in its metadata services.Is hardware agnostic and uses TCP/IP to communicate.Utilizes different types of storage (such as flash vs. hard disks) cost effectively.Exposes read/write acce…

Python 3.14 уже здесь!Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно:- полная поддержка Free-threaded Python- T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings)- zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных- поддержка multiple interpreters из коробки- uuid 6-8, на 40% быстрееИ многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html

Очередная движуха для тех, кто живёт аналитикой. Коллеги и друзья из NEWHR снова собирают рынок — кого, где, за сколько и зачем нанимают. Всё по классике: зарплаты, новые задачи, как и где работают, кто топит за культуру.В этот раз цепляют и бизнес/системных аналитиков, и даже начальников.⏳ 20 минут на опрос — и потом инсайты, стрим и вся вкусная инфа (полный разбор ждём в 2026, а промежуточное — сразу по ходу).Чем больше залетит народу — тем точнее картина, поэтому и делюсь ссылкойP.S. Да, ждать результат надо, но стоит того — предыдущие выпуски были полезнымиСсылка на последнее 2024 Как принять участие в исследовании?⏩ Заполните 20-мин опросник⏪

Big data integration company Fivetran Inc. is reportedly holding advanced talks with dbt Labs Inc. over a multibillion-dollar acquisition.https://siliconangle.com/2025/09/28/report-fivetran-talks-dbt-labs-multibillion-dollar-big-data-merger/Просто новость. Выводов никаких не будет =) @ohmydataengineer - канал "🕯Труба Данных"

https://medium.com/@thedatainsight/bronze-is-the-battlefield-why-real-data-engineers-start-at-the-source-6eaa16730f0aНормально делай - нормально будет! Саша снова насыпал базисной базы, а мне даже добавить нечего.@ohmydataengineer - канал "🕯Труба Данных"

Данные от самого OpenAI, для чего используют ChatGPT. Мы в пузырике, в общей доле запросов к модели, программирование - всего 4%@ohmydataengineer - канал "🕯Труба Данных"

Уже совсем скоро Smartdata'25, а это значит что там будут свежие результаты опроса State-of-Data, ну а это значит что я призываю всех и каждого не просто принять участие самим, но и распространять информацию об этом.➡️ Сам опрос тут пройди сам, приведи троих коллег из соседних компаний :)зы результаты прошлого года в презентации тут, видос тут зыы лендос с результатами '24 + сырье в виде arrow(хехе) уже вот-вот на подлетезыыы доклад с результатами '25 откроем для всех сразу же после конфы

https://www.anthropic.com/engineering/writing-tools-for-agentsЕсли на волне хайпа вам работодатель ставит задачи "А давайте сделаем наш собственный MCP, чтобы аналитики могли использовать его в работе с данными!", у Anthropic вышла неплохая поясняющая статья про то как писать хорошие тулзы для агентов.... при помощи агентов! (да-да, конечно же, промоутят использование 😃, но не отменяет набора принципов, которые описаны в статье)@ohmydataengineer - канал "🕯Труба Данных"

https://smartdataconf.ruВсе как всегда, Смартдата остается лучшим источником послушать технические доклады про DE на русском языке и понетворкаться. Я в очередной раз без доклада, потому что ленивая жопа и нет ни сил, ни времени, хотя материала накопилось. Но вам оч советую, особенно учитывая, что программа не замусорена хайпом про AI.Сам, ввиду георграфических сложностей, буду смотреть онлайн.(как видите, никаких реферальных ссылок, никто за рекламу мне не платит, пора бы уже запомнить, что я люблю то, что делают ребята, безусловно и меня никто и не просит ничего. Но если вдруг вам нужна скидка - приходите в личку, что-нибудь придумаем, напишем).@ohmydataengineer - канал "🕯Труба Данных"

https://github.com/fortiql/data-forgeСаша один из самых классных инженеров, с которым я работал. Если бы я был снова менеджером - это первый человек, которого я бы нанимал к себе в команду.Он тут прикольную штуку запилил, большую-большую песочницу разных связанных технологий. С его слов:𝐃𝐚𝐭𝐚 𝐄𝐧𝐠𝐢𝐧𝐞𝐞𝐫𝐢𝐧𝐠 is not just about learning new tools.It is about understanding 𝐩𝐚𝐭𝐭𝐞𝐫𝐧𝐬 — pipelines, layers, orchestration, federation — and practicing them until they flow smoothly. Tools change, but principles endure.I wanted a place to build pipelines, see data move, and try new tech without waiting on corporate infrastructure. A space to polish best practices and experiment with close-to-real flows.So I…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

Все говорят о доказательной медицине, но мало кто может объяснить, что это вообще такое. Чем «доказательная» отличается от «научной» и «традиционной», и зачем проверять то, что «и так работает»? В этом выпуске разбираемся в том, как устроены клинические исследования: чем причинно-следственная связь отличается от корреляции, что такое клинически значимый эффект, почему «кому-то помогло» ещё не является весомым доказательством, и почему даже хорошие исследования иногда дают противоположные результаты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podl…

В этом выпуске обсуждаем криптофинансы: зачем вообще нужен блокчейн в мире, где уже всё работает через банки и SWIFT, как устроены кастодиальные и некастодиальные кошельки, и почему крипта — это не только про спекуляции. Говорим о том, как бизнесу защититься от потери ключей, на чём зарабатывают DeFi-протоколы, чем обеспечиваются токены и почему ставки по вкладам в крипте так далеки от привычных фиатных. В гостях Александр Тоболь, технический директор Кошелька в Telegram и бывший CTO VK. Александр рассказал, как устроены криптосервисы изнутри, что происходит с ликвидностью на биржах и почему, даже если у тебя есть все технические знания, поднимать собственного валидатора чаще всего не стоит…

Даже если вы пишете идеальный код, это не значит, что ваш продукт в безопасности. Уязвимости может притащить кто-то другой – начиная от open source библиотек, и заканчивая уязвимостями в компиляторах, CI и VCS системах. Как научиться защищать не только код, вышедший из под ваших рук, но и всю цепочку поставки, нам рассказал Алексей Смирнов, основатель платформы CodeScoring. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культурой здравого смысла и эксперимента. Узнать про их технологии, подходы и прокачку компетенций в командах можно по ссылкам:

— LLM против хаоса: как я автоматизировал ревизию прав доступа в админке Авито https://clc.to/RVjkQw —…

В этом выпуске разобрались, почему важно управлять людьми бережливо, и чем бережливое управление отличается от бережного. Гость поделился, что его зацепило в теме выгорания руководителей и почему важно рассматривать это не только как личную проблему, но и как организационный сбой. Конечно же, поговорили про переработки: в каких количествах они допустимы, а в каких уже нет. Обсудили подходы к человекоцентричному управлению и, наконец, то, почему счастье сотрудников – это не просто красивый лозунг, а экономически выгодная стратегия. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: http…

В этом выпуске разбираемся, что такое векторные базы данных – зачем они понадобились, если есть SQL и текстовый поиск, как устроены под капотом и в чём их ключевое отличие от привычных подходов. Объясняем простыми словами: как данные превращаются в векторы, как по ним происходит быстрый поиск и почему это вообще работает. В гостях Андрей Васнецов – основатель Qdrant. Вместе обсуждаем, откуда пошёл хайп, что изменилось с приходом LLM, как на практике применяются векторные базы (не только в RAG), какие есть популярные движки и встроенные решения в Postgres и ClickHouse, а также с какими подводными камнями, ограничениями и компромиссами сталкиваются команды при работе. Партнёр команды Podlodka…

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов Полезные ссылки: Illustrated Transformer

https://jalammar.github.io/illustrated-transformer/ Attention is all you need

https://arxiv.org/abs/1706.03762 Illustra…

Сегодня AI внедряют во всё: от образования и медицины до финтеха и путешествий. Но что на самом деле означает «AI-продукт» и чем он отличается от классического? Вместе с Анной Подображных разбираем полный цикл их создания: от первых прототипов и проверки гипотез ценности до бенчмарков и эвалов, помогающих измерять качество. Обсуждаем почему важно и как проверить технологическую реализуемость. Этот выпуск – практическая карта для тех, кто хочет осознанно строить AI-продукты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт:…

Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один язык программирования, за что энтузиасты любят его, и есть ли шанс у “Elixir для хипстеров” на реальную популярность? Разбираем философию языка и его ключевые фичи с контрибьютером Gleam и CPython-core-разработчиком Никитой Соболевым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast

Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в…

Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и как от этого защититься. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Прогноз AI-2027

https://ai-2027.com/ Про XAI

https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_284095 Открытые вакансии…

В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по всему числовому зоопарку: обсудили, зачем нужны разные типы, где они подводят, и почему 0.1 + 0.2 ≠ 0.3 – не баг, а особенность. Разбираемся, как работают переполнения, откуда берётся погрешность, можно ли использовать float для денег (спойлер: нельзя), и что общего между округлением и падением ракеты. А ещё вспомнили любимые числовые фэйлы, сравнили числа в разных языках программирования и даже сыграли в игру на угадывание результатов арифметических операций. Также ждем вас, ваши лайки, репосты …

Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей под капотом, как их обучают и верифицируют результаты работы, мы пригласили Евгения Никишина, исследователя из OpenAI, работающего над масштабированием reasoning моделей и test-time compute. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой Полез…

В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая банковская система. В этом классическом языковом выпуске вместе с Сергеем Куксом, principal инженером из JetBrains, разбираемся с тем, что когда-то помогло COBOL стать таким популярным, и как он продолжает развиваться по сегодняшний день. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущи…

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!» Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги …

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include httptap, 10 Smart Performance Hacks For Faster Python Code, FastRTC, and Explore Python dependencies with `pipdeptree` and `uv pip tree`

Topics include The PSF has withdrawn a $1.5 million proposal to US government grant program, A Binary Serializer for Pydantic Models, T-strings: Python's Fifth String Formatting Technique?, and Cronboard.

Topics include Cyclopts: A CLI library, The future of Python web services looks GIL-free, Free-threaded GC, and Polite lazy imports for Python package maintainers.

Topics include djrest2 - A small and simple REST library for Django based on class-based views., Github CLI, caniscrape - Know before you scrape. Analyze any website's anti-bot protections in seconds., and 🐴 GittyUp.

Topics include PyPI+, uv-ship, How fast is 3.14?, and air - a new web framework built with FastAPI, Starlette, and Pydantic.

Topics include , Free-threaded Python Library Compatibility Checker, Claude Sonnet 4.5, and Python 3.15 will get Explicit lazy imports.

Topics include PostgreSQL 18 Released, Testing is better than DSA (Data Structures and Algorithms), Pyrefly in Cursor/PyCharm/VSCode/etc, and Playwright & pytest techniques that bring me joy.

Topics include pandas is getting pd.col expressions, Cline, At-Cost Agentic IDE Tooling, uv cheatsheet, and Ducky Network UI.

Topics include Mozilla’s Lifeline is Safe After Judge’s Google Antitrust Ruling, troml - suggests or fills in trove classifiers for your projects, pqrs: Command line tool for inspecting Parquet files, and.

Topics include prek, tinyio, The power of Python’s print function, and Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database.

Topics include rathole, pre-commit: install with uv, A good example of what functools.Placeholder from Python 3.14 allows, and Converted 160 old blog posts with AI.

Topics include pypistats.org, State of Python 2025, wrapt: A Python module for decorators, wrappers and monkey patching., and pysentry.

Topics include pyx - optimized backend for uv, Litestar is worth a look, Django remake migrations, and django-chronos.

Topics include Coverage.py regex pragmas, Python of Yore, nox-uv, and.

Simon Shuster is a journalist who has reported on Russia and Ukraine for over 15 years, most of that time as a staff correspondent for TIME Magazine. He was born in Moscow, and he and his family came to the United States as refugees from the Soviet Union when he was six years old. After

The post Drone Warfare in Ukraine with Simon Shuster appeared first on Software Engineering Daily.

Radix UI is an open-source library of React components. Its “headless” primitives handle the complex logic and accessibility concerns—like dialogs, dropdowns, and tabs—while leaving styling completely up to the developer. The project emphasizes usability, accessibility, and composability and has become a vital part of modern web dev, in part because it forms the foundation of

The post Radix UI with Chance Strickland appeared first on Software Engineering Daily.

The Stack Overflow Developer Survey is an annual survey conducted by Stack Overflow that gathers comprehensive insights from developers around the world. It offers a valuable snapshot of the global developer community, covering a wide range of topics such as preferred programming languages, tools, and technologies. Jody Bailey is the Chief Product and Technology Officer

The post The 2025 Stack Overflow Developer Survey with Jody Bailey and Erin Yepis appeared first on Software Engineering Daily.

Byran Huang is a full stack developer who recently made headlines in the hacker space when he created the anyon_e, which is a highly integrated, open source laptop. The effort was a massive undertaking and showcased great design, hardware, and software. In this episode, Byran joins the show with Gregor Vand to talk about his

The post Building an Open-Source Laptop with Byran Huang appeared first on Software Engineering Daily.

The modern internet is a vast web of independent networks bound together by billions of routing decisions made every second. It’s an architecture so reliable we mostly take it for granted, but behind the scenes it represents one of humanity’s greatest engineering achievements. Today’s internet is also dramatically more complex and capable than in its

The post The Architecture of the Internet with Erik Seidel appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the $1.7B acquisition of Security AI, LangChain’s massive valuation, and the surprise $300M funding” round for Periodic Labs. They

The post SED News: AMD’s Big OpenAI Deal, Intel’s Struggles, and Apple’s AI Long Game appeared first on Software Engineering Daily.

Most AI agent frameworks are backend-focused and written in Python, which introduces complexity when building full-stack AI applications with JavaScript or TypeScript frontends. This gap makes it harder for frontend developers to prototype, integrate, and iterate on AI-powered features. Mastra is an open-source TypeScript framework focused on building AI agents and has primitives such as

The post Building AI Agents on the Frontend with Sam Bhagwat and Abhi Aiyer appeared first on Software Engineering Daily.

X-Plane is a popular flight simulator developed by Laminar Research. It features a first-principles physics engine, realistic aircraft systems, and a wide variety of aircraft. We wanted to understand the engineering that goes into creating a flight simulator so we invited Ben Supnik. Ben is a software engineer at Laminar and he’s been working on

The post The X-Plane Flight Simulator with Ben Supnik appeared first on Software Engineering Daily.

A common challenge in software development is creating and maintaining robust development environments. The rise of AI agents has amplified this complexity by adding new demands around permission controls, environment isolation, and resource management. Ona is a platform for AI-native software development and engineering agents. The platform combines autonomous agents with secure, standardized environments, with

The post Turning Agent Autonomy into Productivity with Chris Weichel appeared first on Software Engineering Daily.

Homebrew is a widely used package manager that simplifies the installation of open-source software on macOS. It was created in response to the growing demand for a lightweight, developer-friendly tool suited to an increasingly Mac-centric development ecosystem. Today, Homebrew is a near-essential part of the macOS software development toolkit. Mike McQuaid joined the project early

The post Homebrew and macOS Package Management with Mike McQuaid appeared first on Software Engineering Daily.

Modern software platforms are increasingly composed of diverse microservices, third-party APIs, and cloud resources. The distributed nature of these systems makes it difficult for engineers to gain a clear view of how their systems behave, which can slow down troubleshooting and increase operational risk. groundcover is an observability platform that uses eBPF sensors to capture

The post Engineering in the Age of Agents with Yechezkel Rabinovich appeared first on Software Engineering Daily.

Dynamic languages like Ruby, Python, and JavaScript determine the types of variables at runtime rather than at compile time. This flexibility allows for rapid development and concise code, but it also makes it harder to catch certain classes of bugs before execution. Type checkers for dynamic languages add structure and safety without compromising their expressive

The post Static Analysis for Ruby with Jake Zimmerman appeared first on Software Engineering Daily.

The rise of language-model coding assistants has led to the creation of the vibe coding paradigm. In this mode of software development, AI agents take a plain language prompt and generate entire applications, which dramatically lowers the barriers to entry and democratizes access to software creation. However, many enterprise environments have large, legacy codebases and

The post Scaling AI in Enterprise Codebases with Guy Gur-Ari appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover NVIDIA‘s $5B investment in Intel and $100M stake in OpenAI, Meta’s stumble with its AR glasses demo, and the

The post SED News: NVIDIA Bets on Intel, Meta’s Demo Crash, and Anthropic’s Explosive Growth appeared first on Software Engineering Daily.

Modern software systems are composed of many independent microservices spanning frontends, backends, APIs, and AI models, and coordinating and scaling them reliably is a constant challenge. A workflow orchestration platform addresses this by providing a structured framework to define, execute, and monitor complex workflows with resilience and clarity. Orkes is an enterprise-scale agentic orchestration platform

The post Orkes and Agentic Workflow Orchestration with Viren Baraiya appeared first on Software Engineering Daily.

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

Martin Fowler: 19 Nov 2025I’ve been on the road in Europe for the last couple of weeks, and while I was there Thoughtworks released volume 33 of our Technology Radar.

                ❄                ❄                ❄                ❄My trip to Europe started in Amsterdam, for a Thoughtworks event for a few of our clients there.

                ❄                ❄                ❄                ❄My travels also took me to Nüremberg, where I attended an internal conference for Siemens on the future of software architecture.

           …

I find most writing on software productivity to be twaddle, but Nicole and Abi are notable exceptions.

But occasionally I run into folks who study developer productivity without falling into magical thinking - such as Nicole and Abi.

They describe effective developer experience in terms of three elements: feedback loops, flow state, and cognitive load.

Focusing on developer experience is about finding what gets in the way of these three elements.

Improving developer experience leads to better outcomes for the business.

There is a learning loop that is fundamental to our workAs we consider the nature of any work we do, it's clear that continuous learning is the engine that drives our work.

✣     ✣     ✣ There Are No Shortcuts to Learning ✣     ✣     ✣Everybody has a unique way of navigating the learning cycleThis learning cycle is unique to each person.

By offering seemingly perfect code at lightning speed, LLMs represent the ultimate version of the Maintenance Cliff: a tempting shortcut that bypasses the essential learning required to build robust, maintainable systems for the long term.

LLMs Provide a Natural-Language Interface to All the ToolsSo why so much excitement abo…

Martin Fowler: 03 Nov 2025I’m very concerned about the security dangers of LLM-enabled browsers, as it’s just too easy for them to contain the Lethal Trifecta.

                ❄                ❄                ❄                ❄Rob BowleyUnsurprisingly, there are a lot of strong opinions on AI assisted coding.

                ❄                ❄                ❄                ❄Charlie Brown and Garfield, like most comic strip characters, never changed over the decades.

was shown without a helmet, readers were so startled that they didn’t immed…

Agentic AI systems present unique security challenges.

My aim was to provide an accessible, practical overview of agentic AI security issues and mitigations.

The fundamental security weakness of LLMs is described in Simon Willison's “Lethal Trifecta for AI agents” article, which I will discuss in detail below.

What do we mean by Agentic AI The terminology is in flux so terms are hard to pin down.

Mitigations So how do we lower our risk, without giving up on the power of LLM applications?

Martin Fowler: 21 Oct 2025Mathias Verraes writes about the relationship between Domains and Bounded Contexts in Domain-Driven Design.

are truly to be harnessed, the tech industry should stop focusing so heavily on these one-size-fits-all tools and instead concentrate on narrow, specialized A.I.

One of the truly annoying things about the US tax system is that we can’t easily file our tax returns electronically.

He also explains how the creators of Direct File are working to prepare the ground for it to reappear.

Security issues are only getting worse, but the US government agency for cybersecurity is having its staff reassigned to other duties.

I looked at three of the tools that label themselves as SDD tools and tried to untangle what it means, as of now.

It turns out to be quite time-consuming to evaluate SDD tools and approaches in a way that gets close to real usage.

Tessl Framework(Still in private beta)Like spec-kit, the Tessl Framework is distributed as a CLI that can create all the workspace and config structure for a variety of coding assistants.

This is currently a 1:1 mapping between spec and code files, i.e.

(The Tessl team themselves see their framework as something that is more in the future than their current public product, the Tessl Registry.)

Service templates are a typical building block in the “golden paths” organisations build for their engineering teams, to make it easy to do the right thing.

And what’s more, if you’re creating prompts for multiple coding patterns, you want to keep them consistent with each other.

Maintaining code samples in a reference application project that you can compile and run (like a service template) makes it a lot easier to provide AI with compilable, consistent samples.

So in a second step, I wondered how we might use this approach to do a “code pattern drift detection” between the codebase and the reference application.

I tested this with a relatively simple example, I added a logger…

And the more experience I get with using AI, the more honed and intuitive these assessments become.

You can also more generally consider if you’re working on a use case that needs a high level of “correctness”, or not.

This dimension leans heavily on traditional engineering skills: test coverage, system knowledge, code review practices.

Let’s take the extremes as an example to illustrate this idea:Low probability + low impact + high detectability Vibe coding is fine!

High probability + high impact + low detectability High level of review is advisable.

                ❄                ❄                ❄                ❄I’m often asked, “what is the future of programming?” Should people consider entering software development now?

                ❄                ❄               ❇                ❄I’m also asked: “is AI a bubble”?

                ❄                ❄                ❄                ❄I retired from public speaking a couple of years ago.

                ❄                ❅

This engagement revealed that turning a system from black box to blueprint empowers modernization decisions and accelerates migration efforts.

Yet the business logic they embody is still critical to daily operations of thousands of users.

The result is what we call a black box: a system whose outputs we can observe, but whose inner workings remain opaque.

Even with partial CDC, the insights proved valuable in linking UI behavior to underlying data changes and enriching the system blueprint.

We faced multiple challenges (API usage limit, rate limits) - We couldn't verify what LLM translation of business logic was right or wrong.

To guide this process, I adopted a workflow that I refer to as “Research, Review, Rebuild”, which provides a structured, disciplined, and iterative approach to code migration.

Research, Review, Rebuild Figure 1: Research, Review, Rebuild Workflow The workflow I followed is called “Research, Review, Rebuild” — where we do a feature migration research using a couple of MCP servers, validate and approve the approach AI proposes, rebuild the feature and then once all the code generation is done, refactor things that you didn't like.

Research The “Research” phase of the approach involves generating an MCP-augmented LLM analysis of the selected Display Control.

Therefore, I strongly recommend…

CLI coding agents are a fundamentally different tool to chatbots or autocomplete tools - they're agents that can read code, run tests, and update a codebase.

The wave of CLI Coding Agents If you have tried Claude Code, Gemini Code, Open Code or Simon Willison’s LLM CLI, you’ve experienced something fundamentally different from ChatGPT or Github Copilot.

So that’s exactly what we did, and in this article I’ll take you through how we built our own CLI Coding Agent using the Pydantic-AI framework and the Model Context Protocol (MCP).

agent = Agent( instructions=instructions, model=model, ) The workflow change: The agent now understands our values around Test Driven Development and minimal chan…

“I need a Repository to access stored data”, “I need a Controller to handle user requests” or “I need to use a Factory to create objects” are all examples of abstractions which are well known in the programming community.

When I am building data pipelines, the functional paradigm helps to think about the chain of transformations working on the stream of data.

Once this mental model is clear, it's a lot easier to give specific instructions to LLMs.

This is the process which solidifies 'abstractions' - the essence of forming the vocabulary for growing the language.

That's dangerous, as without iterating with the code, you need to speculate a lot about the structure of the design.

Expansion Joints helped with this, I could aggressively trim the core talk to less than I needed, and rely on the Expansion Joints to fill the gap.

In practice I usually didn't need the Expansion Joints anyway, but their presence helped my confidence.

Using Expansion Joints was particularly important for me as I never rehearsed my talks.

Yet with Expansion Joints in place, I was able to finish a talk right on time.

Expansion Joints enabled me to give the same talk to different time slots.

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.

Здесь денег нет.

Криптографически случайная строка.

Функция с приколоченным к ней получателeм.

omitzero на замену omitempty.

Больше криптографии.

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .