How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

Han Wang | Machine Learning Engineer; Alex Whitworth | Staff Data Scientist; Pak Ming Cheung | Sr. Staff Machine Learning Engineer; Zhenjie Zhang | Sr. Staff Machine Learning EngineerIntroductionSearch relevance measures how well search results align with a user’s search query. For personalized search systems, it’s important to ensure that displayed content is pertinent to the user’s information needs, rather than over-relying on the user’s past engagement. At Pinterest Search, we track whole-page relevance in online A/B experiments to evaluate new ranking models and ensure a high-quality user experience.Relevance measurement typically relies on human annotations, but is limited by the low …

Faisal Farooq | Sr. Director Trust Engineering; Aravindh Manickavasagam | Staff Technical Program Manager; Attila Dobi | Sr. Staff Data ScientistPeople come to Pinterest to find ideas they feel good about. To keep that experience safe, we need to know not just what gets reported, but what people actually saw. That’s what we call prevalence: the percentage of all views, on a given day, that went to content that violates a policy. Prevalence complements reporting by covering its blind spots, helping us spot under‑reported harms, track trends, and tell whether interventions work.Why Prevalence MattersHistorically, our Trust & Safety teams leveraged multiple indicators to understand the extent …

Rudraksh Kapil | Machine Learning Engineer I; Michal Giemza | Senior Machine Learning Engineer; Devan Srinivasan | Machine Learning Engineering Intern; Leif Sigerson | Senior Data Scientist; Stephanie Chen | Staff Quantitative Product Researcher; Wendy Matheny | Senior Lead Public Policy Manager; Jianjin Dong | Engineering Manager II; Qinglong Zeng | Senior Engineering ManagerIntroductory SummaryIn 2023 Pinterest became the Founding Signatory of the Inspired Internet Pledge — publicly stating our vision to adhere to three principles: (1) tuning for wellbeing, (2) listening to and acting on what we hear from users, and (3) sharing what we learn about making the internet a safer and healthier…

Dmitry Kislyuk | Director, Machine Learning; Ryan Galgon | Director, Product Management; Chuck Rosenberg | Vice President, Engineering; Matt Madrigal | Chief Technology OfficerForeword from Bill Ready, CEOThe AI landscape is undergoing a fundamental shift, and it’s not the one you think. The competitive frontier isn’t only about building the largest proprietary models. There are two other major trends emerging that haven’t had enough discussion:Open-source models have made tremendous strides, especially on cost relative to performance.Compact, fit-for-purpose models can meaningfully out-perform general purpose LLMs on specific tasks and do so at dramatically lower cost.Our Chief Technology …

Marcel Mateos Salles | Software Engineer Intern; Jorge Chavez | Sr. Software Engineer; Khashayar Kamran | Software Engineer II; Andres Almeida | Software Engineer; Peter Kim | Manager II ; Ajay Jha | Sr. Manager, ObservabilityAt Pinterest, inspiration isn’t just for our users — it shapes how we build and care for our platform. Until recently, our own observability (o11y) tools told a fragmented story: logs over here, traces over there, and metrics somewhere else. We’ve always excelled at collecting signals: time-series metrics, traces, logs, and change related events. But without the seamless context and unity now promised by open standards like OpenTelemetry (OTel), we were missing out on …

George Kandalaft | Software Engineer II, Test Tools; Alice Yang | Staff Software Engineer, Test ToolsTL;DRProblem StatementOur Android end-to-end testing builds in CI were slow and flaky because the test shards were unbalanced and the entire build had to wait for the single slowest shard on a third-party testing platform.SolutionWe built a runtime-aware sharding mechanism that uses historical test duration and stability data to pack tests greedily in an in-house testing platform with EC2-hosted emulators, ensuring all shards have a similar total runtime.ImpactThe end-to-end build time was reduced by 9 minutes (a 36% improvement), decreased the slowest shard’s runtime by 55%, and compressed …

Lessons on building platforms, driving adoption, and evolving foundationsDavid Liu • Senior Director of Engineering, ML PlatformAI at Pinterest has been a proving ground for building platforms. Over the past decade, we went from ad-hoc machine learning stacks cobbled together by individual teams to a unified AI Platform that powers every major surface, spanning from recommendation and ranking models to emerging foundation and generative models.The rapid pace of ML and AI brought new capabilities, but also new limits. What appeared to be purely technical choices often turned out to hinge on organizational structures and timing. This retrospective looks back at lessons we learned that we hope…

Lin Zhu | Sr. Staff Machine Learning EngineerJaewon Yang | Principal Machine Learning EngineerRavi Kiran Holur Vijay | Director, Machine Learning EngineeringPinterest has always been a go-to destination for inspiration, a place where users explore everything from daily meal ideas to major life events like planning a wedding or renovating a home. Our core mission is to be an inspiration-to-realization platform. To fulfill this, we recognized a critical challenge: we needed to move beyond understanding immediate interests and comprehend the underlying, long-term goals of our users. Therefore, we introduce user journeys as the foundation for recommendations.We define a journey as the intersect…

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In part one we shared the overall design of Moka, our new next gen data processing platform, and detailed its application focused components. In part two of our series, we spotlight the infrastructure focused aspects of our platform: how we deploy Moka using AWS E…

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

We’re introducing Zoomer, Meta’s comprehensive, automated debugging and optimization platform for AI. Zoomer works across all of our training and inference workloads at Meta and provides deep performance insights that enable energy savings, workflow acceleration, and efficiency gains in our AI infrastructure. Zoomer has delivered training time reductions, and significant QPS improvements, making it the [...]

Read More...

The post Zoomer: Powering AI Performance at Meta’s Scale Through Intelligent Debugging and Optimization appeared first on Engineering at Meta.

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

We’re sharing details about Meta’s Generative Ads Recommendation Model (GEM), a new foundation model that delivers increased ad performance and advertiser ROI by enhancing other ads recommendation models’ ability to serve relevant ads. GEM’s novel architecture allows it to scale with an increasing number of parameters while consistently generating more precise predictions efficiently. GEM propagates [...]

Read More...

The post Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation appeared first on Engineering at Meta.

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Imagine being able to use AI to create 3D virtual worlds using prompts as easily as you can generate images. The intersection of AI and VR was one of the biggest topics at Meta Connect this year. In his keynote, Mark Zuckerberg shared his vision of a future where anyone can create virtual worlds using [...]

Read More...

The post AssetGen: Generating 3D Worlds With AI appeared first on Engineering at Meta.

Over the past 21 years, Meta has grown exponentially from a small social network connecting a few thousand people in a handful of universities in the U.S. into several apps and novel hardware products that serve over 3.4 billion people throughout the world. Our infrastructure has evolved significantly over the years, growing from a [...]

Read More...

The post Meta’s Infrastructure Evolution and the Advent of AI appeared first on Engineering at Meta.

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

We’re sharing how Meta is applying machine learning (ML) and diversity algorithms to improve notification quality and user experience. We’ve introduced a diversity-aware notification ranking framework to reduce uniformity and deliver a more varied and engaging mix of notifications. This new framework reduces the volume of notifications and drives higher engagement rates through more diverse [...]

Read More...

The post A New Ranking Framework for Better Notification Quality on Instagram appeared first on Engineering at Meta.

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

The crystal ball of business: How predictive analytics is becoming essential for modern risk management.

Data tools are giving gold traders clearer signals, sharper insights, and stronger protection.

Advanced degrees give professionals the judgment, resilience, and career mobility needed to thrive as AI reshapes the workforce.

Lego blocks for data: How a composable approach lets you build, change, and scale analytics with ease.

Learn how small business owners can use data analytics to compare suppliers and find the most durable, cost-effective poly bags.

Data analytics is giving e-commerce companies smarter, faster, and more secure payment systems that improve both profits and trust.

Discover how AI tools are helping artists create lyric videos faster, easier, and with more creative freedom than ever before.

As AI adoption accelerates, companies must rethink their computing strategy to handle rising data and power demands effectively.

Data analytics is reshaping the pharmacy industry by driving smarter decisions, tracking market shifts, and improving patient outcomes.

Call centers are rapidly evolving with generative AI driving faster service, smarter interactions, and stronger customer relationships.

Learn how data analytics can help drivers cut costs, track expenses, and make better decisions for long-term vehicle savings.

Explore how companies invest in BI tools, why adoption rates remain modest, and what defines a true Data Leader in today’s market.

The race for AI supremacy isn't won with better algorithms, but with better data. Explore why the quality, scale, and diversity of datasets are the true differentiators.

Discover how data analytics reshapes e-commerce warehouses, improving decision-making, boosting returns, and supporting rapid growth.

Catalyst for Business explores how AI is reshaping nursing education as providers face staff shortages and tighter budgets.

If you’ve been exploring cloud computing, data engineering, DevOps, or AI infrastructure, you’ve probably come across Amazon Web Services (AWS), the world’s most widely used cloud platform. But what is AWS and why is it used by millions of organizations? And more importantly, how can beginners start learning it in 2025? This guide breaks down […]

The post Introduction to AWS (Amazon Web Services) appeared first on WeCloudData.

When it comes to data analysis, reporting, and business decision-making, SQL vs Excel is one of the most common comparisons learners face. Both tools are powerful, widely used, and foundational for analytics — but they serve different purposes and shine in different scenarios. If you’re trying to decide What should I learn first, Excel or […]

The post SQL vs Excel appeared first on WeCloudData.

AI automation is rapidly reshaping the global workforce, business operations, and the way organizations build efficiency at scale. As generative artificial intelligence matures, companies are now moving beyond experimentation and into a phase where AI and automation work together to power smarter, faster, and more autonomous systems. From marketing to finance to data engineering, workflows […]

The post Diving Into AI and Automation appeared first on WeCloudData.

Kubernetes has become the backbone of modern cloud infrastructure. Whether you’re working in DevOps, Cloud Engineering, SRE, Platform Engineering, or MLOps, Kubernetes skills are no longer optional—they’re a career accelerant. Yet many professionals still ask: This guide breaks down everything you need to know about Kubernetes certifications in 2025 and how WeCloudData’s hands-on training fits […]

The post Getting a Kubernetes Certification? Your Practical Guide to CKA & Beyond appeared first on WeCloudData.

In the modern tech landscape, collaboration, traceability, and version history are non-negotiable especially for developers, data analysts, and machine learning engineers. That’s where Git and version control come in. If you’ve ever wondered “What is Git and GitHub in simple terms?” or “What is the main use of Git?”, this guide breaks it down clearly […]

The post Learn Version Control and GitHub Basics appeared first on WeCloudData.

In today’s data-driven world, visualization tools like Power BI and Tableau are transforming how businesses interpret, share, and act on data insights. But for aspiring data professionals, one big question remains — Which is best, Power BI or Tableau? Whether you’re planning your first BI certification or looking to upskill, choosing between these two leading […]

The post Power BI vs Tableau Guide appeared first on WeCloudData.

In 2025, AI models don’t just need to be built, they need to be delivered. That’s where Docker and Kubernetes come in. For data professionals entering the world of MLOps, understanding how to deploy and scale machine learning models is just as critical as knowing how to train them. But if you’re new to this […]

The post Docker vs Kubernetes: What Should You Learn First appeared first on WeCloudData.

In 2025, data isn’t just a competitive advantage — it’s the foundation of every decision. The ability to transform raw information into actionable insights is what separates top-performing professionals from the rest. And when it comes to mastering this skill, few tools are as powerful and beginner-friendly as Power BI. If you’re looking to learn […]

The post Learn Power BI: Roadmap to Data Visualization Success appeared first on WeCloudData.

Artificial intelligence (AI) is no longer a future-facing concept, it is the defining force reshaping how we work, lead, and create value. As enterprises accelerate digital transformation, the conversation has shifted from “Will AI replace jobs?” to “How can organizations build an AI-ready workforce? Emerging AI Workforce trends” According to a 2025 McKinsey report, more […]

The post Emerging AI Workforce Trends appeared first on WeCloudData.

Artificial intelligence (AI) isn’t just changing how we work, it’s redefining what work means. Across industries, organizations are realizing that success in 2025 and beyond depends on one key question: Is the workforce ready for AI? According to a 2024 McKinsey Global Survey, 65% of organizations report adopting some form of generative AI, and nearly […]

The post Data to Decisions: Building an AI-Ready Workforce appeared first on WeCloudData.

In 2025, every forward-thinking organization is asking the same question: “How is Generative AI used in business & how can we use it effectively?” From marketing and analytics to software development and cybersecurity, Generative AI (Gen AI for business) is reshaping industries at a pace we’ve never seen before. For business leaders, understanding this technology […]

The post What Is Generative AI for Business? appeared first on WeCloudData.

The demand for skilled cloud engineers has exploded over the past few years — and 2025 is shaping up to be an even bigger year. As organizations adopt multi-cloud strategies, embrace AI, and scale their infrastructure globally, mastering the right cloud engineering skills is what sets top talent apart. Whether you’re a beginner exploring cloud […]

The post Top 7 Cloud Engineering Skills You Need appeared first on WeCloudData.

Cybersecurity has always been a critical pillar of the digital world, but in 2025, the stakes are higher than ever. As organizations face increasingly sophisticated cyberattacks, Artificial Intelligence in cybersecurity is becoming a powerful ally in defending digital infrastructure. From detecting anomalies in real time to automating incident responses, AI cybersecurity is reshaping how we […]

The post How AI Is Transforming Cybersecurity in 2025: Skills, Tools & Career Opportunities appeared first on WeCloudData.

Artificial Intelligence is no longer just a buzzword, it’s at the core of how businesses innovate, automate, and grow. Whether it’s powering chatbots, predicting financial trends, or driving cars, AI is everywhere. If you’ve ever wondered how to learn AI from scratch, 2025 is the perfect time to start. This roadmap will guide you step […]

The post Beginners Guide: How to Learn AI From Scratch in 2025 appeared first on WeCloudData.

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, we discuss how Bayer AG used the next generation of Amazon SageMaker to build a cloud-based Pharma R&D Data Science Ecosystem (DSE) that unified data ingestion, storage, analytics, and AI/ML workflows.

With the introduction of the additional storage volume feature, you can now attach up to three additional storage volumes to your Amazon RDS for SQL Server instances. By using this feature, you can distribute your data and log files across multiple volumes. This enhancement offers more granular control over storage configuration and performance optimization. In this post, you will learn about the following scenarios: Adding a new storage volume, Scaling an existing storage volume, Restoring a database on an additional storage volume, and Deleting a storage volume.

This is a guest blog by Arthur Bigeard, Founder at gdotv, in partnership with Charles Ivie, Sr Graph Architect at AWS. G.V() is a graph database IDE available for Desktop or on AWS Marketplace, offering extensive graph visualization and querying capabilities for Amazon Neptune and Neptune Analytics. In Part 1 of this series, we demonstrated […]

This is a guest blog post by Richard Loveday, Head of Product at Graph.Build, in partnership with Charles Ivie, Graph Architect at AWS. The Graph.Build platform is a dedicated, no-code graph model design studio and build factory, available on AWS Marketplace. Knowledge graphs have been widely adopted by organizations, powering use cases such as social […]

In this post, we explore how to build a sophisticated voice-powered AWS operations assistant using Amazon Nova Sonic for speech processing and Strands Agents for multi-agent orchestration. This solution demonstrates how natural language voice interactions can transform cloud operations, making AWS services more accessible and operations more efficient.

In this post, we show how you can turn your ideas into full-stack applications with Kiro powers for Aurora. We explore how a new innovation, Kiro powers, can help you use Amazon Aurora best practices built into your development workflow, automatically implementing configurations and optimizations that make sure your database layer is production-ready from day one.

This post walks through how Harmonic Security used Amazon SageMaker AI, Amazon Bedrock, and Amazon Nova Pro to fine-tune a ModernBERT model, achieving low-latency, accurate, and scalable data leakage detection.

In this post, we'll show how Swisscom implemented Amazon Bedrock AgentCore to build and scale their enterprise AI agents for customer support and sales operations. As an early adopter of Amazon Bedrock in the AWS Europe Region (Zurich), Swisscom leads in enterprise AI implementation with their Chatbot Builder system and various AI initiatives. Their successful deployments include Conversational AI powered by Rasa and fine-tuned LLMs on Amazon SageMaker, and the Swisscom Swisscom myAI assistant, built to meet Swiss data protection standards.

Today we’re announcing Amazon SageMaker AI with MLflow, now including a serverless capability that dynamically manages infrastructure provisioning, scaling, and operations for artificial intelligence and machine learning (AI/ML) development tasks. In this post, we explore how these new capabilities help you run large MLflow workloads—from generative AI agents to large language model (LLM) experimentation—with improved performance, automation, and security using SageMaker AI with MLflow.

In this post, we explain how to integrate Langfuse observability with Amazon Bedrock AgentCore to gain deep visibility into an AI agent's performance, debug issues faster, and optimize costs. We walk through a complete implementation using Strands agents deployed on AgentCore Runtime followed by step-by-step code examples.

In this post, we walk through how we used Kiro, an agentic Integrated Development Environment (IDE), to build a complete fitness center management system that digitizes paper-based fitness tracking. We explore Kiro’s spec-driven development workflow and see how it transforms complex application development into a streamlined, iterative process. Our solution uses Amazon DocumentDB as the backend.

This post was co-written with Muthuvelan Swaminathan (Principal Partner Engineer) and Ruchika Bakolia (Software Engineer) from New Relic. Modern distributed systems that generate massive volumes of metrics, traces, and logs are inherently complex. The process of correlating logs, comparing configurations and switching between tools during incident management makes manual root cause analysis a bottleneck that […]

This post shows how to implement automated smoke testing using Amazon Nova Act headless mode in CI/CD pipelines. We use SauceDemo, a sample ecommerce application, as our target for demonstration. We demonstrate setting up Amazon Nova Act for headless browser automation in CI/CD environments and creating smoke tests that validate key user workflows. We then show how to implement parallel execution to maximize testing efficiency, configure GitLab CI/CD for automatic test execution on every deployment, and apply best practices for maintainable and scalable test automation.

Hundreds of thousands of customers build artificial intelligence and machine learning (AI/ML) and analytics applications on AWS, frequently transforming data through multiple stages for improved query performance—from raw data to processed datasets to final analytical tables. Data engineers must solve complex problems, including detecting what data has changed in base tables, writing and maintaining transformation […]

AWS recently announced Glue 5.1, a new version of AWS Glue that accelerates data integration workloads in AWS. AWS Glue 5.1 upgrades the Spark engines to Apache Spark 3.5.6, giving you newer Spark release along with the newer dependent libraries so you can develop, run, and scale your data integration workloads and get insights faster. In this post, we describe what’s new in AWS Glue 5.1, key highlights on Spark and related libraries, and how to get started on AWS Glue 5.1.

This post evaluates the reasoning capabilities of our latest offering in the Nova family, Amazon Nova Lite 2.0, using practical scenarios that test these critical dimensions. We compare its performance against other models in the Nova family—Lite 1.0, Micro, Pro 1.0, and Premier—to elucidate how the latest version advances reasoning quality and consistency.

In this post, we show how to build chat agents in Amazon Quick Suite. We walk through a three-layer framework—identity, instructions, and knowledge—that transforms Quick Suite chat agents into intelligent enterprise AI assistants. In our example, we demonstrate how our chat agent guides feature discovery, use enterprise data to inform recommendations, and tailors solutions based on potential to impact and your team’s adoption readiness.

AWS recently announced the general availability of auto-optimize for the Amazon OpenSearch Service vector engine. This feature streamlines vector index optimization by automatically evaluating configuration trade-offs across search quality, speed, and cost savings. You can then run a vector ingestion pipeline to build an optimized index on your desired collection or domain. Previously, optimizing index […]

AWS recently announced the general availability of GPU-accelerated vector (k-NN) indexing on Amazon OpenSearch Service. You can now build billion-scale vector databases in under an hour and index vectors up to 10 times faster at a quarter of the cost. This feature dynamically attaches serverless GPUs to boost domains and collections running CPU-based instances. With […]

AWS Glue zero-ETL with SAP now supports data ingestion and replication from SAP data sources such as Operational Data Provisioning (ODP) managed SAP Business Warehouse (BW) extractors, Advanced Business Application Programming (ABAP), Core Data Services (CDS) views, and other non-ODP data sources. Zero-ETL data replication and schema synchronization writes extracted data to AWS services like Amazon Redshift, Amazon SageMaker lakehouse, and Amazon S3 Tables, alleviating the need for manual pipeline development. In this post, we show how to create and monitor a zero-ETL integration with various ODP and non-ODP SAP sources.

Amazon RDS for SQL Server now supports the Optimize CPU feature. With the Optimize CPU feature you can define the number of vCPUs when you launch new instances or when modifying existing database instances. This feature also provides a detailed billing breakdown of RDS infrastructure costs, and licensing costs for SQL Server and Windows OS. It is available starting from the 7th Generation instance class. In this post, we explore how to use the Optimize CPU feature with Amazon RDS for SQL Server.

Experts at the Generative AI Innovation Center share several strategies to help organizations excel with generative AI.

Today, we are pleased to announce a new integration between Amazon Quick Research and S&P Global. This integration brings both S&P Global Energy news, research, and insights and S&P Global Market Intelligence data to Quick Research customers in one deep research agent. In this post, we explore S&P Global’s data sets and the solution architecture of the integration with Quick Research.

AgentCore Gateway now supports API GatewayAs organizations explore the possibilities of agentic applications, they continue to navigate challenges of using enterprise data as context in invocation requests to large language models (LLMs) in a manner that is secure and aligned with enterprise policies. This post covers these new capabilities and shows how to implement them.

In this post, we demonstrate how to build an intelligent insurance underwriting agent that addresses three critical challenges: unifying siloed data across CRM systems and databases, providing explainable and auditable AI decisions for regulatory compliance, and enabling automated fraud detection with consistent underwriting rules. The solution combines Amazon Nova 2 Lite for transparent risk assessment, Amazon Bedrock AgentCore for managed MCP server infrastructure, and Amazon Quick Suite for natural language interactions—delivering a production-ready system that underwriters can deploy in under 30 minutes .

This post was co-written with Omri Sass (Director of Product Management), Cansu Berkem (Director of Product Management), and Mohammad Jama (Product Marketing Manager) from Datadog. On-call engineers spend hours manually investigating incidents across multiple observability tools, logs, and monitoring systems. This process delays incident resolution and impacts business operations, especially when teams need to correlate […]

The AI-Driven Development Life Cycle (AI-DLC) methodology marks a significant change in software development by strategically assigning routine tasks to AI while maintaining human oversight for critical decisions. Amazon Q Developer, a generative AI coding assistant, supports the entire software development lifecycle and offers the Project Rules feature, allowing users to tailor their development practices […]

AI-Driven Development Life Cycle (AI-DLC) holds the promise of unlocking the full potential of AI in software development. By emphasizing AI-led workflows and human-centric decision-making, AI-DLC can deliver velocity and quality. However, realizing these gains hinges on how organizations effectively integrate AI into their engineering workflows. Through our work with engineering teams across industries, we […]

Streamline your AWS infrastructure development with AI-powered documentation search, validation, and troubleshooting Introduction Today, we’re excited to introduce the AWS Infrastructure-as-Code (IaC) MCP Server, a new tool that bridges the gap between AI assistants and your AWS infrastructure development workflow. Built on the Model Context Protocol (MCP), this server enables AI assistants like Kiro CLI, […]

This post shows how Amazon EMR 7.12 can make your Apache Spark and Iceberg workloads up to 4.5x faster performance.

One thing that keeps coming up in long-running data projects is how rarely things fail in obvious ways. At the start, everything looks healthy. Requests succeed, schedules run on time, nothing throws errors. Then weeks later, when you sanity check the output against what you see manually, the results don’t quite line up anymore. Not broken just subtly wrong. That’s the uncomfortable part. When data degrades slowly, it’s hard to tell whether the cause is site behavior changing, gradual blocking, or something in the request layer influencing responses without fully cutting access. In my case, the pipeline already had rotating requests and IP management in place (with Thordata sitting in that …

Hello guys, Need a little help from you! I have been onboarded on a new snowflake project, and I got the read access to the prod_db and meeting with client is not done yet. I want to do initial RnD on it. If you were in my place, How would you analyze and research on the project? like how would you gain highlevel understanding of it? p.s. My senior gave me hint that they are looking to do the following things: - simplify data model layer - making report generation fast and in meeting what kind of question you would ask? As i am not much experienced yet so i need a help.😅 Thanks in advance!! submitted by /u/HistoricalTear9785 [link] [comments]

I got into data engineering around the end of 2020 after working a couple of years as an analyst. Before the 3.0 my cycle of development included looking at developer documents, libraries, and stack overflow. I Rember a common mantra amongst many colleagues being if you know how to google stuff then you can basically be a junior developer. Now I feel like LLMs are just doing a-lot of this research work for us yet I read so many people griping on how LLMs produce sub par work in this sub. However I feel if you have your house in order then any team should be relatively immune from any sub par work produced. Pre commit with pytest coverage, mypy, formatters, and linters. Proper CI CD. Code re…

I’m curious what everyone is doing to stay competitive. I switched from a data scientist role into data engineering because I feel DE is much safer than DS with the advancements in AI but you never know. I’d love to have a discussion about what everyone is doing to stay competitive. submitted by /u/CaptainDawah [link] [comments]

For a financial institution that doesn’t have a reference data system yet what would the simplest way be to start? Where can one get information without a sales pitch to buy a system. I did some investigating and probing claude with a Linus Torvald inspired tone and it got me the following. Did anyone try something like this before and does it sound plausible? Building a Reference Data Solution The Core Philosophy Stop with the enterprise architecture astronaut bullshit. Reference data isn’t rocket science - it’s just data that doesn’t change often and lots of systems need to read. You need: A single source of truth Fast reads Version control (because people fuck things up) Simple distribut…

Hello all you intelligent data engineering folks. I'm looking to pivot into Data Engineering roles but I'm not quite sure what to focus on. I'm currently a Data Analyst with a background in Mathematics. I've done bootcamps on Data Science so I have a fair deal of knowledge in Python/SQL. There's a lot of posts saying to learn Airflow first or Pyspark/Hadoop. I'm pretty overwhelmed so I'm looking to see if anyone here can provide a clear list of what to learn and the best way to learn them. Thanks in advance. submitted by /u/Equivalent-Minute610 [link] [comments]

Hello everyone, I need a bit of guidance. I’ve recently been onboarded onto a new Snowflake project and currently have read-only access to the production database. I haven’t had a client meeting yet, but I’d like to start doing some initial R&D on my own. If you were in my position, how would you approach analyzing and understanding the existing environment? What steps would you take to explore the setup before meeting the client? Also, during the client discussion, what kind of questions would you typically ask? As a hint, my senior mentioned that the key objectives are: Simplifying the data model layer Improving report generation performance Since I’m still gaining experience, I’d really …

https://json-structure.org/ (a prior attempt at sharing below got flagged as AI content, probably due to a lack of grammatical issues? Me working at Microsoft? Who knows?) JSON Structure, submitted to the IETF as a set of 6 Internet Drafts, is a schema language that can describe data types and structures whose definitions map cleanly to programming language types and database constructs as well as to the popular JSON data encoding. The type model reflects the needs of modern applications and allows for rich annotations with semantic information that can be evaluated and understood by developers and by large language models (LLMs). JSON Structure’s syntax is similar to that of JSON Schema, b…

Any guidance in building an etl? This is replacing an etl that runs nightly and takes around 4hrs. But when it fails and usually does due to timeouts or deadlocks we have to run the etl for 8hrs to get all the data. Old etl is done in a c# desktop app I want to rewrite in Python. They also used threads. I want to avoid that. The process does not have any logic really it’s all store procedures being executed. Some taking anywhere between 30-1hr. submitted by /u/Character_Status8351 [link] [comments]

I try to use the LLM deployed in dataiku. And tried opeocode, and crush. They present me different errors. crush is better but I need to investigate some errors of mcp. Anyone got this platform? How do you consume the LLM? submitted by /u/WandyLau [link] [comments]

Hi all, I’m designing a data warehouse and running into an issue with changing business keys and lost history. Current model I have a fact table with data starting in 2023 at the following grain: - Date - Policy ID - Client ID - Salesperson ID - Transaction amount The warehouse is currently modelled as a star schema, with dimensions for Policy, Client, and Salesperson. Business behaviour causing the issue Salesperson business entities are reorganised over time, and the source system overwrites history. Example: In 2023: - Salesperson A → business key 1234 - Salesperson B → business key 5678 - Transactions are recorded against 1234 and 5678 in the fact table In 2024: - Salesperson A and B ar…

Hi to all DEs, I am currently facing an issue in our DE team - we dont know what branching strategy to start using. Context: small startupish company, small team of 4-5 people, different level of experience in coding and also in version control. Most experienced DE has less skill in git than others. Our repo is mainly with DDLs, airflow dags and SQL scripts (we want to soon start using dbt so we get rid of DDLs, make the airflow dags logic easier and benefit from other dbts features). We have test & prod environment and we currently do the feature branch strategy -> branch off test, code a feature, PR to merge back to test and then we push to prod from test. (test is our like mainline branc…

We’ve run into a replication issue in a multi-replica ClickHouse cluster (2 DB nodes + 3 Keeper nodes). Several ReplicatedMergeTree tables were created incorrectly in the past — same table names exist on both replicas, but the UUIDs differ and Keeper paths don’t match. So the replicas see each other as completely different tables. To make things worse, someone previously ran SYSTEM RESTORE REPLICA, which created Keeper metadata for the wrong UUIDs, so the Keeper now has stale paths for both the good and the bad UUIDs. Tables are writable, but replication is obviously broken. We’re looking for a clean way to repair the entire cluster with zero downtime, or as little downtime as realistically…

Hello everyone! I’m very very new to Spark Structured Streaming, and not a data engineer 😅I would appreciate guidance on how to efficiently process streaming data and emit only changed aggregate results over multiple time windows. Input Stream: Source: Amazon Kinesis Microbatch granularity : Every 60 seconds Schema: (profile_id, gti, event_timestamp, event_type) Where: event_type ∈ { select, highlight, view } Time Windows: We need to maintain counts for rolling aggregates of the following windows: 1 hour 12 hours 24 hours Output Requirement: For each (profile_id, gti) combination, I want to emit only the current counts that changed during the current micro-batch. The output record should lo…

Ridge and Lasso regression are often perceived as more complex versions of linear regression. In reality, the prediction model remains exactly the same. What changes is the training objective. By adding a penalty on the coefficients, regularization forces the model to choose more stable solutions, especially when features are correlated. Implementing Ridge and Lasso step by step in Excel makes this idea explicit: regularization does not add complexity, it adds preference.

The post The Machine Learning “Advent Calendar” Day 13: LASSO and Ridge Regression in Excel appeared first on Towards Data Science.

Learn how to become a more efficient programmer with local testing

The post How to Increase Coding Iteration Speed appeared first on Towards Data Science.

This one little trick can bring about enhanced training stability, the use of larger learning rates and improved scaling properties

The post NeurIPS 2025 Best Paper Review: Qwen’s Systematic Exploration of Attention Gating appeared first on Towards Data Science.

In this article, we rebuild Logistic Regression step by step directly in Excel.

Starting from a binary dataset, we explore why linear regression struggles as a classifier, how the logistic function fixes these issues, and how log-loss naturally appears from the likelihood.

With a transparent gradient-descent table, you can watch the model learn at each iteration—making the whole process intuitive, visual, and surprisingly satisfying.

The post The Machine Learning “Advent Calendar” Day 12: Logistic Regression in Excel appeared first on Towards Data Science.

Most breakthroughs in deep learning — from simple neural networks to large language models — are built upon a principle that is much older than AI itself: decentralization. Instead of relying on a powerful “central planner” coordinating and commanding the behaviors of other components, modern deep-learning-based AI models succeed because many simple units interact locally […]

The post Decentralized Computation: The Hidden Principle Behind Deep Learning appeared first on Towards Data Science.

Hey everyone! Welcome to the start of a major data journey that I’m calling “EDA in Public.” For those who know me, I believe the best way to learn anything is to tackle a real-world problem and share the entire messy process — including mistakes, victories, and everything in between. If you’ve been looking to level up […]

The post EDA in Public (Part 1): Cleaning and Exploring Sales Data with Pandas appeared first on Towards Data Science.

Introduction How do we identify latent groups of patients in a large cohort? How can we find similarities among patients that go beyond the well-known comorbidity clusters associated with specific diseases? And more importantly, how can we extract quantitative signals that can be analyzed, compared, and reused across different clinical scenarios? The information associated to […]

The post Spectral Community Detection in Clinical Knowledge Graphs appeared first on Towards Data Science.

Linear Regression looks simple, but it introduces the core ideas of modern machine learning: loss functions, optimization, gradients, scaling, and interpretation.

In this article, we rebuild Linear Regression in Excel, compare the closed-form solution with Gradient Descent, and see how the coefficients evolve step by step.

This foundation naturally leads to regularization, kernels, classification, and the dual view.

Linear Regression is not just a straight line, but the starting point for many models we will explore next in the Advent Calendar.

The post The Machine Learning “Advent Calendar” Day 11: Linear Regression in Excel appeared first on Towards Data Science.

A step-by-step tutorial that explores the Python Turtle Module

The post Drawing Shapes with the Python Turtle Module appeared first on Towards Data Science.

What I've learned about making Pandas faster after too many slow notebooks and frozen sessions

The post 7 Pandas Performance Tricks Every Data Scientist Should Know appeared first on Towards Data Science.

Understanding how LLM-based agents transfer control to each other in a multi-agent system with LangGraph

The post How Agent Handoffs Work in Multi-Agent Systems appeared first on Towards Data Science.

DBSCAN shows how far we can go with a very simple idea: count how many neighbors live close to each point.

It finds clusters and marks anomalies without any probabilistic model, and it works beautifully in Excel.

But because it relies on one fixed radius, HDBSCAN is needed to make the method robust on real data.

The post The Machine Learning “Advent Calendar” Day 10: DBSCAN in Excel appeared first on Towards Data Science.

Learn how to become an effective engineer with continual learning LLMs

The post How to Maximize Agentic Memory for Continual Learning appeared first on Towards Data Science.

What recruiters are looking for in machine learning portfolios

The post Don’t Build an ML Portfolio Without These Projects appeared first on Towards Data Science.

Tips for accelerating AI/ML on CPU — Part 2

The post Optimizing PyTorch Model Inference on AWS Graviton appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Orchestrate LLMs and Agents with Apache Airflow®Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Доклады с Airflow Summit 2025Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:— Airflow at OpenAI— Benchmarking the Performance of Dynamically Generated DAGs— Airflow That Remembers: The Dag Versioning Era is here!— DAGLint: Elevating Airflow DAG Quality Through Automated Linting— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale— Deadline Alerts in Airflow 3.1— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration— Security made us do it: Airflow’s new Task Execution Architecture— Unlocking Event-Driven Sc…

Очередной подгон от Astronomer про лучшие практики построения ETL/ELT пайплайнов на базе Apache Airflow 3 — Best practices for ETL and ELT pipelines with Apache Airflow 3Небольшая электронная книга на 50 страниц, удобно использовать как справочник.

XLTable - OLAP Cервер для нового стека данныхРаботайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel.Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.📈Ключевые возможности XLTable: • Аналог MS OLAP (SSAS) для больших данных • Интеграция с MS Excel по протоколу XMLA • Поддержка ClickHouse, BigQuery, Snowflake • Скоро: YDB, Greenplum • Множество групп мер, иерархий и измерений в одном кубе • Гибкие настройки кэширования • Развёртывание внутри вашей инфраструктуры или в облаке🔒Безопасность: • Интеграция с LDAP • Разграничение доступа на уровне мер, измерений и их членов⚙️Производительность:• Безлимитное количество мер и изме…

Apache Airflow 3.1.1Вышел новый релиз Apache Airflow 3.1.1 очередным паком багфиксов — Airflow 3.1.1 (2025-10-27). Пофиксали очередную утечку памяти с remote logging connection cache. Что-то 3-я версия Эйрфлоу богата на ошибки с утечками памяти. Бегу обновлять свой инстанс.

Построение пайплайнов dlt в Apache Airflowdlt это python библиотека для загрузки данных из разных источников. Она из коробки поддерживает работу с REST API, SQL, облачными хранилища и т.д. В сети появился бесплатный курс как подружить dlt и Apache Airflow — Deploy dlt pipelines. Сейчас доступны материалы про Apache Airflow, но на подходе информация и про Prefect, Dagster, Kestra, Orchestra и Modal. Я неоднократно слышал про dlt, но ни разу не доводилось использовать. Сейчас у меня есть пара проектов, где необходимо забирать данные из Airtable. Планирую ознакомиться с курсом и попробовать переделать свой пайплайн.

Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу данных: Qdrant EssentialsМеня в последнее время интересует тема векторного поиска и векторных БД, и Qdrant как раз неплохой кандидат на изучение и реализацию какого-нибудь проекта (спойлер: домашнего векторного поисковика). Курс прям как по заказу!

The Annual Airflow SurveyЕсли вы пользуетесь Apache Airflow, то давайте поможем сообществу собрать больше информации об использовании Airflow. До 20 ноября необходимо заполнить опросник на сайте взамен вы получите возможность пройти сертификацию по Airflow от Astronomer бесплатно (я сдавал их экзамен и он хороший). Опросник небольшой, замёт не более 10 минут вашего времени.

Airflow AI SDKНашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk.Пакет предлагает набор декораторов:— LLM tasks with @task.llm: Define tasks that call language models to process text— Agent tasks with @task.agent: Orchestrate multi-step AI reasoning with custom tools—Branching with @task.llm_branch: Change DAG control flow based on LLM output— Embedding tasks with @task.embed: Create vector embeddings from textПоддерживает работу с OpenAI, Anthropic, Gemini и другими через пакет pydantic-ai. С новым механизмом Human-in-the-Loop в Airflow 3.1 стало ещё удобнее контролировать процесс с помощью человека. Имхо, Airflow неплохо вписывает…

MCP сервер для Apache AirflowНашел репозиторий с готовым MCP сервером для Apache Airflow — mcp-server-apache-airflowMCP или Model Context Protocol - это протокол, позволяющий большим языковым моделям взаимодействовать со сторонними сервисами, дергая их за "ручки". Например, используя этот MCP сервер для Airflow можно через ИИ-агента манипулировать дагами и не только.

Jetbrains DataGrip бесплатно для некоммерческих целейТеперь JetBrains DataGrip можно использовать бесплатно в некоммерческих целях. Я уже давно пользуюсь продуктами JetBrains, мой фаворит безусловно PyCharm. Работая в компании Playirx, я регулярно использовал DataGrip и считаю его лучшей оболочкой для работы с базами данных. DataGrip пополнил линейку бесплатных продуктов (для некоммерческих целей) наряду с CLion, RustRover, WebStorm и RubyMine. Вполне возможно, что скоро мы увидим и Rider и GoLand в этом списке 🤞

Data Engineering Design Patterns 🔥В сети бесплатно раздают электронную копию книги Data Engineering Design Patterns. Я её ещё не читал. На книжных сайтах у неё неплохой рейтинг. Если вдруг искали что почитать по теме, то думаю стоит приглядеться. Ну а чтобы вам не нужно было заполнять форму, я сразу прикрепил pdf с книгой к сообщению.

Как я чищу метаданные Apache Airflow 3.xВ блоге Apache Airflow есть скрипт для периодической чистки метаданных в БД Apache Airflow. Но начиная с Airflow 3.0 невозможно обращаться к БД напрямую (через модели SQLAlchemy), в связи с этим скрипт не работает. Даже вызов shell команды airflow db clean через BashOperator выдаст ошибку по типу: Could not parse SQLAlchemy URL from string 'airflow-db-not-allowed:///': source="airflow.task.hooks.airflow.providers.standard.hooks.subprocess.SubprocessHook"RuntimeError: Direct database access via the ORM is not allowed in Airflow 3.0Как решить? Я нашел выход запуска через старый добрый Cron:0 0 * * * /home/airflow/.airflow/bin/airflow db clean --clean-be…

Apache Airflow 3 в Amazon CloudНа Amazon стала доступна 3-я версия Apache Airflow: Introducing Apache Airflow 3 on Amazon MWAA: New features and capabilitiesНо я бы пока не спешил бежать и обновляться, т.к. релиз спорный, а тем более вышла уже версия 3.1 (её ещё нет в Амазоне), в которой часть проблем как с движком так и с интерфейсом была исправлена. Постепенно всё же готовиться к переходу стоит начать. В этом поможет руководство по переходу со 2 на 3 от Amazon: Best practices for migrating from Apache Airflow 2.x to Apache Airflow 3.x on Amazon MWAAИз неприятного. В тройке запретили прямой доступ к базе из рабочих нод (рабочих лошадок), т.е. как раньше использовать модели SQLAlchemy для ч…

Очередной подгон в виде бесплатной книги от Astronomer — Orchestrating dbt with Apache Airflow® using Cosmos 🚀Неплохой вводный гайд по оркестрации dbt пайплайнов через Apache Airflow и пакет astronomer-cosmos. Я закончил свою работу с dbt, когда его возможно было запускать только через BashOperator, сейчас ситуация иная.

Первый раз увидел вакансию Analytics Engineer. Обычно всегда Data Engineer. Ключевое тут - это dbt. Но как видно в компании еще есть Trino, Iceberg. В целом для отечественного рынка очень хороший стек! Обычно разделение идет на дата инженера и дата аналитика. Что уже давно не отражает суть. Сейчас все вакансии инженерные (vibe coding?). Просто дата инженер еще может создавать инфраструктуру для аналитического решения, а аналитик инженер строить витрины. Главный скилл для аналитик инженера - это понимание бизнеса и общение с бизнес заказчиками. То есть вам надо построить дашборд и вам не нужно ждать пока дата инженеры соберут витрину, они могут сами сделать витрину и job для ее обновления. Р…

MWS Cloud запустил сервис GPU on-premises.Что это такое? Компания будет устанавливать серверы с GPU необходимые для обучения и инференса искусственного интеллекта в периметре предприятий.Посмотрел, как это работает: • Специалисты помогают компании определить нужную ей конфигурацию серверов с GPU - можно взять готовую: доступно 7 видов карт и более 20 готовых конфигураций, можно собрать индивидуально под себя • Серверы разворачивают на площадке компании или дата-центре MWS Cloud. Кстати, их можно и купить, и арендовать • Установка и поддержка на всех этапах - на MWS CloudПолезная история для компаний, которым требуется развертывание вычислительных мощностей с графическими усилителями в закры…

Знаете кому AI не помогает?Всем кто раньше топил за low/no code. Ведь там все завязано у вендора на кликанье мышкой в приятном интерфейсе. Особенно разные BI инструменты или ETL инструменты. Сейчас можно быстрей сделать dashboard в Streamlit или Plotly, чем такой же в Tableau или Sigma BI. Я не имею ввиду произведение искусства в Tableau. Я про обычные полезные дашбордики с bar/line charts или быстрые ad-hoc визуализации.Даже в Looker нет удобной интеграции и нужно либо копировать руками LookML или в VSCode менять код без возможности валидации. У меня есть пример одного инструмента, кто отлично смог встроить AI в свой процесс - это Matillion ETL. Это такой low-code инструмент, у которого вс…

Как у вас дела с Kubernetes? Kubernetes (K8s) — это система для автоматического управления контейнерами с приложениями. Представь её как "дирижёра оркестра" для твоих программ.С ним можно построить любое решение - сам продукт, сервис или аналитическое решение в облаке или on-premise.Очевидно использовать managed версию в AWS/Azure/GCP легче, чем разворачивать все с нуля на своем железе.Для DevOps k8s это один из главных скилов. Эксперты без работы не останутся, особенно если нет альтернативы в виде публичного облака.Claude мне выдал альтернативы:Легковесные альтернативы- Docker Swarm - встроенная оркестрация Docker, проще в настройке и использовании- K3s - облегченная версия Kubernetes от R…

Из всего многообразия новых AI штук, моя любимая это MCP для тестирования данных и поиска ошибок.

Знаете, что такое “смена работы N+1”?Это достаточно надежный и популярный способ менять работу в Северной Америке.Сейчас расскажу.Вы работаете на работе А. И вы решили найти новую работу - Б.Что делают любители? Прощаются с коллегами на работе А и выходят на работу Б. Только потом может оказаться, что работа Б это не так и весело, и хуже, чем работа А. Но вам уже надо разгребать работу Б следующие 12-18 месяцев, как минимум. Как говорится стерпится-слюбится.А что делают профессионалы? Оно думают о завершении работы А, чтобы начать работу Б. Но работа Б это риск, поэтому они решаются на trial период на работе Б, продолжая работать на работе А. Таким образом у вас есть возможность попробовать…

Я писал уже свой подход про ARR как личный суммарный заработок. Как и другой любой пост он 50/50, кому-то откликнулось, а для кого-то 🔴. На выходных у меня была стратегическая сессия с @YanaTimokhina, где 3 часа проговаривали, что работает, а что нет. Попытались спланировать цели на 5 и 15 лет. И как-то после нее стало легче. Реально есть польза от высказаться и поразмышлять вслух, а если у человека есть в этом опыт, он быстро уловит суть и поможем переосмыслить многие вещи.Одно из первых решений было убрать токсичность, для меня это свалить с одного из проектов, который приносит 250k (только база) CAD $ ARR. По канадским меркам это много, и самое главное там не сложно делать работу, но ток…

S3 самый популярный элемент современного технологического мира. И это не обязательно AWS S3, ведь можно создать blob storage on-premise. В статье How Amazon S3 Works кратко описываю системный дизайн S3. Для масштабирования с высокой производительностью не нужно дорогое оборудование — достаточно умной архитектуры и правильных алгоритмов. Amazon использует недорогие HDD-диски, но компенсирует их ограничения через параллелизм, умную организацию данных и эффективную репликацию.Альтернативы:🔄Крупные облачные провайдерыGoogle Cloud Storage — хорошо работает с другими сервисами Google (BigQuery, ML), несколько классов хранения, понятные тарифы, от $0.020/GB в месяц.Azure Blob Storage — от Microsof…

Действительно ли облака и managed/serverless это хорошо?Плюсы очевидны:- быcтрый старт- меньше зависимостей- легко найти инженеровМинусы- нет гибкости- нет возможно дебага удобного- vendor lock- цена не прозрачна и будет растиВот и получается, либо платим за инженеров, либо вендору.

Могу поделиться финансовой мудростью — когда захотите купить последний iPhone или другую дорогую (относительно дорогую) вещь, которую вот прямо необходимо иметь, попробуйте сделать это на прибыль или дивиденды от инвестиций. То есть на языке книги «Богатый папа, бедный папа», которую, как по мне, должны добавить в школьную программу и вообще учить детей финансовой грамотности, а то получается, в школах растят потребителей. Вам нужно сначала создать актив, который будет приносить вам прибыль, и на эту прибыль можно купить iPhone. В идеале тут можно говорить про дорогую машину, но надо начинать с чего-то маленького. Я вот вроде бы знал про такой life hack, но не воспользовался им, когда был м…

Я явно недооценил Excel, оказывается есть чемпионат по Excel Чемпионат Microsoft Excel (Microsoft Excel World Championship, MEWC) — это киберспортивное соревнование, где участники решают необычные игровые задачи в Microsoft Excel. В отличие от традиционных финансовых соревнований, здесь нет финансового моделирования — только Excel и логическое мышление. Участники соревнуются в скорости и точности решения сложных головоломок, используя формулы, функции и любые инструменты Excel (включая VBA, Power Query, динамические массивы, лямбда-функции). Формат соревнований: • Участники получают кейсы с несколькими уровнями сложности (обычно 5-7 уровней) • Задачи основаны на игровых сценариях — например…

AI Code Assistant вошел плотненько в мой быт. У меня Cursor. Так же я работал с Cline плагином в VSCode, которому я скормил Claude Code API ключ и там же я попробовал Claude плагин, который подключает Claude Code.В Linkedin я провел опрос, и Claude Code явно популярнее, чем Cursor. И я считаю, что эти два инструмента лучшие на рынке. По опросу в Телеграмм стало понятно, что AI Code Assistant не такие популярные. Главная проблема это цена инструмента и работодатели не хотят оплачивать и людям приходится изобретать.Чтобы вам стать максимально эффективным вам нужно использовать IDE + AI. Самый простой вариант VSCode + Cline или что-то подобное. Так же все хвалили Kilo Code.Самое классное, что …

Новые возможности для администрирования Apache IgniteСберТех приглашает на вебинар, где представит обновления в Platform V Grid Center.Основной темой станет демонстрация ИИ-агента, который помогает администрировать кластеры через диалог.Спикер — лидер продукта Илья Степанов — покажет, как агент взаимодействует на естественном языке, анонсирует выход гибких пользовательских дашбордов и расскажет про улучшения в интерфейсе и функциональности контроля.Platform V Grid Center предназначен для работы как с Apache Ignite, так и с коммерческой версией от СберТеха — Platform V DataGrid.Присоединяйтесь, чтобы узнать о новых инструментах для оптимизации вашей работы. Регистрация по ссылке.

Отличный пост, который прям смотрит в суть.Я его перевел для вас с AI. Выглядит немного топорно, но суть понятна:Ваш руководитель по данным получает зарплату $400К и неограниченный бюджет на инфраструктуру.Ваш операционный руководитель получает $180К, потому что "их работа более тактическая."Угадайте, какой отдел всё ещё не может ответить на базовые вопросы?Представьте этот сценарий:Команда данных только что получила $3,8Мна Snowflake, Databricks и новые пайплайны.Одобрения получены.Консультанты наняты, и все празднуют победу.Операционный отдел спрашивает, почему растёт отток клиентов и падает маржинальность."Нам нужно запустить запросы. Вернёмся к этому в следующем квартале."Компании тратя…

Гайд: как настроить WAL, чтобы отслеживать изменения в PostgreSQL?Возможно, кто-то из прочитавших заголовок скажет — зачем возиться с WAL, если есть более простые способы. NOTIFY, например.Да, действительно, и, если вам нужно мониторить изменения в небольшой, не слишком часто обновляющейся таблице, то это отличный вариант. Но дело в том, что все уведомления NOTIFY падают в одну очередь, и если таких уведомлений много, то они затормозят работу всей БД.Кроме того, их размер ограничен 8000 байтов, чего может быть недостаточно. А еще, если сервис-получатель был по какой-то причине не доступен и сообщение не дошло, повторное через NOTIFY не отправляется — то есть данные просто потеряются. В обще…

Интернет опять против ИИ-рекламы?Прохладная реакция на новогодний ИИ-ролик от Coca-Cola (уже второй год подряд, кстати) корпорации ничему не научила. Нидерландское подразделение McDonald’s наступило на те же грабли и выпустило рекламу, полностью сделанную с помощью ИИ.Герои ролика попадали во всевозможные ужасные ситуации — кто-то упал на льду, а кто-то с крыши, у кого-то кот снес елку и так далее. Все эти душераздирающие события разворачивались под задорную песенку, смысл которой сводился к тому, что праздники — ужасное, стрессовое время и лучше их пересидеть в уютном Макдаке. 💬 Мы говорим о видео в прошедшем времени, потому что с Youtube-канала компании его уже убрали после ужасного фидбе…

Какие работы на самом деле отнял ИИ? Как-то раз мы уже писали про исследование, которое показало, что из-за развития ИИ компании стали реже нанимать джунов. Новое исследование эту картину дополняет. В выборку попали 180 млн вакансий из разных сфер с 2023 по 2025 годы. Автор изучил, как изменилось общее число вакансий (упало на 8%, между прочим), а затем посмотрел на динамику по отдельным должностям и индустриям.🔵Очевидно, что лучше всего дела у ML-инженеров — у них число открытых вакансий c 2024 по 2025 выросло на 39%. 🔵Хуже всего дела у дизайнеров, копирайтеров и фотографов — число вакансий для них упало на 27-32%. Но только для специалистов, а для креативных директоров и продюсеров предло…

TigerBeetle на практике, или чем хороши узкоспециализрованные тулыВы когда-нибудь работали с TigerBeetle?Это БД, заточенная под работу с финансовыми транзакциями. Она гарантирует точность, высокую скорость и устойчивость к большим нагрузкам. Однако, узкая специализация накладывает ограничения на то, в каких проектах можно использовать TigerBeetle и как вообще с ней работать.В частности, TigerBeetle заставляет оперировать такими бухгалтерскими понятиями, как дебит, кредит, счета, переводы, и при этом дебит строго не может превышать кредит. И это не просто рекомендация, это на уровне архитектуры БД прописано.Как это работает на деле?Вот хороший пример — разработка сервиса по продаже билетов и…

No-code платформа от MWS AI: теперь можно собрать ИИ-агента своими рукамиДаже если вы понятия не имеете, как это делается.MWS AI представила MWS AI AGENTS PLATFORM — корпоративную платформу, которая позволяет собирать ИИ-агентов под свои задачи и даже объединять их в мультиагентные системы. И все это без знаний программирования. Взаимодействовать с ними можно через мессенджер, чат или API.🔵Собственно «сборка» проводится в визуальном конструкторе, в котором есть инструменты для подготовки данных, дообучения моделей и мониторинга качества работы.🔵Платформа поддерживает работу не только с текстом, но и с изображениями и аудио, так что на ней можно будет создать, например, ИИ-агента с голосовым…

Что такое стратегия Direct-to-Consumer...и почему не развивать ее — значит проиграть?Каждая большая индустрия рано или поздно осознает простую вещь: посредники — это компромисс, а не эволюция, и D2C — не просто модный тренд. Через этот этап проходят все, и геймдев не исключение. Переход к Direct-to-Consumer — это признак зрелости индустрии, когда люди осознают, что у них два пути. Они могут либо взять управление процессами в свои руки, либо подстраиваться под чужие правила. 🔜 Подробнее про эту стратегию и ее плюсы читайте здесь.

Что такое стратегия Direct-to-Consumer...и почему не развивать ее — значит проиграть?Каждая большая индустрия рано или поздно осознает простую вещь: посредники — это компромисс, а не эволюция, и D2C — не просто модный тренд. Через этот этап проходят все, и геймдев не исключение. Переход к Direct-to-Consumer — это признак зрелости индустрии, когда люди осознают, что у них два пути. Они могут либо взять управление процессами в свои руки, либо подстраиваться под чужие правила. 🔜 Подробнее про эту стратегию и ее плюсы читайте здесь.

Что внутри ИИ-стартапа?А внутри у него Claude или ChatGPT в 70% случаев.ИИ как часть повседневной жизни, а не концепция из фантастики или научных статей, появился в нашей жизни относительно недавно, но за то это время вокруг него выросла целая индустрия. Кроме флагманов OpenAI, появилось и множество компаний поменьше. Они предлагают интегрировать ИИ в рабочие процессы, использовать его для создания контента, написания кода, ведения и упорядочивания заметок, учебы — в общем, для всего подряд.Довольно часто в описаниях этих ИИ-продуктов можно встретить что-то про «файн-тюнинг», «проприетарные LLM» и другие интересные термины. Они как бы намекают, что компания предлагает какие-то свои собствен…

⏬ Привет, это Yandex for AnalyticsПредлагаем размяться и проверить свои навыки. Ответы есть, но подглядывать во время решения — неспортивно ⬇️🔵 Задача 1. Вспоминаем теорию вероятностей🔵 Задача 2. Теорема Байеса🔵 Задача 3. Базовая база теории игр🔵 Задача 4. Тренируем SQL🔵 Задача 5. Честная математическая статистика🔵 Задача 6. Что-то на бизнесовом💠 Скоро вернёмся с новыми задачами. А пока делитесь своими решениями в комментариях!Подписывайтесь: 💬 @Yandex4Analytics

Новое техношоу о фейлах на дата-платформахВсе упало, все сломалось, бизнес в панике. Для дата-инженеров это обычный вторник, а для шоу «Дропнуто» — повод снять свежий выпуск. «Дропнуто» превращает фейлы дата-платформ в истории, которые полезно услышать каждому, кто работает с данными. В центре каждого эпизода — один герой и одна яркая история фейла, развернутое обсуждение архитектуры и процессов, а также немного самоиронии.Анонсы и ссылки на прямые эфиры появятся в телеграм-боте проекта. Подписывайтесь, чтобы узнавать о премьерах первыми

Anthropic представила Claude Opus 4.5Да, это очередная новая модель, которая стала еще умнее, чем предшественницы, еще лучше кодит, размышляет, взаимодействует с агентами и так далее. На картинке к посту — данные ключевых бенчмарков, где видно, насколько Claude Opus 4.5 хорош, хотя и уступает в некоторых категориях конкурентам.В чем он точно их превосходит — так это в безопасности: он намного менее склонен к «вызывающему опасения» поведению, чем ChatGPT и Gemini, и лучше защищен от промпт-инъекций. В общем, все как всегда — это все пишут в каждом пресс-релизе, когда выходит новая модель. Из оригинального: 🔵Opus 4.5 оказался слишком умен для некоторых бенчмарков. В τ²-Bench он нашел новое и …

Насколько глубоко ИИ на самом деле проник в повседневную жизнь? Ответ можно найти в свежем Viz of the Day на Tableau Public — там собраны последние новости и данные про ИИ в разных сферах.Несколько пунктов оттуда:🔵В ноябре 2024 объем текстов, написанных ИИ, превысил объем написанных людьми — правда, есть вероятность, что большая часть из них пылится на дне интернета и особого внимания не привлекает.🔵Написание текстов для рабочих или личных целей — самый популярный запрос пользователей ChatGPT в период с мая 2024 по июнь 2025.🔵Генерируют не только текстовый контент — в октябре 2025 число запросов к Adobe Firefly, платформе для создания изображений, достигло 29 млрд. Это в 10 раз больше, чем …

Как выбрать MCP-сервер: практическое руководствоИтак, вы решили использовать ИИ в работе, но не просто мучить ChatGPT вопросами, а сделать все по науке, через MCP-сервер. Осталось только выбрать, какой вам нужен.Идете в интернет, находите сайт-агрегатор или подборку серверов и видите там сотни вариантов. Если вам нужно подключить ИИ к какому-то популярному инструменту — например, к PostgreSQL, то в поисковой выдаче на вас вывалится несколько страниц результатов.🔵Чем они все друг от друга отличаются?🔵Что надо учитывать при выборе?🔵Какой MCP-сервер лучше — специализированный под узкий спектр задач или универсальный? 🔵А может, вы вообще не знаете пока, что такое MCP-сервера и где они водятся?🔜…

Нейроаналитик DataLens: ваш ключ к даннымО чем чаще всего просят аналитиков? «Да просто объясни, что эти данные значат? Что мне с ними делать?» Пользователь хочет увидеть руководство к действию и ответы на свои вопросы, а не сложные дашборды, где еще с фильтрами и гранулярностью надо разбираться.А что, если мы скажем, что уже есть такой помощник, который может сделать данные ближе и понятнее? Это — Нейроаналитик от DataLens.И если вы до сих пор не познакомились с ним — вы упускаете один из самых элегантных способов общаться с вашими цифрами.Как это работает? По-человеческиПредставьте, что вы можете спросить у системы так же, как спросили бы у коллеги: «Покажи, как изменилась выручка в этом …

Как когнитивные искажения убили стартапВы когда-нибудь слышали про приложение Takkle?Скорее всего, нет. Это была американская социальная сеть со спортивным уклоном. Takkle давно схлопнулась, и от нее остались только старые аккаунты в Twitter и на Youtube. Но ее недолгая история довольно любопытна.Что случилось с Takkle, и почему это должно быть интересно?По воспоминаниям бывшего VP по инжинирингу, одна из причин провала — это неудачное решение CTO еще на этапе разработки. Старый СТО уволился, а новый, пришедший ему на смену, сказал, что PHP никуда не годится и надо срочно все переписывать на Perl. Это был опытный специалист с серьезным резюме, который провел анализ, привел аргументы и в ито…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

Аналитика данных с нуля: протестируй профессию за 3 дня - мини-курс в прямом эфиреНа этом бесплатном мини‑курсе вы освоите базу для старта в аналитике, а также поймете, насколько походит вам эта профессия.За три вечера пройдёте путь от «ничего не знаю» до первого реального аналитического кейса: поработаете с таблицами, SQL и Python, выполните практические задания и соберёте понятный отчёт по данным. Все три дня с вами в прямом эфире будет Денис Иванов, Senior Product Analyst с опытом более 5 лет в Тинькофф и других крупных компаниях, который запускал аналитические системы с нуляЧто будет на трёхдневном мини-курсе:🟠9 декабр: разберётесь, чем занимается аналитик и какие метрики помогают бизне…

🟢 Ищем системного аналитика, зарплата 250-300к по результатам собеседования!HR крупной IT-компании поделилась: «Мы уже полгода ищем сильного системного аналитика. Резюме приходят, но все «Ctrl+C | Ctrl+V» – UML, BPMN, работа с требованиями. А нужен человек, который понимает, как спроектировать интеграцию между 15 микросервисами так, чтобы система не рухнула. И ведь приходят не новички» Чувствуете, да? Рынок ищет одних специалистов, а резюме подают совсем другие. Пока аналитики изучают диаграммы Use Case, компании отчаянно ищут тех, кто разбирается в современной архитектуре. И готовы платить за это 200-300к.Но таких системных аналитиков единицы, и за ними сейчас охотятся так, как когда-то бе…

А ты знаешь, что Газпромбанк.Тех раз в год собирает всех бизнес-аналитиков на своей площадке для обмена опытом? 🚀Записывай в календарь - 08 декабря в 17:30 пройдет Business Analysis Day. Тема этого года — ИИ-помощники для бизнес-аналитика 🤖В программе:✔️ Панельная дискуссия «ИИ помощники для бизнес-аналитика: что уже работает» с экспертами Банка России, Сбербанка и Газпромбанк.Тех✔️ Disrupt-подходы: от «работы по шаблону» к адаптивной документации✔️ Живое Демо: как ИИ в Газпромбанк.Тех работает с качественными требованиями и формирует архитектуру самостоятельно✔️ Будущее профессии: как GenAI меняет рынок трудаГде и когда 🎤Москва, офис Газпромбанка: ул. Коровий Вал, 5, БЦ «Оазис»8 декабря в …

Бизнесу данные нужны как воздух 📊Без анализа данных сейчас не обходится ни одна крупная компания — будь то банк, ритейл или медицина. Поэтому аналитиков ищут повсюду.Есть рекомендация, курс «Аналитика данных с МФТИ» за 10 месяцев делает из вас универсального специалиста. Научитесь работать с Python, применять методы ИИ и управляться с базами данных. С таким набором навыков можете выбрать любое из трёх направлений:• Аналитика данных • Data Science • Инженерия данныхВ конце получите 2 диплома от МФТИ и Нетологии. Центр развития карьеры поможет с резюме, портфолио и поиском работы.🎁 Предновогодний бонус: покупаете один курс в декабре — получаете шесть в подарок.Записывайтесь и прокачивайтесь в…

🚀 Ребята из ИнженеркаТех специально для канала Datalytics дарят эксклюзивный промокод DATA, который дает -15% к скидкам на все курсы дополнительно до конца октября!Сейчас самое время, чтобы прокачать свои навыки и освоить новый стек.Симулятор Data Warehouse на базе dbt. Научитесь работать с dbt Core и освоите DataOps практики, каталог данных и data lineage. Решай реальные задачи в интерактивном тренажере → Начать в демо-доступе💚 Кстати, они перевели всю документацию dbt на русский язык! Теперь она доступна бесплатно для всех: https://docs.getdbt.tech/Тренажер Python и SQL для ML и Data Science Pandas, NumPy, работа с данными для ML/DS. Все — от загрузки до анализа. Навыки для ML-инженеров и…

Как посчитать эффект от рекламы на ТВ или проверить эффективность нового алгоритма продвижения объявлений на платформе?В первом случае мы не можем честно разбить людей 50 на 50 и одним показывать ТВ-рекламу, а другим — нет. Во втором тестовый алгоритм вытесняет старый из выдачи: продавцы из контроля перестают пользоваться своим продвижением из-за сетевых эффектов. Чтобы обойти подобные проблемы в тестировании, мы в Авито используем региональные тесты. А чтобы рассказать, как именно это делать, мы записали новый выпуск «Диванной аналитики» с Мишей Пирожковым, аналитиком из команды маркетинга. Из видео вы узнаете:➡️ Как работают региональные тесты и как устроен наш текущий инструмент для анал…

Хотите работать там, где от решений зависят миллионы?Мошенничество — это сложные схемы, продуманные алгоритмы, десятки подставных транзакций и тысячи строк логов.Антифрод-аналитики ловят мошенников до того, как те доберутся до денег.Кто такой антифрод-аналитик?Это специалист, который анализирует финансовые операции, выявляет подозрительные паттерны и выстраивает защиту бизнеса от потерь.Где нужны такие специалисты?🟧в банках и финтех-компаниях🟧на e-commerce-платформах🟧в страховых и онлайн-сервисах.Средняя зарплата по рынку — от 130 000 ₽, и спрос растёт ежегодно.Рынку не хватает специалистов, умеющих работать с реальными данными и антифрод-системами.Ждем вас на первом потоке курса «Антифрод-…

Продуктовые аналитики — профессиональные детективы 🔎 Докажите это, разгадав тайну «уснувших» покупателей. Проведите собственное расследование с решением квиза и продуктового кейса. За самые быстрые и точные результаты детективы получат призы от Lamoda.Как принять участие:1. Пройдите квиз и предложите решение продуктового кейса2. Примите участие до 18 декабря. Результаты всех финалистов попадут в общий лидерборд, поэтому делитесь ссылкой с коллегами-аналитиками, чтобы повысить градус соревновательности! 3. Дождитесь публикации поста с результатами в канале Lamoda TechВремя пошло! Детали и задания ждут вас на сайте.Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:2W5zFJXDRw6

❓ NLP для Data Scientists: получайте навыки, которые помогают решать реальные задачи с текстами.🔥 Мы подготовили для вас 3 бесплатных вебинара курса «NLP / Natural Language Processing», где вы узнаете всё необходимое для работы с текстами и моделями.🔸 Вебинар №1: Анатомия нейросетей: от трансформеров к современным архитектурам 👨‍🏫 Спикер: Андрей Носов - AI Architect, Raft⏰ 24 ноября, 20:00 МСКНа этом занятии вы узнаете: • Из чего состоят современные нейросети — внимание, эмбеддинги, нормализация и другие ключевые механизмы. • Почему трансформеры стали стандартом в NLP и какие идеи приходят им на смену. • Как применять эти принципы в задачах генерации, классификации и анализа текста.🔸 Вебина…

«Круги Громова» представили новое исследование российского рынка ETL 2025Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?В новом исследовании «ETL Круг Громова 2025»:🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектур…

Как мы в Авито управляем трафиком маркетинговых коммуникацийЕжедневно Авито запускает более 900 маркетинговых CRM-кампаний и ежемесячно отправляет более 5 миллиардов коммуникаций. Чтобы повысить эффективность рассылок, аналитики стремятся улучшать покрытие пользователей, не спамить им и, главное, отправлять релевантные сообщения.Чтобы выполнить эти задачи, Авито анализирует поведение аудитории. Это огромный массив данных и разнородных факторов, поэтому мы используем ML в алгоритмах отправок.Хотим поделиться этим опытом, для чего записали ещё один выпуск «Диванной аналитики» с Арменом Есаяном, старшим аналитиком в CRM. Армен подробно разбирает, как машинное обучение помогает добиться максима…

Как за 15 минут сделать бизнес-описание всей базы данных и BI-отчетности с помощью ИИ 🤖Когда документация устаревает, аналитика перестает работать. Метаданные разбросаны, отчеты описываются вручную, а поиск нужной таблицы превращается в квест.📆 25 ноября в 11:00 (МСК) приглашаем на бесплатный онлайн-вебинар с Павлом Хамриным (Lasmart).Разберем:— почему документация по данным всегда отстает от реальности;— как AI помогает описывать таблицы, отчеты и процедуры за минуты;— как «научить» модель понимать корпоративные термины;— как DataDesc автоматизирует документацию и интегрируется с data-catalog.👨‍💻 Кому будет полезно: data-инженерам, аналитикам, архитекторам DWH, BI-руководителям — и всем, к…

⚡️Пошаговый план: как получить оффер на аналитика в 2025 году?Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других.Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?На вебинаре разберём:🟠Разберем полный роадмап: что учить, в каком порядке, до какого уровня;🟠Структура хорошего портфолио с примерами;🟠Что говорят реальные наниматели — какие у ни…

avito.tech.conf, первая конфа от AvitoTech для менеджеров и лидов — как это было? ☄️Предлагаем проверить самим! Смотрим видео выше и обязательно переходим на плейлист с записями докладов:📺 Youtube🔵 VK ВидеоПочему важно послушать доклады, если не успели подключиться онлайн или прийти оффлайн? Во время них участники успели обсудить огромный спектр важных в индустрии тем: от внедрения в разработку и управления AI и LLM до барьеров, которые мешают инженерам вырасти в менеджера. И, на секундочку, ивент от ребят собрал 1000+ лидов, менеджеров и C-level. А в онлайне к трансляции подключилось 10 000+ человек. Поздравляем коллег и открываем плейлист 💻

Как в Авито нашли способ считать сделки, которых не видноВ классифайдах сделки часто происходят вне платформы: например, продавец и покупатель встретились, чтобы осмотреть машину, и на месте совершили сделку.Оценивать эти сделки и даже узнавать о них — нетривиальная задача. Но инженеры и аналитики из команды Авито всё равно научились замерять их ценность и формализовать понятие «договорённость» так, чтобы их могла распознавать ML-модель.В статье — история о том:— почему считать просто сделки может быть ошибкой,— как «договорённость» стала новой единицей ценности,— как превратили абстрактное понятие в рабочую бизнес-метрику.Подробности — в материале на Хабре.👉 «Как мы обучили ML-модель наход…

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

IYKYK 😆@ohmydataengineer

https://clickhouse.com/blog/librechat-open-source-agentic-data-stackТут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂Вот этих https://www.librechat.ai@ohmydataengineer

На днях в open source выпустили распределённую файловую систему, которая рассчитана на эксабайты (тысячи петабайт).Сделали это чуваки из XTX, мощные трейдеры, которые известны двумя вещами: тем, что у них (по крайней мере недавно) был топ-3 кластер по количеству ГПУ, и тем, что их основатель, Александр Герко, так любит Лондон, что каждый год платит 500+ млн фунтов налогов на доходы как физическое лицо.Из интересного (они выделили 9 пунктов, но только 5 мне кажутся отличительными)Has no single point of failure in its metadata services.Is hardware agnostic and uses TCP/IP to communicate.Utilizes different types of storage (such as flash vs. hard disks) cost effectively.Exposes read/write acce…

Python 3.14 уже здесь!Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно:- полная поддержка Free-threaded Python- T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings)- zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных- поддержка multiple interpreters из коробки- uuid 6-8, на 40% быстрееИ многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html

Очередная движуха для тех, кто живёт аналитикой. Коллеги и друзья из NEWHR снова собирают рынок — кого, где, за сколько и зачем нанимают. Всё по классике: зарплаты, новые задачи, как и где работают, кто топит за культуру.В этот раз цепляют и бизнес/системных аналитиков, и даже начальников.⏳ 20 минут на опрос — и потом инсайты, стрим и вся вкусная инфа (полный разбор ждём в 2026, а промежуточное — сразу по ходу).Чем больше залетит народу — тем точнее картина, поэтому и делюсь ссылкойP.S. Да, ждать результат надо, но стоит того — предыдущие выпуски были полезнымиСсылка на последнее 2024 Как принять участие в исследовании?⏩ Заполните 20-мин опросник⏪

Big data integration company Fivetran Inc. is reportedly holding advanced talks with dbt Labs Inc. over a multibillion-dollar acquisition.https://siliconangle.com/2025/09/28/report-fivetran-talks-dbt-labs-multibillion-dollar-big-data-merger/Просто новость. Выводов никаких не будет =) @ohmydataengineer - канал "🕯Труба Данных"

https://medium.com/@thedatainsight/bronze-is-the-battlefield-why-real-data-engineers-start-at-the-source-6eaa16730f0aНормально делай - нормально будет! Саша снова насыпал базисной базы, а мне даже добавить нечего.@ohmydataengineer - канал "🕯Труба Данных"

Данные от самого OpenAI, для чего используют ChatGPT. Мы в пузырике, в общей доле запросов к модели, программирование - всего 4%@ohmydataengineer - канал "🕯Труба Данных"

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Что такое рынки предсказаний, и почему они удивительно точно предсказывают будущее? Обсуждаем, как работает механизм вероятностной цены, зачем рынкам нужны реальные деньги, как они справляются (или не справляются) с инсайдерской торговлей и манипуляциями. В гости к нам пришел Никита Поваров, который сейчас руководит командой аналитики в JetBrains и почти два года развивает корпоративный рынок предсказаний внутри компании. Так что не обошли стороной феномен корпоративных рынков предсказаний и разобрались, можно ли использовать их как инструмент для A/B-тестов и сколько участников нужно для хорошего прогноза. Обратите внимание на секцию полезных ссылок. Сегодняшний гость приложил внушительный…

Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов

Казалось бы, для AI вычислений нужно просто очень-очень много GPU. Почему же тогда техногиганты, обладая почти безграничными ресурсами, не строят эту инфраструктуру сами, а платят миллиарды долларов новым, молодым компаниям? Чтобы разобраться в этом, мы позвали Александра Патрушева, Head of Product в Nebius — том самом неоклауде, который недавно заключил сделку с Microsoft почти на $20 миллиардов. В выпуске разбираемся, в чем фундаментальное отличие AI-облаков от классических, что из себя представляет карта рынка сегодня, как устроена экономика неоклаудов и что у них под капотом: какие есть особенности устройства сети, хранения данных и эксплуатации всего этого добра. Партнёр команды Podlod…

Все говорят о доказательной медицине, но мало кто может объяснить, что это вообще такое. Чем «доказательная» отличается от «научной» и «традиционной», и зачем проверять то, что «и так работает»? В этом выпуске разбираемся в том, как устроены клинические исследования: чем причинно-следственная связь отличается от корреляции, что такое клинически значимый эффект, почему «кому-то помогло» ещё не является весомым доказательством, и почему даже хорошие исследования иногда дают противоположные результаты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podl…

В этом выпуске обсуждаем криптофинансы: зачем вообще нужен блокчейн в мире, где уже всё работает через банки и SWIFT, как устроены кастодиальные и некастодиальные кошельки, и почему крипта — это не только про спекуляции. Говорим о том, как бизнесу защититься от потери ключей, на чём зарабатывают DeFi-протоколы, чем обеспечиваются токены и почему ставки по вкладам в крипте так далеки от привычных фиатных. В гостях Александр Тоболь, технический директор Кошелька в Telegram и бывший CTO VK. Александр рассказал, как устроены криптосервисы изнутри, что происходит с ликвидностью на биржах и почему, даже если у тебя есть все технические знания, поднимать собственного валидатора чаще всего не стоит…

Даже если вы пишете идеальный код, это не значит, что ваш продукт в безопасности. Уязвимости может притащить кто-то другой – начиная от open source библиотек, и заканчивая уязвимостями в компиляторах, CI и VCS системах. Как научиться защищать не только код, вышедший из под ваших рук, но и всю цепочку поставки, нам рассказал Алексей Смирнов, основатель платформы CodeScoring. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культурой здравого смысла и эксперимента. Узнать про их технологии, подходы и прокачку компетенций в командах можно по ссылкам:

— LLM против хаоса: как я автоматизировал ревизию прав доступа в админке Авито https://clc.to/RVjkQw —…

В этом выпуске разобрались, почему важно управлять людьми бережливо, и чем бережливое управление отличается от бережного. Гость поделился, что его зацепило в теме выгорания руководителей и почему важно рассматривать это не только как личную проблему, но и как организационный сбой. Конечно же, поговорили про переработки: в каких количествах они допустимы, а в каких уже нет. Обсудили подходы к человекоцентричному управлению и, наконец, то, почему счастье сотрудников – это не просто красивый лозунг, а экономически выгодная стратегия. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: http…

В этом выпуске разбираемся, что такое векторные базы данных – зачем они понадобились, если есть SQL и текстовый поиск, как устроены под капотом и в чём их ключевое отличие от привычных подходов. Объясняем простыми словами: как данные превращаются в векторы, как по ним происходит быстрый поиск и почему это вообще работает. В гостях Андрей Васнецов – основатель Qdrant. Вместе обсуждаем, откуда пошёл хайп, что изменилось с приходом LLM, как на практике применяются векторные базы (не только в RAG), какие есть популярные движки и встроенные решения в Postgres и ClickHouse, а также с какими подводными камнями, ограничениями и компромиссами сталкиваются команды при работе. Партнёр команды Podlodka…

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов Полезные ссылки: Illustrated Transformer

https://jalammar.github.io/illustrated-transformer/ Attention is all you need

https://arxiv.org/abs/1706.03762 Illustra…

Сегодня AI внедряют во всё: от образования и медицины до финтеха и путешествий. Но что на самом деле означает «AI-продукт» и чем он отличается от классического? Вместе с Анной Подображных разбираем полный цикл их создания: от первых прототипов и проверки гипотез ценности до бенчмарков и эвалов, помогающих измерять качество. Обсуждаем почему важно и как проверить технологическую реализуемость. Этот выпуск – практическая карта для тех, кто хочет осознанно строить AI-продукты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт:…

Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один язык программирования, за что энтузиасты любят его, и есть ли шанс у “Elixir для хипстеров” на реальную популярность? Разбираем философию языка и его ключевые фичи с контрибьютером Gleam и CPython-core-разработчиком Никитой Соболевым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast

Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в…

Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и как от этого защититься. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Прогноз AI-2027

https://ai-2027.com/ Про XAI

https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_284095 Открытые вакансии…

В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по всему числовому зоопарку: обсудили, зачем нужны разные типы, где они подводят, и почему 0.1 + 0.2 ≠ 0.3 – не баг, а особенность. Разбираемся, как работают переполнения, откуда берётся погрешность, можно ли использовать float для денег (спойлер: нельзя), и что общего между округлением и падением ракеты. А ещё вспомнили любимые числовые фэйлы, сравнили числа в разных языках программирования и даже сыграли в игру на угадывание результатов арифметических операций. Также ждем вас, ваши лайки, репосты …

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include Advent of Code, Django 6 is coming, Advanced, Overlooked Python Typing, and codespell.

Topics include PEP 814 – Add frozendict built-in type, Material for MkDocs Zensical, Tach, and.

Topics include , aiosqlitepool, deptry, and browsr.

Topics include httptap, 10 Smart Performance Hacks For Faster Python Code, FastRTC, and Explore Python dependencies with `pipdeptree` and `uv pip tree`

Topics include The PSF has withdrawn a $1.5 million proposal to US government grant program, A Binary Serializer for Pydantic Models, T-strings: Python's Fifth String Formatting Technique?, and Cronboard.

Topics include Cyclopts: A CLI library, The future of Python web services looks GIL-free, Free-threaded GC, and Polite lazy imports for Python package maintainers.

Topics include djrest2 - A small and simple REST library for Django based on class-based views., Github CLI, caniscrape - Know before you scrape. Analyze any website's anti-bot protections in seconds., and 🐴 GittyUp.

Topics include PyPI+, uv-ship, How fast is 3.14?, and air - a new web framework built with FastAPI, Starlette, and Pydantic.

Topics include , Free-threaded Python Library Compatibility Checker, Claude Sonnet 4.5, and Python 3.15 will get Explicit lazy imports.

Topics include PostgreSQL 18 Released, Testing is better than DSA (Data Structures and Algorithms), Pyrefly in Cursor/PyCharm/VSCode/etc, and Playwright & pytest techniques that bring me joy.

Topics include pandas is getting pd.col expressions, Cline, At-Cost Agentic IDE Tooling, uv cheatsheet, and Ducky Network UI.

Topics include Mozilla’s Lifeline is Safe After Judge’s Google Antitrust Ruling, troml - suggests or fills in trove classifiers for your projects, pqrs: Command line tool for inspecting Parquet files, and.

Topics include prek, tinyio, The power of Python’s print function, and Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database.

Topics include rathole, pre-commit: install with uv, A good example of what functools.Placeholder from Python 3.14 allows, and Converted 160 old blog posts with AI.

Aviation cybersecurity is becoming an urgent priority as modern aircraft increasingly rely on complex digital systems for navigation, communication, and engine performance. These systems were once isolated but are now interconnected and vulnerable to cyber threats ranging from GPS spoofing to ransomware attacks on airline infrastructure. As nation-state actors and criminal groups grow more sophisticated,

The post Aviation Cybersecurity with Serge Christiaans appeared first on Software Engineering Daily.

Modern software relies heavily on open source dependencies, often pulling in thousands of packages maintained by developers all over the world. This accelerates innovation but also creates serious supply chain risks as attackers increasingly compromise popular libraries to spread malware at scale. Feross Aboukhadijeh is the founder and CEO of Socket which is a security

The post Blocking Software Supply Chain Attacks with Feross Aboukhadijeh appeared first on Software Engineering Daily.

Python’s popularity in data science and backend engineering has made it the default language for building AI infrastructure. However, with the rapid growth of AI applications, developers are increasingly looking for tools that combine Python’s flexibility with the rigor of production-ready systems. Pydantic began as a library for type-safe data validation in Python and has

The post Pydantic AI with Samuel Colvin appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Jeff Bezos’s unexpected return to the CEO seat with Project Prometheus, the growing debate over whether AI investments are

The post SED News: Bezos Returns to Building, AI’s Reality Check, and Europe’s Cloud Ambitions appeared first on Software Engineering Daily.

PICO-8 is a software-based gaming console for making, sharing, and playing small games with a retro aesthetic. It emulates the look and feel of 8-bit consoles, providing limited color palettes, screen resolutions, and memory constraints. The PICO-8 dev environment uses Lua and is focused on being accessible to developers while offering depth for complex projects.

The post Game Development on the PICO-8 with Johan Peitz appeared first on Software Engineering Daily.

Doom has seemingly been ported to every electronic device imaginable, including picture frames, lamps, and coffee machines. The meme of “it runs Doom” has become so widespread that it spawned the r/itrunsdoom sub-Reddit. Recently, Doom made headlines again for being ported to TypeScript. The project involved representing Doom entirely in TypeScript, three and a half

The post Running Doom in TypeScript with Dimitri Mitropoulos appeared first on Software Engineering Daily.

Simon Shuster is a journalist who has reported on Russia and Ukraine for over 15 years, most of that time as a staff correspondent for TIME Magazine. He was born in Moscow, and he and his family came to the United States as refugees from the Soviet Union when he was six years old. After

The post Drone Warfare in Ukraine with Simon Shuster appeared first on Software Engineering Daily.

Radix UI is an open-source library of React components. Its “headless” primitives handle the complex logic and accessibility concerns—like dialogs, dropdowns, and tabs—while leaving styling completely up to the developer. The project emphasizes usability, accessibility, and composability and has become a vital part of modern web dev, in part because it forms the foundation of

The post Radix UI with Chance Strickland appeared first on Software Engineering Daily.

The Stack Overflow Developer Survey is an annual survey conducted by Stack Overflow that gathers comprehensive insights from developers around the world. It offers a valuable snapshot of the global developer community, covering a wide range of topics such as preferred programming languages, tools, and technologies. Jody Bailey is the Chief Product and Technology Officer

The post The 2025 Stack Overflow Developer Survey with Jody Bailey and Erin Yepis appeared first on Software Engineering Daily.

Byran Huang is a full stack developer who recently made headlines in the hacker space when he created the anyon_e, which is a highly integrated, open source laptop. The effort was a massive undertaking and showcased great design, hardware, and software. In this episode, Byran joins the show with Gregor Vand to talk about his

The post Building an Open-Source Laptop with Byran Huang appeared first on Software Engineering Daily.

The modern internet is a vast web of independent networks bound together by billions of routing decisions made every second. It’s an architecture so reliable we mostly take it for granted, but behind the scenes it represents one of humanity’s greatest engineering achievements. Today’s internet is also dramatically more complex and capable than in its

The post The Architecture of the Internet with Erik Seidel appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the $1.7B acquisition of Security AI, LangChain’s massive valuation, and the surprise $300M funding” round for Periodic Labs. They

The post SED News: AMD’s Big OpenAI Deal, Intel’s Struggles, and Apple’s AI Long Game appeared first on Software Engineering Daily.

Most AI agent frameworks are backend-focused and written in Python, which introduces complexity when building full-stack AI applications with JavaScript or TypeScript frontends. This gap makes it harder for frontend developers to prototype, integrate, and iterate on AI-powered features. Mastra is an open-source TypeScript framework focused on building AI agents and has primitives such as

The post Building AI Agents on the Frontend with Sam Bhagwat and Abhi Aiyer appeared first on Software Engineering Daily.

X-Plane is a popular flight simulator developed by Laminar Research. It features a first-principles physics engine, realistic aircraft systems, and a wide variety of aircraft. We wanted to understand the engineering that goes into creating a flight simulator so we invited Ben Supnik. Ben is a software engineer at Laminar and he’s been working on

The post The X-Plane Flight Simulator with Ben Supnik appeared first on Software Engineering Daily.

A common challenge in software development is creating and maintaining robust development environments. The rise of AI agents has amplified this complexity by adding new demands around permission controls, environment isolation, and resource management. Ona is a platform for AI-native software development and engineering agents. The platform combines autonomous agents with secure, standardized environments, with

The post Turning Agent Autonomy into Productivity with Chris Weichel appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

 ❄                ❄                ❄                ❄                ❄Rob’s post is typical of much of the thoughtful writing on AI.

It offers a positive harbinger for our future and opens my mind to a whole different perspective of the role of AI in it ❄                ❄                ❄                ❄                ❄Anthroopic recently announced that it disrupted a Chinese state-sponsored operation abusing Claude Code.

 ❄                ❄                ❄                ❄    …

Martin Fowler: 19 Nov 2025I’ve been on the road in Europe for the last couple of weeks, and while I was there Thoughtworks released volume 33 of our Technology Radar.

                ❄                ❄                ❄                ❄My trip to Europe started in Amsterdam, for a Thoughtworks event for a few of our clients there.

                ❄                ❄                ❄                ❄My travels also took me to Nüremberg, where I attended an internal conference for Siemens on the future of software architecture.

           …

I find most writing on software productivity to be twaddle, but Nicole and Abi are notable exceptions.

But occasionally I run into folks who study developer productivity without falling into magical thinking - such as Nicole and Abi.

They describe effective developer experience in terms of three elements: feedback loops, flow state, and cognitive load.

Focusing on developer experience is about finding what gets in the way of these three elements.

Improving developer experience leads to better outcomes for the business.

There is a learning loop that is fundamental to our workAs we consider the nature of any work we do, it's clear that continuous learning is the engine that drives our work.

✣     ✣     ✣ There Are No Shortcuts to Learning ✣     ✣     ✣Everybody has a unique way of navigating the learning cycleThis learning cycle is unique to each person.

By offering seemingly perfect code at lightning speed, LLMs represent the ultimate version of the Maintenance Cliff: a tempting shortcut that bypasses the essential learning required to build robust, maintainable systems for the long term.

LLMs Provide a Natural-Language Interface to All the ToolsSo why so much excitement abo…

Martin Fowler: 03 Nov 2025I’m very concerned about the security dangers of LLM-enabled browsers, as it’s just too easy for them to contain the Lethal Trifecta.

                ❄                ❄                ❄                ❄Rob BowleyUnsurprisingly, there are a lot of strong opinions on AI assisted coding.

                ❄                ❄                ❄                ❄Charlie Brown and Garfield, like most comic strip characters, never changed over the decades.

was shown without a helmet, readers were so startled that they didn’t immed…

Agentic AI systems present unique security challenges.

My aim was to provide an accessible, practical overview of agentic AI security issues and mitigations.

The fundamental security weakness of LLMs is described in Simon Willison's “Lethal Trifecta for AI agents” article, which I will discuss in detail below.

What do we mean by Agentic AI The terminology is in flux so terms are hard to pin down.

Mitigations So how do we lower our risk, without giving up on the power of LLM applications?

Martin Fowler: 21 Oct 2025Mathias Verraes writes about the relationship between Domains and Bounded Contexts in Domain-Driven Design.

are truly to be harnessed, the tech industry should stop focusing so heavily on these one-size-fits-all tools and instead concentrate on narrow, specialized A.I.

One of the truly annoying things about the US tax system is that we can’t easily file our tax returns electronically.

He also explains how the creators of Direct File are working to prepare the ground for it to reappear.

Security issues are only getting worse, but the US government agency for cybersecurity is having its staff reassigned to other duties.

I looked at three of the tools that label themselves as SDD tools and tried to untangle what it means, as of now.

It turns out to be quite time-consuming to evaluate SDD tools and approaches in a way that gets close to real usage.

Tessl Framework(Still in private beta)Like spec-kit, the Tessl Framework is distributed as a CLI that can create all the workspace and config structure for a variety of coding assistants.

This is currently a 1:1 mapping between spec and code files, i.e.

(The Tessl team themselves see their framework as something that is more in the future than their current public product, the Tessl Registry.)

Service templates are a typical building block in the “golden paths” organisations build for their engineering teams, to make it easy to do the right thing.

And what’s more, if you’re creating prompts for multiple coding patterns, you want to keep them consistent with each other.

Maintaining code samples in a reference application project that you can compile and run (like a service template) makes it a lot easier to provide AI with compilable, consistent samples.

So in a second step, I wondered how we might use this approach to do a “code pattern drift detection” between the codebase and the reference application.

I tested this with a relatively simple example, I added a logger…

And the more experience I get with using AI, the more honed and intuitive these assessments become.

You can also more generally consider if you’re working on a use case that needs a high level of “correctness”, or not.

This dimension leans heavily on traditional engineering skills: test coverage, system knowledge, code review practices.

Let’s take the extremes as an example to illustrate this idea:Low probability + low impact + high detectability Vibe coding is fine!

High probability + high impact + low detectability High level of review is advisable.

                ❄                ❄                ❄                ❄I’m often asked, “what is the future of programming?” Should people consider entering software development now?

                ❄                ❄               ❇                ❄I’m also asked: “is AI a bubble”?

                ❄                ❄                ❄                ❄I retired from public speaking a couple of years ago.

                ❄                ❅

This engagement revealed that turning a system from black box to blueprint empowers modernization decisions and accelerates migration efforts.

Yet the business logic they embody is still critical to daily operations of thousands of users.

The result is what we call a black box: a system whose outputs we can observe, but whose inner workings remain opaque.

Even with partial CDC, the insights proved valuable in linking UI behavior to underlying data changes and enriching the system blueprint.

We faced multiple challenges (API usage limit, rate limits) - We couldn't verify what LLM translation of business logic was right or wrong.

To guide this process, I adopted a workflow that I refer to as “Research, Review, Rebuild”, which provides a structured, disciplined, and iterative approach to code migration.

Research, Review, Rebuild Figure 1: Research, Review, Rebuild Workflow The workflow I followed is called “Research, Review, Rebuild” — where we do a feature migration research using a couple of MCP servers, validate and approve the approach AI proposes, rebuild the feature and then once all the code generation is done, refactor things that you didn't like.

Research The “Research” phase of the approach involves generating an MCP-augmented LLM analysis of the selected Display Control.

Therefore, I strongly recommend…

CLI coding agents are a fundamentally different tool to chatbots or autocomplete tools - they're agents that can read code, run tests, and update a codebase.

The wave of CLI Coding Agents If you have tried Claude Code, Gemini Code, Open Code or Simon Willison’s LLM CLI, you’ve experienced something fundamentally different from ChatGPT or Github Copilot.

So that’s exactly what we did, and in this article I’ll take you through how we built our own CLI Coding Agent using the Pydantic-AI framework and the Model Context Protocol (MCP).

agent = Agent( instructions=instructions, model=model, ) The workflow change: The agent now understands our values around Test Driven Development and minimal chan…

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.

Здесь денег нет.

Криптографически случайная строка.