How Airbnb rolled out 20+ locally relevant payment methods worldwide in just 14 monthsBy: Gerum Haile, Bo Shi, Yujia Liu, Yanwei Bai, Bo Yuan, Rory MacQueen, Yixia MaoAcross the more than 220 global markets that Airbnb operates in, cards are the primary way that guests pay for stays, experiences, and services. However, to help make our platform accessible to more people, reduce friction at checkout, and drive more adoption, we introduced trusted, locally preferred payment methods — called local payment methods or LPMs. By offering and supporting these payment methods, Airbnb enables guests everywhere to choose what works best for them.In this blog post, we’ll discuss the implementation deta…

How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Faye Zhang, Staff Software Engineer; Jasmine Wan, Machine Learning Engineer I; Qianyu Cheng, Machine Learning Engineer II; Matthew Hichar, Machine Learning Engineer II; Eric Wan, Sr. Software Engineer; Jinfeng Rao, Sr. Staff Machine Learning EngineerOnline retailers and social platforms now operate catalogs with billions of items. Pinterest is one example, but the underlying challenge of how to organize products into precise, navigable shopping collections at web scale is shared across large e‑commerce and social discovery systems. Historically, collections have been derived from user search history and manual curation. In the age of multimodal large language models (LLMs), it is now possib…

Han Wang | Machine Learning Engineer; Alex Whitworth | Staff Data Scientist; Pak Ming Cheung | Sr. Staff Machine Learning Engineer; Zhenjie Zhang | Sr. Staff Machine Learning EngineerIntroductionSearch relevance measures how well search results align with a user’s search query. For personalized search systems, it’s important to ensure that displayed content is pertinent to the user’s information needs, rather than over-relying on the user’s past engagement. At Pinterest Search, we track whole-page relevance in online A/B experiments to evaluate new ranking models and ensure a high-quality user experience.Relevance measurement typically relies on human annotations, but is limited by the low …

Faisal Farooq | Sr. Director Trust Engineering; Aravindh Manickavasagam | Staff Technical Program Manager; Attila Dobi | Sr. Staff Data ScientistPeople come to Pinterest to find ideas they feel good about. To keep that experience safe, we need to know not just what gets reported, but what people actually saw. That’s what we call prevalence: the percentage of all views, on a given day, that went to content that violates a policy. Prevalence complements reporting by covering its blind spots, helping us spot under‑reported harms, track trends, and tell whether interventions work.Why Prevalence MattersHistorically, our Trust & Safety teams leveraged multiple indicators to understand the extent …

Rudraksh Kapil | Machine Learning Engineer I; Michal Giemza | Senior Machine Learning Engineer; Devan Srinivasan | Machine Learning Engineering Intern; Leif Sigerson | Senior Data Scientist; Stephanie Chen | Staff Quantitative Product Researcher; Wendy Matheny | Senior Lead Public Policy Manager; Jianjin Dong | Engineering Manager II; Qinglong Zeng | Senior Engineering ManagerIntroductory SummaryIn 2023 Pinterest became the Founding Signatory of the Inspired Internet Pledge — publicly stating our vision to adhere to three principles: (1) tuning for wellbeing, (2) listening to and acting on what we hear from users, and (3) sharing what we learn about making the internet a safer and healthier…

Dmitry Kislyuk | Director, Machine Learning; Ryan Galgon | Director, Product Management; Chuck Rosenberg | Vice President, Engineering; Matt Madrigal | Chief Technology OfficerForeword from Bill Ready, CEOThe AI landscape is undergoing a fundamental shift, and it’s not the one you think. The competitive frontier isn’t only about building the largest proprietary models. There are two other major trends emerging that haven’t had enough discussion:Open-source models have made tremendous strides, especially on cost relative to performance.Compact, fit-for-purpose models can meaningfully out-perform general purpose LLMs on specific tasks and do so at dramatically lower cost.Our Chief Technology …

Marcel Mateos Salles | Software Engineer Intern; Jorge Chavez | Sr. Software Engineer; Khashayar Kamran | Software Engineer II; Andres Almeida | Software Engineer; Peter Kim | Manager II ; Ajay Jha | Sr. Manager, ObservabilityAt Pinterest, inspiration isn’t just for our users — it shapes how we build and care for our platform. Until recently, our own observability (o11y) tools told a fragmented story: logs over here, traces over there, and metrics somewhere else. We’ve always excelled at collecting signals: time-series metrics, traces, logs, and change related events. But without the seamless context and unity now promised by open standards like OpenTelemetry (OTel), we were missing out on …

George Kandalaft | Software Engineer II, Test Tools; Alice Yang | Staff Software Engineer, Test ToolsTL;DRProblem StatementOur Android end-to-end testing builds in CI were slow and flaky because the test shards were unbalanced and the entire build had to wait for the single slowest shard on a third-party testing platform.SolutionWe built a runtime-aware sharding mechanism that uses historical test duration and stability data to pack tests greedily in an in-house testing platform with EC2-hosted emulators, ensuring all shards have a similar total runtime.ImpactThe end-to-end build time was reduced by 9 minutes (a 36% improvement), decreased the slowest shard’s runtime by 55%, and compressed …

Lessons on building platforms, driving adoption, and evolving foundationsDavid Liu • Senior Director of Engineering, ML PlatformAI at Pinterest has been a proving ground for building platforms. Over the past decade, we went from ad-hoc machine learning stacks cobbled together by individual teams to a unified AI Platform that powers every major surface, spanning from recommendation and ranking models to emerging foundation and generative models.The rapid pace of ML and AI brought new capabilities, but also new limits. What appeared to be purely technical choices often turned out to hinge on organizational structures and timing. This retrospective looks back at lessons we learned that we hope…

Lin Zhu | Sr. Staff Machine Learning EngineerJaewon Yang | Principal Machine Learning EngineerRavi Kiran Holur Vijay | Director, Machine Learning EngineeringPinterest has always been a go-to destination for inspiration, a place where users explore everything from daily meal ideas to major life events like planning a wedding or renovating a home. Our core mission is to be an inspiration-to-realization platform. To fulfill this, we recognized a critical challenge: we needed to move beyond understanding immediate interests and comprehend the underlying, long-term goals of our users. Therefore, we introduce user journeys as the foundation for recommendations.We define a journey as the intersect…

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In part one we shared the overall design of Moka, our new next gen data processing platform, and detailed its application focused components. In part two of our series, we spotlight the infrastructure focused aspects of our platform: how we deploy Moka using AWS E…

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

Meta’s secure-by-default frameworks wrap potentially unsafe OS and third-party functions, making security the default while preserving developer speed and usability. These frameworks are designed to closely mirror existing APIs, rely on public and stable interfaces, and maximize developer adoption by minimizing friction and complexity. Generative AI and automation accelerate the adoption of secure frameworks at [...]

Read More...

The post How AI Is Transforming the Adoption of Secure-by-Default Mobile Frameworks appeared first on Engineering at Meta.

We’re introducing Zoomer, Meta’s comprehensive, automated debugging and optimization platform for AI. Zoomer works across all of our training and inference workloads at Meta and provides deep performance insights that enable energy savings, workflow acceleration, and efficiency gains in our AI infrastructure. Zoomer has delivered training time reductions, and significant QPS improvements, making it the [...]

Read More...

The post Zoomer: Powering AI Performance at Meta’s Scale Through Intelligent Debugging and Optimization appeared first on Engineering at Meta.

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

We’re sharing details about Meta’s Generative Ads Recommendation Model (GEM), a new foundation model that delivers increased ad performance and advertiser ROI by enhancing other ads recommendation models’ ability to serve relevant ads. GEM’s novel architecture allows it to scale with an increasing number of parameters while consistently generating more precise predictions efficiently. GEM propagates [...]

Read More...

The post Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation appeared first on Engineering at Meta.

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Imagine being able to use AI to create 3D virtual worlds using prompts as easily as you can generate images. The intersection of AI and VR was one of the biggest topics at Meta Connect this year. In his keynote, Mark Zuckerberg shared his vision of a future where anyone can create virtual worlds using [...]

Read More...

The post AssetGen: Generating 3D Worlds With AI appeared first on Engineering at Meta.

Over the past 21 years, Meta has grown exponentially from a small social network connecting a few thousand people in a handful of universities in the U.S. into several apps and novel hardware products that serve over 3.4 billion people throughout the world. Our infrastructure has evolved significantly over the years, growing from a [...]

Read More...

The post Meta’s Infrastructure Evolution and the Advent of AI appeared first on Engineering at Meta.

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

We’re sharing how Meta is applying machine learning (ML) and diversity algorithms to improve notification quality and user experience. We’ve introduced a diversity-aware notification ranking framework to reduce uniformity and deliver a more varied and engaging mix of notifications. This new framework reduces the volume of notifications and drives higher engagement rates through more diverse [...]

Read More...

The post A New Ranking Framework for Better Notification Quality on Instagram appeared first on Engineering at Meta.

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

Navigating market complexity: How Permutable AI delivers next-level macro intelligence for global investors.

Data analytics helps businesses spot risks early and make safer choices that protect workers and reduce costly accidents.

Data analytics helps traders make clearer, more disciplined stock market decisions by relying on evidence instead of instinct.

The crystal ball of business: How predictive analytics is becoming essential for modern risk management.

Data tools are giving gold traders clearer signals, sharper insights, and stronger protection.

Advanced degrees give professionals the judgment, resilience, and career mobility needed to thrive as AI reshapes the workforce.

Lego blocks for data: How a composable approach lets you build, change, and scale analytics with ease.

Learn how small business owners can use data analytics to compare suppliers and find the most durable, cost-effective poly bags.

Data analytics is giving e-commerce companies smarter, faster, and more secure payment systems that improve both profits and trust.

Discover how AI tools are helping artists create lyric videos faster, easier, and with more creative freedom than ever before.

As AI adoption accelerates, companies must rethink their computing strategy to handle rising data and power demands effectively.

Data analytics is reshaping the pharmacy industry by driving smarter decisions, tracking market shifts, and improving patient outcomes.

Call centers are rapidly evolving with generative AI driving faster service, smarter interactions, and stronger customer relationships.

Learn how data analytics can help drivers cut costs, track expenses, and make better decisions for long-term vehicle savings.

Data is abundant, but good decisions are not automatic. Organizations increasingly recognize that analytics alone is insufficient—they need structured methods to turn insights into action. This is where decision science and AI intersect. Decision science provides the framework for making optimal choices under uncertainty. Artificial intelligence (AI) supplies the scale, speed, and predictive power to […]

The post Decision Science and AI: How Artificial Intelligence Is Transforming Decision-Making appeared first on WeCloudData.

Organizations today are flooded with data but data alone does not lead to better outcomes. What truly creates value is the ability to turn data into consistent, repeatable, and high-quality decisions. This is where decision science plays a critical role. This article explains what is decision science, how it differs from related fields, real-world examples, […]

The post What is Decision Science: Scope and Career Opportunities appeared first on WeCloudData.

As organizations rely more heavily on data for analytics, AI, and business decision-making, one question keeps surfacing: who owns the data, who can use it, and how can it be trusted? The answer lies in data governance. A foundational discipline that ensures data is accurate, secure, compliant, and usable across the enterprise. This guide breaks […]

The post Data Governance: What It Is, Why It Matters, and How It Works appeared first on WeCloudData.

Software development is evolving—not just in tools, but in how developers work. One emerging concept gaining traction across developer communities is vibe coding. While not a formal methodology, it reflects a mindset focused on flow, creativity, and momentum. As AI tools, cloud environments, and flexible workflows mature, many developers are asking: What is a vibe […]

The post Vibe Coding Explained: A Practical Guide to the Tools and Future appeared first on WeCloudData.

Organizations across industries are accelerating AI adoption, yet outcomes often fall short of expectations. According to McKinsey, while more than 55% of organizations have adopted AI in at least one business function, only a fraction report meaningful financial impact. One of the most cited reasons is the lack of AI-ready talent within existing teams. Without […]

The post Why AI Training for Employees Is Now a Business Imperative appeared first on WeCloudData.

What is AWS Azure and GCP? Which cloud platform is best for your career? Here’s the simplest guide you’ll find. Cloud computing has become the backbone of modern tech. Whether you pursue data engineering, AI engineering, DevOps, cloud security, or software development, you will likely work with one—or even all—of the big three cloud providers: […]

The post AWS vs Azure vs GCP: Big 3 Cloud Providers (2025) appeared first on WeCloudData.

If you’ve been exploring cloud computing, data engineering, DevOps, or AI infrastructure, you’ve probably come across Amazon Web Services (AWS), the world’s most widely used cloud platform. But what is AWS and why is it used by millions of organizations? And more importantly, how can beginners start learning it in 2025? This guide breaks down […]

The post Introduction to AWS (Amazon Web Services) appeared first on WeCloudData.

When it comes to data analysis, reporting, and business decision-making, SQL vs Excel is one of the most common comparisons learners face. Both tools are powerful, widely used, and foundational for analytics — but they serve different purposes and shine in different scenarios. If you’re trying to decide What should I learn first, Excel or […]

The post SQL vs Excel appeared first on WeCloudData.

AI automation is rapidly reshaping the global workforce, business operations, and the way organizations build efficiency at scale. As generative artificial intelligence matures, companies are now moving beyond experimentation and into a phase where AI and automation work together to power smarter, faster, and more autonomous systems. From marketing to finance to data engineering, workflows […]

The post Diving Into AI and Automation appeared first on WeCloudData.

Kubernetes has become the backbone of modern cloud infrastructure. Whether you’re working in DevOps, Cloud Engineering, SRE, Platform Engineering, or MLOps, Kubernetes skills are no longer optional—they’re a career accelerant. Yet many professionals still ask: This guide breaks down everything you need to know about Kubernetes certifications in 2025 and how WeCloudData’s hands-on training fits […]

The post Getting a Kubernetes Certification? Your Practical Guide to CKA & Beyond appeared first on WeCloudData.

In the modern tech landscape, collaboration, traceability, and version history are non-negotiable especially for developers, data analysts, and machine learning engineers. That’s where Git and version control come in. If you’ve ever wondered “What is Git and GitHub in simple terms?” or “What is the main use of Git?”, this guide breaks it down clearly […]

The post Learn Version Control and GitHub Basics appeared first on WeCloudData.

In today’s data-driven world, visualization tools like Power BI and Tableau are transforming how businesses interpret, share, and act on data insights. But for aspiring data professionals, one big question remains — Which is best, Power BI or Tableau? Whether you’re planning your first BI certification or looking to upskill, choosing between these two leading […]

The post Power BI vs Tableau Guide appeared first on WeCloudData.

In 2025, AI models don’t just need to be built, they need to be delivered. That’s where Docker and Kubernetes come in. For data professionals entering the world of MLOps, understanding how to deploy and scale machine learning models is just as critical as knowing how to train them. But if you’re new to this […]

The post Docker vs Kubernetes: What Should You Learn First appeared first on WeCloudData.

In 2025, data isn’t just a competitive advantage — it’s the foundation of every decision. The ability to transform raw information into actionable insights is what separates top-performing professionals from the rest. And when it comes to mastering this skill, few tools are as powerful and beginner-friendly as Power BI. If you’re looking to learn […]

The post Learn Power BI: Roadmap to Data Visualization Success appeared first on WeCloudData.

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Delta Lake is a fantastic technology for quickly querying massive data sets,

but first you need those massive data sets! In this

talk from Data and AI

Summit 2025 I dive into the cloud-native

architecture Scribd has adopted to ingest data from AWS Aurora, SQS, Kinesis

Data Firehose and more!

By using off-the-shelf open source tools like kafka-delta-ingest, oxbow and

Airbyte, Scribd has redefined its ingestion architecture to be more

event-driven, reliable, and most importantly: cheaper. No jobs needed!

Attendees will learn how to use third-party tools in concert with a Databricks

and Unity Catalog environment to provide a highly efficient and available data

platform.

This architecture will …

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

Amazon Bedrock AgentCore services are now being supported by various IaC frameworks such as AWS Cloud Development Kit (AWS CDK), Terraform and AWS CloudFormation Templates. This integration brings the power of IaC directly to AgentCore so developers can provision, configure, and manage their AI agent infrastructure. In this post, we use CloudFormation templates to build an end-to-end application for a weather activity planner.

In this post, we demonstrate how the Amazon Catalog Team built a self-learning system that continuously improves accuracy while reducing costs at scale using Amazon Bedrock.

As organizations scale their observability and analytics capabilities across multiple AWS Regions and environments, maintaining consistent dashboards becomes increasingly complex. Teams often spend hours manually recreating dashboards, creating workspaces, linking data sources, and validating configurations across deployments—a repetitive and error-prone process that slows down operational visibility. The next generation OpenSearch UI in Amazon OpenSearch Service […]

In this post, we show how to migrate an Oracle data warehouse to Amazon Redshift using Oracle GoldenGate and DMS Schema Conversion, a feature of AWS Database Migration Service (AWS DMS). This approach facilitates minimal business disruption through continuous replication.

Amazon MSK Express brokers are a key component to dynamically scaling clusters to meet demand. Express based clusters deliver 3 times higher throughput, 20 times faster scaling capabilities, and 90% faster broker recovery compared to Amazon MSK Provisioned clusters. In addition, Express brokers support intelligent rebalancing for 180 times faster operation performance, so partitions are automatically and consistently well distributed across brokers. Intelligent rebalancing automatically tracks cluster health and triggers partition redistribution when resource imbalances are detected, maintaining performance across brokers. This post demonstrates how to use the intelligent rebalancing featur…

In this post, we guide you through connecting various analytics tools to Amazon SageMaker Unified Studio using the Athena JDBC driver, enabling seamless access to your subscribed data within your Amazon SageMaker Unified Studio projects.

In this post, we demonstrate the capabilities of SageMaker Data Agent, discuss the challenges it addresses, and explore a real-world example analyzing New York City taxi trip data to see the agent in action.

In 2023, Tradeshift migrated one of its core PostgreSQL databases from self-managed Amazon Elastic Compute Cloud (Amazon EC2) instances to Amazon Relational Database Service (Amazon RDS) for PostgreSQL. The decision followed mounting operational risks and performance limits that made the existing setup increasingly unsustainable. Tradeshift needed a managed solution that could reduce downtime risk, improve observability, and simplify ongoing operations. Amazon RDS met those requirements. In this post, we explain why we migrated to Amazon RDS, how we executed the migration, and highlight the invaluable benefits it delivered in terms of safety, flexibility, and audit compliance.

MaiCoin is a leading cryptocurrency exchange and brokerage platform in Taiwan. The MaiCoin platform previously ran on a set of Amazon ElastiCache deployment clusters on Redis OSS. This post explores MaiCoin’s practical approaches using RedisShake for migrating from Amazon ElastiCache for Redis OSS to Amazon ElastiCache for Valkey using blue/green deployment strategies.

PDI Technologies is a global leader in the convenience retail and petroleum wholesale industries. In this post, we walk through the PDI Intelligence Query (PDIQ) process flow and architecture, focusing on the implementation details and the business outcomes it has helped PDI achieve.

In this post, we demonstrate how CLICKFORCE used AWS services to build Lumos and transform advertising industry analysis from weeks-long manual work into an automated, one-hour process.

This blog post explains how TR's Platform Engineering team, a geographically distributed unit overseeing TR's service availability, boosted its operational productivity by transitioning from manual to an automated agentic system using Amazon Bedrock AgentCore.

In this post, we walk you through the complete architecture to structure and store episodes, discuss the reflection module, and share compelling benchmarks that demonstrate significant improvements in agent task success rates.

Amazon RDS for MySQL and Amazon Aurora MySQL provide built-in audit logging capabilities, but customers might need to export and store these logs for long-term retention and analysis. Amazon S3 offers an ideal destination, providing durability, cost-effectiveness, and integration with various analytics tools. In this post, we explore two approaches for exporting MySQL audit logs to Amazon S3: either using batching with a native export to Amazon S3 or processing logs in real time with Amazon Data Firehose.

In this post, we show how bunq upgraded Finn, its in-house generative AI assistant, using Amazon Bedrock to transform user support and banking operations to be seamless, in multiple languages and time zones.

In this post, we explore how to build a multi-agent video processing workflow using Strands Agents, Meta's Llama 4 models, and Amazon Bedrock to automatically analyze and understand video content through specialized AI agents working in coordination. To showcase the solution, we will use Amazon SageMaker AI to walk you through the code.

In this post, we present a scalable solution that addresses the challenge of migrating your large binary objects (LOBs) from Oracle to AWS by using a streaming architecture that separates LOB storage from structured data. This approach avoids size constraints, reduces Oracle licensing costs, and preserves data integrity throughout extended migration periods.

Bazaarvoice is an Austin-based company powering a world-leading reviews and ratings platform. Our system processes billions of consumer interactions through ratings, reviews, images, and videos, helping brands and retailers build shopper confidence and drive sales by using authentic user-generated content (UGC) across the customer journey. In this post, we show you the steps we took to migrate our workloads from self-hosted Kafka to Amazon Managed Streaming for Apache Kafka (Amazon MSK). We walk you through our migration process and highlight the improvements we achieved after this transition.

Organizations managing large-scale analytical workloads increasingly face challenges with traditional Apache Parquet-based data lakes with Hive-style partitioning, including slow queries, complex file management, and limited consistency guarantees. Apache Iceberg addresses these pain points by providing ACID transactions, seamless schema evolution, and point-in-time data recovery capabilities that transform how enterprises handle their data infrastructure. In this post, we demonstrate how you can achieve migration at scale from existing Parquet tables to Apache Iceberg tables. Using Amazon DynamoDB as a central orchestration mechanism, we show how you can implement in-place migrations that …

In Amazon Relational Database Service (Amazon RDS) for SQL Server, database visibility is configured using a dedicated stored procedure. In this post, we demonstrate tenant isolation at the visibility level, preventing tenants from seeing database names belonging to other customers while maintaining their access to their own resources. This solution addresses an important architectural consideration in multi-tenant SQL Server environments where database names might reveal tenant information. By using the Amazon RDS for SQL Server custom stored procedure msdb.dbo.rds_manage_view_db_permission, users can effectively control database visibility on a per-login basis while maintaining full appli…

In this post, we discuss how the Shared Plan Cache feature of the Amazon Aurora PostgreSQL-Compatible Edition can significantly reduce memory consumption of generic SQL plans in high-concurrency environments.

In this post, we'll guide you through building multimodal RAG applications. You'll learn how multimodal knowledge bases work, how to choose the right processing strategy based on your content type, and how to configure and implement multimodal retrieval using both the console and code examples.

In this post, we explore how you can use generative AI to automate and enhance the creation of SCP-compliant IaC. For this, we’ve used Amazon Bedrock, AWS Lambda functions, and foundation models in our solution. By combining these technologies, you can establish a proactive workflow that makes sure IaC is generated as required by your organizations policies before deployment. This post demonstrate how this generative AI-powered approach can help you to generate IaC that’s compliance-aligned with your organization’s standard SCP.

In this post, we show you how fine-tuning enabled a 33% reduction in dangerous medication errors (Amazon Pharmacy), engineering 80% human effort reduction (Amazon Global Engineering Services), and content quality assessments improving 77% to 96% accuracy (Amazon A+). This post details the techniques behind these outcomes: from foundational methods like Supervised Fine-Tuning (SFT) (instruction tuning), and Proximal Policy Optimization (PPO), to Direct Preference Optimization (DPO) for human alignment, to cutting-edge reasoning optimizations such as Grouped-based Reinforcement Learning from Policy Optimization (GRPO), Direct Advantage Policy Optimization (DAPO), and Group Sequence Policy Opt…

Palo Alto Networks’ Device Security team wanted to detect early warning signs of potential production issues to provide more time to SMEs to react to these emerging problems. They partnered with the AWS Generative AI Innovation Center (GenAIIC) to develop an automated log classification pipeline powered by Amazon Bedrock. In this post, we discuss how Amazon Bedrock, through Anthropic’ s Claude Haiku model, and Amazon Titan Text Embeddings work together to automatically classify and analyze log data. We explore how this automated pipeline detects critical issues, examine the solution architecture, and share implementation insights that have delivered measurable operational improvements.

The AWS AI League, launched by Amazon Web Services (AWS), expanded its reach to the Association of Southeast Asian Nations (ASEAN) last year, welcoming student participants from Singapore, Indonesia, Malaysia, Thailand, Vietnam, and the Philippines. In this blog post, you’ll hear directly from the AWS AI League champion, Blix D. Foryasen, as he shares his reflection on the challenges, breakthroughs, and key lessons discovered throughout the competition.

In this post, we demonstrate how to use a GitHub Actions workflow to automate the deployment of AI agents on AgentCore Runtime. This approach delivers a scalable solution with enterprise-level security controls, providing complete continuous integration and delivery (CI/CD) automation.

In this post, we show you how to implement real-time data ingestion from multiple Kafka topics to Apache Hudi tables using Amazon EMR. This solution streamlines data ingestion by processing multiple Amazon Managed Streaming for Apache Kafka (Amazon MSK) topics in parallel while providing data quality and scalability through change data capture (CDC) and Apache Hudi.

At re:Invent 2025, Matt Garman announced AWS DevOps Agent, a frontier agent that resolves and proactively prevents incidents, continuously improving reliability and performance. As a member of the DevOps Agent team, we’ve focused heavily on making sure that the “incident response” capability of the DevOps Agent generates useful findings and observations. In particular, we’ve been […]

With Amazon Redshift Serverless queue-based Query Monitoring Rules (QMR), administrators can define workload-aware thresholds and automated actions at the queue level—a significant improvement over previous workgroup-level monitoring. You can create dedicated queues for distinct workloads such as BI reporting, ad hoc analysis, or data engineering, then apply queue-specific rules to automatically abort, log, or restrict queries that exceed execution-time or resource-consumption limits. By isolating workloads and enforcing targeted controls, this approach protects mission-critical queries, improves performance predictability, and prevents resource monopolization—all while maintaining the flex…

Hello! I need some help regarding the Magellan framework's usage in Google Colab. During the installation with !pip install py_entitymatching I get the following error: Using cached py-stringsimjoin-0.3.6.tar.gz (1.4 MB) Installing build dependencies ... done error: subprocess-exited-with-error ERROR: Failed to build 'py-stringsimjoin' when getting requirements to build wheel Did anyone could solve this issue? submitted by /u/Logical_Edge_3641 [link] [comments]

We use dbt Cloud and Metabase at my company, and while Metabase is great, we've always had this annoying problem: it's hard to know which columns are actually being. This got even worse once we started doing more self-serve analytics. So I built a super simple VSCode extension to solve this. It shows you which columns are being used and which Metabase questions they show up in. Now we know which columns we need to maintain and when we should be careful making changes. I figured it might help other people too, so I decided to release it publicly as a little hobby project. Works with dbt Core, Fusion, and Cloud For Metabase, you'll need the serialization API enabled It works for native and SQ…

I am a newbie,I have worked on a data platform for 6 months. It was an open source based data Platform. But I am no longer working there. I am planning to start something of my own, but I need inputs from you guys as I lack experience. I am planning to build an LLM based data platform where we can setup the whole architecture using LLMs. Like setting up NiFi flow using LLM, making Database and Tables, altering schemas, automating the DAG writing and execution etc. all that using LLM. Every user will have level of access based upon their roles and LLM will be locally hosted. There will be web UI but working with LLM may allow people with lesser skill set to work on it. Reducing the people co…

I have 5+ years of experience in mainframe devlopment and modernization. During this time I was also involved in a project which was ETL using python primarily. Apart from this I also did ETL as part of modernization (simple stuff like cleaning legacy output, loading them to SQL server) and then readying that for PBI. I wonder if this would be enough for me to drift to a core data engineering career? I have done few projects on my own with Databricks, PSQL and a little bit of exposure on Azure Data Factory. submitted by /u/oldschool456 [link] [comments]

I’m not talking about disasters. Just normal work: - UPDATE / DELETE with a WHERE - Backfills - Fixing bad records Things that *should* be safe, but somehow still feel risky. I’ve seen: - Manual backups before running SQL - People triple-checking queries - Teams banning direct DB writes entirely What’s your approach now? submitted by /u/Specific-Permit8840 [link] [comments]

Why specialized models still hold the 30x speed advantage in production environments

The post SAM 3 vs. Specialist Models — A Performance Benchmark appeared first on Towards Data Science.

Compare Azure ML and AWS SageMaker for scalable model training, focusing on project setup, permission management, and data storage patterns, to align platform choices with existing cloud ecosystem and preferred MLOps workflows

The post Azure ML vs. AWS SageMaker: A Deep Dive into Model Training — Part 1 appeared first on Towards Data Science.

An introduction to neural machine translation

The post How to Build a Neural Machine Translation System for a Low-Resource Language appeared first on Towards Data Science.

Understand air quality: access the available data, interpret data types, and execute starter codes

The post Air for Tomorrow: Mapping the Digital Air-Quality Landscape, from Repositories and Data Types to Starter Code appeared first on Towards Data Science.

A deep dive on data transfer bottlenecks, their identification, and their resolution with the help of NVIDIA Nsight™ Systems – part 3

The post Optimizing Data Transfer in Distributed AI/ML Training Workloads appeared first on Towards Data Science.

Learn to leverage few-shot prompting to increase your LLMs performance

The post Achieving 5x Agentic Coding Performance with Few-Shot Prompting appeared first on Towards Data Science.

How prompt engineering has evolved, examined scientifically; and implications for the future of conversational AI tools

The post Why the Sophistication of Your Prompt Correlates Almost Perfectly with the Sophistication of the Response, as Research by Anthropic Found appeared first on Towards Data Science.

Customer churn is usually a gradual process, not a sudden event. In this post, we analyze monthly transaction trends and convert regression slopes into degrees to clearly identify declining purchase behavior. A small negative slope today can prevent a big revenue loss tomorrow.

The post From Transactions to Trends: Predict When a Customer Is About to Stop Buying appeared first on Towards Data Science.

Let's zoom in on recent approaches that push AI-powered workflows to the next level

The post TDS Newsletter: Beyond Prompt Engineering: The New Frontiers of LLM Optimization appeared first on Towards Data Science.

How to evaluate goal-oriented content designed to build engagement and deliver business results, and why structure matters.

The post Evaluating Multi-Step LLM-Generated Content: Why Customer Journeys Require Structural Metrics appeared first on Towards Data Science.

How I use analytics, automation, and AI to build better SaaS The post Why SaaS Product Management Is the Best Domain for Data-Driven Professionals in 2026 appeared first on Towards Data Science.

Master the art of readable, high-performance data selection using .query(), .isin(), and advanced vectorized logic.

The post Stop Writing Messy Boolean Masks: 10 Elegant Ways to Filter Pandas DataFrames appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

pandas 3.0Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк str вместо привычного numpy object. По словам разработчиков это значительно улучшает производительность кода. Также теперь Copy-on-Write это единственный режим для изменения значения колонок у датафрейма, более подробно здесь. Перед миграцией на новую версия pandas необходимо прошерстить легаси код и внести изменения, если вдруг в коде есть проверки на object или неоднозначные изменения датафрейма (вездесущий SettingWithCopyWarning в логах).Ссылка на полный release notes.

fastjsondiff - High-performance JSON comparison with a Zig-powered coreНаписал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.pip install fastjsondiff-zigGithub: https://github.com/adilkhash/fastjsondiffPyPI: https://pypi.org/project/fastjsondiff-zig/Буду признателен за ⭐ на репе в гитхабе, это поможет её распространить дальше.

Zen HabitsВстречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits.Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их. Внутри есть стена коммитов по типу Github.Велком: https://zenhabits.dev/Пожелания, критику и оскорбления жду в чатике канала 🫂

The Definitive Guide to Apache Airflow® 3 DAGs146 страниц отборного мяса и лучших практик про написание DAGов для Apache Airflow 3.

Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)

Orchestrate LLMs and Agents with Apache Airflow®Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Доклады с Airflow Summit 2025Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам:— Airflow at OpenAI— Benchmarking the Performance of Dynamically Generated DAGs— Airflow That Remembers: The Dag Versioning Era is here!— DAGLint: Elevating Airflow DAG Quality Through Automated Linting— Allegro's Airflow Journey: From On-Prem to Cloud Orchestration at Scale— Deadline Alerts in Airflow 3.1— Beyond Logs: Unlocking Airflow 3.0 Observability with OpenTelemetry Traces— Introducing Apache Airflow® 3 – The Next Evolution in Orchestration— Security made us do it: Airflow’s new Task Execution Architecture— Unlocking Event-Driven Sc…

Очередной подгон от Astronomer про лучшие практики построения ETL/ELT пайплайнов на базе Apache Airflow 3 — Best practices for ETL and ELT pipelines with Apache Airflow 3Небольшая электронная книга на 50 страниц, удобно использовать как справочник.

XLTable - OLAP Cервер для нового стека данныхРаботайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel.Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.📈Ключевые возможности XLTable: • Аналог MS OLAP (SSAS) для больших данных • Интеграция с MS Excel по протоколу XMLA • Поддержка ClickHouse, BigQuery, Snowflake • Скоро: YDB, Greenplum • Множество групп мер, иерархий и измерений в одном кубе • Гибкие настройки кэширования • Развёртывание внутри вашей инфраструктуры или в облаке🔒Безопасность: • Интеграция с LDAP • Разграничение доступа на уровне мер, измерений и их членов⚙️Производительность:• Безлимитное количество мер и изме…

Apache Airflow 3.1.1Вышел новый релиз Apache Airflow 3.1.1 очередным паком багфиксов — Airflow 3.1.1 (2025-10-27). Пофиксали очередную утечку памяти с remote logging connection cache. Что-то 3-я версия Эйрфлоу богата на ошибки с утечками памяти. Бегу обновлять свой инстанс.

Построение пайплайнов dlt в Apache Airflowdlt это python библиотека для загрузки данных из разных источников. Она из коробки поддерживает работу с REST API, SQL, облачными хранилища и т.д. В сети появился бесплатный курс как подружить dlt и Apache Airflow — Deploy dlt pipelines. Сейчас доступны материалы про Apache Airflow, но на подходе информация и про Prefect, Dagster, Kestra, Orchestra и Modal. Я неоднократно слышал про dlt, но ни разу не доводилось использовать. Сейчас у меня есть пара проектов, где необходимо забирать данные из Airtable. Планирую ознакомиться с курсом и попробовать переделать свой пайплайн.

Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу данных: Qdrant EssentialsМеня в последнее время интересует тема векторного поиска и векторных БД, и Qdrant как раз неплохой кандидат на изучение и реализацию какого-нибудь проекта (спойлер: домашнего векторного поисковика). Курс прям как по заказу!

The Annual Airflow SurveyЕсли вы пользуетесь Apache Airflow, то давайте поможем сообществу собрать больше информации об использовании Airflow. До 20 ноября необходимо заполнить опросник на сайте взамен вы получите возможность пройти сертификацию по Airflow от Astronomer бесплатно (я сдавал их экзамен и он хороший). Опросник небольшой, замёт не более 10 минут вашего времени.

Airflow AI SDKНашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk.Пакет предлагает набор декораторов:— LLM tasks with @task.llm: Define tasks that call language models to process text— Agent tasks with @task.agent: Orchestrate multi-step AI reasoning with custom tools—Branching with @task.llm_branch: Change DAG control flow based on LLM output— Embedding tasks with @task.embed: Create vector embeddings from textПоддерживает работу с OpenAI, Anthropic, Gemini и другими через пакет pydantic-ai. С новым механизмом Human-in-the-Loop в Airflow 3.1 стало ещё удобнее контролировать процесс с помощью человека. Имхо, Airflow неплохо вписывает…

MCP сервер для Apache AirflowНашел репозиторий с готовым MCP сервером для Apache Airflow — mcp-server-apache-airflowMCP или Model Context Protocol - это протокол, позволяющий большим языковым моделям взаимодействовать со сторонними сервисами, дергая их за "ручки". Например, используя этот MCP сервер для Airflow можно через ИИ-агента манипулировать дагами и не только.

Есть интересный концепт про проверку вашей LLM на самостоятельность - Solving a Million-Step LLM Task with Zero ErrorsГлавная проблема современных языковых моделей (LLM) — «накопление ошибок». Если задача требует 1000 последовательных шагов и на каждом шаге вероятность ошибки всего 1%, то вероятность успешного завершения всей цепочки стремится к нулю.Авторы представили систему MAKER, которая смогла выполнить задачу, состоящую из более чем 1 000 000 (миллиона!) шагов, не допустив ни одной ошибки.За счет чего это работает?🔹 Микроагенты: Задачу дробят на атомарные части, где ошибиться практически невозможно.🔹 Массовое голосование: Каждый чих нейронки проверяется другими агентами в реальном вре…

Как говориться elevate your game with AI - ну то есть пора уже дальше двигаться. Кто смотрел мое видео как я на работе работаю и задачки закрываю одну за другой с AI, MCP, rulers, repo indexing и тп? Там я показал реальные практические примеры, которые закрывают 90% моих повседневных задач.Но все это ограничено 1-2 сессиями с AI, где я, как бы контролирую файлы и процесс.Все пошло дальше. Теперь инженер может запускать 20-50 сессий и агенты работают, каждый в свой git branch и потом все это собирается в pull request.Я пока еще не приступил к такому, но это следующий шаг в разработке, уже без IDE.Вот что почитать:GastownMulti-Claude Claude-flowЭто все будем разбирать на Surfalytics. Даже уже…

Сейчас стараемся изучать каждые выходные проекты. Сегодня Snowflake + Terraform. Очень круто, что ребята выходят из зоны комфорта и учат других!

ФААНГ уже нет… В топе их нет по зарплатам.В этом плане для меня рынок Северной Америки — это большой непредсказуемый рынок. Тут всё ещё есть надежда найти интересную работу, высокую зарплату, начать что-то совмещать или делать своё. В целом нет предела, и есть рабочие варианты для роста дохода.В РФ мне всё видится в другой плоскости. Все зарплаты чётко ограничены. Совмещение практически исключено. Главное направление дополнительного дохода — это коучинг, менторинг и курсы. Создать свой сервис или продукт очень сложно.На рынке работодателей доминируют несколько основных компаний с известными вилками. Если брать дата-инженеров, то это всегда одинаковый доход и схожий стек. Рост только в лидов…

Интересная точка зрения подъехала про использования токенов для LLM. Я про такое даже не задумывался. Отличный хак для вендора.Милое зрелище: девелоперы искренне верят, что «обманули систему», платя по $200 в месяц за безлимитный Claude Code. «О, я сжигаю токенов на $2К шестью инстансами Claude Code еще до завтрака!»Приятель, ты сжигаешь не токены. Ты сжигаешь наценку.Я подключил Claude Code к выделенному vLLM, чтобы посмотреть, что там реально «под капотом». После шести часов чистого кодинга и дебага картина такая: * 47 млн входящих токенов (prompt tokens). * 45 млн попаданий в префикс-кэш (prefix-cache hits). * 96,39% коэффициент попадания в кэш (token-weighted). * Реальные вычисления: 1,…

Недавно помог Ване (Ivan) из Мексики 🇲🇽В октябре к сообществу Surfalytics присоединился парнишка из Mexico City. Очень весёлый и оптимистичный, в каждом посте писал jajaja — это аналог нашего хахаха. Я не знаю, где он меня нашёл. Ну он коренной мексиканец, если что.Я добавил его карточку intro и его пост о job offer. У него были не самые сильные скилы по дата-аналитике, но он всё сделал на 100%, как мы ему посоветовали: новое резюме, пет-проекты, мок-собеседования и дальше долбить собеседования.В итоге вчера он написал, что получил оффер в штаты (remote) на Sr DE, с зарплатой в USD, которая в 2 раза выше аналога в Mexico City.То есть рецепт простой — никакой самодеятельности. Когда вам дают…

Канал Лёши Арефьева про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- что делать, когда исследований овердохрена https://t.me/alexcouncil/1156 - проектный менеджмент для самых маленьких https://t.me/alexcouncil/1142 - про метрики продукта: CAC - сколько стоит клиент https://t.me/alexcouncil/1136- шпаргалка: пирамида метрик https://t.me/alexcouncil/1122- про следующий уровень по позиции https://t.me/alexcouncil/1020Если интересно, подписывайтесь - @alexcouncil

Пример некомпетентности или лени? Вопрос только чей — моей или менеджера?У компании есть Stripe (платежная система), в которой заведены продукты и подписки. У каждого продукта есть свои вложенные свойства — план, срок, страховка и т.п.Задача: сделать дашборд с простыми показателями — ARR, Active Customers, Cancellation, Expansions и т.п.Как работает система: Fivetran загружает данные в Snowflake, dbt использует medallion architecture, дашборд в Sigma BI.Максимально популярный кейс для стартапов и небольших компаний в Северной Америке.Команда и контекстВ команде (data team) есть VP, Product Manager/Analyst Customer Analytics, Data Analyst.Есть существующие dbt-модели от прежнего подрядчика и…

Контекст из индустрииТаких ситуаций много. В 1Password на ARR и подписках погорело много аналитиков (уволили), так как часто бывает полный хаос внутри, начиная с момента, как вы заводите новый продукт в системе.Вопрос к вамЕсть ли у вас примеры, когда к вам прилетала задачка, которая не совсем про вас, или когда вы давали задачу человеку, а он её избегал?

Что вы знаете о стратегии данных (data strategy)?Стратегия данных — это комплексный план организации по управлению данными как стратегическим активом для достижения бизнес-целей. Это документ или набор принципов, определяющих, как компания будет собирать, хранить, обрабатывать, анализировать и использовать данные для создания ценности. ОБычно про стратегию часто говорят в компаниях, но все ограничивается презентацией с планами на будущее. Поэтому ценность этого мероприятия совсем размылась, хотя это должен быть важный документ, который расскажет все зачем нужна дата команда и куда потратят кучу денег следующие несколько лет.Как у вас дела со стратегией? Писали? Видели?

Как найти работу за рубежом, если страшно и непонятно с чего начать?Международный рынок открывает двери к крутым проектам, зарплатам в долларах и евро, но иногда кажется искать работу за границей долго, нудно и слишком сложно! Непонятно, что делать. Правила рынка другие. Здесь мало резюмешки на хэдхантере и рекрутеры за тобой не бегают толпами. Нужно заводить LinkedIn, искать рефералов, выискивать вакансии среди десятков джоб-бордов...Разобраться быстро самому почти невозможно. Зато есть такие ребята как AgileFluent 👇Они уже 4 года помогают IT и Digital специалистам выйти на международный рынок. На их счету — 800+ офферов в 32 странах в такие компании как Amazon, Cisco, UniCredit, Revolut, …

Классный обзор от знакомого про Claude Code

Пришло время Agentic RAG — подхода, при котором AI-агент самостоятельно ищет, рассуждает и действует, используя RAG не как чат, а как инструмент доступа к знаниям 😎На вебинаре 22 января специалисты Cloud․ru покажут, как с помощью Evolution AI Agents, Evolution Managed RAG и MCP-протокола построить систему, способную решать многошаговые задачи в реальном времени.В программе:😶‍🌫️как устроена архитектура Agentic RAG;😶‍🌫️как MCP-сервер для Evolution Managed RAG предоставляет стандартизированный интерфейс к векторной базе знаний;😶‍🌫️как агент использует retrieval-augmented reasoning в одном цикле исполнения;😶‍🌫️какие LLM лучше подходят: для быстрых гипотез и для production с высокой нагрузкой.А …

Канал Артемия @data_apps один самых недооцененных каналов. Возможно это связано, что он пишет про технологии и подходы, которые must have на западе, но плохо заходят на ru сегменте. Сегодня он написал пост про свой опыт работы в компании и свое разочарование от происходящего. Можно сказать, что это и есть burn out. Раньше я писал хороший пост про матрицу компетенции и карьерные перспективы.PS вообще Senior Engineer самая уязвимая категория людей в психологическом плане - выгорания, буллинг от менеджеров, глупые хотелки руководства, несбыточные надежды карьерного роста, падения рынка ценных бумаг, дорожание теслы, налог на премиум тачки, прогрессивная налоговая шкала, куча бесполезных знаний…

Классный отзыв на «Аналитику для руководителей» 👇🏻Если захотелось узнать больше и возник вопрос «А где купить?», то все ответы здесь.

Аналитика для руководителей - подарите эту книгу своему СЕООткрываем книжный клуб любителей данных!Автор книги - Николай Валиотти, @leftjoin. Бывалый аналитик, предприниматель в области данных.Для меня книга поделилась на несколько частей.Часть 1. Ликвидация безграмотности СЕО.Это первые 40 страниц, поэтому улучите момент, когда ваш директор куда-то летит и всуньте ему эту книгу в дорожный рюкзак. Пока он будет час скучать в зале ожидания, он вполне осилит самую важную для себя часть.В ней будут ответы на вопросы:Что такое аналитика данных и зачем она нужна. Какую пользу СЕО может извлечь из аналитики данных для себя.Какое разделение труда практикуется в командах по работе с данными. какие …

ClickHouse приобрела LangfuseLangfuse — платформа для LLM-инжиниринга, контроля за работой моделей и управления промптами. Проще говоря, она делает работу с ИИ удобнее и прозрачнее, позволяет точнее отслеживать результаты, проводить эксперименты. ClickHouse хочет использовать Langfuse для запуска своих ИИ-агентов, а команда Langfuse верит, что поддержка ClickHouse поможет ускорить развитие платформы. При этом Langfuse обещает не менять свой подход к дистрибуции и общению с пользователями. Для них останутся доступны и Langfuse Cloud, и возможность захостить платформу у себя — проект опен-сорсный и планирует таким и оставаться. 🔜 Обе компании до этого уже работали вместе. Langfuse — крупный к…

PostgreSQL: архитектура и тюнинг SQL-запросовПогрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL. 🌐 В программе курса:🤩 Разберетесь, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов: без индексов, с индексами, index only, нормализованные и документ-ориентированные данные и json-поля, изменение параметров сессии/конфигурации для ускорения запросов🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и…

Русская рулетка для тех, кому надоело работать в пятницу вечеромТри простых шага скрасят конец рабочей недели: 1️⃣Устанавливаете Doom — но не абы какой, а вот этот. Правда, оригинальный тоже потом понадобится, от него нужен будет файл .wad. 2️⃣Стреляете по мобам. Каждый моб — это запущенный процесс. Убили моба — убили процесс. 3️⃣И так пока не надоест или пока вы не убьете что-нибудь важное. Но серьезно поломаться ничего не должно. Есть даже поддержка MacOS, между прочим.Как вам такое пятничное развлечение?

Владеете ли вы языком данных? В рамках рубрики #ФармаЧтиво хотим сегодня представить книгу Николая Валиотти "Аналитика для руководителей"Для руководителей и собственников бизнеса, особенно в фармацевтике, где важна точность и прогнозируемость, переход на data driven-управление — ключевой шаг к росту.Книга «Аналитика для руководителей» — это практическое руководство от эксперта, чей опыт сформирован в крупнейших FMCG-компаниях. Эти проверенные практики сегодня активно перенимает и фармотрасль РФ. Вы узнаете, как выстроить работу с данными, избежать дорогостоящих ошибок и превратить информацию в стратегический актив для повышения прибыли.Инвестируйте свое время в знания, которые уже работают …

Смотрите, что на глаза попалось — реклама «Аналитики для руководителей»! 👇🏻Давно мы вам про нее не напоминали, хотя книга-то must have для всех, кто хочет разбираться в аналитике и пользе, которую она приносит бизнесу.

ИИ в наукеЗа разговорами про вред и пользу ChatGPT или качество вайбкодинга с Claude легко забыть, что машинное обучение и ИИ — это намного больше, чем чат-боты и генераторы картинок. Эта технология используется во многих сферах и помогает двигать науку вперед.🔜 Например, есть целый проект по расшифровке «языков» разных видов животных. ИИ выполняет множество функций: обрабатывает записи звуков, которые издают звери, птицы, насекомые, очищает его от шумов, систематизирует и анализирует. В итоге это позволяет ученым больше узнать о том, как представители разных видов взаимодействуют друг с другом, и изучить их повадки.На сайте проекта есть внушительная подборка ссылок и статей про то, какую п…

Почему бы не начать селф-хостить PostgreSQL? Ну все, праздники закончились — у кого-то сегодня, у кого-то еще на прошлой неделе. Пора возвращаться к рабочему режиму, ставить цели на год и осваивать новые горизонты. Например, отказаться от облачных сервисов там, где в них нет необходимости, и перейти на селф-хостинг.А почему бы и нет, собственно? 👀Нас со всех сторон убеждают, что облако — это удобно, просто, дешево, безопасно, стабильно, ну и так далее. А вот селф-хостинг — это, наоборот, сплошные запары и куча затрат. И для кого-то это действительно так — например, небольшому проекту, который работает на энтузиазме и вайбкодинге, незачем пытаться поднимать инфраструктуру своими силами. Это,…

Возвращение к истокамДо всех этих модных LLM у нас были старые добрые цепи Маркова, которые умеют предсказывать следующее слово в предложении на основе нескольких предыдущих. Никаких умных алгоритмов и размышлений, чистая статистика.Текст, который получается в результате такой генерации, воображение не поражает, но зачастую получается довольно забавным.💬 Британский разработчик Сусам Пал написал простую программу из 30 строк, которой скормил посты из своего блога за 20 с лишним лет — в сумме почти 200к слов. На основе этих данных программа генерит тексты: смотрит на два слова, идущих друг за другом, и дописывает третье, которое с наибольшей вероятностью должно идти следом.Если увеличить числ…

Claudius: работа над ошибкамиAnthropic поделились жизнеутверждающей историей про достижения Claude.В уже прошлом году они рассказали про проект Claudius, где ИИ доверили вендинговый автомат с едой в их офисе: он должен был формировать ассортимент, принимать заказы и пожелания от сотрудников, выставлять цены. В итоге он чуть-чуть сошел с ума.Anthropic не махнули на него рукой, а продолжили улучшать проект.🔵«Открыли» еще несколько точек: поставили автоматы в офисах в Нью-Йорке и в Лондоне и второй автомат в Сан-Франциско. А потом вообще вышли за пределы своей компании и выделили одного Claudius журналистам из Wall Street Journal. 🔵Перешли на новую более современную модель, и доработали промпт…

А у вас уже светлеет по вечерам?После 21 декабря дни начали постепенно становиться длиннее, а ночи — наоборот, укорачиваться. Пока это мало заметно, но уже скоро вид за окном по вечерам станет намного приятнее.Хотя «скоро» — понятие растяжимое. И Viz of the Day из конца 2025 это хорошо иллюстрирует: на нем отображена продолжительность светового дня в столицах разных стран. Наглядно видно, что пока кто-то радуется солнцу, кто-то 2/3 суток сидит во мраке. Если у нас тут есть читатели из Рейкъявика — расскажите, как у вас настроение?

С Новым годом!С почти наступившим, дорогие подписчики! ❤️Понимаем, что вам сейчас не до длинных постов, так что просто желаем, чтобы в следующем году сбывались все желания и выполнялись планы. А если вы так и не придумали себе на следующий год какую-нибудь классную цель, к которой можно было бы стремиться в 2026 — прикрепили к посту простой и удобный генератор. 👆🏻 Никаких вам новомодных LLM, только подходы, проверенные временем.

После выпуска из УрФУ — в AmazonТак развивалась карьера выпускника Школы анализа данных Макса Шапошникова.🔵Учебу в магистратуре в УрФУ в Екатеринбурге Макс совмещал с ШАД и с фултайм-работой в финтехе. 🔵Хотя это иногда было непросто, все усилия окупились, когда его пригласили в лондонский офис Amazon. Там он работал в команде, занимающейся технологиями text-to-speech, и довел от идеи до релиза голосовую модель, которая стала частью экосистемы Alexa и сервиса аудиокниг. 🔵После 4 лет в корпорации решил сменить обстановку и ушел в молодой стартап Tessl, где сейчас разрабатывает инструменты для умной кодогенерации. Тем, кто только начинает карьеру в машинном обучении, он советует как можно рань…

Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база.Всего несколько минут и у вас:⏺️готовая база на сетевых или локальных дисках⏺️постоянный primary endpoint⏺️безопасное подключение через Private Link⏺️автоматические бэкапы и обслуживания по твоему расписанию🎄🎁 И грант до 10 000 ₽ на запуск — чтобы точно не пришлось вспоминать, как настраивать failover вручную.➡️Развернуть кластер

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

Тренд на «универсалов»: кто будет востребован в аналитике в 2026?Эра «просто аналитиков», которые умеют только собирать таблицы, проходит. Сейчас заметен четкий сигнал рынка: компаниям нужны специалисты полного цикла — те, кто понимает путь данных от сбора до принятия бизнес-решения. Знания таблиц и базового SQL больше недостаточно, если вы хотите получать приглашения на собеседования и выигрывать конкуренцию у других кандидатов.Чтобы не тонуть в бесконечном списке требований работодателей, важно сфокусироваться на самом нужном. Илья Ковалёв (Senior-аналитик Dodo Brands) и Наталья Рожкова (HR-эксперт) проведут прямой эфир о том, как выжить и вырасти в этой среде 👍🟠На примерах из Dodo посмот…

Новогодние каникулы — когда можно без зазрения совести включить «Гарри Поттера», доесть салаты и позволить себе просто быть в режиме отдыха.И в этом режиме особенно хорошо заходят вещи, которые не требуют усилий, иногда между фильмом и очередной кружкой чая появляется желание сделать для себя что-то еще — не напряженное, но полезное, связанное с профессией и будущим.Data Holiday Box от karpovꓸcourses как раз для таких моментов: это записи вебинаров про аналитику, data и машинное обучение, где без спешки и лишней теории объясняют, как меняется рынок, какие инструменты и подходы уже сейчас влияют на работу аналитиков и что стоит держать в фокусе в ближайшие годы, чтобы вырасти в грейде и зарп…

Представьте себе коммуналку, в которой живут только аналитики. Как вы думаете, о чём там будут говорить?Если подумали исключительно про цифры, то зря 🙂 Потому что мы в Авито собрали в Телеграме комьюнити «Коммуналка аналитиков», чтобы посмотреть, что будет.Получилось очень даже интересно. Оказалось, аналитики с удовольствием пишут обо всём вокруг профессии:✍️ Рассказывают о рабочих буднях✍️ Хвастаются успехами и вспоминают фейлы✍️ Постят мемы✍️ Запускают опросы и собирают бинго✍️ Шутят✍️ Делятся лайфхаками✍️ Создают серьёзные посты про аналитику✍️ И-и-и обсуждают другие штуки, которые сложно классифицироватьПодписывайтесь на канал и читайте недушную аналитику 😉

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году?Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это очень полезное событие для тех кто только зашел в аналитику и для тех, кто хочет в нее зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати тут разберут и возрастной аспект: как стать аналитиком в 30/40/50 лет и т.д.На вебинаре будет:🟠Разберем полный роадмап: что учить, в каком порядке, до какого уро…

Аналитика данных с нуля: протестируй профессию за 3 дня - мини-курс в прямом эфиреНа этом бесплатном мини‑курсе вы освоите базу для старта в аналитике, а также поймете, насколько походит вам эта профессия.За три вечера пройдёте путь от «ничего не знаю» до первого реального аналитического кейса: поработаете с таблицами, SQL и Python, выполните практические задания и соберёте понятный отчёт по данным. Все три дня с вами в прямом эфире будет Денис Иванов, Senior Product Analyst с опытом более 5 лет в Тинькофф и других крупных компаниях, который запускал аналитические системы с нуляЧто будет на трёхдневном мини-курсе:🟠9 декабр: разберётесь, чем занимается аналитик и какие метрики помогают бизне…

🟢 Ищем системного аналитика, зарплата 250-300к по результатам собеседования!HR крупной IT-компании поделилась: «Мы уже полгода ищем сильного системного аналитика. Резюме приходят, но все «Ctrl+C | Ctrl+V» – UML, BPMN, работа с требованиями. А нужен человек, который понимает, как спроектировать интеграцию между 15 микросервисами так, чтобы система не рухнула. И ведь приходят не новички» Чувствуете, да? Рынок ищет одних специалистов, а резюме подают совсем другие. Пока аналитики изучают диаграммы Use Case, компании отчаянно ищут тех, кто разбирается в современной архитектуре. И готовы платить за это 200-300к.Но таких системных аналитиков единицы, и за ними сейчас охотятся так, как когда-то бе…

А ты знаешь, что Газпромбанк.Тех раз в год собирает всех бизнес-аналитиков на своей площадке для обмена опытом? 🚀Записывай в календарь - 08 декабря в 17:30 пройдет Business Analysis Day. Тема этого года — ИИ-помощники для бизнес-аналитика 🤖В программе:✔️ Панельная дискуссия «ИИ помощники для бизнес-аналитика: что уже работает» с экспертами Банка России, Сбербанка и Газпромбанк.Тех✔️ Disrupt-подходы: от «работы по шаблону» к адаптивной документации✔️ Живое Демо: как ИИ в Газпромбанк.Тех работает с качественными требованиями и формирует архитектуру самостоятельно✔️ Будущее профессии: как GenAI меняет рынок трудаГде и когда 🎤Москва, офис Газпромбанка: ул. Коровий Вал, 5, БЦ «Оазис»8 декабря в …

Бизнесу данные нужны как воздух 📊Без анализа данных сейчас не обходится ни одна крупная компания — будь то банк, ритейл или медицина. Поэтому аналитиков ищут повсюду.Есть рекомендация, курс «Аналитика данных с МФТИ» за 10 месяцев делает из вас универсального специалиста. Научитесь работать с Python, применять методы ИИ и управляться с базами данных. С таким набором навыков можете выбрать любое из трёх направлений:• Аналитика данных • Data Science • Инженерия данныхВ конце получите 2 диплома от МФТИ и Нетологии. Центр развития карьеры поможет с резюме, портфолио и поиском работы.🎁 Предновогодний бонус: покупаете один курс в декабре — получаете шесть в подарок.Записывайтесь и прокачивайтесь в…

🚀 Ребята из ИнженеркаТех специально для канала Datalytics дарят эксклюзивный промокод DATA, который дает -15% к скидкам на все курсы дополнительно до конца октября!Сейчас самое время, чтобы прокачать свои навыки и освоить новый стек.Симулятор Data Warehouse на базе dbt. Научитесь работать с dbt Core и освоите DataOps практики, каталог данных и data lineage. Решай реальные задачи в интерактивном тренажере → Начать в демо-доступе💚 Кстати, они перевели всю документацию dbt на русский язык! Теперь она доступна бесплатно для всех: https://docs.getdbt.tech/Тренажер Python и SQL для ML и Data Science Pandas, NumPy, работа с данными для ML/DS. Все — от загрузки до анализа. Навыки для ML-инженеров и…

Как посчитать эффект от рекламы на ТВ или проверить эффективность нового алгоритма продвижения объявлений на платформе?В первом случае мы не можем честно разбить людей 50 на 50 и одним показывать ТВ-рекламу, а другим — нет. Во втором тестовый алгоритм вытесняет старый из выдачи: продавцы из контроля перестают пользоваться своим продвижением из-за сетевых эффектов. Чтобы обойти подобные проблемы в тестировании, мы в Авито используем региональные тесты. А чтобы рассказать, как именно это делать, мы записали новый выпуск «Диванной аналитики» с Мишей Пирожковым, аналитиком из команды маркетинга. Из видео вы узнаете:➡️ Как работают региональные тесты и как устроен наш текущий инструмент для анал…

Хотите работать там, где от решений зависят миллионы?Мошенничество — это сложные схемы, продуманные алгоритмы, десятки подставных транзакций и тысячи строк логов.Антифрод-аналитики ловят мошенников до того, как те доберутся до денег.Кто такой антифрод-аналитик?Это специалист, который анализирует финансовые операции, выявляет подозрительные паттерны и выстраивает защиту бизнеса от потерь.Где нужны такие специалисты?🟧в банках и финтех-компаниях🟧на e-commerce-платформах🟧в страховых и онлайн-сервисах.Средняя зарплата по рынку — от 130 000 ₽, и спрос растёт ежегодно.Рынку не хватает специалистов, умеющих работать с реальными данными и антифрод-системами.Ждем вас на первом потоке курса «Антифрод-…

Продуктовые аналитики — профессиональные детективы 🔎 Докажите это, разгадав тайну «уснувших» покупателей. Проведите собственное расследование с решением квиза и продуктового кейса. За самые быстрые и точные результаты детективы получат призы от Lamoda.Как принять участие:1. Пройдите квиз и предложите решение продуктового кейса2. Примите участие до 18 декабря. Результаты всех финалистов попадут в общий лидерборд, поэтому делитесь ссылкой с коллегами-аналитиками, чтобы повысить градус соревновательности! 3. Дождитесь публикации поста с результатами в канале Lamoda TechВремя пошло! Детали и задания ждут вас на сайте.Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:2W5zFJXDRw6

❓ NLP для Data Scientists: получайте навыки, которые помогают решать реальные задачи с текстами.🔥 Мы подготовили для вас 3 бесплатных вебинара курса «NLP / Natural Language Processing», где вы узнаете всё необходимое для работы с текстами и моделями.🔸 Вебинар №1: Анатомия нейросетей: от трансформеров к современным архитектурам 👨‍🏫 Спикер: Андрей Носов - AI Architect, Raft⏰ 24 ноября, 20:00 МСКНа этом занятии вы узнаете: • Из чего состоят современные нейросети — внимание, эмбеддинги, нормализация и другие ключевые механизмы. • Почему трансформеры стали стандартом в NLP и какие идеи приходят им на смену. • Как применять эти принципы в задачах генерации, классификации и анализа текста.🔸 Вебина…

«Круги Громова» представили новое исследование российского рынка ETL 2025Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?В новом исследовании «ETL Круг Громова 2025»:🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектур…

Как мы в Авито управляем трафиком маркетинговых коммуникацийЕжедневно Авито запускает более 900 маркетинговых CRM-кампаний и ежемесячно отправляет более 5 миллиардов коммуникаций. Чтобы повысить эффективность рассылок, аналитики стремятся улучшать покрытие пользователей, не спамить им и, главное, отправлять релевантные сообщения.Чтобы выполнить эти задачи, Авито анализирует поведение аудитории. Это огромный массив данных и разнородных факторов, поэтому мы используем ML в алгоритмах отправок.Хотим поделиться этим опытом, для чего записали ещё один выпуск «Диванной аналитики» с Арменом Есаяном, старшим аналитиком в CRM. Армен подробно разбирает, как машинное обучение помогает добиться максима…

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

IYKYK 😆@ohmydataengineer

https://clickhouse.com/blog/librechat-open-source-agentic-data-stackТут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂Вот этих https://www.librechat.ai@ohmydataengineer

На днях в open source выпустили распределённую файловую систему, которая рассчитана на эксабайты (тысячи петабайт).Сделали это чуваки из XTX, мощные трейдеры, которые известны двумя вещами: тем, что у них (по крайней мере недавно) был топ-3 кластер по количеству ГПУ, и тем, что их основатель, Александр Герко, так любит Лондон, что каждый год платит 500+ млн фунтов налогов на доходы как физическое лицо.Из интересного (они выделили 9 пунктов, но только 5 мне кажутся отличительными)Has no single point of failure in its metadata services.Is hardware agnostic and uses TCP/IP to communicate.Utilizes different types of storage (such as flash vs. hard disks) cost effectively.Exposes read/write acce…

Python 3.14 уже здесь!Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно:- полная поддержка Free-threaded Python- T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings)- zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных- поддержка multiple interpreters из коробки- uuid 6-8, на 40% быстрееИ многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Программируемый текстовый редактор для программирования — от программистов. Звучит как утопия? Нет, это Emacs!

Инструменту уже больше 40 лет, но он отказывается умирать. Более того, некоторые разработчики переезжают на него с современных IDE. Чтобы разобраться в этой магии, мы позвали Дмитрия Бушенко — ветерана разработки и знатока Emacs.

Разобрали архитектуру и то, как она обеспечивает невероятную расширяемость Emacs, почему этот редактор иногда называют операционной системой (без нормального текстового редактора), узнали, почему гость бросил Vim ради Emacs, и поразмышляли, есть ли смысл страдать с конфигами в эпоху AI и VS Code.

Выпуск для тех, кто хочет понять философию true-инженерии и …

В 2026 году профессия блогера становится всё популярнее. Число авторов и создателей контента в соцсетях продолжает расти, форматов становится больше, а бренды всё активнее вкладываются в инфлюенсер-маркетинг. Мы уже говорили про личный бренд разработчика, про техноблогинг, про YouTube, про то, как писать хорошие тексты — настало время свести всё в единый фреймворк! Вместе с Павлом Комаровским, автором канала @RationalAnswer (106k подписчиков в Telegram), мы прошлись по всем аспектам блогинга: зачем им заниматься, как выбрать площадку и формат, как продвигаться, как делать классный контент и какие есть способы на этом всём заработать. Перед вами — системный, структурированный и очень весёлый…

Средний программист за всю свою карьеру трогает клавиатуру около 40 тысяч часов. Задумайтесь, в мире очень мало вещей, с которыми вы взаимодействуете настолько часто и тесно. Если вы готовы вложить свое время в то, чтобы сделать эти тысячи часов приятнее, здоровье – лучше, а продуктивность – выше, то обязательно слушайте этот выпуск! Вместе с Дмитрием Ковалевым мы разбираемся во всех видах кастомных клавиатур, их железных и программных составляющих и алгоритме выбора идеального гаджета именно для вас. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

Это запись нашего новогоднего стрима 🎄 Подводить итоги года вместе – уже добрая традиция Подлодки. В этом выпуске ведущие вспоминают самые яркие моменты прошедшего года, делятся неожиданными подробностями личной жизни, советуют полезные книги и курсы, а ещё честно рефлексируют, что получилось, а что нет. Но не всё так просто: весь выпуск проходит в игровой форме, где по итогам определится Любимый ведущий года 👀🏆

В финале тёплые поздравления и немного новогоднего настроения для каждого, кто был с нами в этом году. Спасибо, что провели этот год вместе с Подлодкой. С наступающим Новым годом и до встречи в 2025! ❤️ Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми …

Почему софт в автомобиле, который стоит миллионы, часто уступает по качеству и скорости телефону за 50 тысяч и как на это влияет война экосистем? Погружаемся в анатомию современного автомобильного софта вместе с Денисом Неклюдовым — тимлидом команды Android Automotive OS в Google. В выпуске разбираемся, почему автопроизводители вроде General Motors объявляют войну Apple CarPlay; заглядываем ПОД КАПОТ и обнаруживаем, что в машине часто работает не одна, а сразу две операционки; эмпатируем разработчикам приложений под авто, которые страдают из-за большой фрагментации и жестких гайдлайнов по безопасности. И, конечно, говорим о будущем: как AI и LLM превратят машину в "третье жилое пространство…

Онбординг часто воспринимают как набор экранов в начале продукта, хотя на самом деле это один из самых сильных продуктовых инструментов, который напрямую влияет на активацию, удержание и LTV. В этом выпуске разбираем, зачем нужен онбординг, как он работает в B2C и B2B, почему интерактив почти всегда выигрывает у статичных экранов, как персонализация и локализация меняют конверсию, и почему хороший онбординг не спасёт плохой продукт, но плохой способен испортить даже отличный. Говорим про реальные кейсы, метрики, A/B-тесты, friction, empty states и ошибки, которые команды продолжают повторять. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культур…

Уже понятно, что будущее ИИ не в умении правильно отвечать на пользовательские хитрые вопросы, а в способности автономно решать многоступенчатые и сложные задачи. Вместе с Семёном Карасиком из Nebius в этом выпуске мы выясняем, что отличает агента от обычного ChatGPT, и как сделать своего цифрового джуна! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова

Что такое рынки предсказаний, и почему они удивительно точно предсказывают будущее? Обсуждаем, как работает механизм вероятностной цены, зачем рынкам нужны реальные деньги, как они справляются (или не справляются) с инсайдерской торговлей и манипуляциями. В гости к нам пришел Никита Поваров, который сейчас руководит командой аналитики в JetBrains и почти два года развивает корпоративный рынок предсказаний внутри компании. Так что не обошли стороной феномен корпоративных рынков предсказаний и разобрались, можно ли использовать их как инструмент для A/B-тестов и сколько участников нужно для хорошего прогноза. Обратите внимание на секцию полезных ссылок. Сегодняшний гость приложил внушительный…

Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов

Казалось бы, для AI вычислений нужно просто очень-очень много GPU. Почему же тогда техногиганты, обладая почти безграничными ресурсами, не строят эту инфраструктуру сами, а платят миллиарды долларов новым, молодым компаниям? Чтобы разобраться в этом, мы позвали Александра Патрушева, Head of Product в Nebius — том самом неоклауде, который недавно заключил сделку с Microsoft почти на $20 миллиардов. В выпуске разбираемся, в чем фундаментальное отличие AI-облаков от классических, что из себя представляет карта рынка сегодня, как устроена экономика неоклаудов и что у них под капотом: какие есть особенности устройства сети, хранения данных и эксплуатации всего этого добра. Партнёр команды Podlod…

Все говорят о доказательной медицине, но мало кто может объяснить, что это вообще такое. Чем «доказательная» отличается от «научной» и «традиционной», и зачем проверять то, что «и так работает»? В этом выпуске разбираемся в том, как устроены клинические исследования: чем причинно-следственная связь отличается от корреляции, что такое клинически значимый эффект, почему «кому-то помогло» ещё не является весомым доказательством, и почему даже хорошие исследования иногда дают противоположные результаты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podl…

В этом выпуске обсуждаем криптофинансы: зачем вообще нужен блокчейн в мире, где уже всё работает через банки и SWIFT, как устроены кастодиальные и некастодиальные кошельки, и почему крипта — это не только про спекуляции. Говорим о том, как бизнесу защититься от потери ключей, на чём зарабатывают DeFi-протоколы, чем обеспечиваются токены и почему ставки по вкладам в крипте так далеки от привычных фиатных. В гостях Александр Тоболь, технический директор Кошелька в Telegram и бывший CTO VK. Александр рассказал, как устроены криптосервисы изнутри, что происходит с ликвидностью на биржах и почему, даже если у тебя есть все технические знания, поднимать собственного валидатора чаще всего не стоит…

Даже если вы пишете идеальный код, это не значит, что ваш продукт в безопасности. Уязвимости может притащить кто-то другой – начиная от open source библиотек, и заканчивая уязвимостями в компиляторах, CI и VCS системах. Как научиться защищать не только код, вышедший из под ваших рук, но и всю цепочку поставки, нам рассказал Алексей Смирнов, основатель платформы CodeScoring. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культурой здравого смысла и эксперимента. Узнать про их технологии, подходы и прокачку компетенций в командах можно по ссылкам:

— LLM против хаоса: как я автоматизировал ревизию прав доступа в админке Авито https://clc.to/RVjkQw —…

В этом выпуске разобрались, почему важно управлять людьми бережливо, и чем бережливое управление отличается от бережного. Гость поделился, что его зацепило в теме выгорания руководителей и почему важно рассматривать это не только как личную проблему, но и как организационный сбой. Конечно же, поговорили про переработки: в каких количествах они допустимы, а в каких уже нет. Обсудили подходы к человекоцентричному управлению и, наконец, то, почему счастье сотрудников – это не просто красивый лозунг, а экономически выгодная стратегия. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include , PSF Lands a $1.5 million sponsorship from Anthropic, How uv got so fast, and PyView Web Framework.

Topics include port-killer, How we made Python's packaging library 3x faster, and.

Topics include ty: An extremely fast Python type checker and LSP, Python Supply Chain Security Made Easy, typing_extensions, and MI6 chief: We'll be as fluent in Python as we are in Russian.

Topics include Has the cost of building software just dropped 90%?, , How FOSS Won and Why It Matters, and.

Topics include , docs, PyAtlas: interactive map of the top 10,000 Python packages on PyPI., and Buckaroo.

Topics include PEP 798: Unpacking in Comprehensions, Pandas 3.0.0rc0, typos, and.

Topics include Advent of Code, Django 6 is coming, Advanced, Overlooked Python Typing, and codespell.

Topics include PEP 814 – Add frozendict built-in type, Material for MkDocs Zensical, Tach, and.

Topics include , aiosqlitepool, deptry, and browsr.

Topics include httptap, 10 Smart Performance Hacks For Faster Python Code, FastRTC, and Explore Python dependencies with `pipdeptree` and `uv pip tree`

Topics include The PSF has withdrawn a $1.5 million proposal to US government grant program, A Binary Serializer for Pydantic Models, T-strings: Python's Fifth String Formatting Technique?, and Cronboard.

Topics include Cyclopts: A CLI library, The future of Python web services looks GIL-free, Free-threaded GC, and Polite lazy imports for Python package maintainers.

Topics include djrest2 - A small and simple REST library for Django based on class-based views., Github CLI, caniscrape - Know before you scrape. Analyze any website's anti-bot protections in seconds., and 🐴 GittyUp.

Topics include PyPI+, uv-ship, How fast is 3.14?, and air - a new web framework built with FastAPI, Starlette, and Pydantic.

Topics include , Free-threaded Python Library Compatibility Checker, Claude Sonnet 4.5, and Python 3.15 will get Explicit lazy imports.

Package management sits at the foundation of modern software development, quietly powering nearly every software project in the world. Tools like npm and Yarn have long been the core of the JavaScript ecosystem, enabling developers to install, update, and share code with ease. But as projects grow larger and the ecosystem more complex, this older

The post Next-Gen JavaScript Package Management with Ruy Adorno and Darcy Clarke appeared first on Software Engineering Daily.

WebAssembly, or WASM, has grown from a low-level compilation target for C and C++ into one of the most influential technologies in modern computing. It now powers browser applications, edge compute platforms, embedded systems, and a growing ecosystem of languages targeting a portable and secure execution model. Andreas Rossberg is a programming languages researcher and

The post WebAssembly 3.0 with Andreas Rossberg appeared first on Software Engineering Daily.

Surveillance technology is advancing faster than the laws meant to govern it. Across the United States, police departments are deploying automated license plate readers, facial recognition tools, and predictive systems that quietly log the daily movements of millions of people. These tools promise efficiency and safety, but critics argue that they represent a form of

The post America Under Surveillance with Michael Soyfer appeared first on Software Engineering Daily.

Modern software development is evolving rapidly. New tools, processes, and AI-powered systems are reshaping how teams collaborate and how engineers find satisfaction in their craft. At the same time, developer experience has become a critical function for helping organizations balance agility, security, and scale while maintaining the creativity and flow that make top tier engineering

The post Developer Experience at Capital One with Catherine McGarvey appeared first on Software Engineering Daily.

Modern software development is more complex than ever. Teams work across different operating systems, chip architectures, and cloud environments, each with its own dependency quirks and version mismatches. Ensuring that code runs reproducibly across these environments has become a major challenge that’s made even harder by growing concerns around software supply chain security. Nix is

The post Flox, Nix, and Reproducible Software Systems with Michael Stahnke appeared first on Software Engineering Daily.

Visual Studio Code has become one of the most influential tools in modern software development. The open-source code editor has evolved into a platform used by millions of developers around the world, and it has reshaped expectations for what a modern development environment can be through its intuitive UX, rich extension marketplace, and deep integration

The post VS Code and Agentic Development with Kai Maetzel appeared first on Software Engineering Daily.

Blender Studio is the creative arm of the Blender Foundation and it’s dedicated to producing films, games, and other projects that showcase the full potential of Blender. The studio functions as both an art and technology lab and pushes the boundaries of 3D animation through open productions. All of their assets, production files, and workflows

The post Blender and Godot in Game Development with Simon Thommes appeared first on Software Engineering Daily.

JavaScript has grown far beyond the browser. It now powers millions of backend systems, APIs, and cloud services through Node.js, which is one of the most widely deployed runtimes on the planet. Keeping such a critical piece of infrastructure fast, secure, and stable is a massive engineering challenge, and the work behind it is often

The post Node.js in 2026 with Rafael Gonzaga appeared first on Software Engineering Daily.

Zachtronics is a legendary independent game studio known for creating intricate, engineering-focused puzzle games that merge logic, creativity, and code. The studio was founded by Zach Barth in 2011, and it has become a cult favorite among programmers and tinkerers alike with titles such as SpaceChem, Infinifactory, TIS-100, and Shenzhen I/O. Most recently, Zachtronics released

The post Building Games at Zachtronics with Zach Barth appeared first on Software Engineering Daily.

Rivals of Aether and Rivals of Aether II are indie fighting games that combine fast-paced platform combat with elemental-themed characters. The game takes inspiration from Super Smash Bros. and emphasizes skillful movement, tight controls, and competitive balance, making it popular in the fighting game community. Dan Fornace is a game director and designer at Aether

The post Rivals of Aether with Dan Fornace appeared first on Software Engineering Daily.

Aviation cybersecurity is becoming an urgent priority as modern aircraft increasingly rely on complex digital systems for navigation, communication, and engine performance. These systems were once isolated but are now interconnected and vulnerable to cyber threats ranging from GPS spoofing to ransomware attacks on airline infrastructure. As nation-state actors and criminal groups grow more sophisticated,

The post Aviation Cybersecurity with Serge Christiaans appeared first on Software Engineering Daily.

Modern software relies heavily on open source dependencies, often pulling in thousands of packages maintained by developers all over the world. This accelerates innovation but also creates serious supply chain risks as attackers increasingly compromise popular libraries to spread malware at scale. Feross Aboukhadijeh is the founder and CEO of Socket which is a security

The post Blocking Software Supply Chain Attacks with Feross Aboukhadijeh appeared first on Software Engineering Daily.

Python’s popularity in data science and backend engineering has made it the default language for building AI infrastructure. However, with the rapid growth of AI applications, developers are increasingly looking for tools that combine Python’s flexibility with the rigor of production-ready systems. Pydantic began as a library for type-safe data validation in Python and has

The post Pydantic AI with Samuel Colvin appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Jeff Bezos’s unexpected return to the CEO seat with Project Prometheus, the growing debate over whether AI investments are

The post SED News: Bezos Returns to Building, AI’s Reality Check, and Europe’s Cloud Ambitions appeared first on Software Engineering Daily.

PICO-8 is a software-based gaming console for making, sharing, and playing small games with a retro aesthetic. It emulates the look and feel of 8-bit consoles, providing limited color palettes, screen resolutions, and memory constraints. The PICO-8 dev environment uses Lua and is focused on being accessible to developers while offering depth for complex projects.

The post Game Development on the PICO-8 with Johan Peitz appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

Martin Fowler: 22 Jan 2026My colleagues here at Thoughtworks have announced AI/works™, a platform for our work using AI-enabled software development.

 ❄                ❄                ❄                ❄                ❄Simon Couch examines the electricity consumption of using AI.

 ❄                ❄                ❄                ❄                ❄My namesake Chad Fowler (no relation) considers that the movement to agentic coding creates a similar shift in rigor and discipline as appeared in Extreme Programming, dynamic languages, and cont…

UnmeshThe primary challenge of software development is to build systems that survive change.

People new to programming, and people who don't code for a living but hire those who do, often think of programming as a linear translation of requirements into programming language syntax.

This view misguides people into either spending a lot of time getting the requirements or specifications right, or gaining expertise in programming language syntax.

In the context of LLM usage, this view manifests in phrases like 'Human in the loop'.

But as any experienced programmer knows, the real challenge is not converting requirements to code, but building systems that survive change.

But this misses the point that both of these are important, and we need to manage the tension between them.

In the last couple decades, many teams camped at the ends of a spectrum:Traditional shops treated optimization as virtue and adaptation as risk.

It’s no longer “Can we “do” Agile?” It’s: Can we manage the Adaptation ↔ Optimization tension on purpose—at speed?

Explore phases still need optimization (cycle time, evidence hygiene, stop rules).

We found the big killer to be integration debt (handoff tax)—the pain you store up when hardware, firmware, and software converge late.

I listen to a lot of music, it's a constant accompaniment to my work and our evening relaxing.

It's impossible for this reunion album to quite match one of my favorite albums of all time, but after all these years they are still a remarkable band.

Tension by Mulatu Astatke & Hoodna Orchestra sample track: Tension Mulatu Astatke is a vibraphone player from Ethiopia, who is well-known for developing a style of jazz based on Ethiopian musical roots, a style often known as Ethio-Jazz.

Anthem For No Man's Land by Andreas Schaerer sample track: Tandem Andreas Schaerer has a unique voice, sounding like no other vocalist I've run across.

His music is often wordless, sometimes with invented words, c…

 ❄                ❄                ❄                ❄                ❄When thinking about requirements for software, most discussions focus on prioritization.

 ❄                ❄                ❄                ❄                ❄Casey Newton explains how he followed up on an interesting story of dark patterns in food delivery, and found it to be a fake story, buttressed by AI image and document creation.

 ❄                ❄                ❄                ❄               …

 ❄                ❄                ❄                ❄                ❄Wondering why I’ve been making a lot of posts like this recently?

 ❄                ❄                ❄                ❄                ❄Simon Willison describes how he uses LLMs to build disposable but useful web appsThese are the characteristics I have found to be most productive in building tools of this nature: A single file: inline JavaScript and CSS in a single HTML file means the least hassle in hosting or distributing them, and crucially means you can copy and paste…

These are usually a reference to something I’ve found on the web, sometimes a small thought of my own.

A few years ago, I wouldn’t have covered these topics with posts on my own site.

When I have enough notes, I post a fragments post.

I’m probably showing my age, but I’m a big fan of RSS (or in my case, strictly Atom) feeds.

Now I don’t need to - the fragments are available in my RSS feed.

Martin Fowler: 11 Dec 2025Why does AI write like… that (NYT, gift link).

Sam Kriss delves into the quiet hum of AI writing.

 ❄                ❄                ❄                ❄                ❄Emily Bache has written a set of Test Desiderata, building on some earlier writing from Kent Beck.

 ❄                ❄                ❄                ❄                ❄Daphe Keller explains that the EUs fines on X aren’t about free speech.

 ❄                ❄                ❄                ❄…

 ❄                ❄                ❄                ❄                ❄Rob’s post is typical of much of the thoughtful writing on AI.

It offers a positive harbinger for our future and opens my mind to a whole different perspective of the role of AI in it ❄                ❄                ❄                ❄                ❄Anthroopic recently announced that it disrupted a Chinese state-sponsored operation abusing Claude Code.

 ❄                ❄                ❄                ❄    …

Martin Fowler: 19 Nov 2025I’ve been on the road in Europe for the last couple of weeks, and while I was there Thoughtworks released volume 33 of our Technology Radar.

                ❄                ❄                ❄                ❄My trip to Europe started in Amsterdam, for a Thoughtworks event for a few of our clients there.

                ❄                ❄                ❄                ❄My travels also took me to Nüremberg, where I attended an internal conference for Siemens on the future of software architecture.

           …

I find most writing on software productivity to be twaddle, but Nicole and Abi are notable exceptions.

But occasionally I run into folks who study developer productivity without falling into magical thinking - such as Nicole and Abi.

They describe effective developer experience in terms of three elements: feedback loops, flow state, and cognitive load.

Focusing on developer experience is about finding what gets in the way of these three elements.

Improving developer experience leads to better outcomes for the business.

There is a learning loop that is fundamental to our workAs we consider the nature of any work we do, it's clear that continuous learning is the engine that drives our work.

✣     ✣     ✣ There Are No Shortcuts to Learning ✣     ✣     ✣Everybody has a unique way of navigating the learning cycleThis learning cycle is unique to each person.

By offering seemingly perfect code at lightning speed, LLMs represent the ultimate version of the Maintenance Cliff: a tempting shortcut that bypasses the essential learning required to build robust, maintainable systems for the long term.

LLMs Provide a Natural-Language Interface to All the ToolsSo why so much excitement abo…

Martin Fowler: 03 Nov 2025I’m very concerned about the security dangers of LLM-enabled browsers, as it’s just too easy for them to contain the Lethal Trifecta.

                ❄                ❄                ❄                ❄Rob BowleyUnsurprisingly, there are a lot of strong opinions on AI assisted coding.

                ❄                ❄                ❄                ❄Charlie Brown and Garfield, like most comic strip characters, never changed over the decades.

was shown without a helmet, readers were so startled that they didn’t immed…

Agentic AI systems present unique security challenges.

My aim was to provide an accessible, practical overview of agentic AI security issues and mitigations.

The fundamental security weakness of LLMs is described in Simon Willison's “Lethal Trifecta for AI agents” article, which I will discuss in detail below.

What do we mean by Agentic AI The terminology is in flux so terms are hard to pin down.

Mitigations So how do we lower our risk, without giving up on the power of LLM applications?

Martin Fowler: 21 Oct 2025Mathias Verraes writes about the relationship between Domains and Bounded Contexts in Domain-Driven Design.

are truly to be harnessed, the tech industry should stop focusing so heavily on these one-size-fits-all tools and instead concentrate on narrow, specialized A.I.

One of the truly annoying things about the US tax system is that we can’t easily file our tax returns electronically.

He also explains how the creators of Direct File are working to prepare the ground for it to reappear.

Security issues are only getting worse, but the US government agency for cybersecurity is having its staff reassigned to other duties.

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.