Project Lighthouse — Part 3: Introducing project-lighthouse-anonymizeThe data in Project Lighthouse is powered by privacy-preserving anonymization code. We’ve put this code into open source, and published two new technical papers detailing the scalable algorithms and data quality frameworks behind it.By: Adam BloomstonIntroductionIn 2020, we launched Project Lighthouse, which we developed in partnership with leading civil rights and privacy organizations. As our 2020 announcement details, Project Lighthouse enables us to measure potential disparities in user experiences. This work uses perceived race data that is never linked to individual accounts; we only use this data for measuring poten…

When we retrain, when we rebuild, and when we leave a model alone.By: Harrison KatzA forecast that carries weightThe Forecasting Data Science team at Airbnb produces many of the forecasts the rest of the company plans around: demand, bookings, cancellations, and a range of finer cuts by market and segment, refreshed continuously across thousands of markets. The targets differ, and the models differ, but they have one thing in common: Other teams build on top of them.This means a forecast that is casually wrong is not a clean miss, as it might be in an academic setting. That’s because a small bias does not stay small once a lot of decisions are riding on it. So when one of those forecasts st…

Rebuilding login and signup surfaced product insights, not just technical challenges. Here’s how we designed Flexible Authentication at the intersection of product intuition and technical architecture.By: Jose Santos, Mike BarryFor Airbnb, logins at irregular intervals are normal. A guest books a trip in January and may not open the app again until summer. A host checks back only when a reservation comes in, and may be busy with other activities when it does. For a two-sided marketplace where a failed login means a lost booking, and lost revenue for both the guest and the host, long gaps between sessions are a structural challenge, not an edge case.Our authentication system had grown organi…

How Airbnb teams build trustworthy Generative AI products by treating evaluation as a first-class engineering discipline; not an afterthought.Nestled into the lush hillside, this stunning modern retreat features striking natural wood architecture, terraced balconies, and a serene landscape.By: Rohit Girme, Dan Miller, Mia Zhao, Lifan Yang, Clint KellyIntroductionGenerative AI breaks a lot of the assumptions that used to hold true for software testing. Unlike traditional software, LLM outputs are non-deterministic, and “correct” is subjective. Because so much judgment is involved, you often need an AI to evaluate an AI, which introduces its own potential failure modes. Making matters more co…

How we built a Transformer-based sequence model that encodes years of guest behavior to surface the right listings at the right time.By: Daochen Zha, Chun How Tan, Xin Liu, Bin Xu, Han Zhao, Xiaowei Liu, Jun Shi, Tracy Yu, Hui Gao, Huiji Gao, Liwei He, Michael Kinoti, Stephanie Moyerman, and Sanjeev KatariyaIntroductionPlanning a trip on Airbnb rarely happens in a single session. A guest searching for a place to stay in San Francisco might browse dozens of listings over several days, leaving behind a trail of views. Typically, over a period of years, that same guest will have accumulated many previous bookings, reviews, and the occasional cancellation. Taken together, these events reveal a …

Training an LLM is the easy part. The hard part is designing experiments and evaluations that you can trust enough to know whether the new model is actually an improvement.By: Baharak SaberidokhtIntroductionShipping a production LLM system means iterating fast on improvements to something that is, by construction, non-deterministic. Models drift, judges disagree with themselves, references regenerate as different strings, and bugs may persist until the next release, because retraining takes weeks. Most of this friction comes from infrastructure challenges, not model quality, and the fixes come from classical software engineering techniques.At Airbnb, we built reliable LLM infrastructure by …

How Airbnb’s data engineers and analytics engineers built a consistent and flexible data modeling framework to support the expansion into Homes, Experiences, and Services.By: Patrick Lam, Namrata Lamba, Jamie StoberWith the May 2025 Summer Release, Airbnb redesigned its app, relaunched Experiences, and debuted Services, pushing us beyond our traditional Homes focus. For the data teams, this meant rapidly evolving a decade-old infrastructure to integrate two brand-new product pillars. Our data engineers and analytics engineers rose to the challenge by building a consistent and flexible framework to serve as a robust and scalable data foundation for the next decade of growth.But getting there…

How Airbnb built a Kubernetes sidecar to deliver dynamic configuration reliably at scale.By: Bo Teng, Cosmo Qiu, Siyuan Zhou, Ankur Soni, Xin Huang, Willis HarveyIntroductionIn our previous post, we explored Airbnb’s dynamic configuration system, Sitar, with a focus on service architecture and configuration change safety. Now for the harder question: once a config change is committed, which happens several times each minute, how does it actually reach the thousands of Airbnb’s service instances reliably, quickly, and without redeploying the services?This post describes sitar agent: a lightweight Kubernetes sidecar that runs alongside every subscribed service pod, continuously synchronizing …

How Airbnb used sequential geographic recovery signals and prior propagation to generate reliable corridor-level forecasts when local data was scarce.By: Harrison KatzThe problem with unprecedented shocksAlmost every forecasting system is built on the same implicit assumption: the future will resemble the past. You train on historical data, you validate on holdout periods, and you trust that past patterns will at least roughly indicate future performance. When this assumption breaks, the model does not gracefully degrade; it fails confidently. It produces precise, well-calibrated intervals around the wrong answer.The acute phase of COVID, from early to late 2020, was a clear illustration of…

How Airbnb shifts from PaaS to an internal knowledge graph infrastructure at scale.By: Lucen Zhao, Shukun Yang, Ashish JainKnowledge graphs offer a natural and powerful way to represent relationships between entities. Many real-world systems are fundamentally about connections.Airbnb’s identity graph captures relationships between users in a graph database. The identity graph serves aggregated insights that enable user identity resolution and relationship understanding. These capabilities support a wide range of Trust and Safety use cases, from detecting suspicious activities to identifying linked accounts. Over time, the identity graph has grown into one of the largest and most complex gra…

Moving from an internal tool to a community-driven, production-ready data mesh.By: Ryan Tanner, Raymie Stata, Adam MiskiewiczIntroductionWe’re excited to announce the 1.0 release of the Viaduct. This release marks a shift from Viaduct being an Airbnb-internal tool that happens to be open source to a true community-driven project with a stable public API. The 1.0 release includes substantial new features and enhancements which we describe in the Viaduct blog.Viaduct is for platform engineers building a company-wide data API, service owners who want to contribute to a shared graph without spinning up their own server, or engineering organizations that have outgrown a single GraphQL service.Wh…

Designing monitoring that works when everything else doesn’t.By: Abdurrahman J. AllawalaIntroductionWhen an incident hits, teams lean on observability to answer the only questions that matter: what’s broken, and why? Monitoring systems are designed to help you answer these questions, and they usually do.But what happens when your observability stack is dependent on the same systems that are failing? In that moment, the dashboards go dark, alerts stop firing, and the tools meant to guide recovery become part of the outage.This is an increasingly common challenge as organizations consolidate onto shared platforms like Kubernetes, service meshes, and other common infrastructure components. At …

How Airbnb built a lightweight workflow engine to solve durable execution.By: Ricardo Gamba, Andriy SergiyenkoIntroduction: The durable execution problemPicture this hypothetical flow: A host submits an insurance claim about their listing to Airbnb. The system needs to validate the claim, run trust and safety checks, assess estimates, process the payout, and send notifications. Halfway through — after the validation passes, but before the payout — the server crashes.What happens next?In a traditional architecture, the answer is often “it depends.” Maybe the operation times out and the guest retries, triggering duplicate processing. Maybe partial state corrupts what comes next. And for workf…

How we built a storage system that ingests 50 million samples per second and stores 2.5 petabytes of logical time series data.By: Rishabh KumarModern observability practice encourages instrumenting every meaningful code path. Over the past 15 years, open-source observability SDKs like Prometheus, OpenTelemetry, and StatsD have made deep instrumentation nearly ubiquitous. These days, most software — open-source or custom — can be made observable by default, assuming you actually collect the data.Airbnb is no exception. As our products and infrastructure have evolved, each new feature and each new incident has added another layer of instrumentation. Unsurprisingly, we were generating 1.3 bill…

Discover how Airbnb prioritizes user privacy while building a more connected community, empowering guests to engage socially, connect confidently, and maintain control of their personal data.By: Joy Jing✨ Building a more connected communityAt Airbnb, our hosts and guests form the heart of our community. As shared by CEO Brian Chesky, we’re evolving into a more social ecosystem. Airbnb Experiences now highlight the people involved as much as the activity. Guests can see Who’s going on an Experience, message co-guests directly, and view people they’ve met through the Connections section in their Airbnb profile. Guests are able to choose to share their profile for each new Experience. Guests w…

By Emma Yanyang Kong, Aditya Deshpande, Asad Abbasi, Bowei Yan, David Fagnan, Ashish Rastogi, Dhaval Patel, Ray ZhangIntroductionThe Netflix experience is a journey of discovery. Every visual cue, from the artwork on a title to the video previews that autoplay while you browse, is there to connect you with a story you will love. We call these visual cues assets, and choosing the right one for each member is a personalization problem of its own. But which image or video preview of Squid Game should we show you? And what do we do right after a title launches, when there’s far too little interaction data to know which asset we should recommend to each member?For years, our models answered the …

Samuel Yeboah, Francesco Di Chiara and Mingliang LiuToday, Netflix runs two Flink autoscalers. That is exactly one more than we want. We built the first one in-house years ago, when there was no mature option suited to our platform. The second came from the Apache Flink community, and it can scale workloads our homegrown system was never designed for. We now run both in production and are steadily converging on the open-source one. Along the way we learned some hard lessons about metrics, cost, and the real price of maintaining infrastructure you could instead adopt, and we hope they are useful whether you run a handful of Flink jobs or tens of thousands.Why autoscaling is not optional at o…

How and Why Netflix Built a Real-Time Distributed Graph: Part 3 — Querying the graph with gRPC execution APIAuthors: Nilesh Mishra and Ajit KotiThis is the third entry of a multi-part blog series describing how we built a Real-Time Distributed Graph (RDG). In Part 1, we discussed the motivation for creating the RDG and the architecture of the data processing pipeline that populates it. In Part 2, we discussed how we designed the storage layer to handle billions of nodes and edges while maintaining single-digit-millisecond latency. In Part 3, we will explore how we designed a fast, flexible serving layer to efficiently query the graph.IntroductionIn Part 1 of this series, we described why Ne…

by Aarti Laddha, Richard Diaz-Cool, Rishika Idnani, Venkatesh SelverajNetflix supports a vast and evolving set of features and content types, ranging from 4K streaming and immersive audio to live streaming and cloud gaming, across a diverse ecosystem of devices. However, not all devices are created equal. Hardware limitations such as available RAM, CPU cores, display capabilities, or platform support mean that some features cannot be supported on certain device models. To ensure the best possible user experience, we rely on a deep understanding of device capabilities. We have invested in building a comprehensive device capability data model and integrating feature flags from internal system…

Authors: Ying Li, Arjun Rao, Shradha SehgalIntroductionRecommendations sit at the heart of the Netflix experience. Our current production models rely on thousands of hand‑crafted features over users, items, and interactions, along with specialized architectures for sequence modeling, feature interactions, and multi‑task objectives. This stack has evolved over many years to support diverse content types (movies, series, games, live, podcasts) and product surfaces, but its complexity makes it costly to onboard new use cases: adding a content type or surface can require significant feature engineering, architecture change, infrastructure work, and experimentation.At the same time, large langua…

By AI Platform’s Model Runtime team and Inference teamIntroductionMost organizations consume LLMs through hosted APIs. Netflix went further — we run the full stack ourselves, from model deployment through inference, inside our existing production environment rather than a separate ML silo. Some of those decisions weren’t obvious, and a few revealed their trade-offs only under production load.This post focuses on the choices where alternatives were seriously considered: engine selection, model packaging, API surface design, deployment strategy, and output constraints enforcement. The goal is to share not just what was built, but why — and what production revealed that the design phase didn’t…

By Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez-Silva & Nathan FisherA deep dive into the engineering challenges of building a real-time service dependency map at Netflix scale — from streaming architectures and distributed aggregation pipelines to time-travel queries and the methodology that made it work.IntroductionIn our first post, we introduced the problem: engineers at Netflix needed a unified, real-time view of service dependencies to troubleshoot faster, understand blast radius, and navigate our distributed architecture. We described our multi-source approach — combining eBPF network flows, IPC metrics, and distributed tracing into physically separate graph layers that can…

Authors: Lequn Wang, Jiangwei Pan, and Linas BaltrunasFigure 1. Autoregressive homepage generation. GenPage builds a Netflix homepage one row or entity at a time, each one conditioned on what’s already on the page and the user’s context.IntroductionThe Netflix homepage is the first thing users see when they open the app and the primary way they discover content to enjoy. Almost every part of it is personalized, including which rows appear, which entities show up within those rows, and how everything is arranged on the page.Constructing that homepage is a genuinely hard problem. It is not simply producing one ranked list. The homepage is a structured, two-dimensional layout, made up of recom…

By Zhuoning Yuan, Ta-Ying Cheng, Benjamin Klein, Bahareh AzarnoushIntroductionAt Netflix, we build technology to help storytellers bring their creative visions to life and to help members discover the stories they love.To connect stories with diverse audiences around the world, we produce promotional assets, including trailers, teasers, and social short‑form videos, that build on and elevate the original footage. Through close collaboration with the teams crafting these assets, we identified a recurring gap in current tools. Transforming raw footage into a polished final asset often requires complex edits like seamlessly adding new visual elements, patching or replacing backgrounds, or remo…

By Alvin Bao, Alex Petrov, Jennifer Lai, Aidan Sherr, and Samartha ChandrashekarAs a part of the journey to transition Netflix’s compute infrastructure to be more Kubernetes-native, we have leaned into incorporating components from the Kubernetes ecosystem into our container platform Titus. One example of this is our use of Kueue, a cloud-native job queueing system for batch workloads, which has largely replaced the custom queuing and scheduling logic in our homegrown managed batch solution Compute Managed Batch (CMB). In this post, we’ll give an overview of what motivated the migration, how we migrated millions of batch jobs to use Kueue, and what Kueue allows us to offer as a Compute plat…

By Celina AmadosAt Netflix, our catalog metadata is crucial to our member experience, and a single corrupted data state can impact millions of viewers immediately. To protect streaming reliability, we built an automated data canary system that validates data transformations using production traffic. This canary detects issues in under 10 minutes, and blocks bad data from reaching our members.IntroCatalog metadata is what makes Netflix functional. It defines what titles exist, where they’re available, whether they can be played, and more. This data gets transformed and distributed across our vast infrastructure near-continuously, powering everything that helps members find what they want to …

by Emily GillEach year, we bring the Analytics Engineering community together for an Analytics Summit — a multi-day internal conference to share analytical deliverables across Netflix, discuss analytic practice, and build relationships within the community. This post is one of several topics presented at the Summit highlighting the breadth and impact of Analytics work across different areas of the business.Understanding Risk in Content LaunchesEvery title you see on Netflix goes through several key phases: Development, Pre-Production, Production/Principal Photography, Post-Production, and finally, Launch Preparation, all leading up to the Title Launch. Once Principal Photography wraps, the …

By Christos G. Bampis, Zhi Li, Kyle Swanson, Nil Fons Miret and Pavan MadhusudanaraoWill this encode look good to Netflix members? Does switching to a new codec improve quality at the same bitrate and by how much? What is the best way to encode a movie title given a target bitrate budget? For years, VMAF has reliably helped us answer those questions and deliver an optimized quality of experience to our members.But good is not good enough. If VMAF misjudges quality, that may lead to loss of detail for a suspenseful close-up or banding for a stunning wide-angle sky shot. That’s a lot of trust to put in one number, so we strive to make sure it earns it. Over time, we collected feedback from VM…

By Winston Chou, Adrien Alexandre, Lars Olds, Yi Zhang, Garrett Hagemann, and Nathan KallusIntroductionImagine asking a data agent to analyze the causal relationship between two variables, such as the effect of watching a popular Netflix show on long-term member retention. It queries your data, runs a regression, and confidently returns an answer. How much should you trust it? Can you be confident that the agent accounted for subtle biases — or does it treat passionate fans as if they were the average viewer? Without deep understanding and expertise, would you even be able to tell if it got the answer wrong?Data analysis is increasingly being delegated to software agents. While this reduces…

by Matthew Wood, Ishan Gupta, Kevin Mercurio, Devon Bryant, and Claire DormanIn his seminal book “Thinking, Fast and Slow,” Daniel Kahneman describes two systems that drive human cognition: System 1, which operates automatically and quickly with little effort, and System 2, which allocates attention to more challenging mental activities requiring deliberate focus. This dual-process theory has profound implications not just for understanding human behavior, but for designing intelligent systems that must balance immediate responsiveness with strategic foresight. Similar “plan vs. act” decompositions show up in other domains too — for example, robotics and autonomous driving often separate a …

Authors: Bowen Zhou | Staff Software Engineer; Shan Gao | Senior Software Engineer; Jingwen Hu | Software Engineer II; Wenjiang Chu | Staff Software EngineerThe Billion-Embedding ChallengeAt Pinterest, the “signal” is our lifeblood. Whether it’s a home decor enthusiast finding the perfect rug or a fashion seeker discovering a new aesthetic, our discovery engine relies on understanding deep semantic relationships to help our users find inspirations. Over the last few years, the explosive growth of embedding-based retrieval has fundamentally transformed how we surface these signals — and at the heart of that transformation is Manas, Pinterest’s in-house distributed search platform.Embedding R…

Lei Pan | Senior Software Engineer; Salina Wu | Senior Software Engineer; Cristian Lopez | Software Engineer I; Guangtong Bai | Staff Software Engineer; Soam Acharya | Principal Engineer; Saurabh Vishwas Joshi | Principal Engineer; Chia-Wei Chen | Staff Software Engineer; Ambud Sharma | Principal EngineerWhy VLM Serving Matters at PinterestPinterest is a visual search and discovery platform, so its AI systems must reason over both language and visual content. Vision-language models (VLMs), which can interpret images, compare visual candidates, and respond naturally to user intent, are becoming the foundation for the next generation of Pinterest experiences: Pinterest Assistant, hybrid searc…

John Grass | Sr. Manager, EngineeringA Fundamental TransformationAn AI team is fundamentally more than just a group whose members incorporate AI tools into their existing workflows. The journey to becoming an AI team necessitates a fundamental and comprehensive paradigm shift in how the team defines ownership, engages in strategic planning, and, most critically, executes on its core goals and objectives. This transformation is not merely an addition of new technology; it is a restructuring of the team’s operating model, philosophy, and individual roles.Becoming an AI team requires a holistic shift: team members transition from routine, manual execution to empowered, AI-augmented strategists…

Devin Kreuzer | Sr. Machine Learning Engineer; Yichi Wang | Machine Learning Engineer I; Sujan Reddy Ale | Machine Learning Engineer I; Zelun Wang | Sr. Machine Learning Engineer; Hongtao Lin | Sr. Machine Learning Engineer; Piyush Maheshwari | Staff Machine Learning EngineerPinterest home feed candidate generation is a large-scale User-to-Pin retrieval problem. A common approach is a two-tower model: a user tower encodes the user, an item tower encodes candidate Pins, and approximate nearest neighbor search retrieves Pins close to the user embedding. But Pinterest users often have multiple intentions at once — planning a renovation, saving recipes, exploring fashion, or organizing travel i…

Part 1 of 2AuthorsPersonalization (Homefeed): Yuke Yan, Chuxi Wang, Andreanne Lemay, Olafur Gudmundsson, Anna Kiyantseva, Krystal Benitez, Jongho Kim, Jiacong He, Rahul Goutam, James Li, Dylan WangUser Understanding: Simin Li, Sufyan Suliman, Yingjian Ding, Hongbo DengData Science: Armando Ordorica, Yan Chen, Ellie Zhang, Karim WahbaIntroductionPinterest’s mission is to help people discover the inspiration to create a life they love. Our recommendation system serves hundreds of millions of users, surfacing billions of Pins across interests ranging from home renovation to meal planning to wedding decor. The home feed , where much of that discovery happens, is powered by a multi-stage pipelin…

Ammar Ekbote | Senior Software EngineerChan Kim | Senior Software EngineerManaging Infrastructure as Code (IaC) across a massive organization comes with a unique set of security and logistical challenges, particularly when operating within a distributed, multi-repository architecture. At Pinterest, we designed the Resource Provisioner Pipeline (RPP), our specialized, proprietary Terraform execution engine to safely manage both critical and non-critical infrastructure changes.In this post, we will look under the hood of the first iteration of the RPP system. We will explore how it established compliance and provides robust security guardrails for our global AWS operations by utilizing dual c…

Sheng Huang | Software Engineer, AI Platform; Pong Eksombatchai | Machine Learning Engineer, Applied Sciences; Saurabh Vishwas Joshi | Software Engineer, AI Platform; Gaurav Arora | Software Engineer, AI Platform; Karthik Anantha Padmanabhan | Engineering Director, AI PlatformAt Pinterest, foundation models power recommendations for over 600 million monthly active users. Our latest Foundation Model (ACM RecSys 2025) pre-trains on two years of user activity data and is deployed into Home feed and Related Pins ranking, the platform’s two most important recommendation systems. Multi-node distributed training is the key to unlocking the next level of that capacity.¹But when we first attempted m…

Yisheng Zhou | Software Engineer IILiang Mou | Sr Staff Software EngineerGabriel Raphael Garcia Montoya | Staff Software EngineerIstvan Podor | Staff Software EngineerIntroductionIn the first post of this series, we introduced Pinterest’s next-generation CDC-based ingestion platform built on Kafka, Flink, Spark, and Iceberg. In production, upstream schemas are constantly evolving, and in a distributed CDC pipeline, schema is not just metadata — it is a cross-system contract spanning ingestion, transformation, storage, and historical backfill. A schema change that is not handled carefully can break Flink jobs, block Spark upserts, or create inconsistencies between online and offline represen…

Authors (listed alphabetically)Ads Feature Engineering Infra team: Ajay Venkatakrishnan, Le ZhangCore ML Infra team: Eric Shang, Pihui WeiML Data team: Connor Votroubek, Yi HeUser Understanding team: Camilo Munoz, Simin LiIf you work on ranking, retrieval, or recommendation systems, you’ve probably asked for some version of the same thing: “Give me the last N meaningful actions this user took, with the right enrichments, in a format that’s easy to train and serve ML models.”On paper, that sounds simple. In practice, “user sequences” often become one of the most expensive and fragile parts of the ML data stack.They end up powering everything from training datasets to offline analysis and onl…

An Engineer’s Guide to Better AI Skills: Implementing a Testing Process to Optimize Agent Performance in Any Repository or SkillAuthor: Daniel ReedThe tech industry is currently seeing a massive overhaul in the way we work and many are enjoying the benefits of AI agents, particularly when automating engineer workflows and serving domain-specific knowledge. However, relying on agents to consistently invoke a custom skill can be surprisingly unreliable at times.When adopting a new skill intended to help agents write code for Pinterest’s iOS architecture (I’ll call it rx-mvvm) we discovered that sometimes our knowledge skill wasn’t being loaded into our agents. To address this, we conducted a …

Huiqin Xin | Machine Learning Engineer II, Ads Vertical Modeling; Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingMotivation: The Need for Real-Time ContextIn a previous post, Ads Candidate Generation using Behavioral Sequence Modeling, we introduced a candidate generator (CG) that uses a Transformer-based two-tower model to leverage a user’s offsite conversion history — a powerful signal — to predict future interactions with advertisers and specific products. Th…

Guangtong Bai | Staff Software Engineer, Product ML Infrastructure*; Shantam Shorewala | Software Engineer II, Product ML Infrastructure*; Chi Zhang | Staff Software Engineer, AI Platform*; Neha Upadhyay | Software Engineer II, AI Platform*; Haoyang Li | Director, Product ML Infrastructure*These authors contributed equally to this article.BackgroundAt Pinterest, our online ML serving systems employ a root-leaf architecture. On a high level, the architecture looks as follows:Figure 1: Root-leaf Architecture of Online ML Serving Systems at PinterestIn the diagram, “Client Service” is responsible for recommending organic or promoted Pins to users. In order to know if a given Pin is relevant to…

Authors: Richard Huang | Machine Learning Engineer II; Yu Liu | Senior Machine Learning Engineer; Ziwei Guo | Senior Machine Learning Engineer; Andy Mao | Staff Machine Learning Engineer; Supeng Ge | Sr. Staff Machine Learning EngineerIntroductionAt Pinterest, conversion ads are crucial for matching users with products they are likely to purchase, boosting value for both users and advertisers¹. While conversion actions like checkout or add-to-cart are highly valuable, they are also technically challenging to optimize for. Because they occur offsite, conversion events are significantly sparser and noisier than onsite engagement signals. Historically, Pinterest’s shopping ads retrieval relied…

Shanhai Liao | Senior Software Engineer, Content Acquisition and Media Platform; Di Ruan, | Senior Staff Software Engineer, Content Acquisition and Media Platform; Evan Li, | Senior Engineering Manager, Content Acquisition and Media PlatformIntroductionAccurate content understanding underpins Pinterest’s ability to drive distribution and engagement. This requires deep insight not just into the image itself, but also the outbound links or items to which those images point. At the foundation of this process lies a deceptively simple problem: URL normalization.When Pinterest ingests content from millions of merchant domains, the same product page often appears under many different URLs. A sing…

Vaibhav Shankar; Staff Software Engineer | Raymond Lee; Staff Software Engineer | Chia-Wei Chen; Staff Software Engineer | Shunyao Li; Sr. Software Engineer | Yi Li; Staff Software Engineer | Ambud Sharma; Principal Engineer | Saurabh Vishwas Joshi; Principal Engineer | Charles-A. Francisco; Senior Engineer | Karthik Anantha Padmanabhan; Director, Engineering | David Westbrook; Sr. Manager, EngineeringOne day in early 2025, the Kubernetes platform team at Pinterest (PinCompute) got a ping from our partners on the ML platform team. Their Ray-based training jobs , which often take hours of computation on expensive GPU hardware, were crashing. Not every time, but often enough that it was becom…

We’ve built an AI agent that acts as a secondary expert for a given domain, making deep specialist knowledge readily available and preserved for anyone in an organization to access, share, and build upon. This is not a typical domain-specific agent. Its novelty comes from integrating two layers: A structured, auditable knowledge architecture separates what [...]

Read More...

The post An Organizational Second Brain: Building an AI That Learns From Experts appeared first on Engineering at Meta.

Every day, Meta’s recommendation platforms handle billions of user interactions, generating rich temporal signals that capture individual preferences and intent across products, ads, and content. In our 2024 post on sequence learning for ads recommendations, we showed how modeling the order and timing of user actions (rather than relying on static, manually engineered sparse features) [...]

Read More...

The post From User Sequences to Scaling Laws: A Multi-Stage Architecture for Meta’s Ads Ranking appeared first on Engineering at Meta.

Meta’s Generative Ads Recommendation Model (GEM), the foundation model behind ads recommendations across Instagram and Facebook, now trains at LLM scale on several thousand of the latest-generation GPUs. This post goes into the details on how we achieved: doubling end-to-end (E2E) training efficiency to 20–25% Model FLOPs Utilization (MFU) while scaling training FLOPs 4x in [...]

Read More...

The post GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model appeared first on Engineering at Meta.

Hierarchical Interest Representation is a research area for Meta Ads. We’re exploring an upstream representation layer over the universe of Ads entities – users, advertisers, products, services – learning unified embeddings that connect users’ inferred interests with the breadth of what advertisers offer in their deep funnel ads. The innovations in Hierarchical Interest Representation are [...]

Read More...

The post Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization appeared first on Engineering at Meta.

TL; DR At Meta’s scale, a few milliseconds of latency degradation can have a significant negative impact on ads performance. When a Linux kernel upgrade risked regressing latency across Meta’s ad serving fleet, we turned to sched_ext — the upstream, BPF-based extensible scheduling framework — to build a scheduling policy customized to the Ads delivery [...]

Read More...

The post Modernizing the Meta Ads Service With an Open-Source Kernel Scheduler appeared first on Engineering at Meta.

This year marks Meta’s 10th consecutive year as a sponsor of the Python Software Foundation (PSF), the charitable organization dedicated to advancing, supporting, and protecting the open-source Python programming language and the community that sustains it. Python is one of the world’s most influential programming languages, and we use it across our engineering stack, from [...]

Read More...

The post 10 Years of Meta’s Commitment to Python appeared first on Engineering at Meta.

Privacy controls — systems that enforce retention, access, allowed-purpose, downstream-sharing, or anonymization policies — require a reliable understanding of data to function. Before such a control can operate effectively, it must know exactly what it is looking at. This can be complex, as demonstrated by a field simply named “age“: In one context, it might [...]

Read More...

The post Privacy-Aware Infrastructure in the AI-Native Era: An Asset Classification Case Study appeared first on Engineering at Meta.

We’re introducing SilverTorch, a reimagining of recommendation systems that unifies all retrieval components for user generated content under a unified architecture. SilverTorch shows up to 23.7x higher throughput compared to the state-of-the-art approaches. It’s also showing 20.9x more compute cost efficiency compared to a CPU-based solution while also improving accuracy. Our research paper, “SilverTorch: A [...]

Read More...

The post SilverTorch: Index as Model — A New Retrieval Paradigm for Recommendation Systems appeared first on Engineering at Meta.

On its face the new Friend Bubbles feature looks simple enough. It highlights Reels your friends have watched and reacted to. But sometimes the features that seem the most straightforward require the deepest engineering work. On this episode of the Meta Tech Podcast, Pascal Hartig chats with Subasree and Joseph, two software engineers from the Facebook [...]

Read More...

The post Reel Friends: Building Social Discovery that Scales to Billions appeared first on Engineering at Meta.

We’ve fundamentally transformed Facebook Groups Search to help people more reliably discover, sort through, and validate community content that’s most relevant to them. We’ve adopted a new hybrid retrieval architecture and implemented automated model-based evaluation to address the major friction points people experience when searching community content. Under this new framework, we’ve made tangible improvements [...]

Read More...

The post Modernizing the Facebook Groups Search to Unlock the Power of Community Knowledge appeared first on Engineering at Meta.

We’re sharing insights into Meta’s Capacity Efficiency Program, where we’ve built an AI agent platform that helps automate finding and fixing performance issues throughout our infrastructure. By leveraging encoded domain expertise across a unified, standardized tool interface these agents help save power and free up engineers’ time away from addressing performance issues to innovating on [...]

Read More...

The post Capacity Efficiency at Meta: How Unified AI Agents Optimize Performance at Hyperscale appeared first on Engineering at Meta.

AI coding assistants are powerful but only as good as their understanding of your codebase. When we pointed AI agents at one of Meta’s large-scale data processing pipelines – spanning four repositories, three languages, and over 4,100 files – we quickly found that they weren’t making useful edits quickly enough. We fixed this by building [...]

Read More...

The post How Meta Used AI to Map Tribal Knowledge in Large-Scale Data Pipelines appeared first on Engineering at Meta.

This is the second post in the Ranking Engineer Agent blog series exploring the autonomous AI capabilities accelerating Meta’s Ads Ranking innovation. The previous post introduced Ranking Engineer Agent’s ML exploration capability, which autonomously designs, executes, and analyzes ranking model experiments. This post covers how to optimize the low-level infrastructure that makes those models run [...]

Read More...

The post KernelEvolve: How Meta’s Ranking Engineer Agent Optimizes AI Infrastructure appeared first on Engineering at Meta.

Meta continues to lead the industry in utilizing groundbreaking AI Recommendation Systems (RecSys) to deliver better experiences for people, and better results for advertisers. To reach the next frontier of performance, we are scaling Meta’s Ads Recommender runtime models to LLM-scale & complexity to further a deeper understanding of people’s interests and intent. This increase [...]

Read More...

The post Meta Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads appeared first on Engineering at Meta.

Meta is continuing its long-term roadmap to help the construction industry leverage AI to produce high-quality and more sustainable concrete mixes, as well as those exclusively produced in the United States. Concurrent with the 2026 American Concrete Institute (ACI) Spring Convention, Meta is releasing a new AI model for designing concrete mixes – Bayesian Optimization [...]

Read More...

The post AI for American-Produced Cement and Concrete appeared first on Engineering at Meta.

No single MCP tool does it all: the right stack combines search, extraction, cited synthesis, workflow control, and verified consumer data.

Revenue mapping compares paid invoices, job volume, and crew time by neighborhood to reveal where local service work is most profitable.

Business intelligence turns recurring patterns in inventory, invoices, and costs into clear decision rules that prompt faster, more consistent action.

A practical guide to the current data trends worth funding in 2026: what changes, who feels it first, and what to do about each one in the next twelve months.

These top artificial intelligence and machine learning companies are providing great options for anyone interested in AI or machine learning.

Top analytics tools grouped by the job they do, from business intelligence to data science, with pricing models, honest drawbacks and the ones we cut.

A layer-by-layer comparison of 14 data modeling tools, covering licensing, deployment, and round-tripping so teams can match each product to the right job.

A sound risk assessment stays current, uses clear scoring, and ties every treatment decision to an accountable owner, budget, and audit trail.

Tech founders protect their brand reputation during digital expansion by backing executive messaging with verified operational data and consistent metrics.

Strong data governance and quality management protects brand reputation during digital expansion by eliminating duplicate records and unifying customer communications.

A practical comparison of facial age estimation providers, focusing on independently validated accuracy, demographic bias, and fallback checks at legal age thresholds.

These six agentic SDLC platforms help enterprise teams govern AI agents across planning, delivery, operations, and compliance without sacrificing human accountability.

These six runtime intelligence tools show where AI-generated code succeeds or fails under real production traffic, giving agents and engineers the context to fix it.

A practical comparison of 10 AI drug discovery platforms that combine biological data, molecular design, and lab feedback to prioritize stronger candidates earlier.

AI agents now handle the grunt work of B2B advertising data themselves — merging fragmented platform reports, scrubbing records continuously, and shifting spend while the numbers are still current.

When generative AI entered the mainstream, prompt engineering was often described as the next essential workplace skill. While writing effective prompts remains useful, today’s AI systems are increasingly capable of understanding natural language with minimal effort. As AI becomes embedded in everyday work, the skills that create long-term value are shifting. Organizations are no longer […]

The post 7 AI Skills Every Professional Needs in 2026 (Beyond Prompt Engineering) appeared first on WeCloudData.

Artificial intelligence adoption is moving beyond simple experimentation. A few years ago, organizations asked, “What can AI do?” Today, the question has changed to, “How can we integrate AI into the way we work?” Tools like ChatGPT, Claude, and Gemini have made AI accessible to millions of professionals, but simply having access to AI tools […]

The post How to Build AI Workflows That Actually Save Time appeared first on WeCloudData.

Licensing AI models for an enterprise workforce is no longer as simple as handing out software subscriptions. Giving 100 employees unguided access to ChatGPT without an operational strategy creates wasted budget, compliance landmines, and low-value usage. As outlined in our analysis of ChatGPT vs Claude vs Gemini, individual models excel at distinctly different tasks. Choosing […]

The post How to Choose the Right AI Model for Your Team: An Enterprise Framework appeared first on WeCloudData.

Choosing an AI model has become more complicated than simply asking which one is “best.” ChatGPT, Claude, and Gemini each excel in entirely different areas—from creative writing and complex software engineering to deep research and seamless enterprise collaboration. Rather than searching for a single winner based on fleeting benchmark scores, organizations and individuals should understand […]

The post ChatGPT vs Claude vs Gemini: How to Choose the Right AI Model for Every Task appeared first on WeCloudData.

Artificial intelligence is no longer a future initiative for most organizations. Across industries, leaders are experimenting with AI-powered tools, deploying copilots, exploring AI agents, and identifying opportunities to automate workflows. Yet despite growing investment, many organizations struggle to move beyond isolated pilots. The challenge is rarely a lack of technology. More often, organizations discover that […]

The post Build AI Capabilities Across Your Organization: A Practical Enterprise Framework appeared first on WeCloudData.

Most logistics and supply chain organizations aren’t hurting for technology. They already run on a robust stack of enterprise software. Yet, walk into almost any operations hub, and you’ll still find teams caught in a cycle of manual coordination, fragmented decision-making, and reactive fire-fighting. The bottleneck is no longer access to data or software; it’s […]

The post Designing AI-Enabled Workflows for Logistics and Supply Chain Teams appeared first on WeCloudData.

The logistics industry generates enormous amounts of data every day—from fluctuating inventory levels and real-time shipment tracking to warehouse throughput metrics and shifting customer demands. As global supply chains grow increasingly complex and volatile, traditional, rule-based systems are no longer enough to keep pace. To navigate these challenges, forward-thinking organizations are turning to artificial intelligence […]

The post Understanding Logistics and AI appeared first on WeCloudData.

The financial services industry has long relied on traditional automation to improve efficiency and reduce risk. The introduction of agentic ai in financial services represents the next stage of this evolution by enabling systems to reason, retrieve information, and execute complex, multi-step workflows with minimal human intervention. Rather than replacing professionals, ai agents in financial […]

The post How Financial Services Teams can use AI Agents appeared first on WeCloudData.

For the past few years, artificial intelligence has primarily functioned as an assistant—answering questions, generating content, and helping employees work more efficiently. If you needed a summary of a report, a draft of an email, or a line of code, you prompted a chatbot, and it was delivered. But we are transitioning into the next […]

The post The Rise of AI Agents in Organizations appeared first on WeCloudData.

When organizations first began experimenting with artificial intelligence, responsibility often fell to a handful of data scientists or isolated IT teams. Today, AI adoption is transitioning into an enterprise-wide initiative, creating a surging demand for entirely new AI roles that blend technical expertise, business strategy, governance, and workforce enablement. The emergence of these positions reveals […]

The post 7 New AI Roles Organizations Are Hiring For in 2026 appeared first on WeCloudData.

Everyone is talking about AI efficiency, but in a corporate legal or compliance department, a single unverified AI output can lead to severe consequences. If an AI tool hallucinates a case citation, leaks a privileged document to a public training set, or fails to spot a non-compliance clause, the cost isn’t just a bad draft—it’s […]

The post Designing a Custom AI Training Program for Legal and Compliance Teams appeared first on WeCloudData.

In 2026, the legal and regulatory landscape is moving faster than ever. Legal departments and compliance teams are currently facing a “quadruple threat”: a massive surge in document volume, a 500% increase in global regulatory changes over the last decade, constant pressure to improve operational efficiency, and the non-negotiable need to maintain strict data governance […]

The post Understanding AI for Law and Legal Regulatory Affairs appeared first on WeCloudData.

In the rapidly evolving landscape of generative AI, the biggest challenge isn’t just getting an LLM to talk—it’s getting it to talk accurately about your data. For the past two years, Retrieval-Augmented Generation (RAG) has been the gold standard for connecting AI to external data. However, a new contender has emerged: Cache-Augmented Generation (CAG). While […]

The post RAG vs. CAG: Choosing the Right Data Strategy appeared first on WeCloudData.

Building a comprehensive AI toolkit for 2026 is less about finding a single “best” app and more about curating a stack that handles research, execution, and specialized workflows. For those looking to master these technologies, this guide categorizes the essential top AI tools list currently shaping the industry. 1. AI tools for Research: Text, Reasoning, […]

The post The Essential AI Toolkit for 2026 appeared first on WeCloudData.

LLM models change. Prompt quality changes. Cost changes. We assumed that from day one.

So instead of building a one-off system tied to a specific model or a single “perfect prompt,” we focused on a repeatable process that we successfully applied to two large-scale projects (Slideshare and Scribd). That repeatable process is what we’re sharing. What We Achieved

This process enabled projects that normally require far more people and time: Slideshare: scanned tens of millions of slideshows, classifying each against adult-related content categories (e.g., sexually explicit content, drugs, alcohol, tobacco) and flagging the small fraction that matched.

Scribd: scanned hundreds of millions of doc…

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

Learn how Abnormal AI deployed Amazon Bedrock AgentCore Code Interpreter as an ephemeral compute scratch pad for the agents behind its real-time email threat detection at billion-message scale, plus the sandbox design decisions and practical lessons for builders deploying Code Interpreter in production.

Amazon Bedrock AgentCore Identity now offers a Consent portal, a managed web experience and session binding endpoint for AgentCore Gateway. This post walks through provisioning a portal, configuring GitHub and Slack 3LO targets, and the end-user consent flow, and shows how to review activity in AWS CloudTrail.

Part 1 showed how row lock contention degrades Amazon Aurora PostgreSQL throughput. In Part 2, use Amazon CloudWatch Database Insights and its Lock Tree to pinpoint blocking sessions, then resolve contention with query termination, timeout parameters, and architectural patterns such as SKIP LOCKED and row splitting that restore throughput.

Row lock contention can collapse database throughput during a flash sale even when CPU and I/O look healthy. In Part 1 of this series, learn how PostgreSQL row locking works and how to monitor lock contention in Amazon Aurora PostgreSQL and Amazon RDS for PostgreSQL using system views, the pgrowlocks extension, and the log_lock_waits parameter.

Learn how Ninth Wave built Compass, a multi-agent AI onboarding assistant on Amazon Bedrock AgentCore that validates bank APIs against Financial Data Exchange (FDX) standards, scores compliance, and compresses open finance onboarding from weeks to minutes while meeting SOC 2 and PCI DSS requirements.

Pick the right generative AI customization approach on AWS with an 8-step decision framework, from prompt engineering and RAG to fine-tuning, continued pre-training, and Amazon Nova Forge. Start simple and escalate only when you must.

Foundation models made catalog-wide demand forecasting easy; the hard part is now acting on the forecast. This post builds a closed detect-decide-act loop on Databricks and Amazon Quick that reconciles demand surges against live supplier availability and places replenishment orders unattended, escalating to a human only when no supplier can cover a surge.

Amazon Kinesis Data Streams now supports scaling down ingest capacity for on-demand Advantage streams with warm throughput. Learn how the scale-down works, how to monitor stream behavior with Amazon CloudWatch, and best practices for releasing excess capacity after transient traffic bursts.

Multi-agent systems fail in ways traditional monitoring misses. This post presents a dual-layer approach to monitoring production agents: Amazon Bedrock AgentCore Evaluations for continuous quality scoring and AWS DevOps Agent for autonomous infrastructure investigation, shown on a four-agent airline reservation system.

Comparing models on dollars per million tokens misses what production workloads actually pay for: outcomes. This post shares an open-source benchmarking harness that measures cost per correct answer, agent trajectory cost, and rubric-graded deliverable quality across OpenAI models on Amazon Bedrock.

Learn how to build and deploy an MCP App with interactive HTML widgets on Amazon Bedrock AgentCore. Because MCP Apps is a host-agnostic standard, the same server delivers the same rich experience across AI hosts like ChatGPT and Claude that support the extension.

Run ad hoc SQL analytics on your Amazon DynamoDB data with DuckDB. A zero-ETL integration replicates your table into Apache Iceberg tables on Amazon S3 Tables, and an AWS Lambda function running DuckDB serves SQL queries through an IAM-authorized function URL.

Amazon SageMaker Inference now offers prefix-aware routing, a routing strategy that sends requests sharing the same prompt prefix to the same instance so the KV cache stays warm. In benchmarks on Llama 3.1 70B, it reduced P50 time-to-first-token by up to 77% and raised KV cache hit rates from about 25% to over 80%.

Amazon SageMaker HyperPod now supports model caching for inference, which pre-loads model weights and container images onto cluster nodes so pods read from local NVMe storage instead of downloading over the network. Learn how model caching cuts cold starts from tens of minutes to seconds, how it works, and how to enable it.

TwelveLabs Marengo Embed 3.0 is now generally available as an embedding model in Amazon Bedrock Knowledge Bases, bringing fully managed natural language search to video, image, and audio content. This walkthrough shows how to build a knowledge base powered by Marengo 3.0 and run semantic queries against your media.

Your teams get an AI assistant that handles real work while your data stays in your environment and your conversations stay private Today, the Amazon Quick desktop application is generally available on macOS and Windows. We’re also adding a new activity feed to the mobile experience on iOS and Android that consolidates email, calendar, CRM, […]

Learn how to build an end-to-end RFI questionnaire workflow with Amazon Quick Automate. Read a multi-tab RFI workbook from Amazon S3, use natural-language prompts to extract and structure the questionnaire data, refine the workflow through conversation, and write clean CSV output back to Amazon S3 — cutting development from days to hours.

Learn how to migrate an Amazon CloudSearch domain to Amazon OpenSearch Serverless: assess your configuration, create a collection with explicit index mappings, convert your documents and queries to the OpenSearch query DSL, configure security, load data with Amazon OpenSearch Ingestion, and validate before cutover.

Accelerate slow, repetitive Apache Spark analytical queries on Apache Iceberg tables without rewriting any SQL. This post shows how automatic query rewrite in Amazon EMR and AWS Glue uses Iceberg materialized views in the AWS Glue Data Catalog to transparently substitute matching query plans, and how to design materialized views for the best speedup.

A configurable, model-agnostic detector that turns any large language model on Amazon Bedrock into a PII detector. Because the entities to detect live in a prompt rather than in code, one detector adapts to new entity types without retraining, and it outperforms an off-the-shelf tool across five public corpora and nine LLM-based detectors.

Multi-turn agents fail in ways single-turn evaluation misses: one early mistake corrupts every later turn. This post introduces the Agent Evaluation Metric (AEM), a decomposable, turn-level way to measure agent quality, applied to its first dimension, correctness, to pinpoint the turn that caused a failure and separate it from the turns that inherited it.

AvioBook, a Thales Group Company, prototyped Connected Analytics on Amazon Bedrock AgentCore to turn AvioBook Connect's operational data into plain-language, evidence-based answers for airline managers and dispatchers, helping them find and act on the causes of flight turnaround delays.

AWS is announcing the AWS Data Analytics plugin for the new Data agent in ChatGPT Work. Teams can ask questions in natural language, analyze governed data across their Amazon Redshift data warehouse and data lakes, and build shareable dashboards, all from a conversation in ChatGPT Work.

Learn how to deploy Qwen3.8-2.4T-A95B, a 2.4-trillion-parameter open-weight model, on Amazon SageMaker HyperPod with vLLM. This walkthrough covers cluster provisioning, NVFP4 quantization, and an OpenAI-compatible endpoint with built-in reasoning, tool calling, and native MTP speculative decoding.

A recap of August 2026 launches for AI builders across Amazon Bedrock, Amazon Bedrock AgentCore, and Strands: million-token context for OpenAI models, cross-Region inference, agents that run for up to 14 days on dedicated compute, expanded AWS GovCloud availability, and Strands Robots for physical deployment.

Learn how Heurist built Heurist Finance, a conversational AI investment workbench, on Amazon Bedrock AgentCore. This customer story shows how AgentCore payments, Identity, Memory, Code Interpreter, and Observability let a small team buy premium market data per query, isolate analysis in a sandbox, and keep every action auditable.

AWS Glue 6.0 introduces Spark Declarative Pipelines. In this post, you build a single declarative AWS Glue 6.0 job that turns raw order records into validated, aggregated tables through a bronze, silver, and gold sequence, without writing any orchestration logic.

TorchServe is no longer maintained, leaving teams to own the entire GPU inference stack. The AWS Ray Serve Deep Learning Container is a supported, pre-tested container with the framework, GPU drivers, and serving layer already assembled. This post walks through deploying a vision-language model on Amazon EKS using the Ray Serve DLC on a single GPU node.

Amazon Quick custom permissions let you enforce least-privilege access by toggling features per user. This post walks through four patterns to automate custom permissions across the user lifecycle: a RegisterUser API parameter, account and role defaults, event-driven Amazon EventBridge and AWS Lambda automation, and a retroactive batch update script.

Build a high-concurrency async Python rideshare application with Tortoise ORM and Amazon Aurora DSQL. This post walks through the key adaptations: UUID primary keys, IAM-authenticated asyncpg connections with a connection-pool patch, individual DDL execution, and optimistic concurrency control (OCC) retry logic.

I have a tentative offer for a new gig, just waiting on the official letter / paperwork. My current job feels like golden handcuffs, so I'm just seeking outside feedback if anyone else would jump ship or stay. Part of this comes from the work environment, but the other part comes from things I want to change about my life as a whole right now. I understand that there is no one single best answer here, so just seeking feedback. Current DE job Tech stack: We've spent the past 3 years migrating from onprem MSSSQL/SSIS to Snowflake/ADF. The ADF migration was handled by paid contractors, and they butchered all of our SSIS packages, so our ADF setup is a giant clusterfuck. It's painstakingly tedi…

Hi, we use Databricks, and a couple of teams produce tables, views, and table functions that other teams depend on. Within a team, its easy enough to define a contract. We codify it and always check that the data matches. But what about the upstream artifacts my team depends on? Do w define a source spec ourselves and check that its met on every run? What do we require from the upstream team? Who owns the contract, and how do you enforce it when multiple teams depend on the same thing? I want to keep this stupidly simple and enforce it automatically. How do you do this in practice? submitted by /u/ptab0211 [link] [comments]

That was a phrase a colleague of mine introduced to me. Quite absurd at first, but as he explained it, it made perfect sense. For years data assets have been governed by being hidden in a corner of the data platform, but this does not work anymore. Been elaborating about this in this post: https://steffenmoll.github.io/governance-by-obscurity submitted by /u/sfnmoll [link] [comments]

Anyone know any good free resources to learn informatica power centre ? I’m using designer, workflow manager, and workflow monitor and most resources I find are for IICS. submitted by /u/doo7797 [link] [comments]

I was working on linux and kept switching between my app, terminal, htop, logs, etc. whenever cursor or browser or any other apps i open started feeling slow , so I made a small debug overlay that stays on screen and shows the app i am currently using its PID, CPU usage and RAM usage. It also gives a warning if it notices stuff like high CPU, memory growing, disk pressure or system errors. for apps like VS Code and Firefox and other heavy apps , it also tries to include their sub-processes because checking only one PID can be misleading. this is the working setup of how it looks like. (though much more could be intergrated into this like) docker - container CPU or RAM restarts, unhealthy co…

I’m very new to data engineering in the sense that I just started studying to break into the field (currently data analyst adjacent). A big portion of the work seems to be extracting data, translating/cleaning it up, and then loading it to the database/cloud desired. But doesn’t that get repetitive? Surely there are only so many formats/sources you can extract data from so while the extract step isn’t always the same, isn’t it similar? Same thing with loading the data once you’re familiar with the systems you’re loading them to. The only varied source of work could be cleanup/translating the data as far as I can tell. Is this an accurate assumption? Do you feel like much of the job is repea…

Share the stories that make you feel good about being a data engineer. Give me some wholesome perspective. submitted by /u/abdullah_work [link] [comments]

for real though, has anyone ever implemented an actual data mesh? submitted by /u/dani_estuary [link] [comments]

Netflix is moving toward the open-source Apache Flink Autoscaler for more than 30,000 streaming jobs across multiple AWS regions, after finding that its cluster-level approach was less effective for complex, stateful pipelines with operators that have different processing requirements. Netflix reports that one team reduced annualized Flink compute expenditure by 58%, saving approximately $1.1 million annually. submitted by /u/nilukush [link] [comments]

Introducing [datatf](datatf.io), a tool to import existing Azure Databricks Workspaces into Terraform. I built this tool to help databricks customers accelerate the lakehouse infrastructure portion of the well-architected framework. Features: Generates dynamic terraform.tfvars + import code Built on the Databricks Go SDK Compatible with Terraform or OpenTofu Agentic friendly Native support for Azure Upcoming: Databricks GCP and AWS support Initial support for Snowflake, Fivetran, and Datahub. submitted by /u/536tech [link] [comments]

Shared this with a friend to vent and they thought Reddit might appreciate it. I don't usually commiserate about this topic on Reddit so apologies if this is the wrong sub... didn't quite feel like an r/excel post. The Teams message was meant to be a slightly humorous way to express my frustration/disappointment to colleagues outside the email thread with our boss about said data. Rant incoming. Could I have just thrown Python at this nonsense and built something much more elegant and robust? 100%. Could the same idiots (I say that with love) responsible for this filing system and Excel crimes run that Python package as-needed? Absolutely not. So clunky ass VBA it is. And yes, I recognize t…

Im tired of being dropped out of interviews just because i dont have hands on experience with databricks. I have more than 5 yoe with spark, flink, hudi, kafka, iceberg, airflow ffs. But the moment i mention i havent worked on databricks its like the recruiters think im not even a data engineer anymore. Should i just redo my profile and use the databricks terminology and straight up lie that i worked on it? Edit - yes i do know databricks and have built personal projects. Even had a certification which expired last year. Hell this year i did a poc to compare DB and sagemaker and ultimately went with sagemaker since we deeply integrated with AWS and DB is expensive asf and is an overkill for…

submitted by /u/OxtonEagle [link] [comments]

Let me preface by saying that I totally agree that lakehouse table formats (delta and iceberg) are open source and are "free" technologies that anyone can use. However, the total cost of owning these table formats gets very expensive, especially when we start using cloud vendors for the table updates. Nowadays the cloud vendors wish to start selling their proprietary MPP storage engines, in order to manage all of our table data. The problem is that the lakehouse table formats have gotten quite complex over time. And nobody wants to maintain them by hand. Nobody wants to think about the v ordering and z ordering and liquid clustering and partitioning and vacuuming and applying deletion vecto…

A discussion with Benn Stancil, co-founder of Mode and prolific data-industry essayist, exploring how he writes his weekly Substack posts. He discusses using deadlines (Friday publishing) to force himself past perfectionism, how ideas form messily over the week through unrelated connections, and how presentation-style analogies (Batman, basketball, Codenames) became his signature storytelling technique. He details his tooling—Sublime Text for drafting, Google Docs for revision, minimal use of Substack's editor—and explains why he avoids Grammarly and AI writing tools like Claude or ChatGPT for edits, since he believes AI compresses and flattens writing rather than embracing meandering voice…

Statistical thinking beyond formulas

The post 10 Statistical Traps We Often Overlook appeared first on Towards Data Science.

My first impressions of OpenAI's new frontier model

The post How to Maximize GPT-6 Astra appeared first on Towards Data Science.

How model validation standards are changing for LLM-based systems: what breaks, what carries over, and how to test output quality

The post The Model Validation Playbook for GenAI: Lessons from Banking appeared first on Towards Data Science.

Learn how to simulate reality with Python

The post A Beginner’s Guide to World Models appeared first on Towards Data Science.

Towards Data Science launches a video showcase for real-world AI work

The post Introducing ShipAI appeared first on Towards Data Science.

A context window can be technically complete and still describe a world that no longer exists. I built a deterministic benchmark to measure the cost of acting on stale context.

The post Context Windows Don’t Know What’s Still True — I Built a Validity Layer That Does appeared first on Towards Data Science.

I saved my day with a mere $52 bill. But you don't have to repeat my mistake.

The post I Vibe-Coded an App in Just Two Hours (And Regretted It the Next Day) appeared first on Towards Data Science.

How to catch a payload that looks correct but isn't, using a watchdog pattern with working Python.

The post Why Most Multi-Agent Systems Fail Even When Evaluation Passes appeared first on Towards Data Science.

AI companies quietly watermark billions of words a day. Here’s how to apply the same three families of techniques to your own writing—and what real experiments reveal about which watermarks survive copy-paste, editing, and paraphrasing.

The post Text Watermarking in Python: Catch Whoever Copies Your Writing appeared first on Towards Data Science.

Using LDA for dimensionality reduction in classification problems

The post Linear Discriminant Analysis (LDA) in Real-Life: Dimensionality Reduction in a Real-Estate Dataset appeared first on Towards Data Science.

From scalar observations to self-attention, and how positional information restores sequence order

The post Why Transformers Need Positional Encoding For Time Series: A Visual Guide appeared first on Towards Data Science.

Improving reinforcement learning for complex physics

The post Dynamical System Transfer Learning with Reduced Order Models appeared first on Towards Data Science.

Why the default 50/50 split is the wrong move when your treatment is more expensive than your control, and how cost-based sampling weights fix it

The post Optimal Traffic Allocation Under Heterogeneous Variant Cost appeared first on Towards Data Science.

Three conditions that must hold before splitting prefill from decode pays off, and why chunked prefill is the right default below that threshold.

The post Disaggregation Is a Thousand-GPU Problem appeared first on Towards Data Science.

Power BI Premium is gone. Microsoft Fabric took its place. Here's what actually changed for you, what didn't, and where to start — without the panic.

The post The Power BI Developer's Survival Guide to Microsoft Fabric appeared first on Towards Data Science.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Официальная документация по Python теперь доступна на русском языке: https://blog.python.org/2026/08/the-python-documentation-is-now-available-in-russian/

PostgreSQL 18 изнутриPostgres Pro выпустили новую версию книги про устройство PostgreSQL: PostgreSQL 18 изнутриВ настоящем издании учтены замечания читателей и исправлены опечатки, а также отражены такие новинки версии PostgreSQL 18, как поддержка асинхронного ввода-вывода, изменения в настройке автоочистки и появление оптимизации пропуска.Скачать по ссылке.

На канале Елизаветы Осетинской вышло интересное интервью с создателем ClickHouse Алексеем Миловидовым: https://www.youtube.com/watch?v=FSGhaMmqWTA

🔥 Три разных человека. Три разных проекта. Один и тот же подход.— Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес— Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска— Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяцРазные результаты. Разный масштаб. Но общие правила:1. не придумывать «гениальную идею», а брать существующий спрос2. делать простой MVP и быстро запускаться3. докручивать монетизацию и продукт по факту использованияРебята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех в…

🔥 Три разных человека. Три разных проекта. Один и тот же подход.— Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес— Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска— Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяцРазные результаты. Разный масштаб. Но общие правила:1. не придумывать «гениальную идею», а брать существующий спрос2. делать простой MVP и быстро запускаться3. докручивать монетизацию и продукт по факту использованияРебята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех в…

Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.Эксперты подробно расскажут об XLTable и его основных преимуществах: быстроте внедрения, отсутствии дублирования данных, снижении затрат на TCO, бессрочной лицензии и других.В рамках вебинара вас ждет:🔸Обзор рынка OLAP-систем🔸Демо системы XL Table от BR Systems🔸Разбор реальных кейсов крупных компанийТакже у вас будет возможность задать свои вопросы.Для участия необходимо зарегистрироваться на сайте. На указанную вами почту придет ссылка на вебинар. Подключайтесь к нам 21 мая в 16:00.До встречи!…

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Ребят, всем привет!Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann

Мощнее — не значит дорожеГлавные расходы при расширении 1С и баз данных — это не само железо, а лицензии ПО за каждое ядро.Оптимизировать затраты можно с помощью высокочастотных процессоров. Selectel запустил кластер AMD HiFreq в публичном облаке на базе VMware. Частота процессоров до 4.8 ГГц позволяет получить нужную производительность на меньшем количестве ядер. Высокая частота процессоров сглаживает разницу в производительности при переходе с Oracle и MS SQL на российские СУБД: Postgres Pro, Tantor и другие. Быстрые диски снимают ограничения при обработке тяжелых нагрузок в 1С и аналитике.Рассчитайте стоимость в удобном калькуляторе и разверните кластер для ваших задач: https://slc.tl/ze…

Привет! Я хотел бы в Surfalytics добавить информация про возможность фриланса и открытия счетов а банках и ИП в странах СНГ. У вас есть информация или примеры? Может быть есть ТГ каналы такие. Если хотите ссылкой поделиться добавляете ссылку как код или цитату.

Воскресная мотивация от Бритни СпирсХочешь жить на широкую ногу? Жить в огромном особняке?Тусоваться во Франции?Тогда работай, детка, работай, детка,Работай, детка, работай, детка.А ну, за работу, детка! (а-а)А ну, за работу, детка! (а-а)Давай, бей в набат,Не останавливайся — будь чемпионом.Вкалывай так, будто это твоя профессия,Берегись — вот оно идёт.

КосмоХакатоны задачи на реальных спутниковых данных 🚀Участвовать можно очно на площадке или онлайн из любой точки России — задачи, критерии и рейтинг общие.Ближайшие два этапа идут одновременно 11–13 сентября, очные площадки в Нижнем Новгороде и Благовещенске.Всего 12+ задач: технологические, управленческие и на ИИ, на каждом этапе свой набор.В Нижнем Новгороде - проектирование устойчивой спутниковой группировки: как удержать связь и работоспособность системы, когда часть аппаратов выходит из строя. Плюс управленческий кейс про сервисную модель космических услуг: что сделать общественным сервисом, что отдать рынку и как всё это финансировать при жёстких бюджетах.В Благовещенске - автономное…

Отличная идея. Буквально на прошлой неделе я спросил, какие акции мне купить. Критерий был, чтобы стабильный сток продавался с дисконтом. AI мне сказал про акции макдональдс, ну я их и купил, с iPhonа. Мне кажется это спланированная акция от ИИ.

Будет все больше и больше AI Data Engineers вакансий.А ваше резюме готово?Pet проекты уже лежат в GitHub?Книжки по основам AI engineering прочитаны?

В посте From Data Engineer To ?? Engineer автор затронул тему изменений в дата инжиниринге, связанных с развитием AI.Автор является практикующим инженером, поэтому ему есть, что рассказать. 1. От Data Engineer → Landing EngineerЧто изменилось:• Раньше пользователи хотели готовые дашборды, витрины данных (data marts) и полностью смоделированный BI-слой• Теперь запрос стал проще: «просто дай мне сырые данные»Почему: Пользователи сами «вайб-кодят» последнюю милю с помощью Claude, Codex и подобных инструментовСледствие для стека:• Дорогие Snowflake/Databricks нужны лишь для хранения и контроля доступа• Альтернатива: партиционированные Parquet/Iceberg/DuckLake + несколько DuckDB-трансформаций• Д…

Цены на составляющие улетели в космос. Заказал NX Jetson, за 2600, хотя думал он будет стоить долларов 500. Так же смотрим AI сервер для обучения алгоритмов компьютерного зрения, в планах было взять: Threadripper 7960X (24 ядра), 256 GB DDR5 ECC, 2× RTX 5090 32 GB, 10 TB NVMe, 1600 WЗадача:Обучение с учителем на синтетике: дистилляция учитель–ученик для детекции, transfer learning от предобученного ViT для позы, доменная адаптация против sim-to-real разрыва. RL не в критическом пути.Цена за сервер получается тысяч 30-40, да еще нужна промышленная розетка и охлаждение. Кто-нибудь, что нибудь собирал в последнее время?

Azure DP 750 или типа того. Для работы нужно было сдать экзамен, пришлось попросить «крышевать», как результат 942 из 1000🤴. Все вопросы были про Azure Databricks. Хотите сдать также хорошо экзамен? Есть варианты -> дорого, быстро, надежно😎

Diversity для LLMsВ одном стартапе, про который я недавно писал, все используют Claude Code.Claude Code подключён к MCPs:• dbt Cloud• Snowflake• Omni BIС помощью Claude Desktop и Claude Code любой желающий (с доступом) может писать код, открывать PR. Как правило, всё это происходит в dbt или Omni.То есть все поголовно стали Analytics Engineers. Даже если вы с компьютером на «вы», теперь даже с iPad'а можно заменить BI- и Analytics Engineer. Ведь основным языком программирования, как говорят, стал English. Даже если вы не согласны с этим (как и я), то ваш руководитель может считать по другому, а его мнение имеет бОльший вес, поэтому по факту будет так, как начальство скажет.В отдельном посте…

Никогда не думал, что заведем кота. Я себя больше относил к собакам. Но семья решила по другому. Возможно у кота есть немного собачих привычек, бегать-прыгать, а возможно еще молодой.Назвал я его Claude Кот. Когда никого нет дома, он лежит рядом, дает добро на сжигание сотни тысяч токенов.

Как построить управляемый Data Lakehouse за неделю на Evolution Data Platform ⤵️На вебинаре 8 сентября эксперты Cloud.​ru покажут, как за неделю с нуля построить архитектуру Data Lakehouse на Evolution Data Platform — от загрузки сырых данных до курированных витрин — с помощью управляемых сервисов, без эксплуатационной нагрузки и с фокусом на бизнес-результат.В программе:▶️принципы построения Lakehouse-архитектуры с единым слоем хранения в S3 в формате Apache Iceberg с поддержкой ACID-гарантий и версионирования;▶️подходы к централизованному управлению метаданными и происхождением данных через Managed Metastore;▶️способы реализации контроля качества данных в Managed Spark без остановки пайпл…

На SmallSat нашел единственную компания, которая создает дата платформа as a service для телеметрии. То есть ничего принципиально нового, но есть конкретный фокус на AeroSpace и у них уже есть серьезные клиенты. Они объединили хранение, интеграцию и “бизнес” метрики + красивый UI. То есть вместо того, чтобы самому строить в Elastic Search, Prometheus - предлагают готовый продукт. Компания называется Sift. Claude Design добавил карточку с описанием.https://www.siftstack.com/PS если вы ex-SpaceX, то вам дадут миллионы инвестиций на любую идею📈

Давно мечтал добавить сайт про музей прадеда, наконец старший сын подрос и научился пользоваться Claude Code (14 лет) и создал сайт, я по смыслу поправил и показал как подключить домен.Сентябрь 1812 года. Москва оставлена, армия отступает, война выглядит проигранной. Через полтора месяца Наполеон побежит из России — и первый толчок к этому был дан здесь, на поле у Тарутина.https://tarutino-museum.ru/Фотограф Екатерина Советкина, она же снимала дата-завтрак в Т-Банк, где я рассказывал про дата инжиниринг.PS сайт на Github Pages, и если они не работают в РФ, значит нужно поискать альтернативу.Если кому-то нужно простой сайт для некоммерческой организации, пишите.

Astra смогла, а вы сможете?Мы с вами недавно обсуждали эссе, опубликованное на сайте OpenAI, где автор сказал следующее:Чтобы начать влиять на реальный мир — стать очень полезным или очень опасным — ИИ не надо стать лучше людей во всех сферах. Ему надо стать лучше в достаточном количестве из них.И кое в чем новая их модель уже стала лучше многих людей: она прошла все 48 уровней I Am Not A Robot, где надо решать все более абсурдные и сложные капчи. В результате она даже получила сертификат, что является человеком.Весь процесс запечатлел и запостил другой сотрудник OpenAI. А сколько уровней пройдете вы? 👀

Продукты 24 × ffdd2d: конференция Т-Банка для тех, кто хочет превращать данные в решенияЭто не очередная конференция про цифры и метрики, где спикеры похвастаются кейсами, а зрители посмотрят и разойдутся. Вместо этого будут: 🟡 Акцент на решения: не просто как и что считать, а что потом с этим делать. Как данные и метрики превращаются в идеи, а идеи — в продукты. 🟡 Интерактив: форматы, где можно и нужно присоединиться к дискуссии и поспорить со спикерами. Спикеры, кстати, из Авито, Яндекса, Т-Банка, Додо и других компаний.🟡 Не только доклады и не только ИТ: спецвыпуск подкаста математика Андрея Коняева про то, как научный подход помогает находить новые решения.🟡 Нетворкинг: афтепати с видом…

Чуждый разум ChatGPTOpenAI показала GPT‑6 Astra и вновь заговорила на любимую тему — риски приближающейся эпохи AGI (artificial general intelligence или общего искусственного интеллекта). Ведущий научный сотрудник компании Джейкоб Пачоки написал на эту тему эссе «Чуждый разум».Ключевые мысли: 🔵ИИ не столько создают, сколько выращивают с помощью постоянной оптимизации и сложных вычислений. В результате получается система, умеющая работать с абстрактными понятиями и имитировать человеческое поведение. Разработчики и исследователи догадываются, как как она это делает, но не понимают ее до конца. 🔵Главная проблема ИИ — это научить его не просто выполнять указания, но и понимать и применять обще…

Lead Data Engineer, найдись!Valiotti Data — AI-native команда дата-инженеров и аналитиков. Консультируем растущие компании: встраиваемся в бизнес, решаем задачу, строим систему и передаем знания команде клиента.Задачи: архитектура данных, менторинг дата-инженеров, общение с заказчиками.Пример проекта. Клиент из Канады продает лидов через LeadByte, платежи принимает через Stripe. Нужно свести две системы: сколько выручки обещали проданные лиды и сколько реально выставлено в счетах. Единица отчета не кампания, а «продукт × язык», поэтому нужен свой справочник продуктов и слой маппинга. Требования на десятки страниц, работу режем на фазы.Стек: Fivetran → BigQuery → dbt → Looker Studio. Источни…

Для важных переговоровБывает у вас такое, что коллега отправил вам сообщение в ответ на ваш вопрос, вы читаете и понимаете — он сам тут ни слова не написал.Может быть даже не читал.Он просто отправил ваш вопрос Claude или ChatGPT и переслал вам их ответ. Наверное, кто-то к такому относиться с пониманием, но если вам такой подход не по душе — ловите полезную ссылку. Копируете и отправляете вашему собеседнику, можно даже не читать, что там написано — он же тоже, скорее всего, не читал, что ему ИИ написал. Там даже есть версии на разных языках и типа жесткий вариант (хотя на самом деле тоже довольно беззубый). Такой вот Let me google that for you турбулентной ИИ-эры.

Как боты пользуются интернетомПродолжаем тему ИИ и визуализации данных — на этот раз смотрим, как боты захватывают интернет.Вы наверняка видели новости про то, что объем трафика, сгенерированного ботами, превысил объемы человеческого. В The Agentic Web Index можно посмотреть, из чего он складывается и что за боты ходят по нашим сайтам. 🔵Значительная его часть приходится на поисковых ботов (они же краулеры), которые индексируют сайты для баз данных поисковиков, и SEO-ботов, анализирующих структуру и контент сайтов для последующей оптимизации. А вот на уже 3 месте оказались боты, которые собирают данные для ИИ-выдачи.🔵На ИИ-скрейперов приходится 11% бототрафика, из которых 26% генерирует Clau…

«ИИ станет либо величайшим уравнителем из когда-либо созданных, либо худшим источником несправедливости»Билл Гейтс опубликовал эссе о влиянии ИИ на общество: как оно меняется уже сейчас, что ждет его в будущем и что нужно сделать, чтобы эти перемены были менее болезненными для всех нас. Далеко не первый и не последний материал на эту тему, но интересный за счет попытки смотреть на вопрос непредвзято, без нагнетания паники. Вот несколько ключевых мыслей: 🔵Даже при самых идеальных условиях переход в новую эру ИИ станет одной из самых турбулентных эпох в истории человечества. Одна из причин этого — то, что люди до сих пор недооценивают искусственный интеллект и не понимают, насколько сильно и …

Независимый рейтинг ИИArtificial Analysis — проект на стыке наших с вами любимых тем: ИИ, аналитика и визуализация данных. Там сравнивают модели ИИ по всем возможным показателям: интеллект в целом и успешность прохождения разных бенчмарков по отдельности, скорость работы, стоимость, «открытость» и прозрачность для публики. 🔵В рейтинге участвуют не только ChatGPT с Claude — там сотни моделей, включая совсем маленькие и малоизвестные. Отдельные блоки выделены для ИИ, генерирующих изображения и видео. У каждой модели есть отдельная страничка с краткой сводкой конкретно по ней. 🔵Если запутались в таком изобилии, можно воспользоваться сервисом Model Recommender, который помогает подобрать ИИ под…

Охота на баг в SQLiteПодустали читать про ИИ, релиз очередной модели, результаты бенчмарков и новости про то, как хитрые агенты что-нибудь взломали? Если да, то почему бы не почитать лонгрид про то, как компания Tailscale искала в SQLite хитрый баг, который прятался в ней 16 лет? 🔜 Если кратко:Данные компания хранит в SQLite на отдельных серверах. Каждые несколько минут система делает «снимок» базы и отправляет файл SQLite в хранилище S3. Такой подход работал с 2023 года, но в августе 2025 начал сбоить — именно тогда Tailscale обнаружили, что один бекап поврежден. А потом этот случай повторился, а потом еще, и так 19 раз за 6 месяцев.В инцидентах не было никакой логики: они затрагивали разн…

Anthropic учит пользоваться ИИЛето заканчивается, пора возвращаться к учебе. Да, даже если вы давно получили свой диплом.🔜 Anthropic запустила Claude Academy. Главная задача проекта — дать людям актуальную информацию про ИИ и показать, как пользоваться этой технологией безопасно и эффективно. В посте в блоге компания настаивает, что это не гайд «как пользоваться Claude» или «как писать промпты». Материалы помогут:🔵разобраться в возможностях и ограничениях ИИ в целом и узнать, как применять его для решения повседневных задач, 🔵определить, какие задачи на самом деле стоит делегировать ИИ, а какие лучше делать самостоятельно,🔵научиться внедрять ИИ в рабочие процессы и корректно информировать о…

Origin: новый конкурент GitHubНе так давно обсуждали проблемы у GitHub и отток пользователей к конкурентам, и тут как раз во время очередного крупного сбоя, появилась еще одна альтернатива. 🔜 Cursor представили Origin, свой сервис для хранения кода. Проект находится на стадии ранней беты, так что функционал пока базовый: создание новых репозиториев, синхронизация с GitHub, поддержка пулл-реквестов. Во время работы пользователь может пользоваться помощью Cursor, задавать вопросы или давать ему задачи. В будущем обещают разработать целую экосистему приложений специально для Origin.Сервис уже доступен всем платным пользователям.

Один мой знакомый решил в своей компании полностью отказаться от дашбордов и заменить их на ИИ. Дашбордами все равно никто не пользовался, так что Claude казался более дешевой и удобной альтернативой.Но постепенно все покатилось куда-то не туда.🔵Перестали сходиться цифры: разные отделы оперировали разными данными и метриками и никак не могли договориться между собой.🔵У термина “активный клиент” появилось сразу три определения.🔵Claude посчитал показатели по таблицам, которые не обновлялись с 2022 года.🔵У знакомого начало зреть ощущение, что он все сломал.Это не уникальный случай. Я такое видел уже много раз в разных компаниях.Дело в том, что BI-система - это не просто набор графиков. Это то,…

Инструмент для ведения соцсетей в эпоху ИИОбычно по пятницам на канале выходит что-то несерьезное и развлекательное, чтобы скрасить конец недели, но не сегодня. Сегодня у нас серьезный инструмент для тех, кто хочет стать лидером мнений в соцсетях и прокачать свой аккаунт.Вести соцсети — это более трудозатратное занятие, чем может показаться на первый взгляд. Мало того, что выкладывать новый контент надо регулярно, так еще и нужно научиться писать посты, которые заходят публике: цепляющие, интересные, бьющие точно в боль читателя. Для тех, кто хочет продвигаться в соцсетях, но не знает о чем (или как) писать или не может найти на это время, сделали прекрасный новый инструмент: LinkedIn Cring…

Заметили, что не так на картинке? Это главная Google, где ни разу не встречается слово «Поиск». Пользователю предлагают включить ИИ-режим, создать картинку, задать вопрос про файлы или побрейнштормить.От привычного интерфейса осталась только кнопка «Мне повезет», которая открывает первую страницу в поисковой выдаче. Скриншот выложили на SearchEngineWatch.com (и такой сайт есть, оказывается) и рассказали, как работают новые кнопки.🔵«Задать вопрос про файлы» позволяет прикрепить к своему запросу файл. 🔵«Побрейнштормить» предлагает задать вопрос, над которым пользователь хочет поразмышлять с ИИ.🔵«Создать изображение» просить описать картинку, которую хочет сгенерировать пользователь, и даже по…

Айтишники, горит вакансия ❗️Позиция: Дата-аналитикКомпания: Яндекс.МаркетЗарплата: 200,000-350,000₽Кто хочет устроиться на такую позицию? Но в голове звучит: «Не вывезу» — скиллов ещё не хватает, ответственность слишком большаяОдин товарищ — Ваня, для вас дюжину раз доказал, что даже с базовыми знаниями о Python ты можешь претендовать на такую зарплату хоть этой веснойОн сам работал продуктовым аналитиком в крупных компаниях и в блоге делится инфой, которую не расскажет ни один коллега:- Как уверенно проходить собеседования? [Полный гайд]- Какие ошибки не позволяют тебе получать офферы от 250,000₽? [Читать]- Разборы задач с ваших будущих собеседований [Открыть]Кто сохранит канал сейчас — за…

⚡️Вышло новое исследование «AI в BI Круг Громова 2026»!ИИ в бизнес-аналитике выходит за пределы обычного чат-помощника. Следующий этап – агентная аналитика и переход от модели «вопрос–ответ» к модели «задача–результат»: ИИ не просто отвечает на отдельный запрос, а самостоятельно планирует анализ, ищет нужные данные и инструменты, выстраивает многошаговую цепочку и выполняет действия.В отчет «AI в BI-круг Громова 2026» вошли более 10 российских BI-решений с поддержкой AI-функций, среди которых: Yandex DataLens, Навигатор BI, Insight SOLARIS, PIX BI, Easy Report, DataForge AI, Glarus AI, Visiology Cortex, Luxms AI, Polyanalyst и ТЕРН ИИ Ассистент. Решения при этом разделены на 4 архитектурных…

Как построить управляемый Data Lakehouse за неделю на Evolution Data Platform ⤵️На вебинаре 8 сентября эксперты Cloud.​ru покажут, как за неделю с нуля построить архитектуру Data Lakehouse на Evolution Data Platform — от загрузки сырых данных до курированных витрин — с помощью управляемых сервисов, без эксплуатационной нагрузки и с фокусом на бизнес-результат.В программе:▶️принципы построения Lakehouse-архитектуры с единым слоем хранения в S3 в формате Apache Iceberg с поддержкой ACID-гарантий и версионирования;▶️подходы к централизованному управлению метаданными и происхождением данных через Managed Metastore;▶️способы реализации контроля качества данных в Managed Spark без остановки пайпл…

⚡️ Вышел отчет «Отечественные решения Data Lakehouse-круг Громова 2026»Российский рынок Data Lakehouse перешёл от пилотных проектов к промышленным внедрениям. При этом рынок разделился на два архитектурных подхода, а информационная безопасность стала одним из главных критериев выбора платформы.В исследование вошли 10 отечественных решений: MWS Data Lakehouse, Платформа Selena, Digital Q.DataFactory, CedrusData Platform, Data Ocean Nova, Tengri Data Platform, Arenadata Hyperwave, VK Data Platform, YTsaurus и Yandex Data Platform.➡️ Отчёт даст ориентиры:– чем отличаются интегрированные платформы от унифицированных систем,– когда важнее гибкость и технологическая свобода, а когда – простота вн…

3 бесплатных курса, 30+ уроков, 100+ задач 🫠Кажется, Симулейтив сошли с ума, они отдают бесплатно три курса, за которые многие берут деньги. Если вы хотите прокачаться в аналитике данных - начните с бесплатных курсов по самым важным разделам. Именно эти блоки помогут вам вкатиться в профессию, спрос на которую не падает из года в год. В наборе вы получите: 🐍 Основы Python — 10 уроков, 100+ практических задач, 3 проекта для портфолио. Реальные кейсы: аналитика продуктовых метрик, автоматизация обработки чеков. Спойлер: именно с этого начинается карьера аналитика.🗄 Основы SQL — 12 уроков, 70 задач на PostgreSQL, оконные функции, финальный проект. Без SQL не возьмут ни на одну позицию, связанн…

🔥 Подборка-сохраняшка самых полезных эфиров с канала. В этом году у нас 3 фокуса - разборы резюме, мок - собесы, анализ рынка от клиентов Этот пост будет постоянно актуализироваться новыми ТОПовыми статьями, подписывайтесь, чтобы не потерять!• разборы резюме• мок собесы (вы очень просили на последнем эфире)• офферы 📹 ЭФИРЫ - РАЗБОРЫ РЕЗЮМЕ 🔴Разборы резюме project manager 🔴Разборы резюме product manager (эфир с нанимающим)🔴Разборы резюме аналитики (разные) 🔴Разборы резюме разработчиков (эфир с нанимающим)🔴Разборы резюме. Project, Delivery, Analyst, Developers (эфир с нанимающим)🔴RTE, Scrum master, Agile Coach - кто все эти люди?)🔴Разборы резюме управленцев. РМО, СТО, CIO, СРО, СМО📹 ЭФИРЫ - М…

📊 Глубокое погружение в профессиональные инструменты на реальных проектах. Записывайтесь на курс «Системный аналитик. Экспертный уровень». 🎁 Учавствуйте в 3 бесплатных вебинарах — познакомьтесь с программой обучения и преподавателями. Задайте свои вопросы экспертам!6 августа, 20:00 мск — «Пользовательские сценарии (Use Cases) на реальном примере»: от бизнес-требования до задачи разработчику. Анализ требований, создание Use Cases, связь с разработкой, Q&A.13 августа, 20:00 мск — «Управление данными в MSA»: цена ошибок дублирования данных, оптимизация инфраструктуры и выбор БД (SQL vs NoSQL), единый глоссарий и контракты данных без бюрократии, требования к качеству данных для ИИ, чтобы модели…

Приглашаем аналитиков на встречу с командой Алисы и умных устройств 26 июля проводим Welcome Time* — неформальную офлайн-встречу. Расскажем о «внутрянке» проектов, поделимся экспертизой и ответим на ваши вопросы.💠 Приглашаем датасаентистов, дата-аналитиков и ML-аналитиков с опытом работы на Python от трёх лет и опытом с LLM.⏬ На встрече можно будет пообщаться с командой и коллегами из индустрии, а также по желанию пройти диагностику навыков по Python и SQL. На диагностике интервьюер подсветит ваши сильные стороны и покажет зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс.♾ Подробная программа и регистрация — на сайте:ht…

Приглашаем аналитиков на встречу с командой Алисы и умных устройств 26 июля проводим Welcome Time* — неформальную офлайн-встречу. Расскажем о «внутрянке» проектов, поделимся экспертизой и ответим на ваши вопросы.💠 Приглашаем датасаентистов, дата-аналитиков и ML-аналитиков с опытом работы на Python от трёх лет и опытом с LLM.⏬ На встрече можно будет пообщаться с командой и коллегами из индустрии, а также по желанию пройти диагностику навыков по Python и SQL. На диагностике интервьюер подсветит ваши сильные стороны и покажет зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс.♾ Подробная программа и регистрация — на сайте:ht…

📊 Данные сейчас растут быстрее, чем компании успевают под них перестраиваться. Поэтому всё больше переходят на Lakehouse — архитектуру, которая совмещает гибкость Data Lake и надёжность классического хранилища данных.Почему это важно прямо сейчас: переход на Lakehouse в среднем снижает затраты на инфраструктуру на 40% и ускоряет получение аналитики с недель до дней. А ещё 85% компаний уже строят на Lakehouse свои ИИ-модели — без такой платформы AI-проекты просто не на чем разворачивать.В России эта технология только набирает обороты, поэтому специалисты, которые умеют такие системы проектировать и разворачивать, — на вес золота. Yandex Cloud предлагает два экзамена, чтобы подтвердить это оф…

📊 Данные сейчас растут быстрее, чем компании успевают под них перестраиваться. Поэтому всё больше переходят на Lakehouse — архитектуру, которая совмещает гибкость Data Lake и надёжность классического хранилища данных.Почему это важно прямо сейчас: переход на Lakehouse в среднем снижает затраты на инфраструктуру на 40% и ускоряет получение аналитики с недель до дней. А ещё 85% компаний уже строят на Lakehouse свои ИИ-модели — без такой платформы AI-проекты просто не на чем разворачивать.В России эта технология только набирает обороты, поэтому специалисты, которые умеют такие системы проектировать и разворачивать, — на вес золота. Yandex Cloud предлагает два экзамена, чтобы подтвердить это оф…

⚡ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд.SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование.Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году.Вы узнаете:🔶Какие навыки действительно проверяют на собеседованиях;🔶Что должно быть в портфолио, чтобы его открывали работодатели;🔶Почему многие резюме аналитиков сразу отправл…

⚡ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд.SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование.Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году.Вы узнаете:🔶Какие навыки действительно проверяют на собеседованиях;🔶Что должно быть в портфолио, чтобы его открывали работодатели;🔶Почему многие резюме аналитиков сразу отправл…

Совместная магистратура Авито и МФТИ — начните карьеру в Data Science! Будущие магистранты, это для вас — бесплатная программа «Прикладное машинное обучение и анализ данных». Готовьтесь получить актуальную теорию по ML, писать диплом под руководством эксперта Авито и выйти на рынок топовым DS-специалистом. Вас ждут:— Востребованные навыки в Data Science, преподаватели из индустрии и практические задания, основанные на реальных задачах Авито.— Работа с реальными данными и помощь с диссертацией от экспертов компании.— Комьюнити и поддержка, ведь поток — всего 18 человек, чтобы уделить внимание каждому. Будем много нетворкать и обмениваться опытом!— Бесплатное обучение и стипендия лучшим студе…

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

Channel created

Channel created

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

Кажется, что искусственный интеллект и облачные технологии — это нечто нематериальное, «чистое» и почти бесплатное. Но каждый раз, когда вы спрашиваете нейросеть, что лучше приготовить на ужин или как ответить на неприятное письмо, где-то в мире тратится энергия — для работы дата-центров. За прошлый год они сожгли электричества как целая Франция — страна с населением почти 70 миллионов человек.В этом выпуске подкаста «Запуск завтра» мы разбираемся в скрытой цене искусственного интеллекта. Наша гостья — Ольга Добровидова, научная журналистка с 15-летним стажем, которая помогает разобраться в сложных историях о науке и технологиях. Мы поговорили о дата-центрах — тех самых «фабриках облаков», …

Каждый раз, когда вы спрашиваете нейросеть, что лучше приготовить на ужин или как ответить на неприятное письмо, где-то в мире тратится электричество — на работу серверов и дата-центров. За прошлый год они сожгли электричества примерно как целая Франция. Но действительно ли это проблема? Зачем вообще дата-центрам столько ресурсов? И как это в итоге влияет на нашу жизнь? Самат Галимов говорит с научной журналисткой Ольгой Добровидовой.Подписывайтесь на Либо/Либо+! В честь семилетия нашей студии годовая подписка стоит всего 2495 рублей. Подписывайтесь в Telegram: https://cutt.ly/zap3108eptg и в Apple Podcasts https://cutt.ly/zap3108epapЧат Запуска в телеграме: https://t.me/zapuskzavtraБот наш…

Это межсезонный эпизод «Запуск завтра». В нем — скрининг миллионов молекул, нейросети для поиска активных сперматозоидов и изучение щелчков кашалотов. Мы позвали научного обозревателя Илью Колмановского, чтобы узнать, как ИИ приходит в науку и почему для ученых это — обоюдоострый нож.Подписывайтесь на Либо/Либо+! В честь семилетия нашей студии годовая подписка стоит всего 2495 рублей. Подписывайтесь в Telegram: https://cutt.ly/don24bttg и в Apple Podcasts https://cutt.ly/don24btap28 июля старт курса по нарративным подкастам: https://course.libolibo.ru/podcast-narrative-course По промокоду ЗАПУСК — скидка 10%.Слушайте подкаст «Голый землекоп». Эпизоды, упомянутые в разговоре: «Зачем нужна ме…

Правда, что если в названии стартапа есть слово «искусственный интеллект», то в него не глядя вложат деньги? В этом выпуске венчурный инвестор из Долины Николай Давыдов простым языком объясняет, как устроена индустрия. А ещё — какие красные флаги бывают у стартапов, как он на самом старте понял, что надо вкладываться в Perplexity — сейчас это один из самых дорогих ИИ-стартапов в мире, и почему компании для инвестиций нужно выбирать серьёзнее, чем женуРеклама. Рекламодатель АО «Селектел». erid: 2SDnjdAKTeaSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/6n7x8⚡️ У это…

Умные часы, умные браслеты, умные кольца — наверняка ваши знакомые или вы сами задумывались о покупке таких устройств. Производители убеждают, что помогут вам на пути к здоровью и высокому качеству жизни. Но что на самом деле умеют такие девайсы? Кому они реально полезны, а для кого — дорогая игрушка? На что обращать внимание при выборе? В этом эпизоде мы разбираемся, стоит ли вам тратить деньги на еще один гаджет, а помогает нам в этом Татьяна Гатинская. Татьяна много лет занималась медицинскими изделиями в фармацевтической компании Novartis, а сейчас вместе с командой создает свое носимое устройство. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeBdxkrSelectel — независимый провайдер, …

Помните, когда каждый полет в космос был большим событием? Теперь пусками как будто никого не удивишь — в новостях постоянно пишут, что Илон Маск с его компанией SpaceX опять что-то запустили. Зачем отправлять в космос так много ракет? Какие безумные планы строят самые крупные игроки космической индустрии? И почему это все касается нас, простых людей на Земле? Вместе с аналитиком ракетных пусков Георгием Тришкиным разбираемся, для чего нам космос и какого развития мы ожидаем в ближайшие годы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnje1D24zSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масш…

Нейросети научились находить уязвимости. Что это значит для разработчиков и обычных пользователей? Станет ли проще атаковать и сложнее защищаться? Вместе с главным экспертом из Лаборатории Касперского Сергеем Головановым разбираемся, как меняется индустрия, когда и хакеры, и безопасники вооружились искусственным интеллектом.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeiSCq8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/97prs⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарн…

Чипы — это маленькие кремниевые пластинки внутри всех наших устройств. Без них не разогреется еда в микроволновке и не заведётся автомобиль — чипы нужны буквально везде. При этом их производство — настолько запутанный процесс, что удивительно, как он вообще работает. Сегодня мы разберёмся, как устроены современные чипы и почему в последние годы они подорожали. Поговорю я с Дианой Гришиной — она работала в ASML, единственной в мире компании, которая производит станки для создания самых крутых чипов.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcRXCVQSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе дл…

После февраля 2022 года российская гражданская авиация оказалась практически отрезана санкциями от остального мира. Запреты коснулись не только воздушного пространства, но и лизинга, регистрации и обслуживания самолетов. И это целиком поменяло работу авиакомпаний. Как теперь поддерживаются самолеты в России? Сможет ли авиация перейти на «отечественный флот»? Стало ли опаснее летать? Рассказывает Анастасия Дагаева, журналистка и независимый авиационный эксперт.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeXxtnNSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/m4hc…

В прошлом выпуске мы разбирались, как устроены эмоциональные ИИ-компаньоны под капотом. А в этом смотрим на отношения с ИИ с другой стороны. Опасно ли общаться с кем-то, кто не может сказать «нет»? Почему романтические отношения переоценены? И что делать родителям, если их ребёнок часами переписывается с ИИ? Самат Галимов говорит с семейным психологом и секс-терапевтом Мариной Травковой.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjccwtV8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/w0lq3 Сайт Марины Травковой: https://travkova.com/⚡️ У этого выпуска есть виде…

Представьте, что вы достаёте телефон и видите новое уведомление. Собеседник в мессенджере спрашивает, как у вас дела, делится планами, шутит. Вы переписываетесь каждый день, иногда по несколько часов. А теперь представьте, что этот собеседник — не человек, а ИИ-компаньон, который настроен идеально под ваши потребности. Если вас это удивляет, вот ещё один факт: у сервисов с такими ботами уже миллионы пользователей и их популярность растёт. Как создаются эмоциональные ИИ-компаньоны? Какой персонаж среди них — звезда? И как работает эта индустрия? Самат Галимов говорит с Артёмом Родичевым, основателем платформы Ex-human.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjejvUn6Selectel — независи…

Искусственного интеллекта в нашей жизни станет только больше. При этом значительная часть вычислительных мощностей для него сосредоточена в руках нескольких крупных американских корпораций — Google, Microsoft, Amazon. Братья Даниил и Давид Либерманы считают, что такая централизация опасна, и строят альтернативную распределенную сеть по опыту Bitcoin. Этот эпизод — о борьбе с монополией на ИИ, мире с AGI и обществе изобилияРеклама. Рекламодатель АО «Селектел». erid: 2SDnjebM1xvSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/wkkak ⚡️ У этого выпуска есть видеоверсия!…

Управление компьютером силой мысли — не научная фантастика. Лаборатории и стартапы по всему миру давно проводят эксперименты и разрабатывают интерфейсы, которые позволят миллионам людей пользоваться технологиями, минуя физические действия. Один из самых громких проектов в этой области — Neuralink Илона Маска; его пациентам вживляют датчики для считывания сигналов прямо в мозг. В этом выпуске кандидат биологических наук и руководитель группы нейрокогнитивных интерфейсов Сергей Шишкин рассказывает, как декодировать работу мозга, можно ли обойтись без инвазивных хирургических операций и на что способны нейротехнологии сегодня.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcR4GznSelectel — не…

Можно ли «подкрутить» себе настройки здоровья? Существует ли ген алкоголизма? Как читают и редактируют ДНК? Самат Галимов говорит с Михаилом Гельфандом — одним из главных биоинформатиков России — о том, что умеет современная генетика, и разбирает популярные мифы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjc2ro9kSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для масштабных задач: https://slc.tl/j2698 Телеграм-канал Михаила Гельфанда: https://t.me/mikhail_s_gelfand Рекомендации Михаила:Александр Панчин «Сумма биотехнологии»Александр Марков «Рождение сложности. Эволюционная биология сегодня» Евгений Кунин «Логика случая. О природе и происхо…

Почему нам хочется увидеть в искусственном интеллекте собеседника? Как нейросети контролируют ход диалога? И что из-за них меняется в человеческом общении? Культуролог и исследовательница цифровой среды Оксана Мороз объясняет, как общение с искусственным интеллектом влияет на нас.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdNBa9xSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/fmodg⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать в…

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: PEP 836: новый план развития JIT-компилятора для CPython — https://peps.python.org/pep-0836/ Ruff 0.16: теперь по умолчанию включены 413 правил вместо 59 — https://astral.sh/blog/ruff-v0.16.0 GitHub усиливает безопасность CI — https://github.blog/changelog/2026-07-28-dependabot-alerts-on-malicious-packages-across-more-ecosystems/ Релиз Django 6.1 — https://docs.djangoproject.com/en/6.1/releases/6.1/ Cтатья In Defense of Not Understanding Your Codebase — https://www.seangoedecke.com/in-defense-of-not-understanding-your-codebase/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me…

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Что нового в Python 3.15 Beta — https://docs.python.org/3.15/whatsnew/3.15.html Django 6.1 Beta — https://docs.djangoproject.com/en/dev/releases/6.1/ PEP 835 – Shorthand syntax for Annotated type metadata — https://peps.python.org/pep-0835/ Are insecure code completions a vulnerability? — https://sethmlarson.dev/are-insecure-code-completions-a-vulnerability Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow…

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Steering consul дает команде JIT 6 месяцев, чтобы сделать PEP — https://discuss.python.org/t/an-announcement-from-the-steering-council-regarding-the-jit-project/107638 Два форка — httpx — https://tildeweb.nl/~michiel/httpx2.html PEP 661 – Sentinel Values — https://peps.python.org/pep-0661/ Любопытные результаты MOD_WSGI и free threading — https://grahamdumpleton.me/posts/2026/05/free-threading-vs-the-gil-in-mod-wsgi-6-0-0/ Жизнь до Github — https://lucumr.pocoo.org/2026/4/28/before-github/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Te…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Reverting the incremental GC in Python 3.14 and 3.15 — https://discuss.python.org/t/reverting-the-incremental-gc-in-python-3-14-and-3-15/107014 PEP 772 – Packaging Council governance process — https://peps.python.org/pep-0772/ What's new in pip 26.1 - lockfiles and dependency cooldowns — https://ichard26.github.io/blog/2026/04/whats-new-in-pip-26.1/ PyPI Security Best Practices — https://github.com/lirantal/pypi-security-best-practices Еще один package manager - pixi — https://codecut.ai/uv-pixi-…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Python 3.15’s JIT is now back on track — https://fidget-spinner.github.io/posts/jit-on-track.html OpenAI покупает Astral — https://openai.com/index/openai-to-acquire-astral/ JazzBand закрывается — https://jazzband.co/news/2026/03/14/sunsetting-jazzband Первый публичный релиз Django Modern Rest — https://github.com/wemake-services/django-modern-rest/releases/tag/0.1.0 Defense in Depth: A Practical Guide to Python Supply Chain Security — https://bernat.tech/posts/securing-python-supply-chain/ The S…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Вроде код за вас пишет AI, но вы весь день проверяете результаты и к вечеру не можете объяснить, что вообще сделали. Вместе с кандидатом психологических наук Натальей Кисельниковой разбираемся, как появились термины brain fry, deskilling и что они означают, как меняется нагрузка при работе с агентами и почему это состояние не стоит автоматически приравнивать к привычному выгоранию. Обсуждаем, что делать, пока агент работает, зачем оставлять себе простые задачи и как перестать бросаться на каждую новую модель. На примерах ревью кода разбираем ловушку иллюзорного ускорения, потерю ощущения авторства и признаки перегруза команды, на которые стоит смотреть тимлиду. А ещё спорим, можно ли отдыха…

Колено хрустнуло, щёлкает плечо? Не спеши бежать к врачу! В этом выпуске с ортопедом-хирургом Львом Кнеллером разбираемся, сколько на самом деле «живут» суставы и от чего зависит их срок службы. Проходим по самым частым историям пациентов и популярным мифам и маркетингу вокруг здоровья суставов: что работает, а что нет. А ещё говорим о диагностике, стоимости лечения, о том, как выбрать врача, и почему сохранить суставы куда проще, чем потом их чинить. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Аня Симонова, Егор …

Вырастить стейк в биореакторе? Делать котлеты и сосиски из настоящих мышечных тканей, при этом не трогая животных? Звучит как фантастика, но на самом деле это уже реальность. Вопрос как всегда в том, какова цена. Вместе с Юлией Елисеевой разбираемся, почему ни промышленность, ни общество еще не готовы. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Профиль Юлии на LinkedIn

https://www.linkedin.com/in/julia-eliseeva-413059120/ Мясо из мамонта

https://www.mammothmeatball.com/…

Вадим Брилиантов создал и был техлидом Koog – фреймворка для AI-агентов на Kotlin. В выпуске разбираем, что на самом деле отличает агента от чат-бота: цикл, инструменты, память и контекст, и почему харнесс почти всегда держится на детерминированном коде, а не на модели. Вадим сравнивает архитектурные решения при построении агентов, объясняет, зачем нужна персистентность состояния и возобновление сессий, и где жёсткий граф-подход упирается в потолок. Отдельно поговорили про кодинг агентов. Разбираем, можно ли менять модель под капотом харнесса без потерь, почему промпты и skills лучше работают, если их писала та же модель, что их использует, зачем нужен ACP, почему A2A не взлетел. Если вам и…

Laravel любят за скорость разработки, ругают за магию и регулярно обвиняют в том, что он плодит жирные контроллеры. Вместе с Аделем Файзрахмановым – автором плагина Laravel Idea для PhpStorm и книги «Архитектура сложных веб-приложений. С примерами на Laravel» – разбираемся, что именно делает этот фреймворк лучшим на сегодняшний день способом писать код на PHP. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Евгений Кателла, Егор Толстой Полезные ссылки: Сайт Laravel

https://laravel.com/ Книга «Архитектура сложных веб-…

Когда вообще стоит проводить UX-исследование? А когда оно только тратит время и деньги? В этом выпуске разбираемся, в каких случаях ответ уже можно найти в аналитике или саппорте, когда проблема и так очевидна, а когда ещё слишком рано что-либо исследовать, потому что даже гипотезы решения нет. В гостях – Григорий Крутоус, руководитель UX Research в Muse Group (Ultimate Guitar, MuseScore, MuseHub и Audacity). Конечно, не обошлось без разговора про AI: обсудили AI-персон, AI-модерируемые интервью, AI-репозиторий знаний, который строят в Muse Group, и то, могут ли языковые модели разбирать и агрегировать открытые ответы в опросах. Avito.Tech.Conf — конференция от AvitoTech для тех, кто управл…

Elixir часто воспринимают как более дружелюбный синтаксис поверх Erlang, но достаточно ли такого объяснения в 2026 году? Вместе с Данилой Поярковым, разработчиком более 50 open source проектов для Elixir с суммарно около миллиона скачиваний, разбираемся, что язык унаследовал от Erlang и BEAM, где его используют сегодня и насколько зрелой стала его экосистема. Обсуждаем Phoenix и LiveView, метапрограммирование и Ecto, конкурентность и производительность BEAM. Отдельно смотрим на ML-инструменты NX, Axon, Bumblebee и Livebook, интеграцию с Rust и библиотеки вокруг Elixir. В финале говорим о пригодности для вайбкодинга, AI-агентах и будущем языка. Получился интересный выпуск для тех, кто выбира…

В разработке с агентами нам больше всего не хватает контроля за результатом и уверенности в нем. Один из способов их получить – использовать подход Spec-Driven Development, в котором перед тем, как отправить агента писать код, мы готовим ему понятное описание задачи и с продуктовой, и с архитектурной стороны. Вместе с Алексеем Верховским, мейнтейнером фреймворка BMAD, мы разбираемся во всех прикладных вопросах вокруг разработки по SDD. А если вы хотите вкатиться не только в SDD, но и в другие практики AI разработки, вступайте в наше закрытое сообщество Podlodka AI Engineers Club – закрытый чат, еженедельные стримы, хакатоны.

https://podlodka.ai Также ждем вас, ваши лайки, репосты и комменты…

В мире пользовательских интерфейсов каждый год происходят эволюции, а иногда и революции. Терминалы тем временем уже десятки лет как будто бы застыли во времени. Концептуально мало что поменялось, но баззвордов стало много: bash, zsh, tty, GPU acceleration в конце концов. А с приходом AI выросла популярность CLI-тулов, благодаря чему терминалы переживают ренессанс.

Так что же там происходит? Разбираемся в этом выпуске вместе с Ником Скрябиным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирно…

Дмитрий Казаков — ведущий разработчик Krita, opensource-редактора, которым художники рисуют комиксы, концепт-арты и анимацию. Начали с того, чем растровые форматы отличаются от векторных и что на самом деле скрыто внутри проприетарных форматов графических редакторов — там не только пиксели, но и зашитые в файл функции, а иногда и легаси на уровне самого формата. Дальше разобрали графические редакторы изнутри: как устроена система хранения на тайлах, зачем редактору lock-free структуры данных и подкачка с диска, как планировщик гарантирует отсутствие race condition, почему в Krita два раздельных рендеринга и где реально помогает GPU, а где нет, какие инструкции процессора вроде AVX и AVX2 ус…

CAPTCHA давно перестала быть историей про светофоры, пешеходные переходы и кривые буквы. Сегодня это скорее часть антибот-защиты: система оценивает риск, смотрит на сигналы поведения и решает, можно ли пропустить пользователя сразу или лучше проверить внимательнее. В этом выпуске говорим с Русланом Сабиргалиевым из Smart Captcha и антибот-защиты от Яндекса не только про UX-боль, но и про экономику атак: зачем боты вообще приходят, сколько это может стоить сервису и почему иногда проще усложнить жизнь атакующим, чем пытаться идеально отличить человека от машины. Разбираем, как работают современные капчи, что такое невидимые проверки и risk scoring, какие сигналы может учитывать система, где …

AI уже меняет найм: резюме пишутся нейросетями, кандидаты массово откликаются на вакансии, на собеседованиях подсказывают боты, а компании пытаются понять, как теперь отличать сильных людей от сгенерированного шума. В этом выпуске обсуждаем, каких людей компании будут нанимать в эпоху AI. Почему всё чаще говорят про high agency и вкус? Кто в ближайшее время точно не станет заменяемым: фаундеры, врачи, юристы, люди с ответственностью, контекстом, отношениями и настоящим профессиональным чутьём? Разберёмся и с рекрутингом: как меняются собеседования, какие появляются способы оценки кандидатов и как компании пытаются передизайнить найм под AI-native мир. А ещё говорим о том, что AI до сих пор …

Дмитрий Свиридкин — один из немногих инженеров в русскоязычном пространстве, кто регулярно погружается в тонкости низкоуровневых языков программирования. А когда речь заходит об undefined behavior и ошибках небезопасного использования памяти, Диму вполне можно назвать уникальным экспертом.

Именно поэтому он — идеальный гость для сегодняшнего выпуска про Rust.

Rust появился во многом как ответ на запрос на низкоуровневые языки с хорошими гарантиями безопасности. Поэтому нам было особенно интересно обсудить его с человеком, который не понаслышке знает цену ошибок управления памятью в C++.

В этом выпуске мы погрузились в саму суть вопроса, и обсудить здесь действительно есть что. Чем приходитс…

Выступать с докладом и на родном языке – огромный стресс, а на английском с уровнем B1/B2 и уверенностью ниже плинтуса – вообще непередаваемые ощущения. Мы позвали в гости Хади Харири, спикера с каким-то невероятным опытом, чтобы разобраться, а как научиться делать достойные доклады на английском языке, когда он для тебя не родной. Получился очень теплый выпуск, в котором мы разобрали вообще все – от того, как подавать заявку на международную конференцию, до того, нужно ли тренировать оксфордский акцент! До старта нового сезона Podlodka AI Crew осталось совсем немного — начинаем 15 июня 🚀Собрали яркие доклады и демо про AI-агентов, AI-дизайн, Eval Driven Development и автоматизацию инженерн…

Евгений Датский CTO компании carbonHQ. https://carbonhq.earth/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Матвей Кукуй — CEO и сооснователь платформы для оркестрации ИИ агентов Archestra AI. https://archestra.ai/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Давайте разберёмся, что такое Claude Mythos и на что стоит обратить внимание в контексте самого шумного релиза моделей в апреле. телеграм подкаста: https://t.me/progulka Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Екатерина Кухтенко — фаундер стартапа VAir. VAir позволяет точно детектировать ряд вирусов в дыхании пациента. 11 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Сегодня делаем обзор книги Говарда Тёрмана Книга: https://en.wikipedia.org/wiki/Jesus_and_the_Disinherited "Бродский" о доставке: https://www.instagram.com/reel/DXPziC8DH_0/ Свежий сабстак: https://caput.substack.com/p/it-is-not-your-ai Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

👉 YouTube-канал «Запуск завтра»: https://youtube.com/@launchtomorrow «Запуск завтра» на аудиоплатформах: https://pc.st/1488945593Выпуск с Андреем Дороничевым про биохакинг в Кремниевой долине: https://youtu.be/k9ahY12o3ZAВыпуск с Кирой Кузьменко про влияние ИИ на рынок труда: https://youtu.be/FOvyhYGDUDc

Topics include OpenAI's Python SDK has migrated to HTTPX2, TMOG - Native Task Manager for macOS, Windows, and Linux, wrapture - one wrapper for mocking, tracing, and observability, and linkedin2md.

Topics include Web UIs for your reverse proxy, , , and Django’s annual releases make every version an LTS.

Topics include , Codeberg’s AI-code ban tests its role as a GitHub alternative, , , , and.

Topics include , Post-quantum crypto lands in Python, MCP goes stateless — and FastMCP gets renamed, and inshellisense - IDE style command line auto complete.

Topics include Some more things about Django I've been enjoying, Who cleans up after the vibe-coding party, AgentsView, and.

Topics include django-orjson, Best Django Redis configuration for speed and size, puts the foot down, and Django Steering Council backs the Triptych Project.

Topics include , JupyterLab 4.6 and Notebook 7.6 are out!, Tau, and Django Tasks and Django 6.1.

Topics include dust, Hermes Agent, and llm-coding-agent 0.1a0.

Topics include Free-threaded Python: past, present, and future, django-admin-site-search, Qwen 3.6 27B is the sweet spot for local development, and.

Topics include Backup Docker volumes locally or to any S3, Pyodide 314.0 Release, nb-cli, and Hindsight.

Topics include pi superpowers, Warp.dev OhMyZSH, Blink mosh tmux, Claude code, MacWhisper Handy, and Tailscale.

Topics include , HTTP GET requests with the Python standard library, , and alembic-git-revisions.

Topics include CVE-2026-48710: A Maintainer's Perspective, daily-stars-explorer, Markdown to pdf with pandoc and typst, and postman2pytest.

Topics include Dumb Ways for an Open Source Project to Die, How to create a pylock.toml lockfile, , and Choosing a Python Logging Library in 2026.

A Rust Framework to Simplify Distributed Systems

Building software that runs across many machines is notoriously difficult. Developers have to grapple with problems such as race conditions, partial failures, and message ordering. Notably, one category of distributed software has largely escaped these burdens. A distributed database can spread a single query across thousands of machines, handling the coordination, failure recovery, and ordering internally. This raises a natural question of why general-purpose distributed programming can’t feel the same way.

This is a highly practical problem at AWS, because the reliability of cloud infrastructure depends on getting distributed systems right …

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer break down the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry.

In this end-of-summer episode, Gregor and Sean turn to a busy season of mergers and acquisitions, including NVIDIA‘s reported $12.9 billion acquisition of Hugging Face, Dynatrace‘s near-billion-dollar deal for AI observability platform Arize, and Temporal‘s rumored raise at a $12 billion valuation. They also cover a run of large funding rounds, from AI security startup HiddenLayer to AI personal assistant Instinct and restaurant software platform Owner.com, all against the backdrop …

Retrieval has become one of the central problems in building useful AI systems. The standard approach to grounding a model in one’s own data has been retrieval augmented generation, or RAG, where an agent searches a vector database for relevant information at query time. That pattern works, but it has limitations, such as retrieving information that’s not truly relevant, repeating the same lookup work on every query, and producing inconsistent answers to the same question.

Pinecone is a vector database that’s widely used to power semantic search and RAG at scale. The team recently developed Nexus, which is a knowledge engine that reframes context as a first-class, precomputed asset rather t…

Age verification is reshaping how people access the internet. An ever-growing patchwork of laws can now require government IDs, facial age estimation, or behavioral inference before you can enter digital spaces. Discord, app stores, social media platforms, and AI chatbots are all being pulled into these requirements. Almost always, these measures are enacted under the banner of protecting children. However, beneath that goal lies a set of hard questions about privacy, anonymity, security, and the line between what a private platform may choose to do and what a government may compel.

John Coleman is a legislative counsel at the Foundation for Individual Rights and Expression, or FIRE, where …

TypeScript is a programming language that builds on JavaScript by adding a system of types. Those types let developers describe the shape of their data and catch mistakes before code ever runs, while also powering the autocompletion and editor tooling that many developers now rely on every day. It was first released in 2012, and has since become one of the most widely used tools in web development. TypeScript recently underwent one of the most significant changes in its history with the release of version 7.

Daniel Rosenwasser is the Principal Product Manager of TypeScript at Microsoft, where he began as an engineer on the team just weeks after the TypeScript 1.0 release. In this episode, D…

It is widely reported that a gap has emerged between enterprise spending on AI and the durable value captured from that spend. Individual employees have enthusiastically adopted coding assistants and chatbots, yet those gains do not seem to be transforming businesses at an organizational level. One of the most important questions in the tech industry today is understanding why AI is not yet delivering returns that match the investment, and what separates the small number of enterprises succeeding from the many that are not.

Scale AI is known for supplying the human-labeled data behind many frontier models. It now also builds AI applications and agents for large enterprises. That combination…

The conversation about AI often focuses on software, automation, and the race between attackers and defenders in code. However, some of the most consequential risks lie further afield, in domains where a mistake is measured in human lives. Advanced models can now offer step-by-step guidance toward chemical and biological weapons, and militaries are already folding AI into targeting and battlefield assessments. These are no longer speculative fears confined to the AI doomer crowd. They are documented in red team disclosures, government legislation, and events unfolding on real battlefields.

Gordon M. Goldstein is an adjunct senior fellow at the Council on Foreign Relations, where he focuses …

News feeds and recommendation systems have long relied on deep learning architectures that score each candidate item independently. As LLMs have matured, they have opened up a fundamentally different approach, where a system can reason about content the way it reasons about language. However, that power comes with a fresh set of engineering challenges around cost, scale, and evaluation.

LinkedIn recently rebuilt its news feed to treat content recommendation as a sequence modeling problem. The general approach is to predict what a user will want next, much like an LLM predicts the next token in a sentence.

Tim Jurka has worked at LinkedIn for 13 years and is currently a VP of Engineering. In…

For two decades, the cloud has been shaped by human developers writing code and managing its deployment. Now a growing share of production code is generated by LLMs with little human review. Because that code is not fully trusted, it increasingly runs in isolated, sandboxed environments. Meanwhile, AI agents are starting to operate infrastructure directly, by spinning services up and tearing them down on their own. Together these shifts raise the question of whether the cloud needs to be rebuilt for machine operators rather than humans.

Render is a cloud platform designed for application deployment, by handling scaling, self-healing, and security to reduce operations work. Render has been a…

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer break down the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry.

In this episode, Gregor and Sean dig into a wave of “runaway AI” stories, including Anthropic and OpenAI disclosing that their models accessed outside organizations during cyber evaluations, and Amazon reporting a staggering budget overrun blamed on bad agent loops. They explore why most of these incidents trace back to human decisions rather than models breaking free, and the awkward reality that today’s systems can bill you for tokens without reliably counting them.

They also talk…

The terminal has been a constant in software development for decades. It has remained largely unchanged while everything around it transformed. However, as AI agents have become central to the developer workflow, the terminal is emerging as a natural home for agentic development, and a new category of tooling is forming around it.

Warp is a popular Rust-based terminal and agentic development environment. The company recently open-sourced its codebase and launched Oz, its cloud agent infrastructure product aimed at helping enterprises automate software development at scale.

Zach Lloyd is the co-founder and CEO of Warp, and a former principal engineer at Google where he led engineering on the…

Open source software underpins virtually every modern application. That ubiquity is a superpower for developers, but it is also an expanding attack surface. Software supply chain attacks were once rare but are now happening daily, with malicious actors exploiting the trust developers place in public registries, package managers, and CI/CD pipelines.

Chainguard is a secure software supply chain platform. The company started with hardened container images and has expanded to cover domains including VMs, language libraries, GitHub Actions, and agent skills.

Matt Moore is a co-founder and CTO of Chainguard, and a veteran of Google’s open source, container, and security infrastructure work. In t…

The most useful coding agents can mutate their environments by downloading packages, writing files, and connecting to services across the network. However, that freedom also presents dangers, and promises to usher in a new wave of security threats.

Docker recently announced Docker Sandboxes, which give each agent its own isolated micro VM while preserving the familiar ergonomics of a container. A standard container shares the host’s kernel, but a micro VM emulates hardware and runs its own kernel, giving a stronger security boundary around code that cannot be trusted.

Mark Cavage is the President and COO of Docker, and he previously worked at companies including Stripe, AWS and Oracle. In t…

Golden Gate Ventures is one of Southeast Asia’s most established early-stage venture firms, having backed companies across the region since 2011. They have invested in companies that are now household names in the region. Examples include Gojek, which started as a motorcycle taxi service in Indonesia and grew into a super app spanning payments, food delivery, and logistics, and Grab, which began as a ride-hailing service in Singapore and similarly expanded across Southeast Asia into food delivery and financial services.

Jeffrey Paine is a co-founder and partner at Golden Gate Ventures. In this episode, Jeffrey joins Gregor Vand to discuss how the Southeast Asian startup ecosystem has evolve…

AI agents have shown remarkable potential to function as persistent digital assistants that are capable of monitoring data, managing communications, and taking action autonomously over long periods. OpenClaw was one of the first serious attempts to fulfill that vision, connecting frontier coding agents to messaging platforms like Slack and WhatsApp and letting them run continuously

The post NanoClaw and the Rise of Personal AI Agents appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

In order to let people know about new articles on martinfowler.com, I post announcements on social media.

After the muskover, social media became rather more fragmented, and I now post announcements on four social media platforms: LinkedIn, X, Fediverse (Mastodon), and Bluesky.

(I also post announcements to my RSS feed.

LinkedIn clearly has an edge there, with X a clear second, its upper quartile is below LinkedIn's median.

Looking at this data, there's a strong argument for stopping announcements on Bluesky and Mastodon, as they get such little response.

 ❄                ❄                ❄                ❄                ❄Brian Cantrill relates how readers are exasperated with “writers” using LLMs.

 ❄                ❄                ❄                ❄                ❄Steve Yegge:All models, no matter how smart, will eventually build systems that they can no longer understand or maintain, if you let them.

 ❄                ❄                ❄                ❄                ❄I was going through some slightly-related …

We often conflate presentations with the presentation file or the slideshow.

As a corollary to that definition, the slides are not the presentation.

Many of us think in diagrams, and presentation tools provide a familiar interface for creating them.

I often create my diagrams in a presentation tool like Keynote, then bring them into my document as supporting visuals for what I’ve written.

Recorded audio and video are a substitute for live presentations The easiest foray into presentation territory doesn’t even need visuals.

Often we talk about certain habits, in programming or life, are good or bad.

Some vary with context: reading a book is a good thing sitting in my garden, but not while driving my car.

The importance of dosage was noticed by a 16th century Swiss physician called Paracelsus.

In programming, global data is a good example of the Paracelsus Maxim (as I like to call it).

So when thinking about when things are good or bad, we should always ask “in what contexts” and “in what doses”?

Emergent behaviour from tuning our approachWith lot of agents working in one repo, build pipelines suffered.

The repo as an accidental blackboard for agentsThere’s a name for the pattern our agents had discovered: a blackboard system.

A blackboard or tuple space is a shared memory that autonomous agents can read and write from independently.

We had accidentally prompted our agents to start using our repo as a blackboard.

And because it was accidental, I’m not convinced I would be able to reliably prompt our agents into doing it again.

TL;DROr, perhaps the problem isn't that AI has broken code review, maybe it’s that we've been using code review to solve the wrong problemsI was on a panel recently with Brian Houck from DX at Code Remix, hosted by Moderne.

I just don’t think code review is the best way to get them.

His concern, which I share, is that simply automating code review away risks losing all the other things we use it for.

My question is: why are we waiting until code review to do all of those things?

Perhaps it’s why we’re waiting until code review to have all the important conversations in the first place.

 ❄                ❄                ❄                ❄                ❄NVIDIA’s technical blog reports on an Architecture for Long-Horizon Autonomous Agents.

 ❄                ❄                ❄                ❄                ❄Mickey Petersen:MCP is SOAP for Zoomers.

 ❄                ❄                ❄                ❄                ❄Paul Stack writes that AI Broke the Assumptions Behind CI.

 ❄                ❄                ❄…

Data Contracts and Quality: Agents Can't Smell Bad Data Humans have a smell test for bad data.

Schema is law: data contracts as code So how do you prevent AI agents from accessing bad or stale data?

A data contract, written in the Open Data Contract Standard, the format the Data Contract CLI uses (and recommended in Thoughtworks tech radar 33), defines the rules explicitly.

From Searchable to Actionable: Agent-Ready Data Access Once agents understand your data and governance is in place, the question shifts to access.

The data access spectrum This framing comes from Microsoft's Cloud Adoption Framework for AI, which formalizes it as RAG + MCP-Read + MCP-Write.

 ❄                ❄                ❄                ❄                ❄Is the AI bubble so big that the frontier companies like OpenAI and Anthropic have no way of becoming a viable business?

 ❄                ❄                ❄                ❄                ❄Here’s a message for those readers who live in Massachusetts, just to the north of me, specifically in congressional district MA-06.

 ❄                ❄                ❄                ❄                ❄Kevlin H…

I'm endlessly curious about how technology is changing the way we build software, lead teams and run businesses.

We’ve spent so many years banging on about how to write good software that everyone has assumed writing software is the same as software engineering.

Citizens build software (essentially non-engineers).

One where almost anyone can create software, agents increasingly execute it, and engineering expertise becomes the thing that allows all of that creativity to scale safely.

The executive sees that anyone can now build software.

What Practitioner Voice does Academic writing builds to the claim.

Practitioner Voice starts with the claim and trusts the reader to close the gap.

Practitioner Voice is the thing only you can write, because it's built from what only you have lived.

What makes it different Four things separate Practitioner Voice from the alternatives.

Practitioner Voice writes for people who recognize the pattern from their own experience.

 ❄                ❄                ❄                ❄                ❄My colleagues in Europe are organizing XConf Europe in London on September 11th.

 ❄                ❄                ❄                ❄                ❄Especially in our profession, we’ve seen increasing emphasis on the importance of data.

 ❄                ❄                ❄                ❄                ❄I’ve kept an eye on Alex Stamos for a while now, as he’s a sensible voice on security and…

But does it really make a difference, asking an agent to follow a TDD workflow fully inside its own loop?

Results I created 5 batches of solutions, with two non-TDD and two TDD solutions each.

Behaviour the agent didn't think to write a test for didn't get implemented at all.

Mutation scores across the solutions didn't show any signals that TDD runs produced meaningfully better mutation scores than non-TDD runs.

The refactoring step in the TDD loop further pushes us to improve the design step by step.

 ❄                ❄                ❄                ❄                ❄All this talk of rogue AIs and popping bubbles sounds rather dreadful, and John Prideaux made perceptive analysis of this dread risk.

 ❄                ❄                ❄                ❄                ❄It’s common to disparage government services, including those on the internet.

 ❄                ❄                ❄                ❄                ❄I had a conversation with a colleague who had use…

TL;DRWhy I think software development is starting to feel a little more like conducting an orchestra.

Increasingly, I think that’s what great software developers are doing.

The developer is the conductor.

I don’t think software developers are becoming managers.

(I suspect software developers are simply the first knowledge workers to experience it, but I’ll save that thought for another rambling.)

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы: