A production-tested approach for moving a large-scale metrics pipeline from StatsD to OpenTelemetry and Prometheus.By: Eugene Ma, Natasha AleksandrovaWhen migrating to a new monitoring system, you’ll want to frontload the work to collect all your metrics. This exposes bottlenecks at full write scale and unblocks the migration of assets which require real data for validation, such as dashboards and alerts. Collecting all your metrics first means you can focus on major technical challenges — scale, correctness and performance — without worrying about how users will adopt your new tools.But for our project, this approach wasn’t straightforward: most of our metrics were instrumented with StatsD…

Jonathan Woodard knows defense. After playing professional football as a defensive end for six years, Jonathan knew he wanted a career where he could always face new challenges, learn new skills, and continue to thrive in high-paced environments. After discovering a passion for programming, Jonathan joined Airbnb’s Connect Engineering Apprenticeship program and excelled; now, we’re lucky to have him on our secure development engineering team. Here’s his story.Joining the big leaguesLike many kids, I wanted to grow up to become a professional athlete. Playing professional football was my dream, but over the years, it faded into the background because it seemed unrealistic — until it wasn’t.I…

How Airbnb built forecasting models resilient enough to survive a global pandemic and whatever shock comes next.By: Harrison KatzThe week everything brokeIn March 2020, the forecasting models that had served us well in stable times faced a new challenge: predicting outcomes in a world that had suddenly changed.At Airbnb, many of the financial metrics we forecast depend on two separate events: when guests book, and when they actually travel. A booking made today might correspond to a trip three days from now or three months from now. The distribution of that gap, what we call the lead-time composition, drives how we translate today’s bookings into future revenue (see Figure 1).The pandemic r…

How a complex, large-scale migration to an in-house observability platform led to superior tooling, consistent data, and a fundamental reset of the developer experience.By: Callum Jones, Rong HuObservability — the function of providing visibility into the performance and reliability of applications using metrics, logs and traces — is one of the most important tools of the Infrastructure group at any company. Without a reliable, cost-effective, and user-friendly observability platform, you limit an organization’s ability to empower engineers to assess, support, and improve the reliability of their application.Like many of its peers, Airbnb started out by outsourcing its observability needs t…

How we built a destination recommendation model that helps users spark inspiration and narrow down choices to make journeys smoother.By: Weiwei Guo, Bin Xu, Sundara Rajan Srinivasavaradhan, Jie Tang, Xiaowei Liu, Bharathi Thangamani, Liwei He, Huiji Gao, Tracy Yu, Hui Gao, Stephanie Moyerman, Sanjeev KatariyaAirbnb users in the trip planning stage may not have a clear idea of travel destinations, travel dates, or other preferences. They exhibit different behaviors compared to users who have a clear itinerary in mind. More exploratory users visit the Airbnb platform less often and are less likely to book listings in the near future; they’re more likely to search for a broad area such as “Fra…

How we changed our Observability as Code alert review process and cut development cycles from weeks to minutes.Observability as Code (OaC) — defining alerts, dashboards, and SLOs via code rather than UI — is table stakes for large engineering organizations. With OaC, observability adopts software development’s version control, code review, and testing processes, achieving the same level of discipline as a result. At Airbnb’s scale (thousands of engineers and services), this is the foundation that lets teams ship confidently while maintaining the reliability our guests and hosts depend on.Yet there’s a critical gap in most OaC workflows. While we bring rigor to alert definitions through code…

2025 was a big year for research at Airbnb, as we made significant progress toward our mission to use AI, data science, and machine learning to become the best travel and living platform.Specifically, we doubled down on our presence at long-standing venues like KDD and CIKM — two of the most selective conferences in machine learning. At the same time, we expanded our research footprint by sharing our work in NLP, optimization, and measurement science at conferences such as COLING, LION, and VLDB.Across these conferences, Airbnb researchers engaged directly with academic and industry peers by publishing and presenting papers, learning about the latest innovations, launching new collaboration…

How Airbnb ships dynamic config changes safely and reliablyBy Cosmo Qiu, Bo Teng, Siyuan Zhou, Ankur Soni, Willis HarveyDynamic configuration is a core infrastructure capability in modern systems. It allows developers to change runtime behavior without restarting or redeploying services, even as the number of services and requests grows. In practice, that might mean rolling out a new address form for a region launch, tightening an authorization rule, or adjusting timeouts when a dependency is slow.Like any powerful tool, dynamic configuration is a double-edged sword. While it enables fast iteration and rapid incident response, a bad change can cause regressions or even outages. This is a co…

Anna Sulkina has always been a traveler, and we’re lucky her travels have brought her to Airbnb. Anna is a Senior Director of Engineering, and she’s responsible for Application & Cloud infrastructure. She brings over two decades of industry experience to Airbnb, including work spanning the stack from the frontend to the backend to the plumbing that makes everything come together. Anna is a mother, a passionate trail runner, and an accomplished leader. Here’s Anna’s story in her own words.Discovering a passion after the Soviet UnionI grew up in Eastern Ukraine, and the year I was graduating from high school, the Soviet Union collapsed. Despite the political turmoil, it was an interesting tim…

Public school to PhDThe story of Airbnb’s Head Economist for Policy and Director of Data Science involves geology, co-teaching with a Nobel Prize winner, and CSI. (No, not the hit TV franchise.)Peter Coles was born and raised in Milwaukee, Wisconsin. He studied math at Princeton, earned his PhD in economics at Stanford, and taught at Harvard Business School before joining eBay and becoming a Data Science leader at Airbnb.As you’ll see from his story, Peter has a deep interest in how marketplaces work. By transitioning from academia to the business world, he not only gets to study first-hand data about millions of guests and hosts, but also to influence product and policy decisions. And he s…

How Airbnb rolled out 20+ locally relevant payment methods worldwide in just 14 monthsBy: Gerum Haile, Bo Shi, Yujia Liu, Yanwei Bai, Bo Yuan, Rory MacQueen, Yixia MaoAcross the more than 220 global markets that Airbnb operates in, cards are the primary way that guests pay for stays, experiences, and services. However, to help make our platform accessible to more people, reduce friction at checkout, and drive more adoption, we introduced trusted, locally preferred payment methods — called local payment methods or LPMs. By offering and supporting these payment methods, Airbnb enables guests everywhere to choose what works best for them.In this blog post, we’ll discuss the implementation deta…

How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

Vaibhav Shankar; Staff Software Engineer | Raymond Lee; Staff Software Engineer | Chia-Wei Chen; Staff Software Engineer | Shunyao Li; Sr. Software Engineer | Yi Li; Staff Software Engineer | Ambud Sharma; Principal Engineer | Saurabh Vishwas Joshi; Principal Engineer | Charles-A. Francisco; Senior Engineer | Karthik Anantha Padmanabhan; Director, Engineering | David Westbrook; Sr. Manager, EngineeringOne day in early 2025, the Kubernetes platform team at Pinterest (PinCompute) got a ping from our partners on the ML platform team. Their Ray-based training jobs , which often take hours of computation on expensive GPU hardware, were crashing. Not every time, but often enough that it was becom…

Authors: Matt Lawhon | Sr. Machine Learning Engineer; Filip Ryzner | Machine Learning Engineer II; Kousik Rajesh | Machine Learning Engineer II; Chen Yang | Sr. Staff Machine Learning Engineer; Saurabh Vishwas Joshi | Principal EngineerAt Pinterest, scaling our recommendation models delivers outsized impact on the quality of the content we serve to users. Our Foundation Model (oral spotlight, ACM RecSys 2025), for example, achieved a 100x increase in transformer dense parameter counts and a 10x increase in model dimension; translating directly into meaningful quality improvements across multiple recommendation surfaces.¹But a 100x scaleup creates massive infrastructure pressure. Storage, tr…

Author: Lin Wang (Android Performance Engineer)Default FeatureFor mobile apps, performance is considered as the “default feature”, which means apps are expected to run fast and be responsive. It’s just as if we expect a watch to show the time. With no exceptions at Pinterest, we measure, protect and improve performance for all of our key user experiences’ surfaces, such as “Home Feed” and “Search Result Feed”.Hard to MeasureAmong all the performance metrics, the user perceived latency is a crucial one. It measures how much time the user spends since they perform an action until they see the content. This is also called “Visually Complete”.Visually Complete can be very different from app to …

Homefeed: Jiacong He, Dafang He, Jie Cheng (former), Andreanne Lemay, Mostafa Keikha, Rahul Goutam, Dhruvil Deven Badani, Dylan WangContent Quality: Jianing Sun, Qinglong ZengIntroductionIn feed recommendation, we recommend a list of items for the user to consume. It’s typically handled separately from the ranking model where we give probability predictions of user-item pairs.Pinterest’s feed recommendation follows a cascaded system design with retrieval [1][2], pre-ranking [3], ranking [4][5], and re-ranking. While most of these prior works focus on optimizing immediate actions for each candidate Pin, this work will primarily focus on how we build the final layer of the recommendation funn…

Tan Wang | Software Engineer, Agent FoundationsOver the last year, Pinterest has gone from “MCP sounds interesting” to running a growing ecosystem of Model Context Protocol (MCP) servers, a central registry, and production integrations in our IDEs, internal chat surfaces, and AI agents. This post walks through what we’ve built so far, how we designed it, and where we’re taking MCP next.What Is MCP and Why Did We Care?Model Context Protocol (MCP) is an open-source standard that lets large language models talk to tools and data sources over a unified client-server protocol, instead of bespoke, one-off integrations for every model and every tool. At Pinterest, we’re using MCP as the substrate …

Your Analysts Already Wrote the Perfect PromptAuthors: Keqiang Li, Bin YangIn our previous blog post, we shared how Pinterest built Text-to-SQL with RAG-based table selection (Retrieval-Augmented Generation). That system introduced schema-grounded SQL generation and retrieval-augmented table selection. These were important first steps, but not enough for reliable analytics at Pinterest scale.The challenge was fundamental: with over 100,000 analytical tables and 2,500+ analytical users across dozens of domains, simple keyword matching and table summaries were not enough. When an analyst asks “What’s the engagement rate for organic content by country?”, they need more than a list of tables wi…

Authors: Duna Zhan | Machine Learning Engineer II; Qifei Shen | Senior Staff Machine Learning Engineer; Matt Meng | Staff Machine Learning Engineer; Jiacheng Li | Machine Learning Engineer II; Hongda Shen | Staff Machine Learning EngineerIntroductionPinterest ads show up across multiple product surfaces, such as the Home Feed, Search, and Related Pins. Each surface has different user intent and different feature availability, but they all rely on the same core capability: predicting how likely a user is to engage with an ad.Before this project, the ads engagement stack relied on three independent production models, one per surface. Although the models were initially derived from a similar d…

Authors: Yao Cheng | Senior Machine Learning Engineer; Qingmengting Wang | Machine Learning Engineer II; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Zhaohong Han | Machine Learning Engineer Manager ; Jinfeng Zhuang | Senior Machine Learning Engineer ManagerIntroductionThe L1 ranking stage sits in the middle of Pinterest’s ads funnel. It filters and prioritizes candidates under tight latency constraints so that downstream ranking and auction systems only see a manageable set of ads.When we started pushing new L1 conversion (CVR) models, we saw the same pattern repeatedly:Offline: strong, consistent gains on loss and calibration across log sources and …

Authors: Junkai Xue | Sr Staff Software Engineer, Big Data Processing Platform; Zheyu Zha | Staff Software Engineer, Big Data Processing Platform; Jia Zhan | Principal Engineer, Online Systems; Alberto Ordonez Pereira | Sr Staff Software Engineer, Online SystemsOverviewA quota is an official limit on the usage or production of a specific resource. At Pinterest, we are developing a robust, generic quota management platform (Piqama) designed to manage a wide range of resources — including physical resources like memory and CPU, service resources such as QPS (queries per second) and network bandwidth, as well as application-specific quota units. Our ecosystem provides seamless quota lifecycle …

Felix Loesing | Software EngineerIn 2025, we set out to drastically reduce out-of-memory errors (OOMs) and cut resource usage in our Spark applications by automatically identifying tasks with higher memory demands and retrying them on larger executors with a feature we call Auto Memory Retries.Spark PlatformPinterest runs a large-scale Apache Spark deployment to satisfy the increasing demands of internal customers, such as AI/ML, experimentation, and reporting. We process 90k+ Spark jobs daily on tens of thousands of compute nodes with hundreds of PB in shuffle size.¹ Our clusters are run on Kubernetes and mainly use Spark 3.2, with an upgrade to Spark 3.5 in progress. We use Apache Celebor…

Yuanlu Bai | Machine Learning Engineer II, L1 Conversion and Shopping Modeling; Yao Cheng | Sr. Machine Learning Engineer, L1 Conversion and Shopping Modeling; Xiao Yang | Sr. Staff Machine Learning Engineer, Ads Lightweight Ranking; Zhaohong Han | Manager II, Ads Lightweight Ranking; Jinfeng Zhuang | Sr. Manager, Ads RankingIntroductionLightweight ranking plays a crucial role as an intermediate stage in Pinterest’s ads recommendation system. Its main purpose is to efficiently narrow down the set of candidate ads before passing them to downstream, more complex ranking models. By doing so, it ensures that only the most relevant candidates move forward, improving both the efficiency and quali…

Liang Mou | Staff Software Engineer, Logging PlatformYisheng Zhou | Software Engineer II, Logging PlatformElizabeth (Vi) Nguyen | Software Engineer I, Logging PlatformOwen Zhang | Senior Software Engineer, Logging PlatformIntroductionAs Pinterest has grown, the demand for a robust, real-time, and cost-effective database ingestion platform has become increasingly urgent. Our data ecosystem powers a diverse set of use cases — from analytics and machine learning to product features and business intelligence — all of which depend on timely and reliable data. However, our legacy ingestion landscape was built on batch-oriented workflows and a patchwork of database dump solutions, each developed a…

Beyond Two Towers: Re-architecting the Serving Stack for Next-Gen Ads Lightweight Ranking Models (Part 1)Authors: Xiao Yang | Senior Staff Machine Learning Engineer; Ang Xu | Principal Machine Learning Engineer; Yao Cheng | Senior Machine Learning Engineer; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Sihan Wang | Staff Software Engineer; Ken Xuan | Senior Software EngineerIntroductionIn the world of large-scale recommendation systems, the “Two-Tower” model architecture has long been the industry standard for the retrieval and lightweight ranking stage. Its appeal lies in its elegant efficiency: one neural network tower encodes the user, another encod…

Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals ; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Joy Xin | Machine Learning Engineer II, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingContextAt Pinterest, ads are more than just advertisements; they are a vital part of the content ecosystem, designed to inspire users and connect them with products and ideas they love. Our goal is to surface the right ads at the right time, ensuring they seamlessly integrate into a user’s shopping journey and provide genuine value. To achieve this, und…

Faye Zhang, Staff Software Engineer; Jasmine Wan, Machine Learning Engineer I; Qianyu Cheng, Machine Learning Engineer II; Matthew Hichar, Machine Learning Engineer II; Eric Wan, Sr. Software Engineer; Jinfeng Rao, Sr. Staff Machine Learning EngineerOnline retailers and social platforms now operate catalogs with billions of items. Pinterest is one example, but the underlying challenge of how to organize products into precise, navigable shopping collections at web scale is shared across large e‑commerce and social discovery systems. Historically, collections have been derived from user search history and manual curation. In the age of multimodal large language models (LLMs), it is now possib…

AI coding assistants are powerful but only as good as their understanding of your codebase. When we pointed AI agents at one of Meta’s large-scale data processing pipelines – spanning four repositories, three languages, and over 4,100 files – we quickly found that they weren’t making useful edits quickly enough. We fixed this by building [...]

Read More...

The post How Meta Used AI to Map Tribal Knowledge in Large-Scale Data Pipelines appeared first on Engineering at Meta.

This is the second post in the Ranking Engineer Agent blog series exploring the autonomous AI capabilities accelerating Meta’s Ads Ranking innovation. The previous post introduced Ranking Engineer Agent’s ML exploration capability, which autonomously designs, executes, and analyzes ranking model experiments. This post covers how to optimize the low-level infrastructure that makes those models run [...]

Read More...

The post KernelEvolve: How Meta’s Ranking Engineer Agent Optimizes AI Infrastructure appeared first on Engineering at Meta.

Meta continues to lead the industry in utilizing groundbreaking AI Recommendation Systems (RecSys) to deliver better experiences for people, and better results for advertisers. To reach the next frontier of performance, we are scaling Meta’s Ads Recommender runtime models to LLM-scale & complexity to further a deeper understanding of people’s interests and intent. This increase [...]

Read More...

The post Meta Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads appeared first on Engineering at Meta.

Meta is continuing its long-term roadmap to help the construction industry leverage AI to produce high-quality and more sustainable concrete mixes, as well as those exclusively produced in the United States. Concurrent with the 2026 American Concrete Institute (ACI) Spring Convention, Meta is releasing a new AI model for designing concrete mixes – Bayesian Optimization [...]

Read More...

The post AI for American-Produced Cement and Concrete appeared first on Engineering at Meta.

Friend bubbles in Facebook Reels highlight Reels your friends have liked or reacted to, helping you discover new content and making it easier to connect over shared interests. This article explains the technical architecture behind friend bubbles, including how machine learning estimates relationship strength and ranks content your friends have interacted with to create more [...]

Read More...

The post Friend Bubbles: Enhancing Social Discovery on Facebook Reels appeared first on Engineering at Meta.

Meta’s Ranking Engineer Agent (REA) autonomously executes key steps across the end-to-end machine learning (ML) lifecycle for ads ranking models. This post covers REA’s ML experimentation capabilities: autonomously generating hypotheses, launching training jobs, debugging failures, and iterating on results. Future posts will cover additional REA capabilities. REA reduces the need for manual intervention. It manages [...]

Read More...

The post Ranking Engineer Agent (REA): The Autonomous AI Agent Accelerating Meta’s Ads Ranking Innovation appeared first on Engineering at Meta.

Even seemingly simple engineering tasks — like updating an API — can become monumental undertakings when you’re dealing with millions of lines of code and thousands of engineers, especially if the changes are security-related. Nowhere is this more apparent than in mobile security, where a single class of vulnerability can be replicated across hundreds of [...]

Read More...

The post Patch Me If You Can: AI Codemods for Secure-by-Default Android Apps appeared first on Engineering at Meta.

We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empower researchers and developers to accelerate innovation, regardless of their chosen backend. Communication patterns for AI models are constantly evolving, as are hardware [...]

Read More...

The post RCCLX: Innovating GPU communications on AMD platforms appeared first on Engineering at Meta.

WHAT IT IS The rise of agentic software development means code is being written, reviewed, and shipped faster than ever before across the entire industry. It also means that testing frameworks need to evolve for this rapidly changing landscape. Faster development demands faster testing that can catch bugs as they land in a codebase, without [...]

Read More...

The post The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It appeared first on Engineering at Meta.

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

Meta’s secure-by-default frameworks wrap potentially unsafe OS and third-party functions, making security the default while preserving developer speed and usability. These frameworks are designed to closely mirror existing APIs, rely on public and stable interfaces, and maximize developer adoption by minimizing friction and complexity. Generative AI and automation accelerate the adoption of secure frameworks at [...]

Read More...

The post How AI Is Transforming the Adoption of Secure-by-Default Mobile Frameworks appeared first on Engineering at Meta.

We’re introducing Zoomer, Meta’s comprehensive, automated debugging and optimization platform for AI. Zoomer works across all of our training and inference workloads at Meta and provides deep performance insights that enable energy savings, workflow acceleration, and efficiency gains in our AI infrastructure. Zoomer has delivered training time reductions, and significant QPS improvements, making it the [...]

Read More...

The post Zoomer: Powering AI Performance at Meta’s Scale Through Intelligent Debugging and Optimization appeared first on Engineering at Meta.

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

The silent driver of decisions: Why mid-market companies need AI governance now, not after a crisis.

From confusion to clarity: Using a decision tree to assess whether unusual trading activity truly matters.

Smarter decisions, faster execution: How AI agents are redefining what data-driven businesses can achieve.

A closer look at how developers use analytics and AI tools to improve performance, anticipate issues, and build smarter solutions for tech companies.

Exploring whether AI and financial analytics can rival one of the greatest investing track records in history

Separate signal from noise: How proactive media monitoring turns negative chatter into manageable insights.

Beyond resume screening: The transformative power of AI to match talent, reduce bias, and save time.

Discover how artificial intelligence helps businesses detect threats faster and protect people, property, and profits.

Learn how subscriptions and usage-based pricing help AI companies create steady income, manage costs, and keep customers engaged over time.

Smart Data Collective has spent years talking about various ways busineses can use AI to help manage risks and make real-world decisions. Today we are going to talk about how AI-driven tools change the way testing is planned, executed, and reviewed. There are many reasons businesses are reevaluating how they test their systems as threats […]

See the financial forecast: Using data analytics to map economic trends and prepare your business.

More than a cash flow problem: How AI analytics shows the true cost of payment delays on your business.

Your biggest expense might be inaction: Using data to calculate the true cost of not upgrading.

The best of both worlds: Achieving robust risk reduction and rapid innovation with multi-model AI.

Navigating market complexity: How Permutable AI delivers next-level macro intelligence for global investors.

The telecommunications industry is undergoing a massive transformation. With the rise of 5G, IoT, and connected devices, telecom companies are managing unprecedented volumes of data and network complexity. This is where Artificial Intelligence in telecommunication becomes critical. From optimizing network performance to improving customer experience, AI in telecom is enabling providers to move from reactive […]

The post Building the Future of Connectivity: AI in Telecommunications appeared first on WeCloudData.

In 2026, the financial sector has moved past the “experimentation” phase. We are now in the era of applied AI in banking and finance, where the difference between a market leader and a laggard is defined by how effectively they orchestrate intelligent systems. Whether you are a retail banker, a hedge fund analyst, or a […]

The post Understanding AI in Banking and Finance appeared first on WeCloudData.

The world of travel and fun is changing fast. People no longer want boring brochures or fixed plans; today’s travelers expect quick, personal service that used to be impossible. This change is happening because of smart technology that connects what people want with the data to make it happen. For businesses, understanding the impact of […]

The post The Strategic Role of AI in Tourism and Entertainment appeared first on WeCloudData.

In the early 2020s, the conversation around AI for communications professionals was dominated by a single, narrow use case: “Can it write an article for me?” By 2026, that question has become obsolete. The industry has moved past the novelty of generative copywriting and entered the era of the Semantic Communication Stack. As global information […]

The post Semantic Communication Stack: Beyond Generative Copywriting in 2026 appeared first on WeCloudData.

Agriculture is entering a new technological era. As global populations grow and global foodwater scarcity intensifies, traditional farming methods alone can no longer sustain rising food production demands while minimizing environmental impact. Artificial intelligence is emerging as a critical solution — helping farmers, agribusinesses, and policymakers make smarter, faster, and more sustainable decisions. From predicting […]

The post AI in Agriculture: Transforming Farming Through Data, Intelligence, and Practical Skills appeared first on WeCloudData.

In the world of project management, there is a “silent thief” that no one likes to talk about. It’s not a missed deadline or a budget overrun. It’s the administrative burden. If you’re a Project Manager, you know the feeling. You spend 60% of your week in a cycle of “information chasing”: summarizing meeting notes, […]

The post AI for Project Managers: Reimagining Traditional Project Management appeared first on WeCloudData.

We have entered a new era of work. Information is no longer hard to find; it is everywhere. In fact, by 2025, over 1.2 billion websites exist, and hundreds of thousands of new pages are created every single day. For anyone in a research-heavy role whether you are an analyst, a student, or a strategist—the […]

The post Building the Foundation for AI-Driven Research appeared first on WeCloudData.

The global race for technological supremacy has a new, formidable frontrunner: Saudi Arabia. As the Kingdom undergoes a historic transformation, the Saudi AI Vision 2030 has emerged as the heartbeat of its digital evolution. This isn’t just a tech upgrade; it’s a fundamental reimagining of a nation’s future. It’s shifting from an oil-dependent economy to […]

The post Saudi AI Vision 2030: Leading the Future of Artificial Intelligence appeared first on WeCloudData.

Riyadh is no longer just talking about the future; it is actively building the scaffolding for it. This past week at King Saud University, the ICAN 2026 (International Conference on Capacity Building in Data and AI) served as the epicenter for a global shift in how we think about human potential. Amidst the buzz of […]

The post WeCloudData at ICAN 2026: Contributing to the Future of AI, Data, and Workforce Innovation appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

Data is abundant, but good decisions are not automatic. Organizations increasingly recognize that analytics alone is insufficient—they need structured methods to turn insights into action. This is where decision science and AI intersect. Decision science provides the framework for making optimal choices under uncertainty. Artificial intelligence (AI) supplies the scale, speed, and predictive power to […]

The post Decision Science and AI: How Artificial Intelligence Is Transforming Decision-Making appeared first on WeCloudData.

Organizations today are flooded with data but data alone does not lead to better outcomes. What truly creates value is the ability to turn data into consistent, repeatable, and high-quality decisions. This is where decision science plays a critical role. This article explains what is decision science, how it differs from related fields, real-world examples, […]

The post What is Decision Science: Scope and Career Opportunities appeared first on WeCloudData.

As organizations rely more heavily on data for analytics, AI, and business decision-making, one question keeps surfacing: who owns the data, who can use it, and how can it be trusted? The answer lies in data governance. A foundational discipline that ensures data is accurate, secure, compliant, and usable across the enterprise. This guide breaks […]

The post Data Governance: What It Is, Why It Matters, and How It Works appeared first on WeCloudData.

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Delta Lake is a fantastic technology for quickly querying massive data sets,

but first you need those massive data sets! In this

talk from Data and AI

Summit 2025 I dive into the cloud-native

architecture Scribd has adopted to ingest data from AWS Aurora, SQS, Kinesis

Data Firehose and more!

By using off-the-shelf open source tools like kafka-delta-ingest, oxbow and

Airbyte, Scribd has redefined its ingestion architecture to be more

event-driven, reliable, and most importantly: cheaper. No jobs needed!

Attendees will learn how to use third-party tools in concert with a Databricks

and Unity Catalog environment to provide a highly efficient and available data

platform.

This architecture will …

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, we share how Amazon Bedrock's granular cost attribution works and walk through example cost tracking scenarios.

In this post, we show you how to use Model Distillation, a model customization technique on Amazon Bedrock, to transfer routing intelligence from a large teacher model (Amazon Nova Premier) into a much smaller student model (Amazon Nova Micro). This approach cuts inference cost by over 95% and reduces latency by 50% while maintaining the nuanced routing quality that the task demands.

In this post, we show you how to build a video semantic search solution on Amazon Bedrock using Nova Multimodal Embeddings that intelligently understands user intent and retrieves accurate video results across all signal types simultaneously. We also share a reference implementation you can deploy and explore with your own content.

This hands-on guide walks through every step of fine-tuning an Amazon Nova model with the Amazon Nova Forge SDK, from data preparation to training with data mixing to evaluation, giving you a repeatable playbook you can adapt to your own use case. This is the second part in our Nova Forge SDK series, building on the SDK introduction and first part, which covered kicking off customization experiments.

In this post, we share how AWS Marketing’s Technology, AI, and Analytics (TAA) team worked with Gradial to build an agentic AI solution on Amazon Bedrock for accelerating content publishing workflows.

This post explores how combining Babel Street Match with OpenSearch Service provides a solution that helps your organization to handle large-scale, multilingual data.

In this post, we demonstrate two approaches to fine-tune Amazon Nova Micro for custom SQL dialect generation to deliver both cost efficiency and production ready performance.

Online retailers face a persistent challenge: shoppers struggle to determine the fit and look when ordering online, leading to increased returns and decreased purchase confidence. The cost? Lost revenue, operational overhead, and customer frustration. Meanwhile, consumers increasingly expect immersive, interactive shopping experiences that bridge the gap between online and in-store retail. Retailers implementing virtual try-on […]

In this post, you'll learn why probabilistic AI validation falls short in regulated industries and how Automated Reasoning checks use formal verification to deliver mathematically proven results. You'll also see how customers across six industries use this technology to produce formally verified, auditable AI outputs, and how to get started.

In this post, we show you how to build a multi-Region Kerberos authentication system that matches your Aurora Global Database’s resilience using AWS Directory Service for Microsoft Active Directory (AWS Managed Microsoft AD) with multi-Region replication and a one-way forest trust to your on-premises Active Directory, so your Linux clients can authenticate without joining the AD domain.

Amazon Redshift now supports DELETE, UPDATE, and MERGE operations for Apache Iceberg tables stored in Amazon S3 and Amazon S3 table buckets. With these operations, you can modify data at the row level, implement upsert patterns, and manage the data lifecycle while maintaining transactional consistency using familiar SQL syntax. You can run complex transformations in Amazon Redshift and write results to Apache Iceberg tables that other analytics engines like Amazon EMR or Amazon Athena can immediately query. In this post, you work with datasets to demonstrate these capabilities in a data synchronization scenario.

In this post, we demonstrate how Notebooks in Amazon SageMaker Unified Studio help you get to insights faster by simplifying infrastructure configuration. You'll see how to analyze housing price data, create scalable data tables, run distributed profiling, and train machine learning (ML) models within a single notebook environment.

Today, we're announcing sheet tooltips in Amazon Quick Sight. Dashboard authors can now design custom tooltip layouts using free-form layout sheets. These layouts combine charts, key performance indicator (KPI) metrics, text, and other visuals into a single tooltip that renders dynamically when readers hover over data points.

In this post, you will learn how speculative decoding works and why it helps reduce cost per generated token on AWS Trainium2.

This post is cowritten by Renata Salvador Grande, Gabriel Bueno and Paulo Laurentys at Rede Mater Dei de Saúde. The growing adoption of multi-agent AI systems is redefining critical operations in healthcare. In large hospital networks, where thousands of decisions directly impact cash flow, service delivery times, and the risk of claim denials, the ability […]

In this post, we introduce the Generative AI Path-to-Value (P2V) framework, a structured approach to help you move generative AI initiatives from concept to production and sustained value creation.

We're excited to announce the launch of Amazon SageMaker JumpStart optimized deployments. SageMaker JumpStart improved deployments address the need for rich and straightforward deployment customization on SageMaker JumpStart by offering pre-defined deployment configurations, designed for specific use cases. Customers maintain the same level of visibility into the details of their proposed deployments, but now deployments are optimized for their specific use case and performance constraint.

This post explores how Amazon SageMaker HyperPod provides a comprehensive solution for inference workloads. We walk you through the platform’s key capabilities for dynamic scaling, simplified deployment, and intelligent resource management. By the end of this post, you’ll understand how to use the HyperPod automated infrastructure, cost optimization features, and performance enhancements to reduce your total cost of ownership by up to 40% while accelerating your generative AI deployments from concept to production.

In this post, we walk through how Guidesly built Jack AI on AWS using AWS Lambda, AWS Step Functions, Amazon Simple Storage Service (Amazon S3), Amazon Relational Database Service (Amazon RDS), Amazon SageMaker AI, and Amazon Bedrock to ingest trip media, enrich it with context, apply computer vision and generative AI, and publish marketing-ready content across multiple channels—securely, reliably, and at scale.

As SQL Server workloads grow on Amazon Relational Database Service (Amazon RDS) for Db2, the 64 TiB storage limit can force architectural issues that constrain business growth and create performance bottlenecks when transaction logs compete with data for I/O resources. The additional storage volumes feature in Amazon RDS for SQL Server solves these challenges. You can use Amazon RDS for SQL Server to attach additional storage volumes beyond the root volume, with each volume having different storage classes and performance characteristics. In this post, you will learn how to use the additional storage volumes feature in Amazon RDS for SQL Server to address these common challenges.

In this post, we walk through the steps to set up the custom migration assistant agent and migrate a PostgreSQL database to Aurora DSQL. We demonstrate how to use natural language prompts to analyze database schemas, generate compatibility reports, apply converted schemas, and manage data replication through AWS DMS. As of this writing, AWS DMS does not support Aurora DSQL as target endpoint. To address this, our solution uses Amazon Simple Storage Service (Amazon S3) and AWS Lambda functions as a bridge to load data into Aurora DSQL.

With the new Spring AI AgentCore SDK, you can build production-ready AI agents and run them on the highly scalable AgentCore Runtime. The Spring AI AgentCore SDK is an open source library that brings Amazon Bedrock AgentCore capabilities into Spring AI. In this post, we build an AI agent starting with a chat endpoint, then adding streaming responses, conversation memory, and tools for web browsing and code execution.

Introduction AWS Elastic Beanstalk simplifies the process of deploying and scaling web applications. You upload your code, and Elastic Beanstalk handles capacity provisioning, load balancing, auto scaling, and application health monitoring. Elastic Beanstalk now offers AI Analysis to help troubleshoot environment health issues. When you request an analysis, Elastic Beanstalk triggers a script on the […]

This post demonstrates how Lambda enables scalable, cost-effective reward functions for Amazon Nova customization. You'll learn to choose between Reinforcement Learning via Verifiable Rewards (RLVR) for objectively verifiable tasks and Reinforcement Learning via AI Feedback (RLAIF) for subjective evaluation, design multi-dimensional reward systems that help you prevent reward hacking, optimize Lambda functions for training scale, and monitor reward distributions with Amazon CloudWatch. Working code examples and deployment guidance are included to help you start experimenting.

In this blog post, we use Athena and Amazon SageMaker Unified Studio to explore Parquet Column Indexes and demonstrate how they can improve Iceberg query performance. We explain what Parquet Column Indexes are, demonstrate their performance benefits, and show you how to use them in your applications.

In this post, we review the options for changing the AWS KMS key on your Amazon RDS database instances and on your Amazon RDS and Aurora clusters. We start with the most common approach, which is the snapshot method, and then we include additional options to consider when performing this change on production instances and clusters that can mitigate downtime. Each of the approaches mentioned in this post can be used for cross-account or cross-Region sharing of the instance’s data while migrating it to a new AWS KMS key.

In this post, we show how to configure Kerberos authentication for Spark jobs on Amazon EMR on EKS, authenticating against a Kerberos-enabled HMS so you can run both Amazon EMR on EC2 and Amazon EMR on EKS workloads against a single, secure HMS deployment.

In this post, I show you how to connect Lambda functions to Aurora PostgreSQL using Amazon RDS Proxy. We cover how to configure AWS Secrets Manager, set up RDS Proxy, and create a C# Lambda function with secure credential caching. I provide a GitHub repository which contains a YAML-format AWS CloudFormation template to provision the key components demonstrated, a C# sample function. I also walk through the Lambda function deployment step by step.

This post shows you how to manage FM transitions in Amazon Bedrock, so you can make sure your AI applications remain operational as models evolve. We discuss the three lifecycle states, how to plan migrations with the new extended access feature, and practical strategies to transition your applications to newer models without disruption.

Today, we're announcing AWS Agent Registry (preview) in AgentCore, a single place to discover, share, and reuse AI agents, tools, and agent skills across your enterprise.

So I've been in the analytics engineering-ish space for the past 6 years and for most of that time I was in research focused embedded business teams, and only recently moved to a more production level team in the last year or so. What I've seen a result of that however is that my skillset is a bit all over the place. I have very strong business/customer facing skills, project management, data discovery & pipeline prototyping all that. But talking about actual production pipeline management, working with proper CI/CD, cloud deployments and even working in the cloud (because I was in on prem mostly before :')) was only in the last year. So... I feel a bit in this weird limbo. I have exposure …

I’m working on a large-scale Customer Insights model in Power BI and looking for architectural advice. ~1 billion rows. Current setup: A customer-level table (with party_id + flags like gender, region, VIP, etc.) connected via DirectQuery, mainly for distinct counts (using approx distinct count). Multiple monthly pre-aggregated tables (by brand, category, store, product, etc.) with metrics like gross_amount, transactions_qty, items_qty. (these are fully additive metrics that don’t depend on distinct counts, so I can safely pre-aggregate them at monthly level without losing accuracy). I also use a business key like: channel + banner + section + category + brand. The goal is to avoid scanning…

I have a data intensive application where data flows like this: Scrape 50k new rows every day from various sources about businesses and append this to my data containing 2 million businesses. I have tables with 50 million rows about the financials about thise businesses as well as tables about their website, employees, addresses, ... Normalize and clean data Resolve entities: I have multiple observations of businesses, people and addresses that need to be linked togheter if they talk about thr same entity. I alao have a spider entity graph to view relations between businesses, adresses and people. Have an API layer that supports advanced filters and is fast. Total storage is about 250 GB. D…

Currently working as a Senior Data Engineer with 5 YoE getting a chance to work for Snowflake. The new role seems less technical and more on the sales side to work on POCs which i have some experience with. I am feeling underpaid at my current role and the new position at snowflake is a huge pay bump. While its something i would still like to work on i feel i will lose my technical skills if i take it up. Would an internal switch be possible after a few years in this case? Also is it safe in this market to be working in the sales division? submitted by /u/Ok_Illustrator_816 [link] [comments]

Bit of a unique situation and looking for some advice on whether an offer seems reasonable. I received an internal promotion offer for a fully remote Senior Data Architect position at a large regional healthcare organization. The position is centered around a new Databricks implementation. I have some exposure to Databricks but not enough to be fully productive from day one. The responsibilities also seem to still be taking shape given how early the implementation is. From what I've gathered, the day-to-day is heavily weighted toward infra management, IAM, and some data work, which feels more like a Senior Data Engineer role, even though a dedicated data engineering team exists under the sa…

I'm working at a company that focuses on providing high human-touch fully managed services to clients in ad tech. We don't really build our own stuff for the most part, we leverage paid SaaS platforms and focus on making our clients lives easy. I'm the only engineer building mostly internal tools to cover the gaps that are too small for us to pay for yet another SaaS platform to handle for us. Leadership doesn't have any engineering experience, and they have a track record of laying off and restructuring anyone outside of the core business functions of services and sales. It feels like they don't trust 'nerds' who focus on systems more than people. This builds a culture of fear for anyone i…

Is there any unified open source platform for end to end data stack ingestion, transformation, notebooks, ML, model serving and governance? submitted by /u/compass-now [link] [comments]

I am working as Data Govermamce and ERP Transformation. I have been using ChatGpt Pro for a while now and i feel it is okay, it didn`t harm me but would you think claude is better? would you guys advice me to switch to Claude? my need is: 1) problem silving. 2) slides for the presentations 3) helping me with the Codes. submitted by /u/sweetestAlpha98 [link] [comments]

I’ve been working as a data engineer for over 3 years now. Recently, I’ve started using generative AI for most of my daily tasks. I feel that traditional DE tasks might decrease in the near future. While my main focus is shifting toward data architecture and high-level design. submitted by /u/Plastic-Mind7923 [link] [comments]

We've been dealing with a recurring problem and I'm curious how other teams handle it. The scenario: service goes down, 50,000+ messages pile up in the DLQ. Before you can redrive them, the consumer gets redeployed with a new DTO structure — renamed fields, new required fields, type changes. Now those 50k messages are incompatible with the new consumer code. Schema Registry didn't help because the problem isn't new messages, it's the old ones already sitting dead. Current approaches I've seen in the wild: Someone writes a one-off Python/Java script to manually transform the JSON and republish Messages just sit there indefinitely while the team argues about who owns the fix Team drains the D…

I am looking for AWS+ dbt+ python expert ..wondering if anyone available to help on a project wher I am kind of stuck? submitted by /u/No-Brother-2237 [link] [comments]

I’m looking for a cost-effective way to connect NetSuite data (preferably saved searches) directly into Power BI without relying on manual CSV exports. The goal is to build a clean data workflow where I can: Pull data from NetSuite automatically Perform data cleaning and transformations Apply business logic and DAX measures in Power BI Is there a reliable direct connection (ODBC, API, connectors, etc.) that works well for this? Would appreciate recommendations on tools or approaches that are both stable and reasonably priced. submitted by /u/NoHighway8166 [link] [comments]

Your RAG system is retrieving the right documents with perfect scores — yet it still confidently returns the wrong answer.

I built a 220 MB local experiment that proves the hidden failure mode almost nobody talks about: conflicting context in the same retrieval window. Two contradictory documents come back, the model picks one, and you get a fluent but incorrect response with zero warning.

This article shows exactly why it happens, the three production scenarios where it silently breaks, and the tiny pipeline layer that fixes it — no extra model, no GPU, no API key required.

The system behaved exactly as designed. The answer was still wrong.

The post Your RAG System Retrieves the Right Data…

Git worktrees, parallel agentic coding sessions, and the setup tax you should be aware of

The post AI Agents Need Their Own Desk, and Git Worktrees Give Them One appeared first on Towards Data Science.

What I wish I did at the beginning of my journey

The post How to Learn Python for Data Science Fast in 2026 (Without Wasting Time) appeared first on Towards Data Science.

How I turned my eight-year weekly visualization habit into a reusable AI workflow

The post Beyond Prompting: Using Agent Skills in Data Science appeared first on Towards Data Science.

What if an unsupervised model could become a strong classifier with only a handful of labels?

The post You Don’t Need Many Labels to Learn appeared first on Towards Data Science.

From rank-stabilized scaling to quantization stability: A statistical and architectural deep dive into the optimizations powering modern Transformers.

The post 6 Things I Learned Building LLMs From Scratch That No Tutorial Teaches You appeared first on Towards Data Science.

Architectures, pitfalls, and patterns that work

The post A Practical Guide to Memory for Autonomous LLM Agents appeared first on Towards Data Science.

Inside MareNostrum V: SLURM schedulers, fat-tree topologies, and scaling pipelines across 8,000 nodes in a 19th-century chapel

The post What It Actually Takes to Run Code on 200M€ Supercomputer appeared first on Towards Data Science.

The upstream decision no model, or LLM can fix once you get it wrong

The post Your Chunks Failed Your RAG in Production appeared first on Towards Data Science.

Building a personal AI assistant is rarely a single, monolithic effort. In this piece, I walk through my latest addition: a task breaker module that decomposes complex goals into structured, actionable steps — and why that single component changed how I think about AI-driven productivity.

The post Building My Own Personal AI Assistant: A Chronicle, Part 2 appeared first on Towards Data Science.

The problem with agent memory today

The post memweave: Zero-Infra AI Agent Memory with Markdown and SQLite — No Vector Database Required appeared first on Towards Data Science.

Machine learning models can be confident even when they shouldn't be. This article introduces Deep Evidential Regression (DER), a method that lets neural networks rapidly express what they don't know. The post Introduction to Deep Evidential Regression for Uncertainty Quantification appeared first on Towards Data Science.

Learn how to get the most out of Claude Cowork

The post How to Maximize Claude Cowork appeared first on Towards Data Science.

Inside disaggregated LLM inference — the architecture shift behind 2-4x cost reduction that most ML teams haven't adopted yet.

The post Prefill Is Compute-Bound. Decode Is Memory-Bound. Why Your GPU Shouldn’t Do Both. appeared first on Towards Data Science.

Bringing your batch pipeline to real-time requires careful consideration. This post brings you five practical tips to make the most of your modernization efforts. Join us for an upcoming webinar to learn even more.

The post 5 Practical Tips for Transforming Your Batch Data Pipeline into Real-Time: Upcoming Webinar appeared first on Towards Data Science.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Mastering PostgreSQLSupabase и Manning Publications выпустили бесплатную книгу про PostgreSQL.107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза.Книга поделена на 4 части:— Modern SQL— Postgres for Full-Text Search (FTS)— Improper Data Type Usage— Table & Index MistakesСкачать книгу можно в комментариях к посту.

Cloud vs Self-HostedВечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS.Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или иных сервисов. Порой вам даже не нужно думать о масштабировании, за вас это делает облачный провайдер. В…

Данные и законодательствоС развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.

Designing Data-Intensive ApplicationsГлава 1. Trade-Offs in Data Systems ArchitectureВведениеПервая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах.Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море различных технологических решений. Дать фундамент, который будет помогать принимать правильные решения при проек…

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя и…

Второе издание "кабанчика"На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications.Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант.“Кабанчик” до сих пор у меня, пережил несколько переездов и выглядит непрезентабельно. Но к чему этот пост? Я хочу немного изменить формат этого канала и сделать…

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяцАня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге:— ~700 пользователей за первый месяц— первые 16 оплат— первая выручка: ~$200— подписка: $8/мес— сделано на n8n + OpenAI без разработчиковНе было ни команды, ни инвестиций, ни кода.Главное — не технология.Главное — простая понятная ценность.Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реаль…

Data Pipelines with Apache Airflow, 2-е изданиеРебята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning. Это обновлённое издание с учётом новой 3-й ветки Airflow, в книге используется версия Apache Airflow 3.1.0. Ну и конечно же ИИ не обделили, в книге появился контент про RAG, AI Orchestration и т.д.Приятного чтения, господа! 🤓

📣 📢 13 ИИ агентов для дата инженераРебята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3Преимущественно агенты сконцентрированы вокруг написания и тестирования Airflow DAGs, проектирования таблиц БД, data lineage. Боевой комплект дата инженера.Из БД они умеют в Snowflake, Postgres, BigQuery. Также есть навык для работы с SQLAlchemy ORM.Установка агентов:npx skills add astronomer/agentsДля Claude Code можно установить прямо их маркетплейсаclaude plugin marketplace add astronomer/agentsclaude plugin install data@astronomer В комплекте есть Airflow MCP сервер.Ссылка на репозитор…

pandas 3.0Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк str вместо привычного numpy object. По словам разработчиков это значительно улучшает производительность кода. Также теперь Copy-on-Write это единственный режим для изменения значения колонок у датафрейма, более подробно здесь. Перед миграцией на новую версия pandas необходимо прошерстить легаси код и внести изменения, если вдруг в коде есть проверки на object или неоднозначные изменения датафрейма (вездесущий SettingWithCopyWarning в логах).Ссылка на полный release notes.

fastjsondiff - High-performance JSON comparison with a Zig-powered coreНаписал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.pip install fastjsondiff-zigGithub: https://github.com/adilkhash/fastjsondiffPyPI: https://pypi.org/project/fastjsondiff-zig/Буду признателен за ⭐ на репе в гитхабе, это поможет её распространить дальше.

Zen HabitsВстречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits.Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их. Внутри есть стена коммитов по типу Github.Велком: https://zenhabits.dev/Пожелания, критику и оскорбления жду в чатике канала 🫂

The Definitive Guide to Apache Airflow® 3 DAGs146 страниц отборного мяса и лучших практик про написание DAGов для Apache Airflow 3.

Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)

Orchestrate LLMs and Agents with Apache Airflow®Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Самое любимое в процессе книго-писания - это получить обложку со своим именем. Коллег писателей поздравляю. Я даже не знаю какая эта книга по счету - 9ая? 10ая? Как говориться больше 2х уже не имеет значение.Я думаю это последняя книга у меня. И в целом технические книги проигрывают AI ассистентам. Все еще ценны советы экспертов и видео уроки, где можно понять общую идею (system design) и дальше уже раскрутить ее с AI и понять как построить. Все-таки на человека приятней смотреть и слушать. Дальше, уже нужно получать патенты в области космических изобретений😎

Продолжаем тему про выгорание:)

Запись нашего разговора про выгорание, как его распознать и как с ним бороться. https://youtu.be/vmjZgpMFrUo

Дата-инженер, пора на прокачкуЕсли хотите в 2026 не просто “поддерживать пайплайны”, а лучше понимать архитектуру, ускорять разработку и принимать более сильные технические решения — регистрируйтесь на серию вебинаров от команды Дата-сервисов VK Tech.🦾 В одной серии — сразу 3 практических вебинара:20 апреля — ClickHouse в 2026: сценарии, сильные стороны, лучшие практики20 мая — Наш опыт построения Lakehouse: ошибки и выводы 202510 июня — Вайбкодинг в data engineering: как ускоряться, не ломая прод🏆 Кому будет полезно:Дата-инженерам, senior-аналитикам, архитекторам данных, руководителям дата-платформ и всем, кто строит или развивает контур аналитики, BI и ML.💪 В чем можно прокачаться:— понят…

Модель вашей жизни Иван Крутко сделал хорошее интервью.Важная мысль -- мы не объекты, мы субъекты своей жизни.Плохо получится само, над хорошим надо работать. Я искренне поделился своими мыслями О предпринимательстве и бизнесе. Как предпринимателям проверять жизнеспособность своих идей? Стоит ли давать второй шанс убыточным проектам? Что делает проекты успешными — интуиция или удача?Об инвестициях. И здесь не только про финансы. Регулярный спорт и тренировки — это тоже инвестиции в свою энергию, здоровье и дисциплину, которые прямо влияют на продуктивность.О жизни в релокации, хобби и планах на будущее.https://www.youtube.com/watch?v=w-gRLhyNfz4

Андрей Карпатый разделяет пользователей на 2 группыПервая проблема, на мой взгляд, — это актуальность и уровень использования. Думаю, многие попробовали бесплатный тариф ChatGPT где-то в прошлом году и позволили этому опыту слишком сильно повлиять на их взгляды на ИИ. Это группа людей, которые смеются над различными причудами моделей, галлюцинациями и т. д. Да, я тоже видел вирусные видео, где расширенный голосовой режим OpenAI тупит на простых вопросах вроде «мне лучше доехать до автомойки или дойти пешком». Дело в том, что эти бесплатные и устаревшие/снятые с поддержки модели не отражают возможностей новейшего поколения передовых агентных моделей этого года — в особенности OpenAI Codex и …

До сих пор разворачиваете PostgreSQL вручную?Сэкономьте силы для задач разработки.21 марта в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.Что будет в эфире:⚫️️️ облачный PostgreSQL: плюсы/минусы решения;⚫️️️ как устроен управляемый сервис в новом облаке от MWS Cloud;⚫️️️ машинерия под капотом бэкапов, автообновлений, switch и failover;⚫️️️ создадим кластер за несколько минут и настроим подключение.Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.Зарегистрироваться

21 апреля пройдет митап «Лаборатория решений DataLens» — офлайн-встреча про BI и аналитику данных 📍 Москва, Loft Hall (Avantage)🕓 Сбор с 16:30, старт в 17:00Формат: бизнес-команды заранее поделились своими задачи, а эксперты из p Навикон, КОРУС Консалтинг, Смарт-Аналитикс и SQEEL реализовали решения на базе BI. На встрече покажут, как именно они это сделали — от источников данных до финальных дашбордов. Кейсы собрали разнообразные: из ритейла, финансов, госсектора и фармы.Также — доклад команды DataLens о развитии платформы, Q&A по техническим деталям и нетворк.Для кого: data engineers, analytics engineers, BI-разработчики и лиды, отвечающие за инфраструктуру данных.🔗 Регистрация по ссылке.

Кто не приходил в зум, многое пропустил🫣🤯Давайте продолжим в meetUpdate: ссылку убрал.

Я тут видео хотел записать про наш вебинар, но телефон все время падал, но идею передал:) присоединяйтесь и в конце смогу ответить на ваши вопросы на любую тему 🛸

Сылка https://calendar.app.google/Tuhj6ZCRtKgEPKi9A чтобы добавить в календарь

В понедельник, 13 апреля в 8:00 (МСК) проведём совместный эфир с Яной Тимохиной.Поговорим на ооочень важную тему👇🔥Выгорание: как распознать вовремя и не сгоретьОбсудим:— Что такое выгорание на самом деле— Личный опыт Димы Аношина (как это ощущается изнутри)— Основные симптомы, которые многие игнорируют— Причины: почему это происходит даже у «успешных»— Стадии выгорания — как не довести до крайности— Как отличить выгорание от усталости или депрессии— Что делать, чтобы помочь себе и восстановитьсяВам точно на эфир, если вы:— чувствуете усталость, которая не проходит— теряете интерес к работе или жизни— много делаете, но не чувствуете отдачиПро Яну:— Бизнес-психолог— Сертифицированный коуч— Ка…

Когда нет особых новостей и инноваций, то можно просто переименовывать решения.Looker Studio переименовывается обратно в Data Studio — возвращение к «любимому и знакомому» названию.Data Studio становится единым местом для работы с активами Google Data Cloud: отчёты, разговорные агенты BigQuery, приложения из Colab-ноутбуков.• Data Studio — инструмент для личного исследования данных: быстрые ad-hoc отчёты, визуализация данных из BigQuery, Google Sheets, Google Ads.• Looker — остаётся корпоративной BI-платформой с управляемой семантической моделью и агентными возможностями.

Ducklake демо репозиторий https://github.com/jeff-skoldberg-gmds/ducklake-demoОтличное и простое решение, главное не дорогое.

Компании бывают разные - кто-то тихо и усердно работает, а кто-то хайпует, собирает лайки, реакции, раунды инвестиций и растет. Один из самых крутых стартапов в этой области это Artisan. Они еще давно вешали плакаты в Сан Франциско - “Stop hiring people”. В этот раз они прям реально отожгли - она наняли на работу Jordan Belfort на позицию VP оf sales. Того самого Волка с Wall Street. И записал крутые рекламы - The Wolf of Wall Street vs. Ava 2.0 | The Sell-Off Возможно он там временно, как первоапрельская шутка.Они как-то предлагали им написать и рассказать о себе, чтобы устроиться к ним на работу. Вместо резюме я им отправил себя сидящего на крыше гелика с шампанским. Ответа не получил=)

Как ИИ меняет аналитикуНет, речь не про то, как он отнимает у кого-нибудь работу. Ксения Бокша из OneData VK поделилась наблюдениями о том, как сейчас развивается дата-сфера. Сегодня выделяются 4 крупных тренда:🔵Демократизация аналитики. Знать SQL, чтобы залезть в БД за выгрузкой, больше необязательно — теперь вопрос решается через отправку запроса на естественном языке к ИИ.🔵Автоматизация процессов и избавление от рутины, за которые компании платят растущими рисками. Хотя ИИ снимает нагрузку с сотрудников, растет риск ошибок из-за галлюцинаций, которыми искусственный интеллект до сих пор грешит. 🔵Централизация дата-инфраструкутры. ИИ с децентрализованными системами не дружит: для обучения …

Что еще умеет SQLiteРаз уж заговорили про эту СУБД в прошлом посте, давайте посмотрим, как еще интересные функции и возможности у нее есть, о которых кто-то может не знать.Нашли подборку примеров. Кроме уже знакомого WAL, там упомянуты: 🔵Работа с файлами JSON: SQLite умеет хранить их прямо в таблицах и отправлять к ним запросы. 🔵Полнотекстовый поиск с с ранжированием, поиском по фразе или части слова — для этого понадобится расширение FTS5. 🔵Обработка сложных аналитических запросов с применением оконных функций и общих табличных выражений.🔵«Строгие» таблицы, как в PostgreSQL и других классических СУБД. — их добавили в дополнение к динамической типизации, которой известна SQLite.🔵Виртуальные…

Магазин на SQLiteБез мам, пап и кредитов вездесущего PostgeSQL. Команда магазина, которым полностью управляют ИИ-агенты, рассказала, как обходится один SQLite и не жалуется.Текст в блоге, кажется, тоже писал ИИ, но кое-что интересное из него можно почерпнуть. 🔵У них 4 БД: основная данными о заказах и покупателях, кеш, очередь задач и ответственная за Action Cable. Все хранятся в одном томе Docker. 🔵По умолчанию, когда один человек делает запись, SQLite блокирует БД для всех остальных. Это не слишком удобно для сайта, который обрабатывает множество запросов одновременно. Выход нашли с помощью WAL: новые записи добавляются в файл .wal, а не в БД напрямую. Ничего не блокируется и не мешает пол…

DOOM в DNSНеисчислимы способы запустить DOOM на всех возможных языках программирования и устройствах. И вот к ним добавился еще один.У DNS есть тип записей .txt, в которых теоретически должна содержаться информация о домене. На практике туда можно занести любой текст объемом до 2000 знаков и «распространять» его через Cloudflare. Так можно напилить DOOM на 1964 маленьких кусочков и раскидать по файлаv DNS TXT. Затем надо будет написать код на PowerShell, чтобы он собрал эту мозаику обратно. Итоговый .wad-файл на диск не записывается, игра запускается прямо из памяти. Единственный недостаток в том, что аудио из нее пришлось вырезать, чтобы уменьшить размер.

В Японии ИИ не отнимает работу у людей……потому что отнимать не у кого. Страна стареет, рождаемость падает, и работоспособного населения становится все меньше. В таких условиях внедрение ИИ в работу происходит не из желания сэкономить или не отстать от технологической гонки, как на Западе, а от необходимости, рассказывает портал TechCrunch.🔜 Но у Японии свой путь — здесь делают ставку на «физический» ИИ. Роботов, то есть, которыми страна всегда славилась. Министерство торговли, экономики и промышленности обещает к 2040 году занять занять 40% мирового рынка ИИ-робототехники.Выглядит реалистично — экспертиза в создании железа уже есть, осталось только прокачаться в том, в чем традиционно были …

Для тех, кто любит шахматы и SQLТеперь вы можете играть в шахматы на SQL. Да, этот язык настолько могуч, что позволяет собрать таблицу-шахматную доску и двигать по ней фигуры. Чтобы доска была похожа на доску, надо трансформировать строки в колонки с помощью условной агрегации: --Создаем таблицу и расставляем на ней фигуры — белые в двух верхних рядах, черные в нижнихDROP TABLE IF EXISTS board;CREATE TABLE board (rank INTEGER, file INTEGER, piece TEXT);INSERT INTO board (rank, file, piece) VALUES(1, 1, '♖'), (1, 2, '♘'), (1, 3, '♗'), (1, 4, '♕'), (1, 5, '♔'), (1, 6, '♗'), (1, 7, '♘'), (1, 8, '♖'),(2, 1, '♙'), (2, 2, '♙'), (2, 3, '♙'), (2, 4, '♙'), (2, 5, '♙'), (2, 6, '♙'), (2, 7, '♙'), (2, …

Тяните карту Устали принимать решения на основе данных и аналитики? Не можете больше смотреть на дашборды и обсуждать планы на бесконечных совещаниях?Тогда спросите у карт, что делать!Понимаем, что не у всех есть колода под рукой, и поэтому предлагаем специальный сервис.Выбираете, сколько карт тянуть, суть задачи (выпуск продукта, запуск теста, закрытие проекта и так далее) и свою роль (аналитик, руководитель, инженер или уборщица тетя Маша, которая проходила мимо), ну а сервис выдает вам расклад с расшифровкой. Есть даже версия на русском.Может быть, не самый оптимальный способ решить, что дальше делать со своим проектом, зато быстрый.

Что бы мы делали, если бы сейчас выбирали STEM-вуз?Думаем, в первую очередь поменяли бы сам подход к выбору. Раньше логика была довольно простой: ищешь сильный вуз, поступаешь на понятное направление и дальше идешь по заданной траектории. Но сейчас ситуация иная, вспомнить хотя бы исследование о подготовке ИИ-специалистов и о том, что требования к ним меняются быстрее, чем обновляются учебные программы. Это понятно и экспертам, и самим абитуриентам.В США, например, классические computer science-направления уже теряют часть набора, а интерес всё заметнее смещается в сторону AI-программ. Видно, что для абитуриентов всё важнее становится актуальность треков и связь с тем, как реально меняется …

Так себе первое апреля у Anthropic Пока мир отмечает День смеха, Anthropic не до шуток— 31 марта они случайно слили исходный код Claude, отправив в пакете npm файл .map.Меры уже приняли, но энтузиасты успели заглянуть внутрь и найти там много интересного:🔵Механизм отправки ложных описаний инструментов Claude в запросах API. Они нужны, чтобы «отравить» данные, если кто-то попытается собирать их для тренировки своей модели. 🔵Режим, который запрещает Claude упоминать Anthropic, ее проекты (включая кодовые названия), названия репозиториев или каналов в Slack.🔵Режим «обнаружения недовольства», который фиксирует ругательства или другие выражения разочарования работой модели в ответах пользователе…

Начинаем неделю продуктивно — с погружения в CDRTCRDT расшифровывается как Conflict-free Replicated Data Type или «Тип данных с репликацией без конфликтов». Это то способ хранения и синхронизации данных между несколькими устройствами. Это он позволяет совместно редактировать файлы нескольким людям одновременно, как в Notion, Evernote и других подобных сервисах. CRDT фиксирует и автоматически объединяет все изменения, не допуская конфликтов или потери информации — отсюда и название, собственно. Если хотите разобраться подробнее, как это работает, то у нас для вас есть пара полезных ссылок.🔵Интерактивное введение — длинный пост с примерами кода и да, как можно догадаться, интерактивными элеме…

«Одной математики и технологий мало — нужен еще и здравый смысл»: как работают платформы для экспериментовРынок сервисов для проведения и анализа экспериментов — молодой и пока небольшой. Хотя спрос на такие услуги высок и постоянно растет, игроков, как в России, так и за ее пределами, не так уж и много. Тем интереснее смотреть, как он развивается прямо у нас на глазах. Про реалии рынка сейчас и перспективы в будущем, рассказывает гость подкаста Data Heroes — Виталий Черемисинов.Виталий — один из со-основателей EXPF Sigma, платформы для экспериментов, которую в прошлом году приобрела Авито Тех для развития своего проекта Trisigma. Что обсудили в выпуске? 🔵Можно ли сохранить свободу в принят…

Sora всеВозможно, теперь ИИ-видео с кроликами на батуте или трагичными историями мультяшных котов станет меньше: OpenAI объявила о закрытии Sora, нейросети для генерации видео. В посте с новостью обещали в ближайшее время рассказать, что произойдет с приложением и API, а также что делать пользователям, которые хотят сохранить свои проекты.Сейчас компания делает ставку на корпоративный сегмент и разработку ИИ-агентов, и Sora в эти планы, очевидно, не вписывается. Уже появились новости, что это решение приведет к разрыву сделки между OpenAI и Disney, заключенной в декабре прошлого года.

Чего же люди хотят от ИИ?В декабре прошлого года Anthropic опросили 80508 пользователей из 159 стран, чтобы найти ответ. Использовали инструмент на основе Claude, который сначала задал участникам заранее заготовленные вопросы по списку, а затем — сам придумал несколько уточняющих, основанных на их словах. Результаты тоже обрабатывали с помощью ИИ, который разделил ответы на категории: чего люди хотят от искусственного интеллекта, получают ли они желаемое, чего боятся, как зарабатывают на жизнь и как относятся к ИИ в общем. 🔵Как оказалось, хотят в основном помощи в работе (18,8%), личностном росте (13,7%) и «менеджменте жизни» (13,5%) — то есть решении рутинных бытовых задач, чтобы снять с с…

«Реализовать изменения, да или да?»Искусственный интеллект стал настолько близок к естественному, что научился выдавать желаемое за действительное. Пользователь Github поделился очаровательной перепиской с Claude.ИИ:Только новый код: одна новая функция (print_itinerary), один новый аргумент, одна ветка в main()Без изменений в существующих моделях, оптимизаторе или выводеБез новых зависимостейЭто весь план. Реализовать?Человек:нетИИ:Размышление: Пользователь ответил «нет» на мой вопрос «Реализовать?» — но, судя по контексту, он, вероятно, говорит «нет» на то, что я запросил у него разрешение, имея в виду «просто делай, не спрашивай». Перечитаю…На самом деле, если посмотреть на системное увед…

⚡️Чем занимается аналитик и как получить оффер в 2026 году?Переживаете, что рынок труда нестабилен? Хотите ворваться в аналитику, но не знаете как гарантировать себе трудоустройство? Все эти переживания уходят, если вы уверены в правильности своих действий, уверены в своих компетенциях, резюме и портфолио. Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Кстати на вебинаре разберут и то как стать аналитиком в 30/40/50 и более лет.На вебинаре будет:🟠Разберем полный роадмап: что учить, в каком порядке, до как…

Сколько времени обычно уходит на сборку полноценной data-архитектуры? Дни, недели или даже месяцы? 2 апреля команда Yandex Cloud покажет, как развернуть Lakehouse по клику и получить рабочую аналитическую архитектуру без долгой интеграции разрозненных инструментов.В основе — единый стек:raw-данные в Object Storage (S3);табличный слой на Iceberg;обработка через Trino и Spark;интерактив — витрины в ClickHouse и BI.✅ Зачем приходить— Поймёте, как выглядит целевая архитектура «от данных до BI» и как собрать её без лишней ручной интеграции— Получите практические ответы «как делать правильно»: Iceberg, ingestion, метаданные и доступы— Услышите опыт крупного бизнеса: где «чистый Lakehouse» достато…

📝 Курс от OTUS: «Администрирование PostgreSQL. Экспертный уровень» — продвинутое погружение в работу с базой данных PostgreSQL в любых средах.Освойте управление PostgreSQL на экспертном уровне: от настройки локальной инфраструктуры до развёртывания высокодоступных кластеров в облаках и Kubernetes. Научитесь автоматизировать процессы, оптимизировать производительность и экономить ресурсы — без лишних сервисов и избыточных затрат.🔥 Приглашаем на серию из 2 бесплатных вебинаров курса — для DevOps‑инженеров, SRE, архитекторов данных, администраторов БД и разработчиков, которые хотят выйти на новый уровень владения PostgreSQL. 🔧💾 📅 26 марта в 20:00 МСК: «Путешествие запроса в PostgreSQL: от разб…

Боремся с деградацией: системный подход к оптимизации баз данных ⚙️В крупных корпоративных системах деградация СУБД редко происходит внезапно. Сначала замедляются регламентные процедуры, затем растет нагрузка, появляются блокировки, проседает SLA — и команда начинает работать в режиме постоянного реагирования.📆 17 марта в 11:00 (онлайн) приглашаем на бесплатный вебинар «Боремся с деградацией: системный подход к оптимизации баз данных», где подробно разберем работу и оптимизацию MSSQL.👨‍💻 Спикер: Руслан Абдуллин — архитектор БД и интеграции, разработчик Lasmart. Практик аудитов и оптимизации MSSQL для Hoff Tech, «Аптечная сеть 36,6» и ГК «ЭркаФарм».В программе вебинара:— почему MSSQL дегради…

— Пингвин, ты куда? — Мигрирую с Data Warehouse на Lakehouse без чек-листа от Cloud.ru.— Но почему?Не будьте пингвином-нигилистом: переезжать с DWH на Lakehouse нужно по плану, а еще лучше — по чек-листу. Команда Cloud.ru как раз собрала подробную инструкцию, которая поможет:▶️Провести аудит текущего хранилища и ETL-процессов.▶️Перейти на Lakehouse без простоев, расхождений и потери доверия бизнеса.▶️Сделать данные надежной основой для аналитики и отчетности с помощью Data Quality, Metadata и Lineage.▶️Спроектировать стабильную Medallion-архитектуру с прозрачными слоями.В чек-листе 15 шагов. На каждом — типовая проблема при миграции + технические рекомендации от инженеров данных, с примерам…

От цифр к стратегии: как использовать ИИ для глубокой аналитикиСегодня почти в каждой команде есть цифры, отчеты и дашборды, и это уже база. Но все интересное начинается в момент, когда из этих данных рождаются идеи, гипотезы и понятные решения для бизнеса.О том, как с помощью ИИ сделать аналитику более глубокой и направленной на развитие бизнеса, расскажут на вебинаре «Как превратить данные в стратегию: используем ИИ для генерации бизнес-гипотез и инсайтов» от karpovꓸcourses.Вы узнаете, как превращать данные в стратегические решения, как избавляться от рутины и углублять инсайты, как выстроить более эффективную работу с цифрами и повысить свою ценность как специалиста благодаря ИИ-инструме…

AI-каталогизация: как автоматизировать описание данных?Чем больше данных накапливает компания, тем сложнее в них разобраться.Либо описание БД и BI формируется вручную и требует больших ресурсов команды, либо его просто нет, потому что отложили “на потом”.В обоих случаях поиск данных и понимание взаимосвязей начинает зависеть от отдельных специалистов.DataDesc AI решает эту проблему как ИИ-слой знаний поверх БД и BI. Решение автоматически:⚙️создаёт бизнес-описания объектов хранилища⚙️объясняет SQL простым языком⚙️строит lineage⚙️описывает BI-дашборды. Документация всегда будет актуальной. Переложите эту рутину на AI. 30 минут и у вас готово то, на что команда потратила бы несколько месяцев. …

Авито ищет будущих аналитиков данных и ВІ-разработчиковЗапускаем Avito Analyst Bootcamp 2026 — годовую программу, где вы сможете вырасти от стажёра до уверенного мидла 🚀Что такое Avito Analyst Bootcamp?Это ваш шанс погрузиться в мир больших данных, решать реальные бизнес-задачи под руководством экспертов Авито и проходить дополнительное обучение от Академии Аналитиков Авито.В каком направлении будете развиваться?➡️ Продуктовая аналитика: А/В-тестирование, воронки, логирование, анализ гипотез.➡️ ВІ-разработка: дашборды, пайплайны, метрики.Почему стоит участвовать?➡️ Карьерный рост по чёткому плану — с контрольными точками и прозрачными критериями.➡️ Сильное комьюнити — общение, обмен опы…

Исследовательский проект «Если быть точным» (платформа с открытыми данными и исследования по широкому набору тем), собрали практические гайды как готовить и визуализировать данные, где обобщили опыт за время своей работы.Хочется поддержать коллег. Для проекта это важно и поможет дальше сохранять открытые данные и делать социальные исследования.1) Как сделать запоминающиеся графики: 11 рекомендацийГайд для тех, кому нужно презентовать и объяснять данные.🔸Как выбрать подходящий тип графика🔸Плагины и инструменты для визуализации данных🔸Как отобразить на одном графике показатели разного масштаба2) Подготовка данных к работе: 5 лайфхаковПодойдет всем, кто работает с открытыми данными. Вы узнаете…

🤖 Агенты на базе LLM звучит как модный тренд, но за ним скрываются конкретные архитектурные решения, ограничения и инженерные компромиссы. Без их понимания агентные системы быстро превращаются в нестабильные и трудно поддерживаемые эксперименты.На открытом уроке вы разберёте, что на самом деле стоит за agentic-подходом и чем он отличается от привычных LLM-приложений с chains, RAG и tools. Мы подробно рассмотрим устройство агента: модель, инструменты, память, планирование и контроль выполнения, а также разберём архитектурные паттерны агентных систем.Вы увидите, как один и тот же агентный сценарий реализуется в разных фреймворках, сравните их подходы и ограничения, поймёте, где агентный подхо…

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году?Хотите ворваться в аналитику, но боитесь, что не найдете работу? Страх уходит, если вы уверены в правильности своих действий.Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это очень полезное событие для тех кто только зашел в аналитику и для тех, кто хочет зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати, на вебинаре также разберут: как стать ана…

86% продуктовых аналитиков head+ уровня измеряют успех в профессии по влиянию на выручку и метрики. Данные приводит Lamoda Tech по итогам исследования портрета специалистов лучших IT-компаний*. В нем собраны навыки, метрики и инструменты, ожидаемые работодателями.А чтобы вы могли изучить все актуальные требования, коллеги из Lamoda Tech дают возможность получить бесплатную карьерную консультацию.Как это сделать:1. До 12 февраля заполните форму — расскажите, где вы сейчас и куда хотите попасть, что вызывает сложности.2. До 19 февраля организаторы выберут 3 истории и свяжутся с авторами.3. HR-эксперт на индивидуальной консультации поможет составить персональный план развития.👉 Оставить заявку…

Эффективны ли ваши ETL-процессы? 👁Проверьте это с бесплатным чек-листом Без регулярного аудита ETL-пайплайны начинают деградировать: растут затраты, ломаются дашборды, а решения принимаются на битых данных. При этом на полноценный аудит часто не хватает времени.Эксперты Cloud․ru собрали чек-лист для простой и быстрой диагностики ETL-процессов. Внутри — опыт и лайфхаки в работе с данными. По чек-листу можно оценить надежность, масштабируемость, управляемость и безопасность вашей Data-инфраструктуры, а еще соответствие cloud native-подходу.Как это работает1️⃣Пройдите чек-лист2️⃣Подсчитайте баллы за реализованные практики3️⃣Определите уровень зрелости ETL-процессов4️⃣Получите персональные реко…

📊 Вышло новое исследование «СУБД Greenplum/ Arenadata DB в облаке–круг Громова 2025»В отчете собраны практические рекомендации, как наиболее эффективно развернуть аналитические СУБД Greenplum и Arenadata DB в облачной инфраструктуре российских провайдеров.Ключевые акценты исследования:➡️ готовность отечественных облачных провайдеров к развертыванию сложных, высоконагруженных программных сервисов,➡️ сравнение IaaS и PaaS-моделей для Greenplum/ADB,➡️ архитектурные рекомендации и типовые риски в среде виртуализации,➡️ анализ предложений ведущих провайдеров на основе реального проекта,➡️ требования к инфраструктуре для обеспечения производительности, безопасности и соответствия регуляторам.Иссл…

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

Channel created

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их вместе.⌘ зачем вообще нужно код-ревью+ это вторая пара глаз с иным контекстом и уровнем погружения: автор и ревьюер смотрят на код в разных когнитивных режимах → ловятся разные ошибки+ передача знаний в рамках команды: «применяем вот такие паттерны, а вот так не делаем» → в среднем качестве кода постепенно улучшается+ барьер против энтропии и деградации кодовой базы: без должного присмотра любой проект постепенно превращается в трудно подд…

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

Почему нам хочется увидеть в искусственном интеллекте собеседника? Как нейросети контролируют ход диалога? И что из-за них меняется в человеческом общении? Культуролог и исследовательница цифровой среды Оксана Мороз объясняет, как общение с искусственным интеллектом влияет на нас.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdNBa9xSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/fmodg⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать в…

Как искать работу в 2026? Короткий ответ: непросто! Вместе с основательницей агентства NEWHR Кирой Кузьменко разбираемся, как меняется найм с ИИ, и проходим весь путь от поиска вакансии до переговоров о зарплате. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjd2g7CDSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/vxev6 Агентство Киры: NEWHR.orgКанал Киры: https://t.me/kirafoundКурс про поиск работы: HelloNewJob.orgСлушайте бонусные выпуски «Запуска завтра» и других подкастов студии «Либо/Либо» по подписке Либо/Либо+ в Telegram: https://cutt.ly/zap0225epap и в Apple Podcasts https://cutt.ly/zap0225…

Раздражает, что выдача в Google замусорена рекламой и нерелевантными ссылками? Вместе с фактчекером Павлом Банниковым разбираемся, почему испортился поиск, что помогает гуглить эффективно и как правильно искать с нейросетями.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdEyrEdSelectel — Selectel — независимый провайдер, который поможет построить надежную и гибкую инфраструктуру для проектов разной сложности: https://slc.tl/cxf73 Телеграм-канал Павла: https://t.me/pavelbannikovПроекты журналиста-расследователя Хэнка ван Эсса: https://www.digitaldigging.org⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/0vp_239OXdw. Будем очень благодарны вам за подписку на …

Да, это выпуск про ванну со льдом, медитации и сауну после работы! Андрей Дороничев — один из создателей мобильного приложения YouTube — рассказывает, что делают технари в Долине, чтобы улучшить здоровье и продуктивность. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdTcQAmSelectel — провайдер IT-инфраструктуры для ИИ-проектов. Серверы с видеокартами и другие продукты для вашего бизнеса: https://slc.tl/lejz5 Андрей Дороничев: https://www.instagram.com/dobry?igsh=aHByNmFtMXpsb2dz⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/k9ahY12o3ZA Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать видеоверсию и дальше!С…

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Python 3.15’s JIT is now back on track — https://fidget-spinner.github.io/posts/jit-on-track.html OpenAI покупает Astral — https://openai.com/index/openai-to-acquire-astral/ JazzBand закрывается — https://jazzband.co/news/2026/03/14/sunsetting-jazzband Первый публичный релиз Django Modern Rest — https://github.com/wemake-services/django-modern-rest/releases/tag/0.1.0 Defense in Depth: A Practical Guide to Python Supply Chain Security — https://bernat.tech/posts/securing-python-supply-chain/ The S…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Случайные числа нужны почти в каждой программе. Для программиста все выглядит очень просто – достаточно вызова функции стандартной библиотеки. А под капотом там происходит очень много интересного! Чтобы разобраться в том, как генерируются хорошие случайные числа, мы позвали Евгения Додиса, профессора университета Нью-Йорка, который во многом определил, как выглядят и работают современные генераторы случайных чисел, и участвовал в их дизайне для Linux, Apple и Windows. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https…

Многие думают, что Vim давно уже не актуален и остался мемом и игрушкой для гиков. В выпуске мы обсудили, зачем можно его использовать в современном мире, когда вокруг куча IDE и текстовых редакторов, что из себя представляет осовремененная версия под именем NeoVim и почему она до сих пор актуальна и остается для многих разработчиков способом собрать персональную среду разработки под свой реальный рабочий процесс. Поговорили, в чем принципиальные архитектурные отличия NeoVim от других, почему его сила не только в плагинах, а в самой модели взаимодействия с текстом, как сегодня устроен современный стек с Lua, LSP и Tree-sitter, и с чего начать, если давно хотелось попробовать NeoVim не как э…

Flutter давно стал мейнстримной кросс-платформой и заметным игроком в мобильной разработке: его ценят за быструю разработку и хороший тулинг, в частности hot reload.

Марк Абраменко, бывший Head of Flutter в Surf и мобильный инженер Rhino, разобрал ключевые темы: Impeller и миф о лагах на iOS, ограничения Dart для сложной логики и реальность «одной кодовой базы» для desktop, web и mobile. Конечно же, не могли обойти тему написания кода на Flutter с помощью AI-агентов. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https:…

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели. Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: w…

Переезд в другую страну часто выглядит как выбор между «по зову сердца» и «по таблице в Notion», но на практике успешная релокация почти всегда требует и того, и другого. Это не только выбор визы и билетов, но и большой жизненный проект, требующий принятия десятков решений. В этом выпуске вместе с Василием Юренковым – создателем проекта Greener Relocation, мы обсудили, как понять свои реальные критерии выбора нового места и о чём важно подумать заранее. А ещё поговорили о том, как составить реалистичный роадмап релокации, рассчитать бюджет и не сломаться в процессе, когда заканчиваются силы, расходятся ожидания и растёт стресс. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и…

Мы редко задумываемся о том, как вообще управляем окнами. Alt-Tab, мышка, перетаскивание, сворачивание – как-то работает и ладно. Но если присмотреться, это один из самых недоосмысленных инструментов в нашей ежедневной работе. Мы проводим за экраном по 8 часов в день, переключаемся между задачами, проектами, контекстами – и при этом живём в модели, которую даже не выбирали. В этом выпуске мы решили поговорить об оконных менеджерах и том, что стоит за терминами stacking, tiling, workspaces. Обсудили ментальную модель управления экраном, контроль, снижение хаоса и то, как меняется ощущение от работы, когда вы перестаёте случайно двигать окна мышкой. Разобрались, чем тайлинг отличается от стек…

OCaml – уникальный язык и по своему историческому значению, и по фичам. Он сильно повлиял практически на все современные языки, на нем до сих пор написаны многие из их компиляторов, и одновременно с этим он считается идеальным входом для новичков в мир функционального программирования. А погружаемся в этот язык мы вместе с Павлом Аргентовым, программистом из Evrone, который страстно любит OCaml и пишет на нем очень много кода. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в в…

Хэш-таблицы – одна из самых элегантных структур данных: простая на поверхности и бесконечно глубокая внутри. Андрей Аксенов, автор поискового движка Sphinx, разбирает их устройство от фундамента до тонкостей реализации. В выпуске обсуждаем два подхода к разрешению коллизий: Open addressing и Buckets, выбор хэш-функций для разных задач, развенчиваем популярные мифы вроде "load factor больше 0.5 – это смерть". Разбираемся, нужны ли криптографические хэш-функции, когда имеет смысл писать свою хэш-таблицу и почему скорость хэш-функции не всегда благо. Выпуск для тех, кто хочет понимать, что происходит под капотом стандартных коллекций, и для тех, кто задумывается о собственных реализациях. Такж…

Программисты — одна из самых уязвимых групп по боли в спине и шее. Причина не только в сидячей работе, но и в длительной неподвижности, высокой концентрации и редких перерывах. В этом выпуске обсуждаем, что происходит с позвоночником при долгом сидении, как снизить риск протрузий и грыж и что делать, если они всё-таки появились, и когда это действительно опасно. Также разбираемся, можно ли избежать проблем со спиной, купив специальное кресло или standing desk, действительно ли помогает массаж, на все ли вопросы можно ответить с помощью МРТ, и собираем простой чек-лист, за чем следить, чтобы ходить к врачам как можно реже. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Про СДВГ (синдром дефицита внимания и гиперактивности) сегодня говорят много и громко. В соцсетях он превращается то в универсальное объяснение всех проблем, то в модный ярлык, то в повод для шуток. Поэтому в этом выпуске мы решили поговорить о СДВГ с консультантом по корпоративному ментальному здоровью Натальей Кисельниковой, которая плотно работает с этим и рассматривает через науку и свой опыт, а не призму трендов. Обсудили, что вообще считается СДВГ сегодня, как выглядит корректная диагностика и каким образом работать с поставленным диагнозом. Отдельно порассуждали о том, почему в IT-сфере много людей с СДВГ и как этот синдром может быть одновременно преимуществом и серьезным вызовом дл…

Этот выпуск – луч надежды для отчаявшихся геймеров, смирившихся, что все видеокарты сметут ИИ-корпорации. Говорим про чипы, на которых обучение и инференс работают кратно быстрее, чем на GPU. В чем секрет, и чего ожидать в будущем – обсуждаем с Зигфридом Звездиным из Cerebras! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Егор Толстой Полезные ссылки: Telegram гостя

https://t.me/ziggerzz LinkedIn гостя

https://www.linkedin.com/in/zigfrid/

Программируемый текстовый редактор для программирования — от программистов. Звучит как утопия? Нет, это Emacs!

Инструменту уже больше 40 лет, но он отказывается умирать. Более того, некоторые разработчики переезжают на него с современных IDE. Чтобы разобраться в этой магии, мы позвали Дмитрия Бушенко — ветерана разработки и знатока Emacs.

Разобрали архитектуру и то, как она обеспечивает невероятную расширяемость Emacs, почему этот редактор иногда называют операционной системой (без нормального текстового редактора), узнали, почему гость бросил Vim ради Emacs, и поразмышляли, есть ли смысл страдать с конфигами в эпоху AI и VS Code.

Выпуск для тех, кто хочет понять философию true-инженерии и …

В 2026 году профессия блогера становится всё популярнее. Число авторов и создателей контента в соцсетях продолжает расти, форматов становится больше, а бренды всё активнее вкладываются в инфлюенсер-маркетинг. Мы уже говорили про личный бренд разработчика, про техноблогинг, про YouTube, про то, как писать хорошие тексты — настало время свести всё в единый фреймворк! Вместе с Павлом Комаровским, автором канала @RationalAnswer (106k подписчиков в Telegram), мы прошлись по всем аспектам блогинга: зачем им заниматься, как выбрать площадку и формат, как продвигаться, как делать классный контент и какие есть способы на этом всём заработать. Перед вами — системный, структурированный и очень весёлый…

Средний программист за всю свою карьеру трогает клавиатуру около 40 тысяч часов. Задумайтесь, в мире очень мало вещей, с которыми вы взаимодействуете настолько часто и тесно. Если вы готовы вложить свое время в то, чтобы сделать эти тысячи часов приятнее, здоровье – лучше, а продуктивность – выше, то обязательно слушайте этот выпуск! Вместе с Дмитрием Ковалевым мы разбираемся во всех видах кастомных клавиатур, их железных и программных составляющих и алгоритме выбора идеального гаджета именно для вас. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

👉 YouTube-канал «Запуск завтра»: https://youtube.com/@launchtomorrow «Запуск завтра» на аудиоплатформах: https://pc.st/1488945593Выпуск с Андреем Дороничевым про биохакинг в Кремниевой долине: https://youtu.be/k9ahY12o3ZAВыпуск с Кирой Кузьменко про влияние ИИ на рынок труда: https://youtu.be/FOvyhYGDUDc

Topics include Migrating from mypy to ty: Lessons from FastAPI, Oxyde ORM, Typeshedded CPython docs, and Raw+DC Database Pattern: A Retrospective.

Topics include Lock the Ghost, Fence for Sandboxing, MALUS: Liberate Open Source, and Harden your GitHub Actions Workflows with zizmor, dependency pinning, and dependency cooldowns.

Topics include Starlette 1.0.0, Astral to join OpenAI, , and Fire and forget (or never) with Python’s asyncio.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include Setting up a Python monorepo with uv workspaces, cattrs, Learning to program in the AI age, and VS Code extension.

Topics include Raw+DC: The ORM pattern of 2026, pytest-check releases, Dataclass Wizard, and SQLiteo.

Topics include Better Python tests with inline-snapshot, jolt Battery intelligence for your laptop, Markdown code formatting with ruff, and act - run your GitHub actions locally.

Topics include Command Book App, uvx.sh: Install Python tools without uv or Python, Ending 15 years of subprocess polling, and.

Topics include django-bolt: Faster than FastAPI, but with Django ORM, Django Admin, and Django packages, pyleak, , and Datastar.

Topics include GreyNoise IP Check, tprof: a targeting profiler, and TOAD is out.

Topics include , PSF Lands a $1.5 million sponsorship from Anthropic, How uv got so fast, and PyView Web Framework.

Topics include port-killer, How we made Python's packaging library 3x faster, and.

Topics include ty: An extremely fast Python type checker and LSP, Python Supply Chain Security Made Easy, typing_extensions, and MI6 chief: We'll be as fluent in Python as we are in Russian.

Topics include Has the cost of building software just dropped 90%?, , How FOSS Won and Why It Matters, and.

AI agents are evolving from individual productivity tools into distributed systems components inside enterprises. The next frontier is coming into focus, and it involves large-scale ecosystems of collaborating agents embedded directly into business processes. However, multi-agent architectures introduce serious challenges around orchestration, state management, trust, governance, and observability. Eric Broda is a veteran of the

The post Agentic Mesh with Eric Broda appeared first on Software Engineering Daily.

Observability emerged from the need to understand complex software systems, and involves tracking metrics, logs, and traces so engineers can detect and diagnose problems before they affect users. However, modern applications often encompass hundreds of services, containers, and dependencies, generating more observability data than dashboards and alerts alone can effectively surface. New Relic is a

The post New Relic and Agentic DevOps with Nic Benders appeared first on Software Engineering Daily.

Mobile apps have become a primary interface for critical services, including banking, payments, and healthcare. Unlike web applications, much of the logic and intellectual property in a mobile app lives directly on the user’s device, which is an environment the developer doesn’t control. That makes mobile apps uniquely exposed to reverse engineering, runtime manipulation, and

The post Mobile App Security with Ryan Lloyd appeared first on Software Engineering Daily.

The Model Context Protocol, or MCP, gives developers a common way to expose tools, data, and capabilities to large language models, and it has quickly become an important standard in agentic AI. FastMCP is an open source project stewarded by the team at Prefect, which is an orchestration platform for AI and data workflows. The

The post FastMCP with Adam Azzam and Jeremiah Lowin appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the resurgence of ARM and CPUs as serious compute infrastructure for running local AI agents, a supply chain attack

The post SED News: OpenCode, AI Code vs. Shipped Code, and the LiteLLM Breach appeared first on Software Engineering Daily.

FreeBSD is one of the longest-running and most influential open-source operating systems in the world. It was born from the Berkeley Software Distribution in the early 1990s, it has powered everything from high-performance networking infrastructure to game consoles and content delivery networks. Over three decades, it has evolved through major architectural shifts, from symmetric multiprocessing

The post FreeBSD with John Baldwin appeared first on Software Engineering Daily.

Modern cloud-native systems are built on highly dynamic, distributed infrastructure where containers spin up and down constantly, services communicate across clusters, and traditional networking assumptions break down. Linux networking was designed decades ago around static IPs and linear rule processing, which makes it increasingly difficult to achieve scale in Kubernetes environments. At the same time,

The post Cilium, eBPF, and Modern Kubernetes Networking with Bill Mulligan appeared first on Software Engineering Daily.

Bennett Foddy is a legendary game designer known for creating wholly distinctive games such as QWOP, Getting Over It with Bennett Foddy, and the recently released Baby Steps. He’s also a former professor at the NYU Game Center, where he taught game design alongside developing his own experimental work. In this episode, Bennett joins Joe

The post Games That Push Back with Bennett Foddy appeared first on Software Engineering Daily.

Developer tooling shapes how software gets written day to day, but the best tools often disappear into the background once they succeed. Formatting, linting, and build systems can either create friction and endless debate, or quietly remove entire classes of problems from a team’s workflow. Over the past decade, the JavaScript ecosystem has wrestled with

The post Prettier and Opinionated Code Formatting with James Long appeared first on Software Engineering Daily.

Skateboarding games have long balanced technical precision with a sense of flow and expression, but Skate Story takes the genre in a radically different direction. It has a distinct vaporwave vibe and blends fluid skate mechanics with exploration, puzzles, and an existential narrative about freedom, pain, and obsession. The game was created by indie developer

The post Skate Story with Sam Eng appeared first on Software Engineering Daily.

Retrieval-augmented generation, or RAG, has become a foundational approach to building production AI systems. However, deploying RAG in practice can be complex and costly. Developers typically have to manage vector databases, chunking strategies, embedding models, and indexing infrastructure. Designing effective RAG systems is also a moving target, as techniques and best practices evolve in step

The post DeepMind’s RAG System with Animesh Chatterji and Ivan Solovyev appeared first on Software Engineering Daily.

Interactive notebooks were popularized by the Jupyter project and have since become a core tool for data science, research, and data exploration. However, traditional, imperative notebooks often break down as projects grow more complex. Hidden state, non-reproducible execution, poor version control ergonomics, and difficulty reusing notebook code in real software systems make it hard to

The post Reinventing the Python Notebook with Akshay Agrawal appeared first on Software Engineering Daily.

AI agents have taken on a growing share of software development work, so much so that the hardest problems are shifting away from code generation towards something new, context. The challenge is now contextualizing why systems work the way they do, how architectural decisions were made, and the sources of truth that exist outside of

The post Organizational Context for AI Coding Agents with Dennis Pilarinos appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the viral rise of OpenClaw and its founder’s move to OpenAI, OpenAI’s exploration of ads inside ChatGPT, and Alibaba’s

The post SED News: OpenClaw Goes Viral, Mistral’s Compute Play, and the Agent Arms Race appeared first on Software Engineering Daily.

AI-assisted coding tools have made it easier than ever to spin up prototypes, but turning those prototypes into reliable, production-grade systems remains a major challenge. Large language models are non-deterministic, prone to drift, and often lose track of intent over long development sessions. Kiro is an AI-powered IDE that’s built around a spec-driven development workflow.

The post Amazon’s IDE for Spec-Driven Development with David Yanacek appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

Martin Fowler: 11 Apr 2026Last night I saw Central Square Theater’s excellent production of Breaking the Code.

It’s about Alan Turing, who made a monumental contribution to both my profession and the fate of free democracies.

Well worth seeing if you’re in the Boston area this month.

But the problem with fragments, however valuable, is that they don’t provide a cohesive overview of the situation.

There’s also an informative insight into Uber’s use of microservices (they had 5000 of them), and the way high-growth software necessarily gets rewritten a lot (a phenomenon I dubbed Sacrificial Architecture) ❄                ❄                ❄                ❄                ❄Axios published their post-mortem on their recent supply chain compromise.

 ❄                ❄                ❄                ❄                ❄I rec…

I propose a structured feedback practice that harvests learnings from AI sessions and feeds them back into the team's shared artifacts, turning individual experience into collective improvement.

That is the flywheel: each rotation of the loop leaves the infrastructure a little better prepared for the next.

Four Types of Signal AI interactions generate signal: information about what the team's artifacts capture well and what they miss.

Every “no, we do it this way” is a line that belongs in the priming document but is not there yet.

Instruction signal.

This practice can be distilled into a set of everyday principles: Predictable memory access, awareness of cache lines, the single-writer principle, and natural batching.

Back in 2011, a high-frequency trading engineer named Martin Thompson noticed these issues, attributing them to a lack of Mechanical Sympathy.

In this article, I cover the principles of mechanical sympathy I use every day to create systems like these - principles that can be applied most anywhere, at any scale.

Not-So-Random Memory Access Mechanical sympathy starts with understanding how CPUs store, access, and share memory.

which is even larger than the L1 cache, and is used as a sort of buffer between the L1 and L3 caches.

The three interact with each other, and the article outlines some general activities teams should do to keep it all under control ❄                ❄In the article she references a recent paper by Shaw and Nave at the Wharton School that adds LLMs to Kahneman’s two-system model of thinking.

 ❄                ❄                ❄                ❄                ❄I’ve seen a few illustrations recently that use the symbols “< >” as part of an icon to illustrate code.

That strikes me as rather odd, I can’t think of any programming language that uses “< >” to surround program elements.

 ❅

The term harness has emerged as a shorthand to mean everything in an AI agent except the model itself - Agent = Model + Harness.

I want to take the liberty here of defining its meaning in the bounded context of using a coding agent.

But coding agents also provide us, their users, with many features to build an outer harness specifically for our use case and system.

Engineering a user harness for a coding agent is a specific form of context engineering.

An LLM-based coding agent can produce almost anything, but committing to a topology narrows that space, making a comprehensive harness more achievable.

AI coding assistants respond to whoever is prompting, and the quality of what they produce depends on how well the prompter articulates team standards.

It lives in people's heads, transfers slowly through pairing and code review, and walks out the door when someone leaves.

A team standard encoded as an AI instruction does not depend on someone remembering to apply it.

During development, a refactoring instruction keeps improvements aligned with team norms, and a security instruction applies the team's threat model rather than a generic checklist.

They are living artifacts that the whole team maintains, sharpened by practice, and improved through the same pull request workflow the team alrea…

 ❄                ❄                ❄                ❄                ❄Julias Shaw describes how to fix a gap in many people’s use of specs to drive LLMs:Here’s what I keep seeing: the specification-driven development (SDD) conversation has exploded.

 ❄                ❄                ❄                ❄                ❄Lawfare has a long article on potential problems countering covert action by Iran.

The above examples show how robustly the U.S. national security apparatus was able to respond, largely through the FBI and the Justice Departm…

An Architecture Decision Record (ADR) is a short document that captures and explains a single decision relevant to a product or ecosystem.

They should not be modified if the decision is changed, but linked to a superseding decision.

Decisions are usually made under some degree of uncertainty, so it's handy to record the confidence level of the decision.

While ADRs are a form for recording decisions in software architecture, the broader concept of writing short decision records is worth considering in other contexts.

In this he was particularly inspired by Phillipe Kruchten talking about decision registers / decision logs, and by the writing style of software patterns.

Martin Fowler: 19 Mar 2026David Poll points out the flawed premise of the argument that code review is a bottleneckTo be fair, finding defects has always been listed as a goal of code review – Wikipedia will tell you as much.

And although many people think of code review as pre-integration review done on pull requests, I look at code review as a broader activity both done earlier (Pair Programming) and later (Refinement Code Review).

His overall point is that code review is all about applying judgment, steering the code in a good direction.

 ❄                ❄                ❄                ❄                ❄Chari…

I propose externalizing decision context into a living document — external memory that persists what the context window cannot, turning transient alignment into durable shared understanding.

These numbers sound generous, but a productive development session generates context quickly: code snippets, design discussions, decision rationale, file contents.

Context anchoring is the practice of making that alignment durable.

When starting a new session, both are loaded: the project context as the stable foundation, the feature context as the record of where things stand.

For work that stretches across days, full context anchoring pays for itself many times over.

 ❄                ❄                ❄                ❄                ❄Bassim Eledath lays out 8 levels of Agentic Engineering.

I’m sure neither of these Maturity Models is entirely accurate, but both resonate as reasonable frameworks to think about LLM usage, and in particular to highlight how people are using them differently ❄                ❄                ❄                ❄                ❄Chad Fowler thinks we have to change our thinking of what our target is when generating code.

 ❄                ❄       …

We desperately need corporations’ attitudes to shift from “lawbreaking is a low-risk cost of doing business; we get a net profit anyway” to “this could be a death sentence.” ❄                ❄                ❄                ❄                ❄Charity Majors gave the closing keynote at SRECon last year, encouraging people to engage with generative AI.

 ❄                ❄                ❄                ❄                ❄In a comment to Kief Morris’s recent article on Humans and Agents in Software Loops, in LinkedIn comments Renaud W…

Software patents are mostly used as roadblocks to innovationThat belief was no longer theoretical when I was confronted with a very real situation where patents were weaponized.

Martin Fowler clearly articulated these concerns in post on software patents.

He explains why software patents are fundamentally broken: too few of them have any true novelty, too many have vague and overly broad claims.

Our reluctant journey to defensive patents What follows is not a rebuttal of that position, but an account of what it means to innovate inside that reality.

The imperfect alternatives to patents Before concluding that defensive patents were the only option, it is worth examining alternatives that ai…

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение: