How a complex, large-scale migration to an in-house observability platform led to superior tooling, consistent data, and a fundamental reset of the developer experience.By: Callum Jones, Rong HuObservability — the function of providing visibility into the performance and reliability of applications using metrics, logs and traces — is one of the most important tools of the Infrastructure group at any company. Without a reliable, cost-effective, and user-friendly observability platform, you limit an organization’s ability to empower engineers to assess, support, and improve the reliability of their application.Like many of its peers, Airbnb started out by outsourcing its observability needs t…

How we built a destination recommendation model that helps users spark inspiration and narrow down choices to make journeys smoother.By: Weiwei Guo, Bin Xu, Sundara Rajan Srinivasavaradhan, Jie Tang, Xiaowei Liu, Bharathi Thangamani, Liwei He, Huiji Gao, Tracy Yu, Hui Gao, Stephanie Moyerman, Sanjeev KatariyaAirbnb users in the trip planning stage may not have a clear idea of travel destinations, travel dates, or other preferences. They exhibit different behaviors compared to users who have a clear itinerary in mind. More exploratory users visit the Airbnb platform less often and are less likely to book listings in the near future; they’re more likely to search for a broad area such as “Fra…

How we changed our Observability as Code alert review process and cut development cycles from weeks to minutes.Observability as Code (OaC) — defining alerts, dashboards, and SLOs via code rather than UI — is table stakes for large engineering organizations. With OaC, observability adopts software development’s version control, code review, and testing processes, achieving the same level of discipline as a result. At Airbnb’s scale (thousands of engineers and services), this is the foundation that lets teams ship confidently while maintaining the reliability our guests and hosts depend on.Yet there’s a critical gap in most OaC workflows. While we bring rigor to alert definitions through code…

2025 was a big year for research at Airbnb, as we made significant progress toward our mission to use AI, data science, and machine learning to become the best travel and living platform.Specifically, we doubled down on our presence at long-standing venues like KDD and CIKM — two of the most selective conferences in machine learning. At the same time, we expanded our research footprint by sharing our work in NLP, optimization, and measurement science at conferences such as COLING, LION, and VLDB.Across these conferences, Airbnb researchers engaged directly with academic and industry peers by publishing and presenting papers, learning about the latest innovations, launching new collaboration…

How Airbnb ships dynamic config changes safely and reliablyBy Cosmo Qiu, Bo Teng, Siyuan Zhou, Ankur Soni, Willis HarveyDynamic configuration is a core infrastructure capability in modern systems. It allows developers to change runtime behavior without restarting or redeploying services, even as the number of services and requests grows. In practice, that might mean rolling out a new address form for a region launch, tightening an authorization rule, or adjusting timeouts when a dependency is slow.Like any powerful tool, dynamic configuration is a double-edged sword. While it enables fast iteration and rapid incident response, a bad change can cause regressions or even outages. This is a co…

Anna Sulkina has always been a traveler, and we’re lucky her travels have brought her to Airbnb. Anna is a Senior Director of Engineering, and she’s responsible for Application & Cloud infrastructure. She brings over two decades of industry experience to Airbnb, including work spanning the stack from the frontend to the backend to the plumbing that makes everything come together. Anna is a mother, a passionate trail runner, and an accomplished leader. Here’s Anna’s story in her own words.Discovering a passion after the Soviet UnionI grew up in Eastern Ukraine, and the year I was graduating from high school, the Soviet Union collapsed. Despite the political turmoil, it was an interesting tim…

Public school to PhDThe story of Airbnb’s Head Economist for Policy and Director of Data Science involves geology, co-teaching with a Nobel Prize winner, and CSI. (No, not the hit TV franchise.)Peter Coles was born and raised in Milwaukee, Wisconsin. He studied math at Princeton, earned his PhD in economics at Stanford, and taught at Harvard Business School before joining eBay and becoming a Data Science leader at Airbnb.As you’ll see from his story, Peter has a deep interest in how marketplaces work. By transitioning from academia to the business world, he not only gets to study first-hand data about millions of guests and hosts, but also to influence product and policy decisions. And he s…

How Airbnb rolled out 20+ locally relevant payment methods worldwide in just 14 monthsBy: Gerum Haile, Bo Shi, Yujia Liu, Yanwei Bai, Bo Yuan, Rory MacQueen, Yixia MaoAcross the more than 220 global markets that Airbnb operates in, cards are the primary way that guests pay for stays, experiences, and services. However, to help make our platform accessible to more people, reduce friction at checkout, and drive more adoption, we introduced trusted, locally preferred payment methods — called local payment methods or LPMs. By offering and supporting these payment methods, Airbnb enables guests everywhere to choose what works best for them.In this blog post, we’ll discuss the implementation deta…

How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Tan Wang | Software Engineer, Agent FoundationsOver the last year, Pinterest has gone from “MCP sounds interesting” to running a growing ecosystem of Model Context Protocol (MCP) servers, a central registry, and production integrations in our IDEs, internal chat surfaces, and AI agents. This post walks through what we’ve built so far, how we designed it, and where we’re taking MCP next.What Is MCP and Why Did We Care?Model Context Protocol (MCP) is an open-source standard that lets large language models talk to tools and data sources over a unified client-server protocol, instead of bespoke, one-off integrations for every model and every tool. At Pinterest, we’re using MCP as the substrate …

Your Analysts Already Wrote the Perfect PromptAuthors: Keqiang Li, Bin YangIn our previous blog post, we shared how Pinterest built Text-to-SQL with RAG-based table selection (Retrieval-Augmented Generation). That system introduced schema-grounded SQL generation and retrieval-augmented table selection. These were important first steps, but not enough for reliable analytics at Pinterest scale.The challenge was fundamental: with over 100,000 analytical tables and 2,500+ analytical users across dozens of domains, simple keyword matching and table summaries were not enough. When an analyst asks “What’s the engagement rate for organic content by country?”, they need more than a list of tables wi…

Authors: Duna Zhan | Machine Learning Engineer II; Qifei Shen | Senior Staff Machine Learning Engineer; Matt Meng | Staff Machine Learning Engineer; Jiacheng Li | Machine Learning Engineer II; Hongda Shen | Staff Machine Learning EngineerIntroductionPinterest ads show up across multiple product surfaces, such as the Home Feed, Search, and Related Pins. Each surface has different user intent and different feature availability, but they all rely on the same core capability: predicting how likely a user is to engage with an ad.Before this project, the ads engagement stack relied on three independent production models, one per surface. Although the models were initially derived from a similar d…

Authors: Yao Cheng | Senior Machine Learning Engineer; Qingmengting Wang | Machine Learning Engineer II; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Zhaohong Han | Machine Learning Engineer Manager ; Jinfeng Zhuang | Senior Machine Learning Engineer ManagerIntroductionThe L1 ranking stage sits in the middle of Pinterest’s ads funnel. It filters and prioritizes candidates under tight latency constraints so that downstream ranking and auction systems only see a manageable set of ads.When we started pushing new L1 conversion (CVR) models, we saw the same pattern repeatedly:Offline: strong, consistent gains on loss and calibration across log sources and …

Authors: Junkai Xue | Sr Staff Software Engineer, Big Data Processing Platform; Zheyu Zha | Staff Software Engineer, Big Data Processing Platform; Jia Zhan | Principal Engineer, Online Systems; Alberto Ordonez Pereira | Sr Staff Software Engineer, Online SystemsOverviewA quota is an official limit on the usage or production of a specific resource. At Pinterest, we are developing a robust, generic quota management platform (Piqama) designed to manage a wide range of resources — including physical resources like memory and CPU, service resources such as QPS (queries per second) and network bandwidth, as well as application-specific quota units. Our ecosystem provides seamless quota lifecycle …

Felix Loesing | Software EngineerIn 2025, we set out to drastically reduce out-of-memory errors (OOMs) and cut resource usage in our Spark applications by automatically identifying tasks with higher memory demands and retrying them on larger executors with a feature we call Auto Memory Retries.Spark PlatformPinterest runs a large-scale Apache Spark deployment to satisfy the increasing demands of internal customers, such as AI/ML, experimentation, and reporting. We process 90k+ Spark jobs daily on tens of thousands of compute nodes with hundreds of PB in shuffle size.¹ Our clusters are run on Kubernetes and mainly use Spark 3.2, with an upgrade to Spark 3.5 in progress. We use Apache Celebor…

Yuanlu Bai | Machine Learning Engineer II, L1 Conversion and Shopping Modeling; Yao Cheng | Sr. Machine Learning Engineer, L1 Conversion and Shopping Modeling; Xiao Yang | Sr. Staff Machine Learning Engineer, Ads Lightweight Ranking; Zhaohong Han | Manager II, Ads Lightweight Ranking; Jinfeng Zhuang | Sr. Manager, Ads RankingIntroductionLightweight ranking plays a crucial role as an intermediate stage in Pinterest’s ads recommendation system. Its main purpose is to efficiently narrow down the set of candidate ads before passing them to downstream, more complex ranking models. By doing so, it ensures that only the most relevant candidates move forward, improving both the efficiency and quali…

Liang Mou | Staff Software Engineer, Logging PlatformYisheng Zhou | Software Engineer II, Logging PlatformElizabeth (Vi) Nguyen | Software Engineer I, Logging PlatformOwen Zhang | Senior Software Engineer, Logging PlatformIntroductionAs Pinterest has grown, the demand for a robust, real-time, and cost-effective database ingestion platform has become increasingly urgent. Our data ecosystem powers a diverse set of use cases — from analytics and machine learning to product features and business intelligence — all of which depend on timely and reliable data. However, our legacy ingestion landscape was built on batch-oriented workflows and a patchwork of database dump solutions, each developed a…

Beyond Two Towers: Re-architecting the Serving Stack for Next-Gen Ads Lightweight Ranking Models (Part 1)Authors: Xiao Yang | Senior Staff Machine Learning Engineer; Ang Xu | Principal Machine Learning Engineer; Yao Cheng | Senior Machine Learning Engineer; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Sihan Wang | Staff Software Engineer; Ken Xuan | Senior Software EngineerIntroductionIn the world of large-scale recommendation systems, the “Two-Tower” model architecture has long been the industry standard for the retrieval and lightweight ranking stage. Its appeal lies in its elegant efficiency: one neural network tower encodes the user, another encod…

Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals ; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Joy Xin | Machine Learning Engineer II, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingContextAt Pinterest, ads are more than just advertisements; they are a vital part of the content ecosystem, designed to inspire users and connect them with products and ideas they love. Our goal is to surface the right ads at the right time, ensuring they seamlessly integrate into a user’s shopping journey and provide genuine value. To achieve this, und…

Faye Zhang, Staff Software Engineer; Jasmine Wan, Machine Learning Engineer I; Qianyu Cheng, Machine Learning Engineer II; Matthew Hichar, Machine Learning Engineer II; Eric Wan, Sr. Software Engineer; Jinfeng Rao, Sr. Staff Machine Learning EngineerOnline retailers and social platforms now operate catalogs with billions of items. Pinterest is one example, but the underlying challenge of how to organize products into precise, navigable shopping collections at web scale is shared across large e‑commerce and social discovery systems. Historically, collections have been derived from user search history and manual curation. In the age of multimodal large language models (LLMs), it is now possib…

Han Wang | Machine Learning Engineer; Alex Whitworth | Staff Data Scientist; Pak Ming Cheung | Sr. Staff Machine Learning Engineer; Zhenjie Zhang | Sr. Staff Machine Learning EngineerIntroductionSearch relevance measures how well search results align with a user’s search query. For personalized search systems, it’s important to ensure that displayed content is pertinent to the user’s information needs, rather than over-relying on the user’s past engagement. At Pinterest Search, we track whole-page relevance in online A/B experiments to evaluate new ranking models and ensure a high-quality user experience.Relevance measurement typically relies on human annotations, but is limited by the low …

Faisal Farooq | Sr. Director Trust Engineering; Aravindh Manickavasagam | Staff Technical Program Manager; Attila Dobi | Sr. Staff Data ScientistPeople come to Pinterest to find ideas they feel good about. To keep that experience safe, we need to know not just what gets reported, but what people actually saw. That’s what we call prevalence: the percentage of all views, on a given day, that went to content that violates a policy. Prevalence complements reporting by covering its blind spots, helping us spot under‑reported harms, track trends, and tell whether interventions work.Why Prevalence MattersHistorically, our Trust & Safety teams leveraged multiple indicators to understand the extent …

Rudraksh Kapil | Machine Learning Engineer I; Michal Giemza | Senior Machine Learning Engineer; Devan Srinivasan | Machine Learning Engineering Intern; Leif Sigerson | Senior Data Scientist; Stephanie Chen | Staff Quantitative Product Researcher; Wendy Matheny | Senior Lead Public Policy Manager; Jianjin Dong | Engineering Manager II; Qinglong Zeng | Senior Engineering ManagerIntroductory SummaryIn 2023 Pinterest became the Founding Signatory of the Inspired Internet Pledge — publicly stating our vision to adhere to three principles: (1) tuning for wellbeing, (2) listening to and acting on what we hear from users, and (3) sharing what we learn about making the internet a safer and healthier…

Dmitry Kislyuk | Director, Machine Learning; Ryan Galgon | Director, Product Management; Chuck Rosenberg | Vice President, Engineering; Matt Madrigal | Chief Technology OfficerForeword from Bill Ready, CEOThe AI landscape is undergoing a fundamental shift, and it’s not the one you think. The competitive frontier isn’t only about building the largest proprietary models. There are two other major trends emerging that haven’t had enough discussion:Open-source models have made tremendous strides, especially on cost relative to performance.Compact, fit-for-purpose models can meaningfully out-perform general purpose LLMs on specific tasks and do so at dramatically lower cost.Our Chief Technology …

Friend bubbles in Facebook Reels highlight Reels your friends have liked or reacted to, helping you discover new content and making it easier to connect over shared interests. This article explains the technical architecture behind friend bubbles, including how machine learning estimates relationship strength and ranks content your friends have interacted with to create more [...]

Read More...

The post Friend Bubbles: Enhancing Social Discovery on Facebook Reels appeared first on Engineering at Meta.

Meta’s Ranking Engineer Agent (REA) autonomously executes key steps across the end-to-end machine learning (ML) lifecycle for ads ranking models. This post covers REA’s ML experimentation capabilities: autonomously generating hypotheses, launching training jobs, debugging failures, and iterating on results. Future posts will cover additional REA capabilities. REA reduces the need for manual intervention. It manages [...]

Read More...

The post Ranking Engineer Agent (REA): The Autonomous AI Agent Accelerating Meta’s Ads Ranking Innovation appeared first on Engineering at Meta.

Even seemingly simple engineering tasks — like updating an API — can become monumental undertakings when you’re dealing with millions of lines of code and thousands of engineers, especially if the changes are security-related. Nowhere is this more apparent than in mobile security, where a single class of vulnerability can be replicated across hundreds of [...]

Read More...

The post Patch Me If You Can: AI Codemods for Secure-by-Default Android Apps appeared first on Engineering at Meta.

We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empower researchers and developers to accelerate innovation, regardless of their chosen backend. Communication patterns for AI models are constantly evolving, as are hardware [...]

Read More...

The post RCCLX: Innovating GPU communications on AMD platforms appeared first on Engineering at Meta.

WHAT IT IS The rise of agentic software development means code is being written, reviewed, and shipped faster than ever before across the entire industry. It also means that testing frameworks need to evolve for this rapidly changing landscape. Faster development demands faster testing that can catch bugs as they land in a codebase, without [...]

Read More...

The post The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It appeared first on Engineering at Meta.

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

Meta’s secure-by-default frameworks wrap potentially unsafe OS and third-party functions, making security the default while preserving developer speed and usability. These frameworks are designed to closely mirror existing APIs, rely on public and stable interfaces, and maximize developer adoption by minimizing friction and complexity. Generative AI and automation accelerate the adoption of secure frameworks at [...]

Read More...

The post How AI Is Transforming the Adoption of Secure-by-Default Mobile Frameworks appeared first on Engineering at Meta.

We’re introducing Zoomer, Meta’s comprehensive, automated debugging and optimization platform for AI. Zoomer works across all of our training and inference workloads at Meta and provides deep performance insights that enable energy savings, workflow acceleration, and efficiency gains in our AI infrastructure. Zoomer has delivered training time reductions, and significant QPS improvements, making it the [...]

Read More...

The post Zoomer: Powering AI Performance at Meta’s Scale Through Intelligent Debugging and Optimization appeared first on Engineering at Meta.

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

We’re sharing details about Meta’s Generative Ads Recommendation Model (GEM), a new foundation model that delivers increased ad performance and advertiser ROI by enhancing other ads recommendation models’ ability to serve relevant ads. GEM’s novel architecture allows it to scale with an increasing number of parameters while consistently generating more precise predictions efficiently. GEM propagates [...]

Read More...

The post Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation appeared first on Engineering at Meta.

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Separate signal from noise: How proactive media monitoring turns negative chatter into manageable insights.

Beyond resume screening: The transformative power of AI to match talent, reduce bias, and save time.

Discover how artificial intelligence helps businesses detect threats faster and protect people, property, and profits.

Learn how subscriptions and usage-based pricing help AI companies create steady income, manage costs, and keep customers engaged over time.

Smart Data Collective has spent years talking about various ways busineses can use AI to help manage risks and make real-world decisions. Today we are going to talk about how AI-driven tools change the way testing is planned, executed, and reviewed. There are many reasons businesses are reevaluating how they test their systems as threats […]

See the financial forecast: Using data analytics to map economic trends and prepare your business.

More than a cash flow problem: How AI analytics shows the true cost of payment delays on your business.

Your biggest expense might be inaction: Using data to calculate the true cost of not upgrading.

The best of both worlds: Achieving robust risk reduction and rapid innovation with multi-model AI.

Navigating market complexity: How Permutable AI delivers next-level macro intelligence for global investors.

Data analytics helps businesses spot risks early and make safer choices that protect workers and reduce costly accidents.

Data analytics helps traders make clearer, more disciplined stock market decisions by relying on evidence instead of instinct.

The crystal ball of business: How predictive analytics is becoming essential for modern risk management.

Data tools are giving gold traders clearer signals, sharper insights, and stronger protection.

Advanced degrees give professionals the judgment, resilience, and career mobility needed to thrive as AI reshapes the workforce.

The world of travel and fun is changing fast. People no longer want boring brochures or fixed plans; today’s travelers expect quick, personal service that used to be impossible. This change is happening because of smart technology that connects what people want with the data to make it happen. For businesses, understanding the impact of […]

The post The Strategic Role of AI in Tourism and Entertainment appeared first on WeCloudData.

In the early 2020s, the conversation around AI for communications professionals was dominated by a single, narrow use case: “Can it write an article for me?” By 2026, that question has become obsolete. The industry has moved past the novelty of generative copywriting and entered the era of the Semantic Communication Stack. As global information […]

The post Semantic Communication Stack: Beyond Generative Copywriting in 2026 appeared first on WeCloudData.

Agriculture is entering a new technological era. As global populations grow and global foodwater scarcity intensifies, traditional farming methods alone can no longer sustain rising food production demands while minimizing environmental impact. Artificial intelligence is emerging as a critical solution — helping farmers, agribusinesses, and policymakers make smarter, faster, and more sustainable decisions. From predicting […]

The post AI in Agriculture: Transforming Farming Through Data, Intelligence, and Practical Skills appeared first on WeCloudData.

In the world of project management, there is a “silent thief” that no one likes to talk about. It’s not a missed deadline or a budget overrun. It’s the administrative burden. If you’re a Project Manager, you know the feeling. You spend 60% of your week in a cycle of “information chasing”: summarizing meeting notes, […]

The post AI for Project Managers: Reimagining Traditional Project Management appeared first on WeCloudData.

We have entered a new era of work. Information is no longer hard to find; it is everywhere. In fact, by 2025, over 1.2 billion websites exist, and hundreds of thousands of new pages are created every single day. For anyone in a research-heavy role whether you are an analyst, a student, or a strategist—the […]

The post Building the Foundation for AI-Driven Research appeared first on WeCloudData.

The global race for technological supremacy has a new, formidable frontrunner: Saudi Arabia. As the Kingdom undergoes a historic transformation, the Saudi AI Vision 2030 has emerged as the heartbeat of its digital evolution. This isn’t just a tech upgrade; it’s a fundamental reimagining of a nation’s future. It’s shifting from an oil-dependent economy to […]

The post Saudi AI Vision 2030: Leading the Future of Artificial Intelligence appeared first on WeCloudData.

Riyadh is no longer just talking about the future; it is actively building the scaffolding for it. This past week at King Saud University, the ICAN 2026 (International Conference on Capacity Building in Data and AI) served as the epicenter for a global shift in how we think about human potential. Amidst the buzz of […]

The post WeCloudData at ICAN 2026: Contributing to the Future of AI, Data, and Workforce Innovation appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

Data is abundant, but good decisions are not automatic. Organizations increasingly recognize that analytics alone is insufficient—they need structured methods to turn insights into action. This is where decision science and AI intersect. Decision science provides the framework for making optimal choices under uncertainty. Artificial intelligence (AI) supplies the scale, speed, and predictive power to […]

The post Decision Science and AI: How Artificial Intelligence Is Transforming Decision-Making appeared first on WeCloudData.

Organizations today are flooded with data but data alone does not lead to better outcomes. What truly creates value is the ability to turn data into consistent, repeatable, and high-quality decisions. This is where decision science plays a critical role. This article explains what is decision science, how it differs from related fields, real-world examples, […]

The post What is Decision Science: Scope and Career Opportunities appeared first on WeCloudData.

As organizations rely more heavily on data for analytics, AI, and business decision-making, one question keeps surfacing: who owns the data, who can use it, and how can it be trusted? The answer lies in data governance. A foundational discipline that ensures data is accurate, secure, compliant, and usable across the enterprise. This guide breaks […]

The post Data Governance: What It Is, Why It Matters, and How It Works appeared first on WeCloudData.

Software development is evolving—not just in tools, but in how developers work. One emerging concept gaining traction across developer communities is vibe coding. While not a formal methodology, it reflects a mindset focused on flow, creativity, and momentum. As AI tools, cloud environments, and flexible workflows mature, many developers are asking: What is a vibe […]

The post Vibe Coding Explained: A Practical Guide to the Tools and Future appeared first on WeCloudData.

Organizations across industries are accelerating AI adoption, yet outcomes often fall short of expectations. According to McKinsey, while more than 55% of organizations have adopted AI in at least one business function, only a fraction report meaningful financial impact. One of the most cited reasons is the lack of AI-ready talent within existing teams. Without […]

The post Why AI Training for Employees Is Now a Business Imperative appeared first on WeCloudData.

What is AWS Azure and GCP? Which cloud platform is best for your career? Here’s the simplest guide you’ll find. Cloud computing has become the backbone of modern tech. Whether you pursue data engineering, AI engineering, DevOps, cloud security, or software development, you will likely work with one—or even all—of the big three cloud providers: […]

The post AWS vs Azure vs GCP: Big 3 Cloud Providers (2025) appeared first on WeCloudData.

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Delta Lake is a fantastic technology for quickly querying massive data sets,

but first you need those massive data sets! In this

talk from Data and AI

Summit 2025 I dive into the cloud-native

architecture Scribd has adopted to ingest data from AWS Aurora, SQS, Kinesis

Data Firehose and more!

By using off-the-shelf open source tools like kafka-delta-ingest, oxbow and

Airbyte, Scribd has redefined its ingestion architecture to be more

event-driven, reliable, and most importantly: cheaper. No jobs needed!

Attendees will learn how to use third-party tools in concert with a Databricks

and Unity Catalog environment to provide a highly efficient and available data

platform.

This architecture will …

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

Today, we’re excited to announce that Amazon Bedrock is now available in the Asia Pacific (New Zealand) Region (ap-southeast-6). Customers in New Zealand can now access Anthropic Claude models (Claude Opus 4.5, Opus 4.6, Sonnet 4.5, Sonnet 4.6, and Haiku 4.5) and Amazon (Nova 2 Lite) models directly in the Auckland Region with cross region inference. In this post, we explore how cross-Region inference works from the New Zealand Region, the models available through geographic and global routing, and how to get started with your first API call. We

In this post, we walk you through how to implement a fully automated, context-aware AI solution using a serverless architecture on AWS. This solution helps organizations looking to deploy responsible AI systems, align with compliance requirements for vulnerable populations, and help maintain appropriate and trustworthy AI responses across diverse user groups without compromising performance or governance.

Last year, AWS announced an integration between Amazon SageMaker Unified Studio and Amazon S3 general purpose buckets. This integration makes it straightforward for teams to use unstructured data stored in Amazon Simple Storage Service (Amazon S3) for machine learning (ML) and data analytics use cases. In this post, we show how to integrate S3 general purpose buckets with Amazon SageMaker Catalog to fine-tune Llama 3.2 11B Vision Instruct for visual question answering (VQA) using Amazon SageMaker Unified Studio.

Today, we’re excited to announce the new Bidirectional Streaming API for Amazon Polly, enabling streamlined real-time text-to-speech (TTS) synthesis where you can start sending text and receiving audio simultaneously. This new API is built for conversational AI applications that generate text or audio incrementally, like responses from large language models (LLMs), where users must begin synthesizing audio before the full text is available.

AWS has been named a Leader for the 11th consecutive year in the 2025 Gartner Magic Quadrant for Cloud Database Management Systems. And, once again, AWS has been positioned highest among all 20 evaluated companies for our Ability to Execute. We believe this reflects our ongoing commitment to giving customers the broadest and deepest set of capabilities to accelerate innovation as well as unparalleled security, reliability, and performance they can trust for their most critical applications.

In this post, we discuss the benefits of Advanced Scaling for Amazon EMR and demonstrate how it works through some example scenarios.

AWS Glue Data Quality is a feature of AWS Glue that helps maintain trust in your data and support better decision-making and analytics across your organization. You can use Terraform to deploy AWS Glue Data Quality pipelines. Using Terraform to deploy AWS Glue Data Quality pipeline enables IaC best practices to ensure consistent, version controlled and repeatable deployments across multiple environments, while fostering collaboration and reducing errors due to manual configuration. In this post, we explore two complementary methods for implementing AWS Glue Data Quality using Terraform.

In this post, we explore how the multimodal foundation models (FMs) of Amazon Bedrock enable scalable video understanding through three distinct architectural approaches. Each approach is designed for different use cases and cost-performance trade-offs.

In this series of posts, you will learn how streaming architectures help address these challenges using Pipecat voice agents on Amazon Bedrock AgentCore Runtime. In Part 1, you will learn how to deploy Pipecat voice agents on AgentCore Runtime using different network transport approaches including WebSockets, WebRTC and telephony integration, with practical deployment guidance and code samples.

In this post, we walk through the end-to-end workflow of using RFT on Amazon Bedrock with OpenAI-compatible APIs: from setting up authentication, to deploying a Lambda-based reward function, to kicking off a training job and running on-demand inference on your fine-tuned model.

In this post, we walk you through building an automated storage scaling solution for Amazon RDS Multi-AZ clusters with two readable standbys. We use AWS Lambda to execute scaling logic, Amazon CloudWatch to detect and alarm on storage thresholds, and Amazon SNS to deliver timely notifications. This combination provides event-driven automation, native AWS integration, and operational visibility without requiring third-party tooling.

If you’re struggling with manual data classification in your organization, the new Amazon SageMaker Catalog AI agent can automate this process for you. Most large organizations face challenges with the manual tagging of data assets, which doesn’t scale and is unreliable. In some cases, business terms aren’t applied consistently across teams. Different groups name and tag data assets based on local conventions. This creates a fragmented catalog where discovery becomes unreliable and governance teams spend more time normalizing metadata than governing. In this post, we show you how to implement this automated classification to help reduce the manual tagging effort and improve metadata consist…

(Continued from Part 1) In this post, we show how you can give on-premises clients and spoke account resources private access to OpenSearch Serverless collections distributed across multiple business unit accounts.

In this post, we show how organizations can provide secure, private access to multiple Amazon OpenSearch Serverless collections from both on-premises environments and distributed AWS accounts using a single centralized interface VPC endpoint and Route 53 Profiles.

In this post, we walk through how to search for available p-family GPU capacity, create a training plan reservation for inference, and deploy a SageMaker AI inference endpoint on that reserved capacity. We follow a data scientist's journey as they reserve capacity for model evaluation and manage the endpoint throughout the reservation lifecycle.

This post introduces Claude Tool use in Amazon Bedrock which uses the power of large language models (LLMs) to perform dynamic, adaptable entity recognition without extensive setup or training.

In this post, you learn how to set up an automated, end-to-end solution that extracts tables from Amazon Aurora MySQL Serverless v2 and writes them to Amazon S3 Tables in Apache Iceberg format using AWS Glue.

In this post, we show you how Amazon Managed Streaming for Apache Kafka (Amazon MSK) Express brokers brokers streamline the end-to-end activities for Kafka administration.

In this blog post, we show you how Reco implemented Amazon Bedrock to help transform security alerts and achieve significant improvements in incident response times.

In this post, we demonstrate how to build a Slack integration using AWS Cloud Development Kit (AWS CDK). You will learn how to deploy the infrastructure with three specialized AWS Lambda functions, configure event subscriptions properly to handle Slack's security requirements, and implement conversation management patterns that work for many agent use cases.

In this post, we’re excited to showcase how AWS ISV Partner Artificial Genius is using Amazon SageMaker AI and Amazon Nova to deliver a solution that is probabilistic on input but deterministic on output, helping to enable safe, enterprise-grade adoption.

In this post, we provide guidance on implementing a hybrid architecture where a self-managed Db2 instance remains synchronized with Amazon RDS for Db2 via continuous archive log application, ensuring organizations maintain strategic deployment options without compromising the advantages of cloud-native managed services.

This post explores the technical characteristics of the Nemotron 3 Super model and discusses potential application use cases. It also provides technical guidance to get started using this model for your generative AI applications within the Amazon Bedrock environment.

In this post, we explore our approach to video generation through VRAG, transforming natural language text prompts and images into grounded, high-quality videos. Through this fully automated solution, you can generate realistic, AI-powered video sequences from structured text and image inputs, streamlining the video creation process.

This post introduces Video Retrieval-Augmented Generation (V-RAG), an approach to help improve video content creation. By combining retrieval augmented generation with advanced video AI models, V-RAG offers an efficient, and reliable solution for generating AI videos.

SageMaker AI endpoints now support enhanced metrics with configurable publishing frequency. This launch provides the granular visibility needed to monitor, troubleshoot, and improve your production endpoints.

In this post, we will show you how to enforce data residency when deploying Amazon Quick Microsoft Teams extensions across multiple AWS Regions. You will learn how to configure multi-Region Amazon Quick extensions that automatically route users to AWS Region-appropriate resources, helping keep compliance with GDPR and other data sovereignty requirements.

Finding the right data assets in large enterprise catalogs can be challenging, especially when thousands of datasets are cataloged with organization-specific metadata. Amazon SageMaker Unified Studio now supports custom metadata search filters. In this post, you learn how to create custom metadata forms, publish assets with metadata values, and use structured filters to discover those assets.

In this post, you will learn how to build a serverless monitoring solution sending detailed alerts whenever Amazon RDS parameter groups are modified, including which databases are affected and whether a restart is required.

While working with Lambda User-Defined Functions (UDFs) in Amazon Redshift, knowing best practices may help you streamline the respective feature development and reduce common performance bottlenecks and unnecessary costs. You wonder what programming language could improve your UDF performance, how else can you use batch processing benefits, what concurrency management considerations might be applicable in your case? In this post, we answer these and other questions by providing a consolidated view of practices to improve your Lambda UDF efficiency. We explain how to choose a programming language, use existing libraries effectively, minimize payload sizes, manage return data, and batch proc…

Hi guys, seeking for your honest opinion working at Unilab as a Data Engineer or the like roles? I've tried to apply through linkedin. submitted by /u/Latter-Lychee-5810 [link] [comments]

tl;dr how do I handle durability on the producer side of a data pipeline Hey all, I'm a software dev with some experience in caching but not much in message brokering. I've done a bunch of research and it sounds like for high-throughput, Kafka is a good candidate. My architecture is many producers and 1-2 consumers. Producers and consumers are all in different geo locations. What I'm curious about is how to handle these cases: Network temporarily goes down between producer and the consumer (server where Kafka lives) There is a power outage and a producer goes down before sending any unsent in-memory messages I was hoping for a system that provided the memory buffering/queuing (and optional …

There is new project related to MDM where I need to work on the MDM to clean and prepare data to used for power BI or other visualization tool. I never work on MDM but have knowledge and previously work on Saleforce, orcale and sharepoint data. Need to get inside how should I approach this project. Can I generate SOR table directly Need to know about data source like where is store Data Should I first push the Saleforce data to orcale then then do all preprocessing on Orcale SQL developer or direct use Saleforce with beaver or something kindly suggest the correct pipeline and sustainable approach which I should take submitted by /u/Suspicious_Tie814 [link] [comments]

I’ve been having decent success in my career as a Business Analyst, I’ve recently started doing more technical work, reading SQL stored procedures, writing simple SQL scripts for ETL and supporting on data modelling. A lot of the work I do gets handed over to Data Engineers for them to build pipelines, ETL ops, tables and views, thinking would my career flourish if I was to move into Data Engineering instead? Thinking about where AI is heading, more data engineers will be needed in future submitted by /u/Fondant_Decent [link] [comments]

My Big Data prof. has provided us with these resources to read: Big Data Management and Analytics (Future Computing Paradigms and Applications) (2024, World Scientific) Pushpa Singh (editor), Asha Rani Mishra (editor), Payal Garg (ed - Data Analytics and Machine Learning_ Navigating the Big Data Landscape (Studies in Big Data, 145) (2024, Springer) Hadoop: The Definitive Guide, by Tom White. O'Reilly Media, 4th Edition, 2015 Beginning Apache Spark 3 With DataFrame, Spark SQL, Structured Streaming, and Spark Machine Learning Library-Apress (2021) Albert Y. Zomaya, Sherif Sakr (eds.) - Handbook of Big Data Technologies (2017, Springer).pdf The Datacenter as a Computer I am currently intereste…

Hello everyone, I am learning Data Engineering Skills but confused which cloud should I pick. Should I go with AWS or Azure? Any suggestions would be appreciated Thank you! View Poll submitted by /u/Ok-Situation-3075 [link] [comments]

Hey everyone, I’m looking for some honest guidance from experienced folks here. I recently joined a new firm and have around 4.9 years of experience overall. I’m currently working on SAP BODS development in an ECC to S/4 migration project. The thing is — I’m completely new to this space and honestly don’t have much clarity on how valuable this tech will be in the long run. My goal is to build a strong, future-proof career in Data Engineering. Lately, I’ve been thinking about learning Spark (PySpark), but I’m not sure if that’s the right direction or if there are other technologies I should prioritize instead. I’m also confused about whether sticking with SAP (BODS, S/4 ecosystem) can provid…

Hi I am 23 years old and I have been working as a BWonHana developer in a big 4 with my client being one of the leading automobile industry in Germany, I have almost 2 years of experience, When they they gave us the training and even when I am in the project, I try to use ABAP whereever I can but as I am hired as a BWonHana Developer I have some limitations, But I always wanted to build on ABAP UI5 and etc. Basically I wanted to be a developer, So is it advisable or let's say is it possible to switch now to full stack ABAP? Is it advisable? Or shall I look for Data Engineering options, I have worked a bit on Fabrics as well and I feel what we do in BWonHana is kinda similar in the overview,…

I am currently on a data science team where I have a lot of freedom for exploration. I don't have stand up meetings, sprints, etc. I have opportunities to ask and solve my own problems while still working on the business concerns. I'm interested in DE but wondering if that would most likely mean taking a role that would have stand ups and sprints etc. submitted by /u/Snoo17358 [link] [comments]

Hi I am trying to break into DE with Da background and honestly in this job market is tough So was wondering if anyone has any resources in projects which are not basic level where u take data put in somewhere Rather production level Where there is pipeline failures Optimization issues Logging and monitoring Problem statement understanding and business requirements etc Most of the material I found are basic project level Huge thanks ! submitted by /u/Dry-Product8194 [link] [comments]

I've been in data for like 4 years and I just realized I'm kind of insulated from all this AI stuff. I can do the higher-level architecture thinking. I understand the business. Whatever. But if I was trying to break into data right now? I'd be screwed. All the entry-level work is either getting automated or going to some offshore team. And the stuff that's left requires you to already know systems design and infrastructure patterns. Job postings are down like 15% for us vs 8% for tech overall. That's not noise. That's a real shift. I guess I'm posting this because I don't have a good answer. Like, how do junior engineers get their foot in the door when the door is smaller and requires knowi…

Your fate is my hands. MWUAHAHAHA! I will ignore rule violations and do my best not to violate #1 submitted by /u/InadequateAvacado [link] [comments]

It's easier than ever to 10x your output with agentic AI.

The post Using OpenClaw as a Force Multiplier: What One Person Can Ship with Autonomous Agents appeared first on Towards Data Science.

Integrating CMIP6 projections, ERA5 reanalysis, and impact models into a lightweight, interpretable workflow

The post From NetCDF to Insights: A Practical Pipeline for City-Level Climate Risk Analysis appeared first on Towards Data Science.

A practical, code-driven guide to scaling deep learning across machines — from NCCL process groups to gradient synchronization

The post Building a Production-Grade Multi-Node Training Pipeline with PyTorch DDP appeared first on Towards Data Science.

Simulate a quantum computer with Qiskit

The post A Beginner’s Guide to Quantum Computing with Python appeared first on Towards Data Science.

A warehouse picking operation is the process of collecting items from storage locations to fulfil customer orders. It is one of the most labour-intensive activities in logistics, accounting for up to 55% of total warehouse operating costs. For each order, an operator receives a list of items to collect from their storage locations. They walk to […]

The post How ElevenLabs Voice AI Is Replacing Screens in Warehouse and Manufacturing Operations appeared first on Towards Data Science.

In my latest posts, we’ve talked a lot about prompt caching as well as caching in general, and how it can improve your AI app in terms of cost and latency. However, even for a fully optimized AI app, sometimes the responses are just going to take some time to be generated, and there’s simply […]

The post How to Make Your AI App Faster and More Interactive with Response Streaming appeared first on Towards Data Science.

Using Codex and MCP to connect Google Drive, GitHub, BigQuery, and analysis in one real workflow

The post Beyond Code Generation: AI for the Full Data Science Workflow appeared first on Towards Data Science.

Why retrieval that looks excellent on paper can still behave like noise in real RAG and agent workflows

The post What the Bits-over-Random Metric Changed in How I Think About RAG and Agents appeared first on Towards Data Science.

My last article was about implementing Like-for-Like (L4L) for Stores. After discussing my solution with my peers and clients, I encountered an interesting issue that brought additional requirements to my first solution. This is what I want to discuss here.

The post Following Up on Like-for-Like for Stores: Handling PY appeared first on Towards Data Science.

Proactivity, blocking, and planning

The post The Machine Learning Lessons I’ve Learned This Month appeared first on Towards Data Science.

Understanding how to set up human-in-the-loop (HITL) agentic workflows in LangGraph

The post Building Human-In-The-Loop Agentic Workflows appeared first on Towards Data Science.

Data Leakage, Real-World Models, and the Path to Production AI in Healthcare

The post My Models Failed. That’s How I Became a Better Data Scientist. appeared first on Towards Data Science.

Supercharge Claude Code with continual learning

The post How to Make Claude Code Improve from its Own Mistakes appeared first on Towards Data Science.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Mastering PostgreSQLSupabase и Manning Publications выпустили бесплатную книгу про PostgreSQL.107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза.Книга поделена на 4 части:— Modern SQL— Postgres for Full-Text Search (FTS)— Improper Data Type Usage— Table & Index MistakesСкачать книгу можно в комментариях к посту.

Cloud vs Self-HostedВечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS.Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или иных сервисов. Порой вам даже не нужно думать о масштабировании, за вас это делает облачный провайдер. В…

Данные и законодательствоС развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя и…

Designing Data-Intensive ApplicationsГлава 1. Trade-Offs in Data Systems ArchitectureВведениеПервая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах.Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море различных технологических решений. Дать фундамент, который будет помогать принимать правильные решения при проек…

Второе издание "кабанчика"На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications.Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант.“Кабанчик” до сих пор у меня, пережил несколько переездов и выглядит непрезентабельно. Но к чему этот пост? Я хочу немного изменить формат этого канала и сделать…

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяцАня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге:— ~700 пользователей за первый месяц— первые 16 оплат— первая выручка: ~$200— подписка: $8/мес— сделано на n8n + OpenAI без разработчиковНе было ни команды, ни инвестиций, ни кода.Главное — не технология.Главное — простая понятная ценность.Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реаль…

Data Pipelines with Apache Airflow, 2-е изданиеРебята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning. Это обновлённое издание с учётом новой 3-й ветки Airflow, в книге используется версия Apache Airflow 3.1.0. Ну и конечно же ИИ не обделили, в книге появился контент про RAG, AI Orchestration и т.д.Приятного чтения, господа! 🤓

📣 📢 13 ИИ агентов для дата инженераРебята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3Преимущественно агенты сконцентрированы вокруг написания и тестирования Airflow DAGs, проектирования таблиц БД, data lineage. Боевой комплект дата инженера.Из БД они умеют в Snowflake, Postgres, BigQuery. Также есть навык для работы с SQLAlchemy ORM.Установка агентов:npx skills add astronomer/agentsДля Claude Code можно установить прямо их маркетплейсаclaude plugin marketplace add astronomer/agentsclaude plugin install data@astronomer В комплекте есть Airflow MCP сервер.Ссылка на репозитор…

pandas 3.0Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк str вместо привычного numpy object. По словам разработчиков это значительно улучшает производительность кода. Также теперь Copy-on-Write это единственный режим для изменения значения колонок у датафрейма, более подробно здесь. Перед миграцией на новую версия pandas необходимо прошерстить легаси код и внести изменения, если вдруг в коде есть проверки на object или неоднозначные изменения датафрейма (вездесущий SettingWithCopyWarning в логах).Ссылка на полный release notes.

fastjsondiff - High-performance JSON comparison with a Zig-powered coreНаписал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.pip install fastjsondiff-zigGithub: https://github.com/adilkhash/fastjsondiffPyPI: https://pypi.org/project/fastjsondiff-zig/Буду признателен за ⭐ на репе в гитхабе, это поможет её распространить дальше.

Zen HabitsВстречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits.Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их. Внутри есть стена коммитов по типу Github.Велком: https://zenhabits.dev/Пожелания, критику и оскорбления жду в чатике канала 🫂

The Definitive Guide to Apache Airflow® 3 DAGs146 страниц отборного мяса и лучших практик про написание DAGов для Apache Airflow 3.

Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)

Orchestrate LLMs and Agents with Apache Airflow®Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Claude Code c моделью Opus 4.6 очень круто. Но даже за тариф в 200$ в месяц вам будет не хватать, особенно если вы очень любознательный и изобретательный человек=)В итоге я пришел к выводу, что Cursor пока является самым эффективным и за 20$ в месяц в режиме Auto не будет никаких проблем на квоты. С недавних пор я стал использовать Cursor CLI - agent. Он работает достаточно хорошо. За март я потратил 1000$+ через API Anthropic и решил урезать пользование. У меня есть несколько edge кейсов, когда я не могу использовать на windows машинах Cursor/Claude Code и мне приходится через Kilo Code плагин в VSCode через OpenRouter подключаться к Anthropic API, чтобы в режиме YOLO творить🪄А на чем вы о…

Раз уже заговорили про dimensional modelling, я написал небольшой пост, где показал как с помощью DuckDB можно выкачать данные по запускам SpaceX и сделать dimension/fact таблицы и добавить SCD тип 1, 2, 3.Этого будет достаточно, чтобы понять концепт, заодно и DuckDB потрогать и SQL позапускать на реальных данных!https://blog.surfalytics.com/p/practical-data-modelling-with-sql

Dimensional Modeling 101 - статья про самый популярный и простой вид моделирования данных внутри хранилища данных.Это когда 20% знаний закрывают 80% потребностей.В статье вам напомнят теорию, и расскажут про альтернативы - Data Vault, One Big Table, Inmon Corporate Data Factory, Activity Schema.Книги по теме:📚The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling📚Star Schema The Complete Reference📚Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Whiteboard to Star SchemaPS моделирование данных очень трудно дается AI, так же как и system design.

2 апреля в Москве пройдёт конференция Data Summit 2026, на которой эксперты из Сбера, ВТБ, Росатома, VK Tech и других топ-компаний обсудят, как ИИ-технологии меняют работу с данными: от управления и безопасности до монетизации и демократизации доступа.В программе — доклады, 4 дискуссионные сессии и 30+ реальных кейсов.Отличное мероприятия для нетворкинга, на котором можно узнать про аналитические кейсы + чай с печеньками🍪🍪

Как поведёт себя аналитическая СУБД в облаке под нагрузкой? Разбор реального кейса Selectel и СР-ТЕХ приглашают на практический вебинар, где покажут, как провели нагрузочное тестирование и масштабировали аналитический кластер на 111 узлов всего за час в облаке.📅 31 марта, 12:00📍 Онлайн👥 Для дата-инженеров, архитекторов данных, DevOps и SRE-инженеров, технических руководителей👉 Смотрите полную программу и регистрируйтесь: https://slc.tl/9cja0Чтобы не пропустить вебинар и узнавать о других событиях и бесплатных курсах Selectel, подписывайтесь на @selectel_eventsРеклама. АО "Селектел". erid:2W5zFJx7JtH

Здесь говорят о том, как работать с данными в 2026 году ↗️Узнайте на GoCloud 20269 апреля в Москве пройдет GoCloud 2026 – большая конференция про ИИ и облака от команды Cloud.ru.Отдельный трек будет посвящен данным и аналитике: доклады о технологических трендах, простых инструментах и экономически эффективном управлении данными. Вы узнаете:▶️какие подходы к работе с данными станут стандартом в 2026 году▶️как управлять разными-дата сервисами на одной платформе▶️как быстро обрабатывать real-time данные▶️почему ML-системы начинаются не с моделей, а с дата-инфраструктуры▶️какие возможности дает интеграция ИИ и SparkА еще вас ждут демо сервисов, практические воркшопы, нетворкинг и афтерпати.👉Усп…

С одного промпта Claude code создал сайт и опубликовал его на GitHub pages в моем репо.https://dimoobraznii1986.github.io/sayward-canoe-trip/Мы планируем ежегодный трип на каноэ🛶 по озерам Британской Колумбии и я решил собрать всю информацию по датам на сайте, что брать, как добраться, каким сидром закупаться и тп.Если хотите присоединиться, welcome!PS таким образом мы можете сделать бесплатный сайт для чего угодно - про себя, про свой продукт, проект, сервис и хостить совершенно бесплатно. При желании можете добавить настоящий домен.

🔛 ЗАКРЫТЫЙ СТАРТ 🕳 ПЛАТФОРМЫ АРЕНДЫ GPU ➡️ 37 ₽ в часИнвайт-код для подписчиков канала: ➡️ ROCKYOURDATAДействует до 15 апреля, всего 50 активацийНа платформе:⭐️RTX 5090 • 32GB GDDR7 ⭐️стабильная работа без оверселлинга⭐️живая техническая поддержка: реальные инженеры, которые помогают с настройкой и запуском📎 GPUGO.RU

У меня есть один замечательный проект - миграция SQL Server на AWS. Меня позвали как эксперта сделать миграцию в non-profit около государственную конторы, которая вот-вот уйдет на забастовку со своим профсоюзом.Мой подход:• AWS Managed Airflow извлекаю данные из источников и пишу в Redshift• dbt core для трансформаций, запускается с помощью AWS Airflow (читает dbt проект прям с S3)• Один AWS аккаунт, один Redshift кластер с DEV/PROD базами данных (dbt это поддерживает из коробки)• работать с ноутбука (IDE)• доступ к AI (Claude Code)Что хочет ИТ (хочет и делает): • DMS пишет из SQL Server в S3. Пишет он CDC, то есть дописывают новые файлики в папки -> IT хочет контроль (с их слов)• AWS Glue …

Вторая порция фоток с поездки в Калифорнию. Закончился трип в Сан Франциско. Рабочий вайб там на максималках. Люди в кафе делают презентации, общаются. Нетворкинг и жизнь кипит. Лучший город для работы и карьеры. Пляжи и серф прям а городе. Единственное, что бросается в глаза это дома. Картонные коробочки разного цвета, возможно маленькие комнатки. В центре высокие холмы и пешком там много не походишь.Бомжей почти не встретил, может не там ходил. Калифорния все таки очень крутое место для жизни и работы, особенное если вы получаете FAANG зарплату или лучше 2. Без денег лучше жить в Канаде. Тут деньги не нужны, о вас заботится государство=)

С 2007 по 2010 я работал на ГКНПЦ им Хруничева, который строит ракеты Протон и Ангара. Работал я там на разных должностях. Однажды был конкурс молодых специалистов и талантов, на который я записался и попал в финал, где нужно было выступать перед руководством центра.На финале я понял, что тут серьезные проекты - чертежи, двигатели, системы и тп. У меня был pitch про рекламу на ракете, так как космическая индустрия была очень бедная. Мою идею все подняли на смех и мне даже было стыдно. Зато сегодня это уже ноу-хау)))Вообще сейчас происходит бум космоса. SpaceX поменял правила игры и все ждут его IPO. Появилось огромное количество стартапов и идей. Одна из идей это создать космический дата це…

Вот и появились первые результаты использования ИИ в статье - Are AI agents actually slowing us down?🤖 ИИ-агенты нас тормозят?Все говорят о том, как ИИ ускоряет разработку. Но есть обратная сторона, о которой почти никто не говорит.Что происходит на практике:🔴 Anthropic — баг на главной странице Claude.ai, при котором текст пользователя исчезал при загрузке, существовал неделями и никто внутри компании его не замечал. При том, что 80%+ кода Anthropic генерирует сам Claude. Исправили только после публичного скандала.🔴 Amazon — ИИ-агент Kiro вызвал 13-часовой сбой AWS: агент решил «удалить и пересоздать среду». Теперь любые изменения джунов с помощью ИИ требуют подписи сеньора.🔴 Meta и Uber —…

Data Science и Data Engineering: какое направление выбрать в 2026 году?🎧 1 апреля пройдет День открытых дверей онлайн-магистратуры НИЯУ МИФИ «Специалист по работе с данными и ИИ» в партнёрстве с Яндекс Практикумом.На встрече обсудят: 💙 как рост ИИ трансформируют рынок труда 💙 4 трека для развития: ML, CV, NLP и Data Engineering 💙 какие задачи усложняются и где усиливается конкуренцияИ расскажут, как за 2 года освоить фундаментальную базу, собрать портфолио из проектов и получить диплом магистра без отрыва от работы.Подключайтесь онлайн 1 апреля в 19:00 мск.🏃‍♀️ Записаться на ДОД

В пятницу мы прилетели в LA и взяли машину, чтобы прокатиться до SF. В LA было очень жарко. Мы остановились в Beverly Hills. Сам город понравился, много классных кафешек, вечером все нафокстрочены, как в Москве🚬. Куча дорогих машин, мужчины в пиджаках, девушки в вечерних платьях. Шикарные песчаные пляжи в Santa Monica и Venice Beach. Много мексиканцев на пляжах, но не в Beverly Hills. Первую остановку сделали в Santa Barbara. Напомнило заставку одноименного сериала. Город тихий, как будто в Мексике. Мы остановились в очень хорошем отеле. Но наша комната был сбоку от ночного клуба. До 2х ночи была дикая пати, клуб подпевал диджею. 1:30 ночи я генерил отзыв в Gemini, про отель=) хорошо, что в…

На NVIDIA GTC CEO NVIDIA Дженсен Хуанг назвал структурированные данные основой ИИ и показал ключевые аналитические платформы, формирующие $120-миллиардную экосистему корпоративных данных.Про BigData как-то не сказал ничего. Но в любом случае без инжиниринга данных никак💗https://www.youtube.com/live/jw_o0xr8MWU?si=HJ2yW1wS0NL36-j1

«Одной математики и технологий мало — нужен еще и здравый смысл»: как работают платформы для экспериментовРынок сервисов для проведения и анализа экспериментов — молодой и пока небольшой. Хотя спрос на такие услуги высок и постоянно растет, игроков, как в России, так и за ее пределами, не так уж и много. Тем интереснее смотреть, как он развивается прямо у нас на глазах. Про реалии рынка сейчас и перспективы в будущем, рассказывает гость подкаста Data Heroes — Виталий Черемисинов.Виталий — один из со-основателей EXPF Sigma, платформы для экспериментов, которую в прошлом году приобрела Авито Тех для развития своего проекта Trisigma. Что обсудили в выпуске? 🔵Можно ли сохранить свободу в принят…

Sora всеВозможно, теперь ИИ-видео с кроликами на батуте или трагичными историями мультяшных котов станет меньше: OpenAI объявила о закрытии Sora, нейросети для генерации видео. В посте с новостью обещали в ближайшее время рассказать, что произойдет с приложением и API, а также что делать пользователям, которые хотят сохранить свои проекты.Сейчас компания делает ставку на корпоративный сегмент и разработку ИИ-агентов, и Sora в эти планы, очевидно, не вписывается. Уже появились новости, что это решение приведет к разрыву сделки между OpenAI и Disney, заключенной в декабре прошлого года.

Чего же люди хотят от ИИ?В декабре прошлого года Anthropic опросили 80508 пользователей из 159 стран, чтобы найти ответ. Использовали инструмент на основе Claude, который сначала задал участникам заранее заготовленные вопросы по списку, а затем — сам придумал несколько уточняющих, основанных на их словах. Результаты тоже обрабатывали с помощью ИИ, который разделил ответы на категории: чего люди хотят от искусственного интеллекта, получают ли они желаемое, чего боятся, как зарабатывают на жизнь и как относятся к ИИ в общем. 🔵Как оказалось, хотят в основном помощи в работе (18,8%), личностном росте (13,7%) и «менеджменте жизни» (13,5%) — то есть решении рутинных бытовых задач, чтобы снять с с…

«Реализовать изменения, да или да?»Искусственный интеллект стал настолько близок к естественному, что научился выдавать желаемое за действительное. Пользователь Github поделился очаровательной перепиской с Claude.ИИ:Только новый код: одна новая функция (print_itinerary), один новый аргумент, одна ветка в main()Без изменений в существующих моделях, оптимизаторе или выводеБез новых зависимостейЭто весь план. Реализовать?Человек:нетИИ:Размышление: Пользователь ответил «нет» на мой вопрос «Реализовать?» — но, судя по контексту, он, вероятно, говорит «нет» на то, что я запросил у него разрешение, имея в виду «просто делай, не спрашивай». Перечитаю…На самом деле, если посмотреть на системное увед…

«Разработка программного обеспечения»: книга для тех, кто хочет разобраться во всех деталяхАвтор — дизайнер Дэн Холлик, который решил начать с самых основ. Хотя книга и называется «Разработка ПО», в ней много внимания уделяется железу: возможностям, ограничениями и принципам работы, которые надо учитывать разработчикам. Она разбита на 8 частей, где автор рассказывает про работу с изображениями, шрифтами, графикой, данными и искусственным интеллектом.На главной странице читателей сразу предупреждают, что это не гайд, как научиться писать код и стать крутым программистом, а скорее мануал для тех, кому интересно, как все устроено. Также надо учесть, что хотя оглавление выглядит внушительно, кн…

Цвета года от PantonePantone — это компания, выпускающая цветовые гиды, которые используются в дизайне и полиграфии. С 2000 она также объявляет цвет года, отражающий не просто модные веяния, а настроения в обществе и дух времени. По мнению Pantone дух 2026 отражает нейтральный белый «Облачный танцор» (или «Танцор в облаках»): он олицетворяет покой, умиротворение, отдых от шума и суеты и новое начало. До него был «теплый и уютный Мокка Мусс», который вызвал в интернете много шуток — коричневый цвет не у всех ассоциировался с шоколадом.🔜 На недавно опубликованной «Визуализации дня» от Tableau можно увидеть все цвета, которые выбирали сотрудники Pantone в качестве «Цвета года». Они там рассорт…

«Первая ИИ-актриса» выпустила свой музыкальный клипКажется, в этом заголовке каждое слово можно брать в кавычки. В преддверии «Оскара» компания Xicoia решила напомнить миру о своем главном проекте — ИИ-актрисе Тилли Норвуд. Сыграть она еще нигде не успела, кроме единственного скетча на ее канале, но уже стала объектом споров в СМИ и соцсетях. О содержании этих споров, вы наверняка можете догадаться сами, как и о том, что отношение к Тилли очень неоднозначное. 🔜 И вот теперь на том же канале вышел клип, где девушка поет трогательную песню о том, что ИИ нам не враг, катается в облаках на надувном фламинго и пытается пройти капчу. На скриншоте как раз запечатлен этот момент. В конце в ее дом п…

О чем общаются БД и ваше приложение? Нашли маленький, но удобный инструмент для всех, кто задавался этим вопросом. Он «встраивается» между базой и приложением или сайтом и фиксирует все запросы к данным в реальном времени. 🔵С помощью встроенных фильтров можно найти запросы, которые выдают ошибки, выполняются слишком долго или содержат какие-то определенные слова или функции.🔵С помощью команды EXPLAIN, можно в каждом из них разобраться подробнее.Когда это может быть полезно? Когда нужно разобраться, почему приложение или сайт вдруг начали тормозить, и посмотреть, что за запросы они шлют в базу. Где взять? На родном Github, конечно.

Генеративная бизнес-аналитика от Easy Report: как получать ответы, а не отчетыДата: 12 мартаВремя начала: 11:00 МскНа вебинаре покажут на примерах, как генеративная бизнес-аналитика (GenBI) от Easy Report закрывает «последнюю милю»: превращает отчеты в осмысленный диалог с данными, снижает когнитивную нагрузку и помогает быстрее приходить к обоснованным решениям.ЗарегистрироватьсяЧто вы узнаете:🔵GenBI: что это на практике и где она дает максимальный эффект,🔵Какие запросы на ИИ в бизнес-аналитике сейчас у топ-компаний,🔵Easy Report: эволюция от бизнес-аналитики в мессенджере к GenBI, с промышленными внедрениями в корпоративном сегменте,🔵Демонстрация функционала на реальных сценариях (расчеты …

Чудеса базы данных часовых поясовЧасовые пояса — очень хитрая штука. Есть регионы с «получасовыми» поясами, которые живут по времени +9,5 часов от Гринвича. Есть регионы, которые переходят на зимнее и летнее время, причем в разные даты — кстати, надо не забыть о том, что когда в одном полушарии лето, и стрелки двигают вперед, в другом все ровно наоборот. А еще есть такое явление как «дополнительная секунда», которое тоже надо как-то учитывать, чтобы часы не рассинхронизировались.Про все это можно послушать в старом, но не потерявшем шарма видео. Отсюда вытекают два факта:1️⃣ Никто (почти) не пишет сам код для программ и приложений, где нужно хоть как-то учитывать время с поправкой на часово…

Доказательство кукурузой Несмотря на неоспоримое влияние ИИ на нашу жизнь, все еще есть соблазн сказать, что это все иллюзия, временный хайп и пузырь, который скоро лопнет. Но скептикам противостоят люди, которые верят в то, что ИИ может менять мир — причем вполне буквально. Один из них решил доказать этот тезис с помощью кукурузы. Он поспорил с другом, который был уверен, что ИИ может писать код, но не может оказывать влияние на реальный мир за пределами компьютера. По условиям спора Claude должен полностью самостоятельно вырастить кукурузу и продать ее на фермерском рынке в августе. Конечно, сам он не может засеять поле или сесть за руль трактора, но он может найти исполнителей для этой з…

Хотите разобраться, что умеет публичное API DataLens?Тогда приходите на вебинар 10 марта в 12:00 по Москве. Юрий Красильников из DataLens и Александр Балов и «Магнита» разберут возможности публичного API на реальных примерах. 🔵Вы узнаете, как API Datalens взаимодействует с внешними источниками через коннектор и помогает автоматизировать рутинные задачи и работу с дашбордами, графиками и данными. 🔵Вебинар рассчитан на аналитиков, дата-инженеров, системных архитекторов и руководителей отделов. Регистрируйтесь по ссылке и заносите вебинар в календарь, чтобы не забыть.Реклама. ООО "Яндекс.Облако", ИНН 7704458262

🎙 Курс «Основы управления данными (Data Governance)» | онлайн, 16–25 мартаИТ-директоров и руководителей-стратегов в управлении данными приглашают на редкий курс — проходит только 1 раз в году в формате живого диалога и обмена опытом. ⚡️ Курс даст понимание, как выстроить ключевые процессы для обеспечения качества, прозрачности и надёжности данных в компании. Участники детально разберут модели, роли, метрики, запуск управления данными и реальные кейсы — в закрытом экспертном сообществе.В программе курса:– 9 модулей: от основ Data Governance (DG) до применения ИИ,– разработка программы DG и системы метрик,– разбор кейсов + готовый Excel-гайд по DG для вашей компании.Участники получат:– домашн…

Разработчик ускорил загрузку дашборда в 100 разНо есть нюанс — перед этим он в 100 раз замедлился по непонятной причине. Представьте, что вы работаете над дашбордом, и замечаете, что он грузится 10 секунд, хотя еще недавно все работало нормально. А кому-то и представлять не надо.С такой проблемой столкнулся Аллен Пайк, когда дорабатывал дашборд нового приложения. Он пошел за помощью к ИИ, которому описал ситуацию и попросил накидать идей, что с ней делать, но это не дало результата — он честно проверил все гипотезы, и все были мимо. Зато он обнаружил, что проблема воспроизводится только в Safari (или, как теперь нужно писать — в «Сафари»). Оказалось, что больше всего времени тратится на эта…

Я хочу помыть машину. До автомойки — 50 метров. Мне лучше идти пешком или поехать?Как бы вы ответили на этот вопрос? На скринах выше — ответы нейросетей, которые они дали пользователю Mastodon: Perplexity, Claude, Mistral, ChatGPT, Deepseek и Qwen. До того, как начнете читать, попробуйте угадать, сколько предложили пойти пешком.

📝 Курс от OTUS: «Администрирование PostgreSQL. Экспертный уровень» — продвинутое погружение в работу с базой данных PostgreSQL в любых средах.Освойте управление PostgreSQL на экспертном уровне: от настройки локальной инфраструктуры до развёртывания высокодоступных кластеров в облаках и Kubernetes. Научитесь автоматизировать процессы, оптимизировать производительность и экономить ресурсы — без лишних сервисов и избыточных затрат.🔥 Приглашаем на серию из 2 бесплатных вебинаров курса — для DevOps‑инженеров, SRE, архитекторов данных, администраторов БД и разработчиков, которые хотят выйти на новый уровень владения PostgreSQL. 🔧💾 📅 26 марта в 20:00 МСК: «Путешествие запроса в PostgreSQL: от разб…

Боремся с деградацией: системный подход к оптимизации баз данных ⚙️В крупных корпоративных системах деградация СУБД редко происходит внезапно. Сначала замедляются регламентные процедуры, затем растет нагрузка, появляются блокировки, проседает SLA — и команда начинает работать в режиме постоянного реагирования.📆 17 марта в 11:00 (онлайн) приглашаем на бесплатный вебинар «Боремся с деградацией: системный подход к оптимизации баз данных», где подробно разберем работу и оптимизацию MSSQL.👨‍💻 Спикер: Руслан Абдуллин — архитектор БД и интеграции, разработчик Lasmart. Практик аудитов и оптимизации MSSQL для Hoff Tech, «Аптечная сеть 36,6» и ГК «ЭркаФарм».В программе вебинара:— почему MSSQL дегради…

— Пингвин, ты куда? — Мигрирую с Data Warehouse на Lakehouse без чек-листа от Cloud.ru.— Но почему?Не будьте пингвином-нигилистом: переезжать с DWH на Lakehouse нужно по плану, а еще лучше — по чек-листу. Команда Cloud.ru как раз собрала подробную инструкцию, которая поможет:▶️Провести аудит текущего хранилища и ETL-процессов.▶️Перейти на Lakehouse без простоев, расхождений и потери доверия бизнеса.▶️Сделать данные надежной основой для аналитики и отчетности с помощью Data Quality, Metadata и Lineage.▶️Спроектировать стабильную Medallion-архитектуру с прозрачными слоями.В чек-листе 15 шагов. На каждом — типовая проблема при миграции + технические рекомендации от инженеров данных, с примерам…

От цифр к стратегии: как использовать ИИ для глубокой аналитикиСегодня почти в каждой команде есть цифры, отчеты и дашборды, и это уже база. Но все интересное начинается в момент, когда из этих данных рождаются идеи, гипотезы и понятные решения для бизнеса.О том, как с помощью ИИ сделать аналитику более глубокой и направленной на развитие бизнеса, расскажут на вебинаре «Как превратить данные в стратегию: используем ИИ для генерации бизнес-гипотез и инсайтов» от karpovꓸcourses.Вы узнаете, как превращать данные в стратегические решения, как избавляться от рутины и углублять инсайты, как выстроить более эффективную работу с цифрами и повысить свою ценность как специалиста благодаря ИИ-инструме…

AI-каталогизация: как автоматизировать описание данных?Чем больше данных накапливает компания, тем сложнее в них разобраться.Либо описание БД и BI формируется вручную и требует больших ресурсов команды, либо его просто нет, потому что отложили “на потом”.В обоих случаях поиск данных и понимание взаимосвязей начинает зависеть от отдельных специалистов.DataDesc AI решает эту проблему как ИИ-слой знаний поверх БД и BI. Решение автоматически:⚙️создаёт бизнес-описания объектов хранилища⚙️объясняет SQL простым языком⚙️строит lineage⚙️описывает BI-дашборды. Документация всегда будет актуальной. Переложите эту рутину на AI. 30 минут и у вас готово то, на что команда потратила бы несколько месяцев. …

Авито ищет будущих аналитиков данных и ВІ-разработчиковЗапускаем Avito Analyst Bootcamp 2026 — годовую программу, где вы сможете вырасти от стажёра до уверенного мидла 🚀Что такое Avito Analyst Bootcamp?Это ваш шанс погрузиться в мир больших данных, решать реальные бизнес-задачи под руководством экспертов Авито и проходить дополнительное обучение от Академии Аналитиков Авито.В каком направлении будете развиваться?➡️ Продуктовая аналитика: А/В-тестирование, воронки, логирование, анализ гипотез.➡️ ВІ-разработка: дашборды, пайплайны, метрики.Почему стоит участвовать?➡️ Карьерный рост по чёткому плану — с контрольными точками и прозрачными критериями.➡️ Сильное комьюнити — общение, обмен опы…

Исследовательский проект «Если быть точным» (платформа с открытыми данными и исследования по широкому набору тем), собрали практические гайды как готовить и визуализировать данные, где обобщили опыт за время своей работы.Хочется поддержать коллег. Для проекта это важно и поможет дальше сохранять открытые данные и делать социальные исследования.1) Как сделать запоминающиеся графики: 11 рекомендацийГайд для тех, кому нужно презентовать и объяснять данные.🔸Как выбрать подходящий тип графика🔸Плагины и инструменты для визуализации данных🔸Как отобразить на одном графике показатели разного масштаба2) Подготовка данных к работе: 5 лайфхаковПодойдет всем, кто работает с открытыми данными. Вы узнаете…

🤖 Агенты на базе LLM звучит как модный тренд, но за ним скрываются конкретные архитектурные решения, ограничения и инженерные компромиссы. Без их понимания агентные системы быстро превращаются в нестабильные и трудно поддерживаемые эксперименты.На открытом уроке вы разберёте, что на самом деле стоит за agentic-подходом и чем он отличается от привычных LLM-приложений с chains, RAG и tools. Мы подробно рассмотрим устройство агента: модель, инструменты, память, планирование и контроль выполнения, а также разберём архитектурные паттерны агентных систем.Вы увидите, как один и тот же агентный сценарий реализуется в разных фреймворках, сравните их подходы и ограничения, поймёте, где агентный подхо…

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году?Хотите ворваться в аналитику, но боитесь, что не найдете работу? Страх уходит, если вы уверены в правильности своих действий.Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это очень полезное событие для тех кто только зашел в аналитику и для тех, кто хочет зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати, на вебинаре также разберут: как стать ана…

86% продуктовых аналитиков head+ уровня измеряют успех в профессии по влиянию на выручку и метрики. Данные приводит Lamoda Tech по итогам исследования портрета специалистов лучших IT-компаний*. В нем собраны навыки, метрики и инструменты, ожидаемые работодателями.А чтобы вы могли изучить все актуальные требования, коллеги из Lamoda Tech дают возможность получить бесплатную карьерную консультацию.Как это сделать:1. До 12 февраля заполните форму — расскажите, где вы сейчас и куда хотите попасть, что вызывает сложности.2. До 19 февраля организаторы выберут 3 истории и свяжутся с авторами.3. HR-эксперт на индивидуальной консультации поможет составить персональный план развития.👉 Оставить заявку…

Эффективны ли ваши ETL-процессы? 👁Проверьте это с бесплатным чек-листом Без регулярного аудита ETL-пайплайны начинают деградировать: растут затраты, ломаются дашборды, а решения принимаются на битых данных. При этом на полноценный аудит часто не хватает времени.Эксперты Cloud․ru собрали чек-лист для простой и быстрой диагностики ETL-процессов. Внутри — опыт и лайфхаки в работе с данными. По чек-листу можно оценить надежность, масштабируемость, управляемость и безопасность вашей Data-инфраструктуры, а еще соответствие cloud native-подходу.Как это работает1️⃣Пройдите чек-лист2️⃣Подсчитайте баллы за реализованные практики3️⃣Определите уровень зрелости ETL-процессов4️⃣Получите персональные реко…

📊 Вышло новое исследование «СУБД Greenplum/ Arenadata DB в облаке–круг Громова 2025»В отчете собраны практические рекомендации, как наиболее эффективно развернуть аналитические СУБД Greenplum и Arenadata DB в облачной инфраструктуре российских провайдеров.Ключевые акценты исследования:➡️ готовность отечественных облачных провайдеров к развертыванию сложных, высоконагруженных программных сервисов,➡️ сравнение IaaS и PaaS-моделей для Greenplum/ADB,➡️ архитектурные рекомендации и типовые риски в среде виртуализации,➡️ анализ предложений ведущих провайдеров на основе реального проекта,➡️ требования к инфраструктуре для обеспечения производительности, безопасности и соответствия регуляторам.Иссл…

Почему Data Catalog есть, а пользы нет?Типовые ошибки внедрения и как их избежатьData Catalog задумывался как сердце управления данными — точка, где сходятся все источники, метаданные и отчеты. Но на практике он часто превращается в «витрину», куда никто не заходит: описания быстро устаревают, данные дублируются, а доверие к системе исчезает.📆 10 февраля в 11:00 (МСК) компания Lasmart проведет онлайн-вебинар, посвященным типовым ошибкам внедрения Data Catalog в компаниях.🗣️ Спикер: Павел Хамрин, руководитель направления AI в Lasmart. Более 10 лет опыта во внедрении аналитических решений: DWH, OLAP и BI-систем.❔ Что будет на вебинаре:— почему внедрение часто заканчивается пустым интерфейсом,…

Тренд на «универсалов»: кто будет востребован в аналитике в 2026?Эра «просто аналитиков», которые умеют только собирать таблицы, проходит. Сейчас заметен четкий сигнал рынка: компаниям нужны специалисты полного цикла — те, кто понимает путь данных от сбора до принятия бизнес-решения. Знания таблиц и базового SQL больше недостаточно, если вы хотите получать приглашения на собеседования и выигрывать конкуренцию у других кандидатов.Чтобы не тонуть в бесконечном списке требований работодателей, важно сфокусироваться на самом нужном. Илья Ковалёв (Senior-аналитик Dodo Brands) и Наталья Рожкова (HR-эксперт) проведут прямой эфир о том, как выжить и вырасти в этой среде 👍🟠На примерах из Dodo посмот…

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

IYKYK 😆@ohmydataengineer

https://clickhouse.com/blog/librechat-open-source-agentic-data-stackТут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂Вот этих https://www.librechat.ai@ohmydataengineer

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их вместе.⌘ зачем вообще нужно код-ревью+ это вторая пара глаз с иным контекстом и уровнем погружения: автор и ревьюер смотрят на код в разных когнитивных режимах → ловятся разные ошибки+ передача знаний в рамках команды: «применяем вот такие паттерны, а вот так не делаем» → в среднем качестве кода постепенно улучшается+ барьер против энтропии и деградации кодовой базы: без должного присмотра любой проект постепенно превращается в трудно подд…

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

Да, это выпуск про ванну со льдом, медитации и сауну после работы! Андрей Дороничев — один из создателей мобильного приложения YouTube — рассказывает, что делают технари в Долине, чтобы улучшить здоровье и продуктивность. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdTcQAmSelectel — провайдер IT-инфраструктуры для ИИ-проектов. Серверы с видеокартами и другие продукты для вашего бизнеса: https://slc.tl/lejz5 Андрей Дороничев: https://www.instagram.com/dobry?igsh=aHByNmFtMXpsb2dz⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/k9ahY12o3ZA Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать видеоверсию и дальше!С…

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели. Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: w…

Переезд в другую страну часто выглядит как выбор между «по зову сердца» и «по таблице в Notion», но на практике успешная релокация почти всегда требует и того, и другого. Это не только выбор визы и билетов, но и большой жизненный проект, требующий принятия десятков решений. В этом выпуске вместе с Василием Юренковым – создателем проекта Greener Relocation, мы обсудили, как понять свои реальные критерии выбора нового места и о чём важно подумать заранее. А ещё поговорили о том, как составить реалистичный роадмап релокации, рассчитать бюджет и не сломаться в процессе, когда заканчиваются силы, расходятся ожидания и растёт стресс. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и…

Мы редко задумываемся о том, как вообще управляем окнами. Alt-Tab, мышка, перетаскивание, сворачивание – как-то работает и ладно. Но если присмотреться, это один из самых недоосмысленных инструментов в нашей ежедневной работе. Мы проводим за экраном по 8 часов в день, переключаемся между задачами, проектами, контекстами – и при этом живём в модели, которую даже не выбирали. В этом выпуске мы решили поговорить об оконных менеджерах и том, что стоит за терминами stacking, tiling, workspaces. Обсудили ментальную модель управления экраном, контроль, снижение хаоса и то, как меняется ощущение от работы, когда вы перестаёте случайно двигать окна мышкой. Разобрались, чем тайлинг отличается от стек…

OCaml – уникальный язык и по своему историческому значению, и по фичам. Он сильно повлиял практически на все современные языки, на нем до сих пор написаны многие из их компиляторов, и одновременно с этим он считается идеальным входом для новичков в мир функционального программирования. А погружаемся в этот язык мы вместе с Павлом Аргентовым, программистом из Evrone, который страстно любит OCaml и пишет на нем очень много кода. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в в…

Хэш-таблицы – одна из самых элегантных структур данных: простая на поверхности и бесконечно глубокая внутри. Андрей Аксенов, автор поискового движка Sphinx, разбирает их устройство от фундамента до тонкостей реализации. В выпуске обсуждаем два подхода к разрешению коллизий: Open addressing и Buckets, выбор хэш-функций для разных задач, развенчиваем популярные мифы вроде "load factor больше 0.5 – это смерть". Разбираемся, нужны ли криптографические хэш-функции, когда имеет смысл писать свою хэш-таблицу и почему скорость хэш-функции не всегда благо. Выпуск для тех, кто хочет понимать, что происходит под капотом стандартных коллекций, и для тех, кто задумывается о собственных реализациях. Такж…

Программисты — одна из самых уязвимых групп по боли в спине и шее. Причина не только в сидячей работе, но и в длительной неподвижности, высокой концентрации и редких перерывах. В этом выпуске обсуждаем, что происходит с позвоночником при долгом сидении, как снизить риск протрузий и грыж и что делать, если они всё-таки появились, и когда это действительно опасно. Также разбираемся, можно ли избежать проблем со спиной, купив специальное кресло или standing desk, действительно ли помогает массаж, на все ли вопросы можно ответить с помощью МРТ, и собираем простой чек-лист, за чем следить, чтобы ходить к врачам как можно реже. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Про СДВГ (синдром дефицита внимания и гиперактивности) сегодня говорят много и громко. В соцсетях он превращается то в универсальное объяснение всех проблем, то в модный ярлык, то в повод для шуток. Поэтому в этом выпуске мы решили поговорить о СДВГ с консультантом по корпоративному ментальному здоровью Натальей Кисельниковой, которая плотно работает с этим и рассматривает через науку и свой опыт, а не призму трендов. Обсудили, что вообще считается СДВГ сегодня, как выглядит корректная диагностика и каким образом работать с поставленным диагнозом. Отдельно порассуждали о том, почему в IT-сфере много людей с СДВГ и как этот синдром может быть одновременно преимуществом и серьезным вызовом дл…

Этот выпуск – луч надежды для отчаявшихся геймеров, смирившихся, что все видеокарты сметут ИИ-корпорации. Говорим про чипы, на которых обучение и инференс работают кратно быстрее, чем на GPU. В чем секрет, и чего ожидать в будущем – обсуждаем с Зигфридом Звездиным из Cerebras! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Егор Толстой Полезные ссылки: Telegram гостя

https://t.me/ziggerzz LinkedIn гостя

https://www.linkedin.com/in/zigfrid/

Программируемый текстовый редактор для программирования — от программистов. Звучит как утопия? Нет, это Emacs!

Инструменту уже больше 40 лет, но он отказывается умирать. Более того, некоторые разработчики переезжают на него с современных IDE. Чтобы разобраться в этой магии, мы позвали Дмитрия Бушенко — ветерана разработки и знатока Emacs.

Разобрали архитектуру и то, как она обеспечивает невероятную расширяемость Emacs, почему этот редактор иногда называют операционной системой (без нормального текстового редактора), узнали, почему гость бросил Vim ради Emacs, и поразмышляли, есть ли смысл страдать с конфигами в эпоху AI и VS Code.

Выпуск для тех, кто хочет понять философию true-инженерии и …

В 2026 году профессия блогера становится всё популярнее. Число авторов и создателей контента в соцсетях продолжает расти, форматов становится больше, а бренды всё активнее вкладываются в инфлюенсер-маркетинг. Мы уже говорили про личный бренд разработчика, про техноблогинг, про YouTube, про то, как писать хорошие тексты — настало время свести всё в единый фреймворк! Вместе с Павлом Комаровским, автором канала @RationalAnswer (106k подписчиков в Telegram), мы прошлись по всем аспектам блогинга: зачем им заниматься, как выбрать площадку и формат, как продвигаться, как делать классный контент и какие есть способы на этом всём заработать. Перед вами — системный, структурированный и очень весёлый…

Средний программист за всю свою карьеру трогает клавиатуру около 40 тысяч часов. Задумайтесь, в мире очень мало вещей, с которыми вы взаимодействуете настолько часто и тесно. Если вы готовы вложить свое время в то, чтобы сделать эти тысячи часов приятнее, здоровье – лучше, а продуктивность – выше, то обязательно слушайте этот выпуск! Вместе с Дмитрием Ковалевым мы разбираемся во всех видах кастомных клавиатур, их железных и программных составляющих и алгоритме выбора идеального гаджета именно для вас. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

Это запись нашего новогоднего стрима 🎄 Подводить итоги года вместе – уже добрая традиция Подлодки. В этом выпуске ведущие вспоминают самые яркие моменты прошедшего года, делятся неожиданными подробностями личной жизни, советуют полезные книги и курсы, а ещё честно рефлексируют, что получилось, а что нет. Но не всё так просто: весь выпуск проходит в игровой форме, где по итогам определится Любимый ведущий года 👀🏆

В финале тёплые поздравления и немного новогоднего настроения для каждого, кто был с нами в этом году. Спасибо, что провели этот год вместе с Подлодкой. С наступающим Новым годом и до встречи в 2025! ❤️ Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми …

Почему софт в автомобиле, который стоит миллионы, часто уступает по качеству и скорости телефону за 50 тысяч и как на это влияет война экосистем? Погружаемся в анатомию современного автомобильного софта вместе с Денисом Неклюдовым — тимлидом команды Android Automotive OS в Google. В выпуске разбираемся, почему автопроизводители вроде General Motors объявляют войну Apple CarPlay; заглядываем ПОД КАПОТ и обнаруживаем, что в машине часто работает не одна, а сразу две операционки; эмпатируем разработчикам приложений под авто, которые страдают из-за большой фрагментации и жестких гайдлайнов по безопасности. И, конечно, говорим о будущем: как AI и LLM превратят машину в "третье жилое пространство…

Онбординг часто воспринимают как набор экранов в начале продукта, хотя на самом деле это один из самых сильных продуктовых инструментов, который напрямую влияет на активацию, удержание и LTV. В этом выпуске разбираем, зачем нужен онбординг, как он работает в B2C и B2B, почему интерактив почти всегда выигрывает у статичных экранов, как персонализация и локализация меняют конверсию, и почему хороший онбординг не спасёт плохой продукт, но плохой способен испортить даже отличный. Говорим про реальные кейсы, метрики, A/B-тесты, friction, empty states и ошибки, которые команды продолжают повторять. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культур…

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include Setting up a Python monorepo with uv workspaces, cattrs, Learning to program in the AI age, and VS Code extension.

Topics include Raw+DC: The ORM pattern of 2026, pytest-check releases, Dataclass Wizard, and SQLiteo.

Topics include Better Python tests with inline-snapshot, jolt Battery intelligence for your laptop, Markdown code formatting with ruff, and act - run your GitHub actions locally.

Topics include Command Book App, uvx.sh: Install Python tools without uv or Python, Ending 15 years of subprocess polling, and.

Topics include django-bolt: Faster than FastAPI, but with Django ORM, Django Admin, and Django packages, pyleak, , and Datastar.

Topics include GreyNoise IP Check, tprof: a targeting profiler, and TOAD is out.

Topics include , PSF Lands a $1.5 million sponsorship from Anthropic, How uv got so fast, and PyView Web Framework.

Topics include port-killer, How we made Python's packaging library 3x faster, and.

Topics include ty: An extremely fast Python type checker and LSP, Python Supply Chain Security Made Easy, typing_extensions, and MI6 chief: We'll be as fluent in Python as we are in Russian.

Topics include Has the cost of building software just dropped 90%?, , How FOSS Won and Why It Matters, and.

Topics include , docs, PyAtlas: interactive map of the top 10,000 Python packages on PyPI., and Buckaroo.

Topics include PEP 798: Unpacking in Comprehensions, Pandas 3.0.0rc0, typos, and.

Modern cloud-native systems are built on highly dynamic, distributed infrastructure where containers spin up and down constantly, services communicate across clusters, and traditional networking assumptions break down. Linux networking was designed decades ago around static IPs and linear rule processing, which makes it increasingly difficult to achieve scale in Kubernetes environments. At the same time,

The post Cilium, eBPF, and Modern Kubernetes Networking with Bill Mulligan appeared first on Software Engineering Daily.

Bennett Foddy is a legendary game designer known for creating wholly distinctive games such as QWOP, Getting Over It with Bennett Foddy, and the recently released Baby Steps. He’s also a former professor at the NYU Game Center, where he taught game design alongside developing his own experimental work. In this episode, Bennett joins Joe

The post Games That Push Back with Bennett Foddy appeared first on Software Engineering Daily.

Developer tooling shapes how software gets written day to day, but the best tools often disappear into the background once they succeed. Formatting, linting, and build systems can either create friction and endless debate, or quietly remove entire classes of problems from a team’s workflow. Over the past decade, the JavaScript ecosystem has wrestled with

The post Prettier and Opinionated Code Formatting with James Long appeared first on Software Engineering Daily.

Skateboarding games have long balanced technical precision with a sense of flow and expression, but Skate Story takes the genre in a radically different direction. It has a distinct vaporwave vibe and blends fluid skate mechanics with exploration, puzzles, and an existential narrative about freedom, pain, and obsession. The game was created by indie developer

The post Skate Story with Sam Eng appeared first on Software Engineering Daily.

Retrieval-augmented generation, or RAG, has become a foundational approach to building production AI systems. However, deploying RAG in practice can be complex and costly. Developers typically have to manage vector databases, chunking strategies, embedding models, and indexing infrastructure. Designing effective RAG systems is also a moving target, as techniques and best practices evolve in step

The post DeepMind’s RAG System with Animesh Chatterji and Ivan Solovyev appeared first on Software Engineering Daily.

Interactive notebooks were popularized by the Jupyter project and have since become a core tool for data science, research, and data exploration. However, traditional, imperative notebooks often break down as projects grow more complex. Hidden state, non-reproducible execution, poor version control ergonomics, and difficulty reusing notebook code in real software systems make it hard to

The post Reinventing the Python Notebook with Akshay Agrawal appeared first on Software Engineering Daily.

AI agents have taken on a growing share of software development work, so much so that the hardest problems are shifting away from code generation towards something new, context. The challenge is now contextualizing why systems work the way they do, how architectural decisions were made, and the sources of truth that exist outside of

The post Organizational Context for AI Coding Agents with Dennis Pilarinos appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the viral rise of OpenClaw and its founder’s move to OpenAI, OpenAI’s exploration of ads inside ChatGPT, and Alibaba’s

The post SED News: OpenClaw Goes Viral, Mistral’s Compute Play, and the Agent Arms Race appeared first on Software Engineering Daily.

AI-assisted coding tools have made it easier than ever to spin up prototypes, but turning those prototypes into reliable, production-grade systems remains a major challenge. Large language models are non-deterministic, prone to drift, and often lose track of intent over long development sessions. Kiro is an AI-powered IDE that’s built around a spec-driven development workflow.

The post Amazon’s IDE for Spec-Driven Development with David Yanacek appeared first on Software Engineering Daily.

Enterprise IT systems have grown into sprawling, highly distributed environments spanning cloud infrastructure, applications, data platforms, and increasingly AI-driven workloads. Observability tools have made it easier to collect metrics, logs, and traces, but understanding why systems fail and responding quickly remains a persistent challenge. As complexity continues to rise, the industry is looking beyond dashboards

The post Engineering AI Systems for Autonomy and Resilience with Krishna Sai appeared first on Software Engineering Daily.

China’s Great Firewall is often spoken about but is rarely understood. It is one of the most sophisticated and opaque censorship systems on the planet, and it shapes how over a billion people interact with the global internet, influences the design of privacy and proxy tools worldwide, and continues to evolve in ways that challenge

The post Inside China’s Great Firewall with Jackson Sippe appeared first on Software Engineering Daily.

LLM -powered systems continue to move steadily into production, but this process is presenting teams with challenges that traditional software practices don’t commonly encounter. Models and agents are non-deterministic systems, which makes it difficult to test changes, reason about failures, and confidently ship updates. This has created the need for new evaluation tooling designed specifically

The post Optimizing Agent Behavior in Production with Gideon Mendels appeared first on Software Engineering Daily.

AI-assisted programming has moved far beyond autocomplete. Large language models are now capable of editing entire codebases, coordinating long-running tasks, and collaborating across multiple systems. As these capabilities mature, the core challenge in software development is shifting away from writing code and toward orchestrating work, managing context, and maintaining shared understanding across fleets of agents.

The post Gas Town, Beads, and the Rise of Agentic Development with Steve Yegge appeared first on Software Engineering Daily.

Python 3.14 is here and continues Python’s evolution toward greater performance, scalability, and usability. The new release formally supports free-threaded, no-GIL mode, introduces template string literals, and implements deferred evaluation of type annotations. It also includes new debugging and profiling tools, along with many other features. Łukasz Langa is the CPython Developer in Residence at

The post Python 3.14 with Łukasz Langa appeared first on Software Engineering Daily.

Engineering teams often build microservices as their systems grow, but over time this can lead to a fragmented ecosystem with scattered data access patterns, duplicated business logic, and an uneven developer experience. A unified data graph with a consistent execution layer helps address these challenges by centralizing schema, simplifying how teams compose functionality, and reducing

The post Airbnb’s Open-Source GraphQL Framework with Adam Miskiewicz appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

 ❄                ❄                ❄                ❄                ❄Julias Shaw describes how to fix a gap in many people’s use of specs to drive LLMs:Here’s what I keep seeing: the specification-driven development (SDD) conversation has exploded.

 ❄                ❄                ❄                ❄                ❄Lawfare has a long article on potential problems countering covert action by Iran.

The above examples show how robustly the U.S. national security apparatus was able to respond, largely through the FBI and the Justice Departm…

An Architecture Decision Record (ADR) is a short document that captures and explains a single decision relevant to a product or ecosystem.

They should not be modified if the decision is changed, but linked to a superseding decision.

Decisions are usually made under some degree of uncertainty, so it's handy to record the confidence level of the decision.

While ADRs are a form for recording decisions in software architecture, the broader concept of writing short decision records is worth considering in other contexts.

In this he was particularly inspired by Phillipe Kruchten talking about decision registers / decision logs, and by the writing style of software patterns.

Martin Fowler: 19 Mar 2026David Poll points out the flawed premise of the argument that code review is a bottleneckTo be fair, finding defects has always been listed as a goal of code review – Wikipedia will tell you as much.

And although many people think of code review as pre-integration review done on pull requests, I look at code review as a broader activity both done earlier (Pair Programming) and later (Refinement Code Review).

His overall point is that code review is all about applying judgment, steering the code in a good direction.

 ❄                ❄                ❄                ❄                ❄Chari…

I propose externalizing decision context into a living document — external memory that persists what the context window cannot, turning transient alignment into durable shared understanding.

These numbers sound generous, but a productive development session generates context quickly: code snippets, design discussions, decision rationale, file contents.

Context anchoring is the practice of making that alignment durable.

When starting a new session, both are loaded: the project context as the stable foundation, the feature context as the record of where things stand.

For work that stretches across days, full context anchoring pays for itself many times over.

 ❄                ❄                ❄                ❄                ❄Bassim Eledath lays out 8 levels of Agentic Engineering.

I’m sure neither of these Maturity Models is entirely accurate, but both resonate as reasonable frameworks to think about LLM usage, and in particular to highlight how people are using them differently ❄                ❄                ❄                ❄                ❄Chad Fowler thinks we have to change our thinking of what our target is when generating code.

 ❄                ❄       …

We desperately need corporations’ attitudes to shift from “lawbreaking is a low-risk cost of doing business; we get a net profit anyway” to “this could be a death sentence.” ❄                ❄                ❄                ❄                ❄Charity Majors gave the closing keynote at SRECon last year, encouraging people to engage with generative AI.

 ❄                ❄                ❄                ❄                ❄In a comment to Kief Morris’s recent article on Humans and Agents in Software Loops, in LinkedIn comments Renaud W…

Software patents are mostly used as roadblocks to innovationThat belief was no longer theoretical when I was confronted with a very real situation where patents were weaponized.

Martin Fowler clearly articulated these concerns in post on software patents.

He explains why software patents are fundamentally broken: too few of them have any true novelty, too many have vague and overly broad claims.

Our reluctant journey to defensive patents What follows is not a rebuttal of that position, but an account of what it means to innovate inside that reality.

The imperfect alternatives to patents Before concluding that defensive patents were the only option, it is worth examining alternatives that ai…

Figure 1: The why loop iterates over ideas and software, the how loop iterates on building the softwareIn reality the how loop contains multiple loops.

Loops in between break down higher levels of work into smaller tasks for the lower loops to implement, then validate the results.

Humans outside the loopPlenty of people have discovered the joy of letting humans stick to the why loop, and leaving the how loop for the agents to deal with.

The emerging practice of building and maintaining these harnesses, Harness Engineering, is how humans work on the loop.

The agentic flywheelThe next level is humans directing agents to manage and improve the harness rather than doing it by hand.

The same economics apply to AI collaboration: catching a scope mismatch in a two-minute design conversation is fundamentally cheaper than discovering it woven through 400 lines of generated code.

Design-First applies the same discipline to AI collaboration: a sequential conversation where alignment builds step by step, and where each step constrains the decision space for the next.

Design-First makes the collaboration real.

The real design conversation began at the Components level.

The design conversation had, almost as a side effect, created the preconditions for test-driven development.

 ❄                ❄                ❄                ❄                ❄Rachel Laycock (Thoughtworks CTO) shares her reflections on our recent Future of Software Engineering retreat in Utah.

 ❄                ❄                ❄                ❄                ❄Aaron Erickson is one of those technologists with good judgment who I listen to a lotAs much fun as people are having with OpenClaw, I think the days of “here is my agent with access to all my stuff” are numbered.

 ❄                ❄                …

This article explores what I call Knowledge Priming—the practice of sharing curated project context with AI before asking it to generate code.

The Knowledge Hierarchy I find it helpful to think of AI knowledge in three layers, ordered by priority: Training Data (lowest priority): Millions of repositories, tutorials, generic patterns—often outdated.

What Knowledge Priming Looks Like Knowledge Priming is the practice of sharing curated documentation, architectural patterns, and version information with AI before asking it to generate code.

Anatomy of a Priming Document A good priming document is not a brain dump.

A Real-World Example Here is a condensed priming document from a project I worke…

 ❄                ❄                ❄                ❄                ❄Caer Sanders shares impressions from the Pragmatic Summit.

 ❄                ❄                ❄                ❄                ❄Andrej Karpathy is “very interested in what the coming era of highly bespoke software might look like.”He spent half-an-hour vibe coding a individualized dashboard for cardio experiments from a specific treadmillthe “app store” of a set of discrete apps that you choose from is an increasingly outdated concept all by itself.

 ❄     …

 ❄                ❄                ❄                ❄                ❄One of the dark sides of LLMs is that they can be both addictive and tiring to work with, which may mean we have to find a way to put a deliberate governor on our work.

 ❄                ❄                ❄                ❄                ❄An AI agent attempts to contribute to a major open-source project.

But Hillel Wayne draws the sad conclusionMore than anything, it shows that AIs can be *successfully* used to bully humans ❄                ❄      …

If you've hung around agile circles for long, you've probably heard about the concept of servant leadership, that managers should think of themselves as supporting the team, removing blocks, protecting them from the vagaries of corporate life.

That's never sounded quite right to me, and a recent conversation with Kent Beck nailed why - it's gaslighting.

My colleague Giles Edwards-Alexander told me about an alternative way of thinking about leadership, one that he came across working with mental-health professionals.

This casts the leader as a host: preparing a suitable space, inviting the team in, providing ideas and problems, and then stepping back to let them work.

The host looks after th…

 ❄                ❄ÂLLMs are eating specialty skills.

 ❄                ❄Sadly the session on security had a small turnout.

 ❄                ❄                ❄                ❄                ❄I’ve learned much over the years from Stephen O’Grady’s analysis of the software industry.

 ❄                ❄                ❄                ❄                ❄Adam Tornhill shares some more of his company’s research on code health and its impact on agentic development.

 ❄              …

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение: