Designing monitoring that works when everything else doesn’t.By: Abdurrahman J. AllawalaIntroductionWhen an incident hits, teams lean on observability to answer the only questions that matter: what’s broken, and why? Monitoring systems are designed to help you answer these questions, and they usually do.But what happens when your observability stack is dependent on the same systems that are failing? In that moment, the dashboards go dark, alerts stop firing, and the tools meant to guide recovery become part of the outage.This is an increasingly common challenge as organizations consolidate onto shared platforms like Kubernetes, service meshes, and other common infrastructure components. At …

How Airbnb built a lightweight workflow engine to solve durable execution.By: Ricardo Gamba, Andriy SergiyenkoIntroduction: The durable execution problemPicture this hypothetical flow: A host submits an insurance claim about their listing to Airbnb. The system needs to validate the claim, run trust and safety checks, assess estimates, process the payout, and send notifications. Halfway through — after the validation passes, but before the payout — the server crashes.What happens next?In a traditional architecture, the answer is often “it depends.” Maybe the operation times out and the guest retries, triggering duplicate processing. Maybe partial state corrupts what comes next. And for workf…

How we built a storage system that ingests 50 million samples per second and stores 2.5 petabytes of logical time series data.By: Rishabh KumarModern observability practice encourages instrumenting every meaningful code path. Over the past 15 years, open-source observability SDKs like Prometheus, OpenTelemetry, and StatsD have made deep instrumentation nearly ubiquitous. These days, most software — open-source or custom — can be made observable by default, assuming you actually collect the data.Airbnb is no exception. As our products and infrastructure have evolved, each new feature and each new incident has added another layer of instrumentation. Unsurprisingly, we were generating 1.3 bill…

Discover how Airbnb prioritizes user privacy while building a more connected community, empowering guests to engage socially, connect confidently, and maintain control of their personal data.By: Joy Jing✨ Building a more connected communityAt Airbnb, our hosts and guests form the heart of our community. As shared by CEO Brian Chesky, we’re evolving into a more social ecosystem. Airbnb Experiences now highlight the people involved as much as the activity. Guests can see Who’s going on an Experience, message co-guests directly, and view people they’ve met through the Connections section in their Airbnb profile. Guests are able to choose to share their profile for each new Experience. Guests w…

A production-tested approach for moving a large-scale metrics pipeline from StatsD to OpenTelemetry and Prometheus.By: Eugene Ma, Natasha AleksandrovaWhen migrating to a new monitoring system, you’ll want to frontload the work to collect all your metrics. This exposes bottlenecks at full write scale and unblocks the migration of assets which require real data for validation, such as dashboards and alerts. Collecting all your metrics first means you can focus on major technical challenges — scale, correctness and performance — without worrying about how users will adopt your new tools.But for our project, this approach wasn’t straightforward: most of our metrics were instrumented with StatsD…

Jonathan Woodard knows defense. After playing professional football as a defensive end for six years, Jonathan knew he wanted a career where he could always face new challenges, learn new skills, and continue to thrive in high-paced environments. After discovering a passion for programming, Jonathan joined Airbnb’s Connect Engineering Apprenticeship program and excelled; now, we’re lucky to have him on our secure development engineering team. Here’s his story.Joining the big leaguesLike many kids, I wanted to grow up to become a professional athlete. Playing professional football was my dream, but over the years, it faded into the background because it seemed unrealistic — until it wasn’t.I…

How Airbnb built forecasting models resilient enough to survive a global pandemic and whatever shock comes next.By: Harrison KatzThe week everything brokeIn March 2020, the forecasting models that had served us well in stable times faced a new challenge: predicting outcomes in a world that had suddenly changed.At Airbnb, many of the financial metrics we forecast depend on two separate events: when guests book, and when they actually travel. A booking made today might correspond to a trip three days from now or three months from now. The distribution of that gap, what we call the lead-time composition, drives how we translate today’s bookings into future revenue (see Figure 1).The pandemic r…

How a complex, large-scale migration to an in-house observability platform led to superior tooling, consistent data, and a fundamental reset of the developer experience.By: Callum Jones, Rong HuObservability — the function of providing visibility into the performance and reliability of applications using metrics, logs and traces — is one of the most important tools of the Infrastructure group at any company. Without a reliable, cost-effective, and user-friendly observability platform, you limit an organization’s ability to empower engineers to assess, support, and improve the reliability of their application.Like many of its peers, Airbnb started out by outsourcing its observability needs t…

How we built a destination recommendation model that helps users spark inspiration and narrow down choices to make journeys smoother.By: Weiwei Guo, Bin Xu, Sundara Rajan Srinivasavaradhan, Jie Tang, Xiaowei Liu, Bharathi Thangamani, Liwei He, Huiji Gao, Tracy Yu, Hui Gao, Stephanie Moyerman, Sanjeev KatariyaAirbnb users in the trip planning stage may not have a clear idea of travel destinations, travel dates, or other preferences. They exhibit different behaviors compared to users who have a clear itinerary in mind. More exploratory users visit the Airbnb platform less often and are less likely to book listings in the near future; they’re more likely to search for a broad area such as “Fra…

How we changed our Observability as Code alert review process and cut development cycles from weeks to minutes.Observability as Code (OaC) — defining alerts, dashboards, and SLOs via code rather than UI — is table stakes for large engineering organizations. With OaC, observability adopts software development’s version control, code review, and testing processes, achieving the same level of discipline as a result. At Airbnb’s scale (thousands of engineers and services), this is the foundation that lets teams ship confidently while maintaining the reliability our guests and hosts depend on.Yet there’s a critical gap in most OaC workflows. While we bring rigor to alert definitions through code…

2025 was a big year for research at Airbnb, as we made significant progress toward our mission to use AI, data science, and machine learning to become the best travel and living platform.Specifically, we doubled down on our presence at long-standing venues like KDD and CIKM — two of the most selective conferences in machine learning. At the same time, we expanded our research footprint by sharing our work in NLP, optimization, and measurement science at conferences such as COLING, LION, and VLDB.Across these conferences, Airbnb researchers engaged directly with academic and industry peers by publishing and presenting papers, learning about the latest innovations, launching new collaboration…

How Airbnb ships dynamic config changes safely and reliablyBy Cosmo Qiu, Bo Teng, Siyuan Zhou, Ankur Soni, Willis HarveyDynamic configuration is a core infrastructure capability in modern systems. It allows developers to change runtime behavior without restarting or redeploying services, even as the number of services and requests grows. In practice, that might mean rolling out a new address form for a region launch, tightening an authorization rule, or adjusting timeouts when a dependency is slow.Like any powerful tool, dynamic configuration is a double-edged sword. While it enables fast iteration and rapid incident response, a bad change can cause regressions or even outages. This is a co…

Anna Sulkina has always been a traveler, and we’re lucky her travels have brought her to Airbnb. Anna is a Senior Director of Engineering, and she’s responsible for Application & Cloud infrastructure. She brings over two decades of industry experience to Airbnb, including work spanning the stack from the frontend to the backend to the plumbing that makes everything come together. Anna is a mother, a passionate trail runner, and an accomplished leader. Here’s Anna’s story in her own words.Discovering a passion after the Soviet UnionI grew up in Eastern Ukraine, and the year I was graduating from high school, the Soviet Union collapsed. Despite the political turmoil, it was an interesting tim…

Public school to PhDThe story of Airbnb’s Head Economist for Policy and Director of Data Science involves geology, co-teaching with a Nobel Prize winner, and CSI. (No, not the hit TV franchise.)Peter Coles was born and raised in Milwaukee, Wisconsin. He studied math at Princeton, earned his PhD in economics at Stanford, and taught at Harvard Business School before joining eBay and becoming a Data Science leader at Airbnb.As you’ll see from his story, Peter has a deep interest in how marketplaces work. By transitioning from academia to the business world, he not only gets to study first-hand data about millions of guests and hosts, but also to influence product and policy decisions. And he s…

Huiqin Xin | Machine Learning Engineer II, Ads Vertical Modeling; Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingMotivation: The Need for Real-Time ContextIn a previous post, Ads Candidate Generation using Behavioral Sequence Modeling, we introduced a candidate generator (CG) that uses a Transformer-based two-tower model to leverage a user’s offsite conversion history — a powerful signal — to predict future interactions with advertisers and specific products. Th…

Guangtong Bai | Staff Software Engineer, Product ML Infrastructure*; Shantam Shorewala | Software Engineer II, Product ML Infrastructure*; Chi Zhang | Staff Software Engineer, AI Platform*; Neha Upadhyay | Software Engineer II, AI Platform*; Haoyang Li | Director, Product ML Infrastructure*These authors contributed equally to this article.BackgroundAt Pinterest, our online ML serving systems employ a root-leaf architecture. On a high level, the architecture looks as follows:Figure 1: Root-leaf Architecture of Online ML Serving Systems at PinterestIn the diagram, “Client Service” is responsible for recommending organic or promoted Pins to users. In order to know if a given Pin is relevant to…

Authors: Richard Huang | Machine Learning Engineer II; Yu Liu | Senior Machine Learning Engineer; Ziwei Guo | Senior Machine Learning Engineer; Andy Mao | Staff Machine Learning Engineer; Supeng Ge | Sr. Staff Machine Learning EngineerIntroductionAt Pinterest, conversion ads are crucial for matching users with products they are likely to purchase, boosting value for both users and advertisers¹. While conversion actions like checkout or add-to-cart are highly valuable, they are also technically challenging to optimize for. Because they occur offsite, conversion events are significantly sparser and noisier than onsite engagement signals. Historically, Pinterest’s shopping ads retrieval relied…

Shanhai Liao | Senior Software Engineer, Content Acquisition and Media Platform; Di Ruan, | Senior Staff Software Engineer, Content Acquisition and Media Platform; Evan Li, | Senior Engineering Manager, Content Acquisition and Media PlatformIntroductionAccurate content understanding underpins Pinterest’s ability to drive distribution and engagement. This requires deep insight not just into the image itself, but also the outbound links or items to which those images point. At the foundation of this process lies a deceptively simple problem: URL normalization.When Pinterest ingests content from millions of merchant domains, the same product page often appears under many different URLs. A sing…

Vaibhav Shankar; Staff Software Engineer | Raymond Lee; Staff Software Engineer | Chia-Wei Chen; Staff Software Engineer | Shunyao Li; Sr. Software Engineer | Yi Li; Staff Software Engineer | Ambud Sharma; Principal Engineer | Saurabh Vishwas Joshi; Principal Engineer | Charles-A. Francisco; Senior Engineer | Karthik Anantha Padmanabhan; Director, Engineering | David Westbrook; Sr. Manager, EngineeringOne day in early 2025, the Kubernetes platform team at Pinterest (PinCompute) got a ping from our partners on the ML platform team. Their Ray-based training jobs , which often take hours of computation on expensive GPU hardware, were crashing. Not every time, but often enough that it was becom…

Authors: Matt Lawhon | Sr. Machine Learning Engineer; Filip Ryzner | Machine Learning Engineer II; Kousik Rajesh | Machine Learning Engineer II; Chen Yang | Sr. Staff Machine Learning Engineer; Saurabh Vishwas Joshi | Principal EngineerAt Pinterest, scaling our recommendation models delivers outsized impact on the quality of the content we serve to users. Our Foundation Model (oral spotlight, ACM RecSys 2025), for example, achieved a 100x increase in transformer dense parameter counts and a 10x increase in model dimension; translating directly into meaningful quality improvements across multiple recommendation surfaces.¹But a 100x scaleup creates massive infrastructure pressure. Storage, tr…

Author: Lin Wang (Android Performance Engineer)Default FeatureFor mobile apps, performance is considered as the “default feature”, which means apps are expected to run fast and be responsive. It’s just as if we expect a watch to show the time. With no exceptions at Pinterest, we measure, protect and improve performance for all of our key user experiences’ surfaces, such as “Home Feed” and “Search Result Feed”.Hard to MeasureAmong all the performance metrics, the user perceived latency is a crucial one. It measures how much time the user spends since they perform an action until they see the content. This is also called “Visually Complete”.Visually Complete can be very different from app to …

Homefeed: Jiacong He, Dafang He, Jie Cheng (former), Andreanne Lemay, Mostafa Keikha, Rahul Goutam, Dhruvil Deven Badani, Dylan WangContent Quality: Jianing Sun, Qinglong ZengIntroductionIn feed recommendation, we recommend a list of items for the user to consume. It’s typically handled separately from the ranking model where we give probability predictions of user-item pairs.Pinterest’s feed recommendation follows a cascaded system design with retrieval [1][2], pre-ranking [3], ranking [4][5], and re-ranking. While most of these prior works focus on optimizing immediate actions for each candidate Pin, this work will primarily focus on how we build the final layer of the recommendation funn…

Tan Wang | Software Engineer, Agent FoundationsOver the last year, Pinterest has gone from “MCP sounds interesting” to running a growing ecosystem of Model Context Protocol (MCP) servers, a central registry, and production integrations in our IDEs, internal chat surfaces, and AI agents. This post walks through what we’ve built so far, how we designed it, and where we’re taking MCP next.What Is MCP and Why Did We Care?Model Context Protocol (MCP) is an open-source standard that lets large language models talk to tools and data sources over a unified client-server protocol, instead of bespoke, one-off integrations for every model and every tool. At Pinterest, we’re using MCP as the substrate …

Your Analysts Already Wrote the Perfect PromptAuthors: Keqiang Li, Bin YangIn our previous blog post, we shared how Pinterest built Text-to-SQL with RAG-based table selection (Retrieval-Augmented Generation). That system introduced schema-grounded SQL generation and retrieval-augmented table selection. These were important first steps, but not enough for reliable analytics at Pinterest scale.The challenge was fundamental: with over 100,000 analytical tables and 2,500+ analytical users across dozens of domains, simple keyword matching and table summaries were not enough. When an analyst asks “What’s the engagement rate for organic content by country?”, they need more than a list of tables wi…

Authors: Duna Zhan | Machine Learning Engineer II; Qifei Shen | Senior Staff Machine Learning Engineer; Matt Meng | Staff Machine Learning Engineer; Jiacheng Li | Machine Learning Engineer II; Hongda Shen | Staff Machine Learning EngineerIntroductionPinterest ads show up across multiple product surfaces, such as the Home Feed, Search, and Related Pins. Each surface has different user intent and different feature availability, but they all rely on the same core capability: predicting how likely a user is to engage with an ad.Before this project, the ads engagement stack relied on three independent production models, one per surface. Although the models were initially derived from a similar d…

Authors: Yao Cheng | Senior Machine Learning Engineer; Qingmengting Wang | Machine Learning Engineer II; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Zhaohong Han | Machine Learning Engineer Manager ; Jinfeng Zhuang | Senior Machine Learning Engineer ManagerIntroductionThe L1 ranking stage sits in the middle of Pinterest’s ads funnel. It filters and prioritizes candidates under tight latency constraints so that downstream ranking and auction systems only see a manageable set of ads.When we started pushing new L1 conversion (CVR) models, we saw the same pattern repeatedly:Offline: strong, consistent gains on loss and calibration across log sources and …

Authors: Junkai Xue | Sr Staff Software Engineer, Big Data Processing Platform; Zheyu Zha | Staff Software Engineer, Big Data Processing Platform; Jia Zhan | Principal Engineer, Online Systems; Alberto Ordonez Pereira | Sr Staff Software Engineer, Online SystemsOverviewA quota is an official limit on the usage or production of a specific resource. At Pinterest, we are developing a robust, generic quota management platform (Piqama) designed to manage a wide range of resources — including physical resources like memory and CPU, service resources such as QPS (queries per second) and network bandwidth, as well as application-specific quota units. Our ecosystem provides seamless quota lifecycle …

Felix Loesing | Software EngineerIn 2025, we set out to drastically reduce out-of-memory errors (OOMs) and cut resource usage in our Spark applications by automatically identifying tasks with higher memory demands and retrying them on larger executors with a feature we call Auto Memory Retries.Spark PlatformPinterest runs a large-scale Apache Spark deployment to satisfy the increasing demands of internal customers, such as AI/ML, experimentation, and reporting. We process 90k+ Spark jobs daily on tens of thousands of compute nodes with hundreds of PB in shuffle size.¹ Our clusters are run on Kubernetes and mainly use Spark 3.2, with an upgrade to Spark 3.5 in progress. We use Apache Celebor…

We’ve fundamentally transformed Facebook Groups Search to help people more reliably discover, sort through, and validate community content that’s most relevant to them. We’ve adopted a new hybrid retrieval architecture and implemented automated model-based evaluation to address the major friction points people experience when searching community content. Under this new framework, we’ve made tangible improvements [...]

Read More...

The post Modernizing the Facebook Groups Search to Unlock the Power of Community Knowledge appeared first on Engineering at Meta.

We’re sharing insights into Meta’s Capacity Efficiency Program, where we’ve built an AI agent platform that helps automate finding and fixing performance issues throughout our infrastructure. By leveraging encoded domain expertise across a unified, standardized tool interface these agents help save power and free up engineers’ time away from addressing performance issues to innovating on [...]

Read More...

The post Capacity Efficiency at Meta: How Unified AI Agents Optimize Performance at Hyperscale appeared first on Engineering at Meta.

AI coding assistants are powerful but only as good as their understanding of your codebase. When we pointed AI agents at one of Meta’s large-scale data processing pipelines – spanning four repositories, three languages, and over 4,100 files – we quickly found that they weren’t making useful edits quickly enough. We fixed this by building [...]

Read More...

The post How Meta Used AI to Map Tribal Knowledge in Large-Scale Data Pipelines appeared first on Engineering at Meta.

This is the second post in the Ranking Engineer Agent blog series exploring the autonomous AI capabilities accelerating Meta’s Ads Ranking innovation. The previous post introduced Ranking Engineer Agent’s ML exploration capability, which autonomously designs, executes, and analyzes ranking model experiments. This post covers how to optimize the low-level infrastructure that makes those models run [...]

Read More...

The post KernelEvolve: How Meta’s Ranking Engineer Agent Optimizes AI Infrastructure appeared first on Engineering at Meta.

Meta continues to lead the industry in utilizing groundbreaking AI Recommendation Systems (RecSys) to deliver better experiences for people, and better results for advertisers. To reach the next frontier of performance, we are scaling Meta’s Ads Recommender runtime models to LLM-scale & complexity to further a deeper understanding of people’s interests and intent. This increase [...]

Read More...

The post Meta Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads appeared first on Engineering at Meta.

Meta is continuing its long-term roadmap to help the construction industry leverage AI to produce high-quality and more sustainable concrete mixes, as well as those exclusively produced in the United States. Concurrent with the 2026 American Concrete Institute (ACI) Spring Convention, Meta is releasing a new AI model for designing concrete mixes – Bayesian Optimization [...]

Read More...

The post AI for American-Produced Cement and Concrete appeared first on Engineering at Meta.

Friend bubbles in Facebook Reels highlight Reels your friends have liked or reacted to, helping you discover new content and making it easier to connect over shared interests. This article explains the technical architecture behind friend bubbles, including how machine learning estimates relationship strength and ranks content your friends have interacted with to create more [...]

Read More...

The post Friend Bubbles: Enhancing Social Discovery on Facebook Reels appeared first on Engineering at Meta.

Meta’s Ranking Engineer Agent (REA) autonomously executes key steps across the end-to-end machine learning (ML) lifecycle for ads ranking models. This post covers REA’s ML experimentation capabilities: autonomously generating hypotheses, launching training jobs, debugging failures, and iterating on results. Future posts will cover additional REA capabilities. REA reduces the need for manual intervention. It manages [...]

Read More...

The post Ranking Engineer Agent (REA): The Autonomous AI Agent Accelerating Meta’s Ads Ranking Innovation appeared first on Engineering at Meta.

Even seemingly simple engineering tasks — like updating an API — can become monumental undertakings when you’re dealing with millions of lines of code and thousands of engineers, especially if the changes are security-related. Nowhere is this more apparent than in mobile security, where a single class of vulnerability can be replicated across hundreds of [...]

Read More...

The post Patch Me If You Can: AI Codemods for Secure-by-Default Android Apps appeared first on Engineering at Meta.

We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empower researchers and developers to accelerate innovation, regardless of their chosen backend. Communication patterns for AI models are constantly evolving, as are hardware [...]

Read More...

The post RCCLX: Innovating GPU communications on AMD platforms appeared first on Engineering at Meta.

WHAT IT IS The rise of agentic software development means code is being written, reviewed, and shipped faster than ever before across the entire industry. It also means that testing frameworks need to evolve for this rapidly changing landscape. Faster development demands faster testing that can catch bugs as they land in a codebase, without [...]

Read More...

The post The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It appeared first on Engineering at Meta.

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

Meta’s secure-by-default frameworks wrap potentially unsafe OS and third-party functions, making security the default while preserving developer speed and usability. These frameworks are designed to closely mirror existing APIs, rely on public and stable interfaces, and maximize developer adoption by minimizing friction and complexity. Generative AI and automation accelerate the adoption of secure frameworks at [...]

Read More...

The post How AI Is Transforming the Adoption of Secure-by-Default Mobile Frameworks appeared first on Engineering at Meta.

The hidden tax on productivity: Using AI to eliminate the busywork that steals your day.

Discover how AI and big data are helping businesses improve project tracking, reduce risks, and increase returns through better decision-making.

The silent driver of decisions: Why mid-market companies need AI governance now, not after a crisis.

From confusion to clarity: Using a decision tree to assess whether unusual trading activity truly matters.

Smarter decisions, faster execution: How AI agents are redefining what data-driven businesses can achieve.

A closer look at how developers use analytics and AI tools to improve performance, anticipate issues, and build smarter solutions for tech companies.

Exploring whether AI and financial analytics can rival one of the greatest investing track records in history

Separate signal from noise: How proactive media monitoring turns negative chatter into manageable insights.

Beyond resume screening: The transformative power of AI to match talent, reduce bias, and save time.

Discover how artificial intelligence helps businesses detect threats faster and protect people, property, and profits.

Learn how subscriptions and usage-based pricing help AI companies create steady income, manage costs, and keep customers engaged over time.

Smart Data Collective has spent years talking about various ways busineses can use AI to help manage risks and make real-world decisions. Today we are going to talk about how AI-driven tools change the way testing is planned, executed, and reviewed. There are many reasons businesses are reevaluating how they test their systems as threats […]

See the financial forecast: Using data analytics to map economic trends and prepare your business.

More than a cash flow problem: How AI analytics shows the true cost of payment delays on your business.

Your biggest expense might be inaction: Using data to calculate the true cost of not upgrading.

Building a comprehensive AI toolkit for 2026 is less about finding a single “best” app and more about curating a stack that handles research, execution, and specialized workflows. For those looking to master these technologies, this guide categorizes the essential top AI tools list currently shaping the industry. 1. AI tools for Research: Text, Reasoning, […]

The post The Essential AI Toolkit for 2026 appeared first on WeCloudData.

The modern K–12 classroom is at a crossroads. Walk down any hallway, and you’ll see the tension: students are already using AI tools for students to draft essays, while many educators feel the pressure to either “police” the tech or ignore it. But here is the reality for 2026: AI for teachers K-12 isn’t about […]

The post How AI Is Changing K–12 Classrooms appeared first on WeCloudData.

You’ve read the headlines: educators saving six weeks a year, grading workloads slashed by 37%, dropout rates falling. But there’s a gap between knowing AI works and knowing how to deploy it across an entire institution — without chaos, compliance headaches, or teachers left behind. If you’re a curriculum director, VP of Academic Affairs, or […]

The post Transforming Schools with Scalable AI appeared first on WeCloudData.

For most teachers, the “dream of teaching” often hits a wall of reality: 10:00 PM grading sessions, the endless hunt for differentiated materials, and a growing mountain of administrative emails. You didn’t enter this profession to be a data entry clerk; you joined it to inspire students. As we track the latest AI in education […]

The post Reclaiming time in Education Classrooms & Reimaging Learning appeared first on WeCloudData.

The telecommunications industry is undergoing a massive transformation. With the rise of 5G, IoT, and connected devices, telecom companies are managing unprecedented volumes of data and network complexity. This is where Artificial Intelligence in telecommunication becomes critical. From optimizing network performance to improving customer experience, AI in telecom is enabling providers to move from reactive […]

The post Building the Future of Connectivity: AI in Telecommunications appeared first on WeCloudData.

In 2026, the financial sector has moved past the “experimentation” phase. We are now in the era of applied AI in banking and finance, where the difference between a market leader and a laggard is defined by how effectively they orchestrate intelligent systems. Whether you are a retail banker, a hedge fund analyst, or a […]

The post Understanding AI in Banking and Finance appeared first on WeCloudData.

The world of travel and fun is changing fast. People no longer want boring brochures or fixed plans; today’s travelers expect quick, personal service that used to be impossible. This change is happening because of smart technology that connects what people want with the data to make it happen. For businesses, understanding the impact of […]

The post The Strategic Role of AI in Tourism and Entertainment appeared first on WeCloudData.

In the early 2020s, the conversation around AI for communications professionals was dominated by a single, narrow use case: “Can it write an article for me?” By 2026, that question has become obsolete. The industry has moved past the novelty of generative copywriting and entered the era of the Semantic Communication Stack. As global information […]

The post Semantic Communication Stack: Beyond Generative Copywriting in 2026 appeared first on WeCloudData.

Agriculture is entering a new technological era. As global populations grow and global foodwater scarcity intensifies, traditional farming methods alone can no longer sustain rising food production demands while minimizing environmental impact. Artificial intelligence is emerging as a critical solution — helping farmers, agribusinesses, and policymakers make smarter, faster, and more sustainable decisions. From predicting […]

The post AI in Agriculture: Transforming Farming Through Data, Intelligence, and Practical Skills appeared first on WeCloudData.

In the world of project management, there is a “silent thief” that no one likes to talk about. It’s not a missed deadline or a budget overrun. It’s the administrative burden. If you’re a Project Manager, you know the feeling. You spend 60% of your week in a cycle of “information chasing”: summarizing meeting notes, […]

The post AI for Project Managers: Reimagining Traditional Project Management appeared first on WeCloudData.

We have entered a new era of work. Information is no longer hard to find; it is everywhere. In fact, by 2025, over 1.2 billion websites exist, and hundreds of thousands of new pages are created every single day. For anyone in a research-heavy role whether you are an analyst, a student, or a strategist—the […]

The post Building the Foundation for AI-Driven Research appeared first on WeCloudData.

The global race for technological supremacy has a new, formidable frontrunner: Saudi Arabia. As the Kingdom undergoes a historic transformation, the Saudi AI Vision 2030 has emerged as the heartbeat of its digital evolution. This isn’t just a tech upgrade; it’s a fundamental reimagining of a nation’s future. It’s shifting from an oil-dependent economy to […]

The post Saudi AI Vision 2030: Leading the Future of Artificial Intelligence appeared first on WeCloudData.

Riyadh is no longer just talking about the future; it is actively building the scaffolding for it. This past week at King Saud University, the ICAN 2026 (International Conference on Capacity Building in Data and AI) served as the epicenter for a global shift in how we think about human potential. Amidst the buzz of […]

The post WeCloudData at ICAN 2026: Contributing to the Future of AI, Data, and Workforce Innovation appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Delta Lake is a fantastic technology for quickly querying massive data sets,

but first you need those massive data sets! In this

talk from Data and AI

Summit 2025 I dive into the cloud-native

architecture Scribd has adopted to ingest data from AWS Aurora, SQS, Kinesis

Data Firehose and more!

By using off-the-shelf open source tools like kafka-delta-ingest, oxbow and

Airbyte, Scribd has redefined its ingestion architecture to be more

event-driven, reliable, and most importantly: cheaper. No jobs needed!

Attendees will learn how to use third-party tools in concert with a Databricks

and Unity Catalog environment to provide a highly efficient and available data

platform.

This architecture will …

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, we walk through how to configure document-level ACLs for your S3 knowledge base in Amazon Quick. You will learn how to set up and verify an ACL configuration that enforces document-level permissions across chat and automated workflows.

AWS CloudFormation makes it easy to model and provision your cloud application infrastructure as code. CloudFormation templates can be written directly in JSON or YAML, or they can be generated by tools like the AWS Cloud Development Kit (CDK). Resources are created and managed by CloudFormation as units called Stacks. Managing infrastructure across multiple AWS […]

In this post, you will learn how to implement Assisted NLU effectively. You will learn how to improve your bot design with effective intent and slot descriptions, validate your implementation using Test Workbench, and plan your transition from traditional NLU to Assisted NLU for both new and existing bots.

In this post, you learn how to combine Stream's Vision Agents open-source framework with Amazon Bedrock and Amazon Nova 2 Sonic to build real-time voice agents that can be production-ready in minutes. You'll learn how the integration works under the hood, walk through code examples, and explore advanced capabilities like function calling, automatic reconnection, and multilingual voice support.

Today, we're announcing cross-account Athena access for Amazon Quick. With this feature, customers can query Athena data in other AWS accounts using AWS Identity and Access Management (IAM) role chaining, with query costs billed to the account where the data resides.

In this post, you will configure Chrome enterprise policies to restrict a browser agent to a specific website, observe the policy enforcement through session recording, and demonstrate custom root CA certificates using a public test site. The walkthrough produces a working solution that researches Amazon Bedrock AgentCore documentation while operating under enterprise browser restrictions.

In this post, we demonstrate how to configure Aurora DSQL Change Data Capture and stream database changes into Kinesis Data Streams. You will learn how CDC works, how to configure a streaming pipeline, and how to consume change events. By the end of this post, you will have a working CDC pipeline that streams database changes into a durable event stream that downstream applications can process.

This is the third post in our S3 Tables and Amazon Redshift series. The first post covered getting started with querying Apache Iceberg tables, and the second post walked through enterprise-scale governance and access controls. In this post, you address those performance and usability gaps with three different approaches.

This post is part of a two-part series on upgrading RDS for MySQL 8.0 to 8.4. Here, we cover the end of standard support timeline, extended support costs, upgrade methods, and key best practices. For a step-by-step implementation guide, see Best practices for upgrading RDS for MySQL 8.0 to 8.4 with prechecks, Blue/Green, and rollback.

In this post, you learn how to build a complete upgrade workflow for RDS for MySQL 8.0 to 8.4, covering pre-upgrade compatibility checks, Amazon RDS Blue/Green Deployments for minimal downtime, and a rollback strategy for added protection.

In this post, you learn how HotelTrader reduced inter-availability zone data transfer costs by 95% and improved average latency by 49% by migrating from the Redis Lettuce client to Valkey GLIDE on Amazon ElastiCache. The post walks through how HotelTrader identified hidden cross-AZ data transfer costs in their multi-AZ ElastiCache cluster, implemented Valkey GLIDE's AZ-affinity read strategy to route requests to local replicas, optimized throughput with request batching, and executed a zero-downtime migration using A/B testing over 15 days.

This post demonstrates how to build a documentation extraction and model fine-tuning pipeline that addresses challenges when processing the complex financial documents. By combining Pulse AI's advanced document understanding capabilities with the powerful AI services of Amazon Bedrock, organizations can achieve enterprise-grade accuracy and extract contextually relevant financial insights at scale.

Building end-to-end live streaming applications with real-time voice interaction presents several challenges. This post introduces a solution based on Amazon Nova 2 Sonic (Nova Sonic) and Amazon Kinesis Video Streams WebRTC (WebRTC) that addresses these challenges. In this post, we’ll walk through the solution architecture, implementation patterns, and two real-world scenario examples.

In this post, we show you how to use the new cdk orphan command to safely migrate a DynamoDB table from the Table construct to TableV2 with zero downtime. Your data stays intact, streams keep flowing, and your application remains available throughout the process.

The Cisco and AWS partnership addresses three challenges enterprises face when scaling AI agents: visibility gaps, security bottlenecks, and compliance risks. In this post, we explore how you can overcome AI security challenges through automated scanning and unified governance.

In this post, we demonstrate how to build a secure, complete LLM fine-tuning workflow that integrates Unity Catalog with Amazon SageMaker AI using Amazon EMR Serverless for preprocessing. The solution shows how to securely access governed data, maintain lineage across services, fine-tune the Ministral-3-3B-Instruct model, and register trained artifacts back into Unity Catalog. With this approach, you can continue using your existing services while preserving central governance, tracking data lineage without compromising security or compliance requirements.

In this post, we show you a reference architecture that automates sensitive data discovery across legal document repositories on Amazon Web Services (AWS), demonstrate how to capture structured findings as a compliance dataset, and guide you through building a governed analytics workspace that maintains your security boundaries. You walk away with a practical model for building security and analytics into the same lifecycle, without moving documents outside their system of record.

In this post, we show how you can load (import) an Amazon DynamoDB full or incremental table export into a second DynamoDB table with precise control over what gets loaded, at what write rate, and with the ability to observe the progress. This technique helps drive large-scale data migrations and synchronizations where you want maximum control.

In this post, we show you how to migrate from an Amazon RDS for PostgreSQL to Amazon Aurora PostgreSQL-Compatible Edition using seeded logical replication. For live migrations with minimal downtime, AWS provides several approaches, including Aurora read replicas, the snapshot/restore method combined with ongoing replication, and AWS DMS.

In this post, we demonstrate how Amazon FinTech teams are using Amazon Bedrock and other AWS services to build a scalable AI application to transform how regulatory inquiries are handled. Each team using this solution creates and maintains its own dedicated knowledge base, populated with that team's specific documents and reference materials.

In this post, we walk you through five key enhancements: Amazon CloudWatch Logs integration, step-level Amazon Simple Storage Service (Amazon S3) logging controls, expanded console UIs for YARN and Tez, Amazon EMR step to YARN application ID mapping, and enhanced custom metrics with updated documentation.

In this post, we show you how to build an AI-powered troubleshooting solution using Amazon OpenSearch Service vector search and intelligent analysis. This solution reduces HBase inconsistency resolution from hours to minutes and root cause identification from days to hours through natural language queries over operational data. This democratizes HBase troubleshooting capabilities across teams and reducing dependency on specialized expertise.

In this post, we'll show you how our multi-document discovery feature solves this problem. It serves as an automated pre-processing step, analyzing unknown documents, clustering them by type, and generating schemas ready for the IDP Accelerator. You'll learn how the new capability uses visual embeddings for automatic clustering and agents for schema generation. We'll also walk you through running the solution on your own document collections.

In this post, we show you how to set up FLOPs tracking during LLM fine-tuning using the open source Fine-Tuning FLOPs Meter toolkit on Amazon SageMaker AI. You learn how to determine your compliance status with a single configuration flag and generate audit-ready documentation.

In this post, you will learn how to set up the Exa integration in Strands Agents, understand the two core tools it exposes, and walk through real-world use cases that show how agents use web search to complete multi-step tasks.

Connecting to Amazon Aurora DSQL requires a different approach than traditional PostgreSQL databases. Instead of long-lived passwords, you use short-lived IAM authentication tokens. Instead of static endpoints, you work with distributed cluster endpoints that route connections across Availability Zones. In this post, you learn how to configure connection strings, set up drivers in Python, Java, and Node.js, and implement best practices for authentication, connection pooling, and lifecycle management with Amazon Aurora DSQL.

Introduction Modernizing applications by upgrading language runtimes, migrating SDKs, and refactoring frameworks is important for cloud adoption but can be labor-intensive at scale. Each repository requires analysis of dependencies and transformation needs; custom transformation logic must be built and validated, and changes are often executed sequentially across codebases. If you have hundreds of applications, this […]

In this post, we walk through how to set up and manage S3 Tables in the AWS Glue Data Catalog, create and query Iceberg materialized views, and configure access controls that work across your analytics stack with IAM-based authorization.

In this post, you learn how to replicate Amazon DynamoDB data to Apache Iceberg tables in Amazon S3 through a zero-ETL integration. We walk through the challenges that the DynamoDB nested, schema-flexible data model introduces for analytics workloads, and show you how to configure schema unnesting and data partitioning for a sample product catalog table. We also cover how to query the replicated data in Amazon Athena using standard SQL.

In this post, we outline the solution that provides cross-Region resiliency without needing to reestablish relationships during a fail-back, using an active-active replication model with Amazon OpenSearch Ingestion (OSI) and Amazon Managed Streaming for Apache Kafka (Amazon MSK). This solution applies to both OpenSearch Service managed clusters and Amazon OpenSearch Serverless collections. We use Amazon OpenSearch Serverless as an example for the configurations in this post.

Hi! I want to implement CI/CD into our environment. Our stack is GitHub and Fabric (notebooks, lakehouse, semantic models, reports, pipelines, etc.), other than the obvious environment deployments what do you think is a good addition to the ci/cd pipeline? Do you have linters/quality checks/tests that you recommend? submitted by /u/Professional_Peak983 [link] [comments]

I want to understand how I can showcase the pipelines I have built using Python scripts that pull data from different APIs, transform it to meet business requirements, and store it in BigQuery for further analysis. I want clients to be able to see my work, ideally for continued engagement or retention. A visual representation is usually the most effective way to present work, but I’m not sure how to do that for data pipelines. These pipelines process billions of rows of datasets with daily updates for a marketing agency that works with several large tech companies. submitted by /u/Due-Radish6016 [link] [comments]

A lot of times when I’m building a pipeline for a greenfield project, I’m consuming from data sources that either don’t have clear data throughout metrics or may not exist yet. This leads me to either provision spark jobs with too little resources and crashing the pipeline, or severely over-provisioning a cluster and wasting quotas/increasing costs unnecessarily. How do you all deal with this issue? submitted by /u/pipinhotdata [link] [comments]

I am wondering as a freelancer is there any resources that can learn data system designing? instead of "data intensive applications". i have came a cross few data platform designing project but i dont have that knowledge so i have to pass it. submitted by /u/Head-Environment6554 [link] [comments]

I swear if I have to sit through one more sprint planning where some director asks if we can "leverage generative AI" to handle schema evolution or data quality checks, I might actually lose my mind we build pipelines for a living. The whole point of our job is determinism. If row count A goes in, row count B comes out. You can't have a 1% "hallucination rate" when you're moving financial data into the warehouse. A probabilistic model that just guesses the next token is literally the exact opposite of what you want for critical infra it feels like the actual hardware and heavy tech giants are finally getting this while enterprise managers are still blinded by the hype. was looking at some o…

I wrote this post. The reason is that I see a ton of engineers who are brilliant from technical point of view, but have no clue how to manage their projects. This may feel a bit basic if you have a few years of experience, but I strongly believe most still need a reminder. Anyways, here's the TL;DR Ask for more detail before you start working. There's always something hidden Ensure you know when the project is done. Don't allow scope creep Learn who the real stakeholders are. Often that's not the person who reaches out Ship when it's good enough, not when it's perfect Show your progress every few days There's more, plus, real screenshots from my Slack messages. I hope this is useful. And of…

I wanted an 'excuse' to learn Kafka and Flink so I made this project: https://lastrevioprojects.org/ It's a near real-time streaming analytics platform that does something similar to charting platforms like Tradeview. It connects to two cryptocurrency exchange websockets (Binance and MEXC), producers incoming messages to two Kafka topics and uses Flink to compute aggregated metrics over tumbling and sliding windows. The final sink is Clickhouse which Grafana queries once every 2 seconds to display analytics in (near) real time (2-5 second end to end latency). You can find the GitHub repo in the bottom-left corner of the website - I'd be happy to hear your feedback and thoughts. Thank you! s…

Hello everyone, Small files are one of the most common Spark performance issues. There's plenty of content on why they matter, but most don't show exactly how to detect and fix them with working code. I put together a post that explains how to Detect small-file issues in the Spark UI. Fix them with maintenance functions. Tune Spark writer settings to write files at optimal sizes. Includes a fully working Spark + Iceberg Docker setup with 30GB of data so you can try out the detection and compaction code yourself. How to Identify and Fix Small Files Problem with Spark & Iceberg Was anything unclear or harder to follow than expected? Let me know. submitted by /u/joseph_machado [link] [comments]

submitted by /u/BrewedDoritos [link] [comments]

Hi guys, I recently started a new job (1-2 months ago) as a Sr. Data Engineer at a very large fintech company. This company has no data/AI activities... I am trying to build a centralized data department. What are the biggest use cases to deploy within such environment to prove the department value? I am excited to hear what you guys do/implement... By the way, the infrastructure is all AWS and my budget is, kind of, unlimited so no worries about a service 👍 submitted by /u/abdullahjamal9 [link] [comments]

Who here has worked a DE job with D365 F&O at the heart? What challenges did you face? What tools helped you succeed (or failed you)? submitted by /u/SlappyBlunt777 [link] [comments]

The community always had a large array of recommendations for newcomers but i find it hard to find good material when you already know a lot of things. I am already past 4 years on the job and there is always something i never heard of or that was never used tripping me off in job interviews. So you are stuck in a limbo where most material you already know but there are small details that you missed and confused along the way. These days i am trying to get better at my job and everytime I face this problem, where to go from here? submitted by /u/Old_Tourist_3774 [link] [comments]

I need to vent. I've been at my current company for about a year. First real data hire, brought in to stand up a 'modern data stack' approach to data analysis. They'd bought Fivetran and Snowflake when I joined, but had a google sheet going through them and that's it. About a year later, I've got 25 data sources including CRM, accounting systems, a load of stuff from google drive, slack and a few other things flowing through extract/load in Fivetran; custom python connectors developed using the Fivetran SDK; a well-architected DBT transformation layer with staging / intermediate / mart (star schema) layers; orchestrated pipeline runs; a semantic layer queryable by AI analysts in Snowflake; …

I joined a team that has all of its load logic in Snowflake stored procedures with a Javascript wrapper. They're mostly SQL MERGE statements with error logic and general logging handled by the JS portions. I came onto the team knowing only SQL and Python, so I got accustomed to JS a little. I still only know as much JS as I need to, which is like a bare minimum. The other folks who wrote all of the load logic left the team, so it's just me now. So I'm at this point where I kind of want to start writing any new sprocs in just SQL but it's been a minute since I've done so. Are there any big differences in features or nuance between JS and SQL language sprocs? I know SQL was built as a later f…

i suppose, unlike the regular Software jobs in DE you get to back track, debug , interact , see results in prod much more . what do you guys think? submitted by /u/manualenter [link] [comments]

The exact tools I'm learning, the projects I'm building, and the mistakes I'm already expecting to make

The post From Data Analyst to Data Engineer: My 12-Month Self-Study Roadmap appeared first on Towards Data Science.

Exactly how does it differ from ReAct, CodeAct, Self-Loops, and Subagents?

The post Recursive Language Models: An All-in-One Deep Dive appeared first on Towards Data Science.

A practical guide to categorization in credit scoring

The post From Raw Data to Risk Classes appeared first on Towards Data Science.

Learn how to make your Claude Code improve over time The post How I Continually Improve My Claude Code appeared first on Towards Data Science.

From a Chinese prompt to a Korean response: an embedding-space investigation into how code vocabulary reshapes language

The post Why My Coding Assistant Started Replying in Korean When I Typed Chinese appeared first on Towards Data Science.

How to build a decision-grade scorecard for AI agents

The post Stop Evaluating LLMs with “Vibe Checks” appeared first on Towards Data Science.

Enterprise AI systems are entering a phase where inference design matters as much as model capability itself.

The post The Next AI Bottleneck Isn’t the Model: It’s the Inference System appeared first on Towards Data Science.

A critical analysis of MRC's three counterintuitive design decisions, the networking mathematics that make them work, and what they mean for the rest of the AI infrastructure community.

The post The Counterintuitive Networking Decisions Behind OpenAI’s 131,000-GPU Training Fabric appeared first on Towards Data Science.

What happened when I migrated a 10K+ line project into an AI-native workflow

The post I Let CodeSpeak Take Over My Repository appeared first on Towards Data Science.

Improve the quality of Claude Code output. The post How to Write Robust Code with Claude Code appeared first on Towards Data Science.

A practical comparison between rule-based PDF extraction using pytesseract and an LLM-based approach with Ollama and LLaMA 3, based on a realistic B2B order scenario.

The post I Built the Same B2B Document Extractor Twice: Rules vs. LLM appeared first on Towards Data Science.

A beginner's tutorial on exploratory data analysis using Pandas, Matplolib, and Seaborn

The post Exploring Patterns of Survival from the Titanic Dataset appeared first on Towards Data Science.

I spent a weekend trying to convince a language model it was C-3PO. Here's what actually worked.

The post What’s the Best Way to Brainwash an LLM? appeared first on Towards Data Science.

A 12-metric evaluation framework for production AI agents — covering retrieval, generation, agent behavior, and production health. Drawn from 100+ enterprise deployments.

The post Building an Evaluation Harness for Production AI Agents: A 12-Metric Framework From 100+ Deployments appeared first on Towards Data Science.

A 4.5-hour journey from idea to working fitness app with LLM agents

The post From Vibe Coding to Spec-Driven Development appeared first on Towards Data Science.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Ребят, всем привет!Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann

Mastering PostgreSQLSupabase и Manning Publications выпустили бесплатную книгу про PostgreSQL.107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза.Книга поделена на 4 части:— Modern SQL— Postgres for Full-Text Search (FTS)— Improper Data Type Usage— Table & Index MistakesСкачать книгу можно в комментариях к посту.

Cloud vs Self-HostedВечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS.Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или иных сервисов. Порой вам даже не нужно думать о масштабировании, за вас это делает облачный провайдер. В…

Данные и законодательствоС развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.

Designing Data-Intensive ApplicationsГлава 1. Trade-Offs in Data Systems ArchitectureВведениеПервая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах.Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море различных технологических решений. Дать фундамент, который будет помогать принимать правильные решения при проек…

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя и…

Второе издание "кабанчика"На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications.Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант.“Кабанчик” до сих пор у меня, пережил несколько переездов и выглядит непрезентабельно. Но к чему этот пост? Я хочу немного изменить формат этого канала и сделать…

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяцАня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге:— ~700 пользователей за первый месяц— первые 16 оплат— первая выручка: ~$200— подписка: $8/мес— сделано на n8n + OpenAI без разработчиковНе было ни команды, ни инвестиций, ни кода.Главное — не технология.Главное — простая понятная ценность.Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реаль…

Data Pipelines with Apache Airflow, 2-е изданиеРебята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning. Это обновлённое издание с учётом новой 3-й ветки Airflow, в книге используется версия Apache Airflow 3.1.0. Ну и конечно же ИИ не обделили, в книге появился контент про RAG, AI Orchestration и т.д.Приятного чтения, господа! 🤓

📣 📢 13 ИИ агентов для дата инженераРебята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3Преимущественно агенты сконцентрированы вокруг написания и тестирования Airflow DAGs, проектирования таблиц БД, data lineage. Боевой комплект дата инженера.Из БД они умеют в Snowflake, Postgres, BigQuery. Также есть навык для работы с SQLAlchemy ORM.Установка агентов:npx skills add astronomer/agentsДля Claude Code можно установить прямо их маркетплейсаclaude plugin marketplace add astronomer/agentsclaude plugin install data@astronomer В комплекте есть Airflow MCP сервер.Ссылка на репозитор…

Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.Эксперты подробно расскажут об XLTable и его основных преимуществах: быстроте внедрения, отсутствии дублирования данных, снижении затрат на TCO, бессрочной лицензии и других.В рамках вебинара вас ждет:🔸Обзор рынка OLAP-систем🔸Демо системы XL Table от BR Systems🔸Разбор реальных кейсов крупных компанийТакже у вас будет возможность задать свои вопросы.Для участия необходимо зарегистрироваться на сайте. На указанную вами почту придет ссылка на вебинар. Подключайтесь к нам 21 мая в 16:00.До встречи!…

Как эффективно построить потоковый конвейер данных на базе Evolution Data Platform ⤵️Когда отчеты собираются часами, а решения принимаются по вчерашним данным, бизнес теряет скорость реагирования — а значит, и деньги. Все потому, что традиционные ETL-процессы с ежедневными запусками уже не успевают за реальным темпом рынка.На вебинаре 21 мая эксперт Cloud․ru покажет, как создать отказоустойчивый конвейер с латентностью в минуты вместо часов — без сложной работы с инфраструктурой и лишних затрат.В программе:▶️в чем особенность проектирования архитектуры конвейера, обрабатывающего данные в режиме, близком к реальному времени: когда использовать микробатчинг в Managed Spark Streaming, а когда …

Сегодня столкнулся с интересным кейсом по Azure Databricks.Что дано:• 3 Azure Subscriptions Dev/Test/Prod• 3 Azure Databricks WorkspacesВсе четко и понятно.Databricks уже давно использует Unity Catalog вместо обычного Hive. Кстати он есть open source.Unity Catalog — это централизованный каталог и система управления данными от Databricks.Представь, что в компании есть десятки таблиц, файлов, ML-моделей, разбросанных по разным облакам и воркспейсам. Unity Catalog — это единое место, где всё это зарегистрировано, где видно кто к чему имеет доступ, откуда пришли данные и куда они идут.Он решает три главных вопроса:Кто может видеть данные? — можно задавать права вплоть до отдельных строк и столб…

📌 Что вы делаете, когда классические A/B-тесты невозможны?Коллеги из Trisigma зовут на онлайн-митап как раз по таким ситуациям. 21 мая в 18:30 три спикера (из Авито, Finom и ex. Ozon Tech и Lamoda Tech) расскажут про свои нестандартные кейсы из практики:⚡️Как проводить офлайн-эксперименты с AI-агентами и измерять качество, когда всё недетерминировано.⚡️Когда и какими нестандартными инструментами можно заменить A/B.⚡️ Можно ли сделать рабочую связку PSM, фейкдоров и оценки эластичности.Регистрация на стрим по ссылке!

Скоро учебники будут такие

Сейчас в такое время живем, что вечером готовишься к встрече, которая должна быть рано утром из-за того, что часть команды в Израиле, а на следующий день офис в Израиле закрывают, сотни человек на улице, митинг отменяется.PS цена акции не выросла:( Не работают старые методы.Кстати про акции, месяца 1-2 назад я спросил AI, какие акции космических компаний и компаний по оперативке можно купить. Результат 2x. Так же добавил новый stop-loss - 7% trailing - авто продажа, если акции потеряла 7% в моменте. (Это база, но я не использовал раньше)

22 мая в Москве пройдёт уже седьмая конференция АНА'26 для тех, кто работает с AI, ML и данными. Отличный повод:🤝 познакомиться с людьми из индустрии🎯 послушать живые use cases от команд Яндекса, Сбера, Авито, Wildberries, ВкусВилла и десятков других🎁 собрать подарочки от спонсоров☕️ просто хорошо провести день среди своихВ программе — полный цикл data & AI: MLOps, LLM в продуктах, AI-агенты, архитектура, экономика масштабирования и многое другое.Форматы:→ Офлайн — 39 900 ₽→ Онлайн — 19 900 ₽→ Команды от 3 человек — скидки до 10%Программа и билеты — на сайте конференции.PS это не рекламный пост, это я вам рекомендую сходить, особенно, если ваша компанию вам покроет расходы. Вы узнаете много…

Робот готов! А вы говорите бесполезный generative AI

2 картинки, одна про пост 2025 год, в котором говорится “покажи свой код” и другая свежая с take home assignment. И там и там идея в том, что сам код уже не важен. Важно уметь пользоваться современными инструментами и решать проблемы. Сейчас это ИИ агенты. Идеально подходит выражение - «Хочешь делать работу — сначала наточи инструменты»В случае ИИ агентов - это контекст, правила, модель, MCP, план.

10 готовых шаблонов дашбордов для разных C-level ролей от Cloud.ru 🌐В новом практическом руководстве эксперты Cloud.ru отвечают на вопрос, как руководителю принимать решения быстрее.Помимо этого в руководстве:▶️набор ключевых бизнес-метрик и формулы их расчета▶️понятная интерпретация показателей▶️рекомендации по визуализацииРуководство поможет выстроить единую систему показателей, чтобы принимать решения быстрее, точнее и на основе объективных данных.А еще — выявлять риски и находить новые точки роста бизнеса.👉Получить бесплатное руководство👈

Альтернатива Claude Code - Pi agent.

Уверен, что меня читает много студентов с разных направлений, а у этих читателей скорее всего еще и широкий круг общения.Поэтому этот пост для вас!Образовательный центр СИРИУС в г. Сочи запускает набор стажировок на летнюю июльскую проектную программу «Большие вызовы».Я сам прошел все вехи этой программы: участвовал там и в роли школьника, затем стажера и наконец, руководителя проектов (в проекте по космическим технологиям).Программа покрывает практически все расходы и предоставляет жилье и питание.Очень рекомендую подаваться и ехать, опыт и яркие эмоции обеспечены!Стажировки для студентов-выпускников (заявки до 11 мая):1) (ассистенты руководителей проектов и методистов): https://sochisiriu…

В сведенной статье от Pragmatic Engineer - The Pulse: token spend breaks budgets – what next? (Расходы на AI-токены выходят из-под контроля) рассказывают насколько проблема токенов становиться острой.Расходы на токены у многих компаний выросли до 10 раз за последние месяцы. Автор опросил сотрудников 15 компаний и выявил два лагеря:1. ”Let it rip and measure" — дать командам использовать AI без ограничений, потом смотреть на метрики. Так чаще поступают крупные компании, где операционная гибкость важнее экономии.2. ”Curbing spending" — активное управление расходами и оптимизация использования токенов. Этим занимаются небольшие компании, которые либо оптимизируют потребление, либо закладывают …

Hightouch получил новый раунд инвестиций, на эти деньги они уже сняли офис в San Francisco и начали хайрить куча людей. Все-таки с помощью vibe-coding reverse ETL не так гладко работает. У нас 2х местах его выпиливают, в обоих местах компании из списка S&P500 - причина в высокой цене.

ИИтальянская забастовка Простите за каламбур в заголовке, но в пятницу же можно, правда? 🔜 Руководство Amazon подталкивает сотрудников к автоматизации работы через создание агентов с помощью инструмента MeshClaw — нетрудно догадаться, что он вдохновлен нашумевшим этой зимой OpenClaw. Хотя в компании заявили, что активность использования ИИ не будет учитываться при оценке качества работы, многие в это не верят. Сотрудники Amazon опасаются негативных последствий, если не продемонстрируют, с каким энтузиазмом они внедрили новую технологию в свои процессы. Это все привело к тому, что люди начали использовать агентов везде, где только можно, даже если не нужно. Таким образом они «накручивают» чи…

Если что-то не ломалось, это надо починить с помощью ИИКурсор мыши уже много лет существует в почти неизменном виде. Функционал у него тоже стабильный — кликать, выделять, перетаскивать объекты. Вот последнее и хотят изменить в DeepMind. Их улучшенный ИИ-курсор может стать инструментом, который делает проще взаимодействие человека и искусственного интеллекта.🔵 Первого он избавляет от необходимости переключаться между вкладками и программами или писать длинные промпты. Вместо этого можно просто кликнуть мышкой на объект на экране и дать команду голосом: «Убери это», «Перепиши этот текст по-человечески», «Объедини эти столбцы в таблице».🔵Второму он дает контекст. ИИ получает запрос от пользов…

А вы когда-нибудь задумывались, что такое Copilot? Начинаем неделю с любопытной визуализации — и для разнообразия она даже не с Tableau Public!Как и остальные техногиганты, Microsoft активно включилась в ИИ-гонку. Компания сделала ставку на Copilot — спорный продукт, который чаще всего попадает в новости, потому что им в очередной раз кто-то недоволен.🔜 Но главный вопрос не «что не так с Copilot», а что такое Copilot? Первый же запрос в Google ведет на страницу ИИ-чатбота, но если копнуть глубже, все оказывается намного запутаннее. Конечно, у OpenAI и Anthropic тоже много разных продуктов, которые часто упоминают под общими, широко известными названиями ChatGPT или Claude. Так что нет ничег…

Шахматы, из которых убрали все лишнееШахматы — это, конечно, прекрасная игра, но не кажется ли вам, что в них слишком много всего? Все эти фигуры, доска огромная, ну куда это все? Почему бы не отбросить всю эту мишуру и не оставить только самое главное: один ряд, три фигуры у каждого игрока, которые могут двигаться вперед или назад, восемь клеток. Получатся прекрасные в своей простоте одномерные шахматы. 🔜 У игрока есть ладья, король и конь. Последнему негде ходить буквой Г, но он может двигаться на две клетки вперед и перепрыгивать через чужие фигуры. Задача — поставить мат королю противника, за которого играет ИИ. Единственный минус одномерных шахмат — возможных стратегий в них чуть-чуть …

Сделай сам: мини-курс по обучению ИИ с нуляЛучший способ разобраться, как что-то работает — попробовать сделать это самому. С языковыми моделями это тоже работает.🔜 На github выложили мини-курс, где автор предлагает собрать GPT своими руками, чтобы понять, как устроены современные LLM внутри. Идея проекта в том, что вместо использования готовых библиотек вроде Hugging Face или LangChain написать почти все основные части модели самостоятельно. Для успешного прохождения понадобится только знание Python — опыт работы с ИИ и машинным обучением не обязателен. Курс состоит из шести уроков, за время которых вы напишете токенизатор, познакомьтесь с трансформерной архитектурой, выстроите цикл обучен…

Периодическаяя таблица ИИ-стартаповИИ с нам уже достаточно долго, чтобы вокруг него выросла целая индустрия с разными направлениями — какие-то все еще бурно растут, а какие-то уже даже стабилизируются.Это хорошо видно на визуализации, опубликованной на Tableau Public. Автор свел воедино данные об успехах и развитии ИИ-стартапов из нескольких категорйи за год, с февраля 2025 по февраль 2026. Он выделил 4 большие группы ИИ-компаний: 🔵Базовый уровень — разрабатывают сами модели (OpenAI, Anthropic) и ИИ-инфраструктуру (Databricks).🔵Горизонтальный уровень — создают инструменты для широкого списка задач, которые могут использоваться в разных сферах: от написания кода до генерации картинок и музык…

С Днем труда, дорогие подписчики! В честь праздника принесли вам тематический плагин Endless Toil («бесконечный труд»). Если запустить его с Codex, Claude или Cursor, он будет издавать страдальческие стенания по мере того, как ИИ продирается через ваш код. Звук и правда душераздирающий и позволяет в полной мере прочувствовать всю тяжесть ИИ-труда.

А нужна ли вам база данных? Любой бизнес так или иначе генерирует и собирает самые разные данные, которые надо где-то хранить — в идеале так, чтобы еще и обеспечить к ним удобный доступ.Самое логичное решение этой задачи — развернуть базу данных.А что если попробовать без нее?По сути, данные в базе — это обычные файлы, с которыми вполне можно работать напрямую, без дополнительного слоя БДшной логики сверху. Вопрос только в том, будет ли это удобнее и быстрее? Ответ нашли ребята из DBPro — приложения по управлению базами данных. Они протестировали разные способы найти данные внутри простых JSONL-файлов на трех датасетах — с 1000, 100 000 и 1 000 000 записей:🔵Линейный поиск — каждый запрос чи…

Приближается дефицит ИИ? Взрывной рост ИИ столкнулся с серьезным препятствием — таким же взрывным ростом цен на железо и недостатком вычислительных мощностей. Стоимость аренды часа использования ИИ-чипов NVIDIA Blackwell подскочила на 48% по сравнению с тем, что было еще в начале года. Дата-центры в США, мало того что перегружены, так еще и встречают постоянное — и объяснимое — сопротивление местных жителей, которые выступают против их строительства. Если тенденция сохранится, то рынок неизбежно изменится. 🔵Доступ к самым продвинутым и умным моделям будет ограничен. Mythos, новая нашумевшая модель от Anthropic, которой те поделились с достаточно небольшим количеством компаний, тому пример.🔵…

OpenAI представила Images 2.0Это новая «думающая» модель для генерации изображений. Вместо тысячи слов — одна картинка, которую она сделала сама целиком, включая текст. Эх, уходит эпоха мемов со смешной кривой кириллицей на ИИ-картинках.Главные особенности модели по сравнению с предыдущей версией:🔵Точнее следует промптам и за счет этого дает пользователю больше контроля над процессом генерации изображения.🔵Знает больше языков, включая японский, хинди и, как видите, русский.🔵Лучше придерживается заданного стиля — и реалистичную фотографию сделает и страничку из манги.🔵В целом серьезнее подходит к задачам за счет умения «рассуждать» — может искать информацию в интернете, создавать сразу неско…

ИИ, который работает для бизнесаБронируйте слот в календаре! 🔥28 апреля в 12:00 МСК пройдет KARPOV.CONF 2026 — большая онлайн-конференция от karpovꓸcourses про работу с ИИ.Там обсудят все, что действительно важно сегодня: как компании внедряют ИИ в свои процессы, какие задачи он решает и какой результат это дает на практике. Среди спикеров — эксперты из топовых российских компаний, которые работают с ИИ не в теории, а каждый день.На конференции не будет обзорных докладов и пересказа очевидных вещей. Только реальные кейсы, цифры и выводы:🔵какие решения действительно работают;🔵где ИИ дает ощутимый эффект;🔵с какими ограничениями и рисками сталкиваются команды;🔵какие ошибки допускают на проекта…

Fine Day Online 2026 — ежегодная онлайн-конференция про BI22 апреля | 15:00 МСК | ОнлайнДанные есть — чуда нет. Дашборды построены, хранилища заполнены, а бизнес по-прежнему принимает решения «на ощущениях».GlowByte и FanRuan собрали практиков, которые с этим справились — и готовы рассказать как.Программа:🔵От сбора данных к ИИ-инсайтам Вилл Ченг, FanRuan🔵Интеграция FanRuan + дата-каталог DataHub Дмитрий Конюхов, Галамарт🔵Как сделать 1 500 дашбордов удобными и востребованными для 2 500 пользователей и 200 разработчиков Семён Юников, Уралсиб🔵«Теневое» хранилище данных: побочный эффект аналитики самообслуживания Пётр Гордиенко, ОТП🔵Миграция FineBI 6.0 → 7.0: грабли и выводы Евгений Иванов, ОТП…

Хэй, ребята, Коля на связи 🙂 Планирую дать вам немного апдейтов от первого лица в ближайших постах.Главное: Valiotti Analytics — все. Теперь вместо нее Valiotti Data. К этой трансформации мы шли 7 лет, и причин у нее несколько. Первая: мир сильно изменился. Последний год мы в агентстве чувствовали, что стагнируем, вся сфера аналитики коммодитизируется, а стоимость услуг падает. После бума курсов появилось огромное количество новых кадров, а мы получили перегретый рынок. Нашими основными рынками всегда были США и Европа, но на них сейчас царит жесткая конкуренция с кандидатами из постсоветского пространства и азиатских регионов. Они за работу просят меньше, чем мы, и, соответственно, борьбу …

Как ИИ меняет аналитикуНет, речь не про то, как он отнимает у кого-нибудь работу. Ксения Бокша из OneData VK поделилась наблюдениями о том, как сейчас развивается дата-сфера. Сегодня выделяются 4 крупных тренда:🔵Демократизация аналитики. Знать SQL, чтобы залезть в БД за выгрузкой, больше необязательно — теперь вопрос решается через отправку запроса на естественном языке к ИИ.🔵Автоматизация процессов и избавление от рутины, за которые компании платят растущими рисками. Хотя ИИ снимает нагрузку с сотрудников, растет риск ошибок из-за галлюцинаций, которыми искусственный интеллект до сих пор грешит. 🔵Централизация дата-инфраструкутры. ИИ с децентрализованными системами не дружит: для обучения …

Что еще умеет SQLiteРаз уж заговорили про эту СУБД в прошлом посте, давайте посмотрим, как еще интересные функции и возможности у нее есть, о которых кто-то может не знать.Нашли подборку примеров. Кроме уже знакомого WAL, там упомянуты: 🔵Работа с файлами JSON: SQLite умеет хранить их прямо в таблицах и отправлять к ним запросы. 🔵Полнотекстовый поиск с с ранжированием, поиском по фразе или части слова — для этого понадобится расширение FTS5. 🔵Обработка сложных аналитических запросов с применением оконных функций и общих табличных выражений.🔵«Строгие» таблицы, как в PostgreSQL и других классических СУБД. — их добавили в дополнение к динамической типизации, которой известна SQLite.🔵Виртуальные…

Как по всему GPT расползись гоблиныВ общем, у чатагпт есть разные настройки личности. Одна из таких личностей — это «Nerdy». По-нашему, ботан. Модель в этом режиме становится излишне занудной, но при этом такой а ля глубокой и игривой. Её ключевая фишка в том, чтобы пользователь посмотрел на мир с немного странноватой и несерьезной точки зренияКогда обучают модели, то используют разметку — либо автоматическую, либо ручную. Как оказалось, на этапе разметки датасета для личности «Nerdy» хорошие оценки ставили таким ответам, в которых есть какие-то фантастические твари типа гоблинов, единорогов и троллей. Это не то, чтобы специально произошло, то есть в инструкции не было явно указано: если от…

Отличная возможность ворваться в аналитику уже в 2026 годуРебята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг!Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции.Курс-симулятор «Аналитик данных» от SimulativeЧто внутри:➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только;➖Практика на реальных кейсах, которые помогут нарастить ваше портфолио;➖Свободный формат, можно легко совмещать с другой учебой или …

АНА’26: конференция о продуктовой аналитике, искусственном интеллекте и масштабировании цифровых продуктов22 мая в Москве в седьмой раз пройдет АНА — техническая конференция для специалистов, работающих с AI, ML-инженеров, а также продуктовых и data-команд. Участники обсудят подходы к созданию AI-first решений и практики, которые помогают быстрее проверять гипотезы, масштабировать внедрение и оптимизировать процессы без роста издержек.Программа АНА’26 охватывает полный цикл data- и AI-разработки: от MLOps до внедрения LLM в продуктовые сценарии. Отдельные треки посвящены AI-агентам и развитию архитектуры.Среди ключевых тем:R&D и экономика масштабирования продуктовМетоды системного снижения …

Работа аналитика - уже не только про цифры!Это про умение принимать решения быстрее других.В 2026 году выигрывают не те, кто знает больше инструментов, а те, кто понимает, что именно нужно рынку прямо сейчас.Если вы:🟠застряли в обучении и не понимаете, что учить дальше🟠откликаетесь на вакансии, но не получаете ответ🟠хотите в айти, но думаете, что «уже поздно что-то менять»Приглашаем вас бесплатный вебинар, где Андрон Алексанян (CEO Simulative) разложит по полочкам, как на самом деле устроен вход в аналитику сегодня! Андрон ответит на вопросы: ➖почему классические “роадмапы” больше не работают➖как собрать портфолио, которое действительно смотрят➖какие кандидаты получают офферы, даже уступая …

Перейдите на следующий уровень: станьте дата-сайентистом уже в 2026!Хотите развиваться в Data Science, но столкнулись с трудностями самостоятельного изучения? У вас есть возможность обучиться с нуля и освоить новую профессию уже в этом году! Data Science - одна из самых востребованных и высокооплачиваемых сфер в IT. И сейчас - лучшее время, чтобы войти в профессию. Главный плюс Data Science в том, что он совмещает в себе навыки сразу нескольких направлений: аналитика, инженерия и данных и даже машинное обучение. Всего за 8 месяцев вы:➖Освоите полный стек инструментов: SQL, Python, Pandas, Docker, Airflow и ETL-пайплайны➖Разберётесь в ML и DL: от регрессии и кластеризации до нейросетей, NLP …

Эйчары больше не спрашивают, владеете ли вы ИИИспользование ИИ-инструментов стало базовым навыком любого сотрудника, независимо от сферы деятельности. Не умеешь? До свидания. Крупные компании на наших глазах массово сокращают штат. Пинтерест, Амазон и многие наши корпорации заменяют старые позиции на новые, а многие рутинные задачи уже выполняются ИИ-агентами. С чего начать, и как обучить ИИ-инструментам своих сотрудников? Не нужно бесконечно листать новости и тестить приложения очередных стартапов. Многие ответы уже собраны в одном месте — в книге «Синергия интеллектов. Как внедрить ИИ в бизнес-процессы». Здесь описаны крупнейшие ИИ-инструменты, которые доказали свою эффективно не просто в…

⚡️Чем занимается аналитик и как получить оффер в 2026 году?Переживаете, что рынок труда нестабилен? Хотите ворваться в аналитику, но не знаете как гарантировать себе трудоустройство? Все эти переживания уходят, если вы уверены в правильности своих действий, уверены в своих компетенциях, резюме и портфолио. Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Кстати на вебинаре разберут и то как стать аналитиком в 30/40/50 и более лет.На вебинаре будет:🟠Разберем полный роадмап: что учить, в каком порядке, до как…

Сколько времени обычно уходит на сборку полноценной data-архитектуры? Дни, недели или даже месяцы? 2 апреля команда Yandex Cloud покажет, как развернуть Lakehouse по клику и получить рабочую аналитическую архитектуру без долгой интеграции разрозненных инструментов.В основе — единый стек:raw-данные в Object Storage (S3);табличный слой на Iceberg;обработка через Trino и Spark;интерактив — витрины в ClickHouse и BI.✅ Зачем приходить— Поймёте, как выглядит целевая архитектура «от данных до BI» и как собрать её без лишней ручной интеграции— Получите практические ответы «как делать правильно»: Iceberg, ingestion, метаданные и доступы— Услышите опыт крупного бизнеса: где «чистый Lakehouse» достато…

📝 Курс от OTUS: «Администрирование PostgreSQL. Экспертный уровень» — продвинутое погружение в работу с базой данных PostgreSQL в любых средах.Освойте управление PostgreSQL на экспертном уровне: от настройки локальной инфраструктуры до развёртывания высокодоступных кластеров в облаках и Kubernetes. Научитесь автоматизировать процессы, оптимизировать производительность и экономить ресурсы — без лишних сервисов и избыточных затрат.🔥 Приглашаем на серию из 2 бесплатных вебинаров курса — для DevOps‑инженеров, SRE, архитекторов данных, администраторов БД и разработчиков, которые хотят выйти на новый уровень владения PostgreSQL. 🔧💾 📅 26 марта в 20:00 МСК: «Путешествие запроса в PostgreSQL: от разб…

Боремся с деградацией: системный подход к оптимизации баз данных ⚙️В крупных корпоративных системах деградация СУБД редко происходит внезапно. Сначала замедляются регламентные процедуры, затем растет нагрузка, появляются блокировки, проседает SLA — и команда начинает работать в режиме постоянного реагирования.📆 17 марта в 11:00 (онлайн) приглашаем на бесплатный вебинар «Боремся с деградацией: системный подход к оптимизации баз данных», где подробно разберем работу и оптимизацию MSSQL.👨‍💻 Спикер: Руслан Абдуллин — архитектор БД и интеграции, разработчик Lasmart. Практик аудитов и оптимизации MSSQL для Hoff Tech, «Аптечная сеть 36,6» и ГК «ЭркаФарм».В программе вебинара:— почему MSSQL дегради…

— Пингвин, ты куда? — Мигрирую с Data Warehouse на Lakehouse без чек-листа от Cloud.ru.— Но почему?Не будьте пингвином-нигилистом: переезжать с DWH на Lakehouse нужно по плану, а еще лучше — по чек-листу. Команда Cloud.ru как раз собрала подробную инструкцию, которая поможет:▶️Провести аудит текущего хранилища и ETL-процессов.▶️Перейти на Lakehouse без простоев, расхождений и потери доверия бизнеса.▶️Сделать данные надежной основой для аналитики и отчетности с помощью Data Quality, Metadata и Lineage.▶️Спроектировать стабильную Medallion-архитектуру с прозрачными слоями.В чек-листе 15 шагов. На каждом — типовая проблема при миграции + технические рекомендации от инженеров данных, с примерам…

От цифр к стратегии: как использовать ИИ для глубокой аналитикиСегодня почти в каждой команде есть цифры, отчеты и дашборды, и это уже база. Но все интересное начинается в момент, когда из этих данных рождаются идеи, гипотезы и понятные решения для бизнеса.О том, как с помощью ИИ сделать аналитику более глубокой и направленной на развитие бизнеса, расскажут на вебинаре «Как превратить данные в стратегию: используем ИИ для генерации бизнес-гипотез и инсайтов» от karpovꓸcourses.Вы узнаете, как превращать данные в стратегические решения, как избавляться от рутины и углублять инсайты, как выстроить более эффективную работу с цифрами и повысить свою ценность как специалиста благодаря ИИ-инструме…

AI-каталогизация: как автоматизировать описание данных?Чем больше данных накапливает компания, тем сложнее в них разобраться.Либо описание БД и BI формируется вручную и требует больших ресурсов команды, либо его просто нет, потому что отложили “на потом”.В обоих случаях поиск данных и понимание взаимосвязей начинает зависеть от отдельных специалистов.DataDesc AI решает эту проблему как ИИ-слой знаний поверх БД и BI. Решение автоматически:⚙️создаёт бизнес-описания объектов хранилища⚙️объясняет SQL простым языком⚙️строит lineage⚙️описывает BI-дашборды. Документация всегда будет актуальной. Переложите эту рутину на AI. 30 минут и у вас готово то, на что команда потратила бы несколько месяцев. …

Авито ищет будущих аналитиков данных и ВІ-разработчиковЗапускаем Avito Analyst Bootcamp 2026 — годовую программу, где вы сможете вырасти от стажёра до уверенного мидла 🚀Что такое Avito Analyst Bootcamp?Это ваш шанс погрузиться в мир больших данных, решать реальные бизнес-задачи под руководством экспертов Авито и проходить дополнительное обучение от Академии Аналитиков Авито.В каком направлении будете развиваться?➡️ Продуктовая аналитика: А/В-тестирование, воронки, логирование, анализ гипотез.➡️ ВІ-разработка: дашборды, пайплайны, метрики.Почему стоит участвовать?➡️ Карьерный рост по чёткому плану — с контрольными точками и прозрачными критериями.➡️ Сильное комьюнити — общение, обмен опы…

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

Channel created

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их вместе.⌘ зачем вообще нужно код-ревью+ это вторая пара глаз с иным контекстом и уровнем погружения: автор и ревьюер смотрят на код в разных когнитивных режимах → ловятся разные ошибки+ передача знаний в рамках команды: «применяем вот такие паттерны, а вот так не делаем» → в среднем качестве кода постепенно улучшается+ барьер против энтропии и деградации кодовой базы: без должного присмотра любой проект постепенно превращается в трудно подд…

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

Представьте, что вы достаёте телефон и видите новое уведомление. Собеседник в мессенджере спрашивает, как у вас дела, делится планами, шутит. Вы переписываетесь каждый день, иногда по несколько часов. А теперь представьте, что этот собеседник — не человек, а ИИ-компаньон, который настроен идеально под ваши потребности. Если вас это удивляет, вот ещё один факт: у сервисов с такими ботами уже миллионы пользователей и их популярность растёт. Как создаются эмоциональные ИИ-компаньоны? Какой персонаж среди них — звезда? И как работает эта индустрия? Самат Галимов говорит с Артёмом Родичевым, основателем платформы Ex-human.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjejvUn6Selectel — независи…

Искусственного интеллекта в нашей жизни станет только больше. При этом значительная часть вычислительных мощностей для него сосредоточена в руках нескольких крупных американских корпораций — Google, Microsoft, Amazon. Братья Даниил и Давид Либерманы считают, что такая централизация опасна, и строят альтернативную распределенную сеть по опыту Bitcoin. Этот эпизод — о борьбе с монополией на ИИ, мире с AGI и обществе изобилияРеклама. Рекламодатель АО «Селектел». erid: 2SDnjebM1xvSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/wkkak ⚡️ У этого выпуска есть видеоверсия!…

Управление компьютером силой мысли — не научная фантастика. Лаборатории и стартапы по всему миру давно проводят эксперименты и разрабатывают интерфейсы, которые позволят миллионам людей пользоваться технологиями, минуя физические действия. Один из самых громких проектов в этой области — Neuralink Илона Маска; его пациентам вживляют датчики для считывания сигналов прямо в мозг. В этом выпуске кандидат биологических наук и руководитель группы нейрокогнитивных интерфейсов Сергей Шишкин рассказывает, как декодировать работу мозга, можно ли обойтись без инвазивных хирургических операций и на что способны нейротехнологии сегодня.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcR4GznSelectel — не…

Можно ли «подкрутить» себе настройки здоровья? Существует ли ген алкоголизма? Как читают и редактируют ДНК? Самат Галимов говорит с Михаилом Гельфандом — одним из главных биоинформатиков России — о том, что умеет современная генетика, и разбирает популярные мифы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjc2ro9kSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для масштабных задач: https://slc.tl/j2698 Телеграм-канал Михаила Гельфанда: https://t.me/mikhail_s_gelfand Рекомендации Михаила:Александр Панчин «Сумма биотехнологии»Александр Марков «Рождение сложности. Эволюционная биология сегодня» Евгений Кунин «Логика случая. О природе и происхо…

Почему нам хочется увидеть в искусственном интеллекте собеседника? Как нейросети контролируют ход диалога? И что из-за них меняется в человеческом общении? Культуролог и исследовательница цифровой среды Оксана Мороз объясняет, как общение с искусственным интеллектом влияет на нас.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdNBa9xSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/fmodg⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать в…

Как искать работу в 2026? Короткий ответ: непросто! Вместе с основательницей агентства NEWHR Кирой Кузьменко разбираемся, как меняется найм с ИИ, и проходим весь путь от поиска вакансии до переговоров о зарплате. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjd2g7CDSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/vxev6 Агентство Киры: NEWHR.orgКанал Киры: https://t.me/kirafoundКурс про поиск работы: HelloNewJob.orgСлушайте бонусные выпуски «Запуска завтра» и других подкастов студии «Либо/Либо» по подписке Либо/Либо+ в Telegram: https://cutt.ly/zap0225epap и в Apple Podcasts https://cutt.ly/zap0225…

Раздражает, что выдача в Google замусорена рекламой и нерелевантными ссылками? Вместе с фактчекером Павлом Банниковым разбираемся, почему испортился поиск, что помогает гуглить эффективно и как правильно искать с нейросетями.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdEyrEdSelectel — Selectel — независимый провайдер, который поможет построить надежную и гибкую инфраструктуру для проектов разной сложности: https://slc.tl/cxf73 Телеграм-канал Павла: https://t.me/pavelbannikovПроекты журналиста-расследователя Хэнка ван Эсса: https://www.digitaldigging.org⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/0vp_239OXdw. Будем очень благодарны вам за подписку на …

Да, это выпуск про ванну со льдом, медитации и сауну после работы! Андрей Дороничев — один из создателей мобильного приложения YouTube — рассказывает, что делают технари в Долине, чтобы улучшить здоровье и продуктивность. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdTcQAmSelectel — провайдер IT-инфраструктуры для ИИ-проектов. Серверы с видеокартами и другие продукты для вашего бизнеса: https://slc.tl/lejz5 Андрей Дороничев: https://www.instagram.com/dobry?igsh=aHByNmFtMXpsb2dz⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/k9ahY12o3ZA Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать видеоверсию и дальше!С…

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Reverting the incremental GC in Python 3.14 and 3.15 — https://discuss.python.org/t/reverting-the-incremental-gc-in-python-3-14-and-3-15/107014 PEP 772 – Packaging Council governance process — https://peps.python.org/pep-0772/ What's new in pip 26.1 - lockfiles and dependency cooldowns — https://ichard26.github.io/blog/2026/04/whats-new-in-pip-26.1/ PyPI Security Best Practices — https://github.com/lirantal/pypi-security-best-practices Еще один package manager - pixi — https://codecut.ai/uv-pixi-…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Python 3.15’s JIT is now back on track — https://fidget-spinner.github.io/posts/jit-on-track.html OpenAI покупает Astral — https://openai.com/index/openai-to-acquire-astral/ JazzBand закрывается — https://jazzband.co/news/2026/03/14/sunsetting-jazzband Первый публичный релиз Django Modern Rest — https://github.com/wemake-services/django-modern-rest/releases/tag/0.1.0 Defense in Depth: A Practical Guide to Python Supply Chain Security — https://bernat.tech/posts/securing-python-supply-chain/ The S…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

В ряду выпусков про фреймворки пополнение! Разбираемся, правда ли в Django есть все, что нужно для типичного веб-сервиса, и правда ли это лучший выбор для перфекционистов с дедлайнами! А помогает нам Артем Малышев. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Сайт Django

https://www.djangoproject.com/

В этом выпуске вместе с Витой Степановой разбираемся, что такое старение с точки зрения биологии, где сегодня находится наука и какими технологиями уже можно воспользоваться. Обсудили, какие направления в индустрии сейчас выглядят наиболее перспективными и чем занимаются компании вроде Gero и Insilico. Отдельно, конечно, поговорили о роли AI, данных и носимых устройств — и о том, где за этим стоят реальные возможности. И напоследок — о женском здоровье как одном из ключевых направлений в теме долголетия! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com…

Никита Поваров, principal analyst в JetBrains, пришёл, чтобы рассказать об одной из самых коварных ловушек в работе с данными: мы привыкли видеть корреляции, но совершенно не умеем доказывать причинность. А разница между "связано" и "вызывает" – это разница между правильным решением и красивой иллюзией. В выпуске прошли по истории вопроса от Гальтона и Фишера до современных каузальных графов: почему исторически статистика и каузальность шли разными путями и как они всё-таки сошлись. Разбираем d-сепарацию, конфаундеры, медиаторы и строим каузальные графы на конкретных примерах из A/B тестирования, медицины и продуктовой аналитики. Выпуск для всех, кто работает с данными и хочет не просто нах…

Антон Полухин – член комитета по стандартизации C++, что делает его одним из тех людей, кто решает, каким будет C++ в будущем. При этом Антон пишет на C++ высоконагруженный код каждый день в техплатформе городских сервисов Яндекса. Еще он – создатель и активный ментейнер многих библиотек Boost, и автор книги «Boost C++ Application Development Cookbook». C++ пинают все кому не лень – от госдепа США до российских студентов, которые со страхом вспоминают лабы на нем. При этом язык по-прежнему живет везде: системное программирование, игровые движки, финтех, embedded, браузеры. Почему так? Почему у него такая репутация, откуда взялось столько плохого кода, и чем вообще виноваты шаблоны C++? Вмес…

Случайные числа нужны почти в каждой программе. Для программиста все выглядит очень просто – достаточно вызова функции стандартной библиотеки. А под капотом там происходит очень много интересного! Чтобы разобраться в том, как генерируются хорошие случайные числа, мы позвали Евгения Додиса, профессора университета Нью-Йорка, который во многом определил, как выглядят и работают современные генераторы случайных чисел, и участвовал в их дизайне для Linux, Apple и Windows. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https…

Многие думают, что Vim давно уже не актуален и остался мемом и игрушкой для гиков. В выпуске мы обсудили, зачем можно его использовать в современном мире, когда вокруг куча IDE и текстовых редакторов, что из себя представляет осовремененная версия под именем NeoVim и почему она до сих пор актуальна и остается для многих разработчиков способом собрать персональную среду разработки под свой реальный рабочий процесс. Поговорили, в чем принципиальные архитектурные отличия NeoVim от других, почему его сила не только в плагинах, а в самой модели взаимодействия с текстом, как сегодня устроен современный стек с Lua, LSP и Tree-sitter, и с чего начать, если давно хотелось попробовать NeoVim не как э…

Flutter давно стал мейнстримной кросс-платформой и заметным игроком в мобильной разработке: его ценят за быструю разработку и хороший тулинг, в частности hot reload.

Марк Абраменко, бывший Head of Flutter в Surf и мобильный инженер Rhino, разобрал ключевые темы: Impeller и миф о лагах на iOS, ограничения Dart для сложной логики и реальность «одной кодовой базы» для desktop, web и mobile. Конечно же, не могли обойти тему написания кода на Flutter с помощью AI-агентов. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https:…

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели. Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: w…

Переезд в другую страну часто выглядит как выбор между «по зову сердца» и «по таблице в Notion», но на практике успешная релокация почти всегда требует и того, и другого. Это не только выбор визы и билетов, но и большой жизненный проект, требующий принятия десятков решений. В этом выпуске вместе с Василием Юренковым – создателем проекта Greener Relocation, мы обсудили, как понять свои реальные критерии выбора нового места и о чём важно подумать заранее. А ещё поговорили о том, как составить реалистичный роадмап релокации, рассчитать бюджет и не сломаться в процессе, когда заканчиваются силы, расходятся ожидания и растёт стресс. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и…

Мы редко задумываемся о том, как вообще управляем окнами. Alt-Tab, мышка, перетаскивание, сворачивание – как-то работает и ладно. Но если присмотреться, это один из самых недоосмысленных инструментов в нашей ежедневной работе. Мы проводим за экраном по 8 часов в день, переключаемся между задачами, проектами, контекстами – и при этом живём в модели, которую даже не выбирали. В этом выпуске мы решили поговорить об оконных менеджерах и том, что стоит за терминами stacking, tiling, workspaces. Обсудили ментальную модель управления экраном, контроль, снижение хаоса и то, как меняется ощущение от работы, когда вы перестаёте случайно двигать окна мышкой. Разобрались, чем тайлинг отличается от стек…

OCaml – уникальный язык и по своему историческому значению, и по фичам. Он сильно повлиял практически на все современные языки, на нем до сих пор написаны многие из их компиляторов, и одновременно с этим он считается идеальным входом для новичков в мир функционального программирования. А погружаемся в этот язык мы вместе с Павлом Аргентовым, программистом из Evrone, который страстно любит OCaml и пишет на нем очень много кода. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в в…

Хэш-таблицы – одна из самых элегантных структур данных: простая на поверхности и бесконечно глубокая внутри. Андрей Аксенов, автор поискового движка Sphinx, разбирает их устройство от фундамента до тонкостей реализации. В выпуске обсуждаем два подхода к разрешению коллизий: Open addressing и Buckets, выбор хэш-функций для разных задач, развенчиваем популярные мифы вроде "load factor больше 0.5 – это смерть". Разбираемся, нужны ли криптографические хэш-функции, когда имеет смысл писать свою хэш-таблицу и почему скорость хэш-функции не всегда благо. Выпуск для тех, кто хочет понимать, что происходит под капотом стандартных коллекций, и для тех, кто задумывается о собственных реализациях. Такж…

Программисты — одна из самых уязвимых групп по боли в спине и шее. Причина не только в сидячей работе, но и в длительной неподвижности, высокой концентрации и редких перерывах. В этом выпуске обсуждаем, что происходит с позвоночником при долгом сидении, как снизить риск протрузий и грыж и что делать, если они всё-таки появились, и когда это действительно опасно. Также разбираемся, можно ли избежать проблем со спиной, купив специальное кресло или standing desk, действительно ли помогает массаж, на все ли вопросы можно ответить с помощью МРТ, и собираем простой чек-лист, за чем следить, чтобы ходить к врачам как можно реже. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Про СДВГ (синдром дефицита внимания и гиперактивности) сегодня говорят много и громко. В соцсетях он превращается то в универсальное объяснение всех проблем, то в модный ярлык, то в повод для шуток. Поэтому в этом выпуске мы решили поговорить о СДВГ с консультантом по корпоративному ментальному здоровью Натальей Кисельниковой, которая плотно работает с этим и рассматривает через науку и свой опыт, а не призму трендов. Обсудили, что вообще считается СДВГ сегодня, как выглядит корректная диагностика и каким образом работать с поставленным диагнозом. Отдельно порассуждали о том, почему в IT-сфере много людей с СДВГ и как этот синдром может быть одновременно преимуществом и серьезным вызовом дл…

Екатерина Кухтенко — фаундер стартапа VAir. VAir позволяет точно детектировать ряд вирусов в дыхании пациента. 11 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Сегодня делаем обзор книги Говарда Тёрмана Книга: https://en.wikipedia.org/wiki/Jesus_and_the_Disinherited "Бродский" о доставке: https://www.instagram.com/reel/DXPziC8DH_0/ Свежий сабстак: https://caput.substack.com/p/it-is-not-your-ai Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

👉 YouTube-канал «Запуск завтра»: https://youtube.com/@launchtomorrow «Запуск завтра» на аудиоплатформах: https://pc.st/1488945593Выпуск с Андреем Дороничевым про биохакинг в Кремниевой долине: https://youtu.be/k9ahY12o3ZAВыпуск с Кирой Кузьменко про влияние ИИ на рынок труда: https://youtu.be/FOvyhYGDUDc

Topics include profiling-explorer, Reverting the incremental GC in Python 3.14 and 3.15, , and django freeze.

Topics include Django Modern Rest, , Cutting Python Web App Memory Over 31%, and tryke - A Rust-based Ptyhon test runner with a Jest-style API.

Topics include Migrating from mypy to ty: Lessons from FastAPI, Oxyde ORM, Typeshedded CPython docs, and Raw+DC Database Pattern: A Retrospective.

Topics include Lock the Ghost, Fence for Sandboxing, MALUS: Liberate Open Source, and Harden your GitHub Actions Workflows with zizmor, dependency pinning, and dependency cooldowns.

Topics include Starlette 1.0.0, Astral to join OpenAI, , and Fire and forget (or never) with Python’s asyncio.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include Setting up a Python monorepo with uv workspaces, cattrs, Learning to program in the AI age, and VS Code extension.

Topics include Raw+DC: The ORM pattern of 2026, pytest-check releases, Dataclass Wizard, and SQLiteo.

Topics include Better Python tests with inline-snapshot, jolt Battery intelligence for your laptop, Markdown code formatting with ruff, and act - run your GitHub actions locally.

Topics include Command Book App, uvx.sh: Install Python tools without uv or Python, Ending 15 years of subprocess polling, and.

Topics include django-bolt: Faster than FastAPI, but with Django ORM, Django Admin, and Django packages, pyleak, , and Datastar.

Topics include GreyNoise IP Check, tprof: a targeting profiler, and TOAD is out.

Topics include , PSF Lands a $1.5 million sponsorship from Anthropic, How uv got so fast, and PyView Web Framework.

Open source software underpins nearly every modern application, including frameworks powering the most popular websites, to the libraries securing financial backend systems. However, while open source drives collaboration and innovation at a global scale, it also faces deep challenges in sustainability, community health, and long-term maintenance. Many of the world’s most critical dependencies are still

The post Open Source Sustainability appeared first on Software Engineering Daily.

Vector search has risen to become a foundational tool in modern search and retrieval systems, including the RAG pipelines that power many AI applications. However, the demands on retrieval systems are growing more sophisticated, which is revealing the limits of relying on a single vector similarity score. Vespa is a popular open source search and

The post Vespa AI and Surpassing the Limits of Vector Search appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Anthropic’s controversial “Mythos” security model and what it means for vulnerability discovery at scale. They also discuss recent layoffs

The post SED News: Anthropic’s Mythos, Supply Chain Hacks, and the AI Spending Surge appeared first on Software Engineering Daily.

AI coding tools have dramatically accelerated the pace of development, and the bottleneck in the software development lifecycle has shifted to code validation and testing. However, the conventional tools and workflows that QA teams have relied on were not designed for a world where a single engineer can generate thousands of lines of code in

The post SmartBear and Multi-Agent QA appeared first on Software Engineering Daily.

Artificial intelligence is transforming warfare faster than the legal and ethical frameworks designed to govern it. Militaries around the world are deploying AI-powered decision support systems to identify targets, assess proportionality, and direct weapons. The gap between what is technically possible and what international law can effectively regulate is widening by the day. Yuval Shany

The post The Ethics of Autonomous Weapons Systems appeared first on Software Engineering Daily.

Open-weight models are AI systems whose trained parameters are publicly released, which allows developers to run, fine-tune, and deploy them independently rather than accessing them only through a hosted API. While closed-weight models from companies like OpenAI or Anthropic are delivered as managed services, open-weight models give organizations direct control over how the models are

The post Open-Weight AI Models appeared first on Software Engineering Daily.

AI coding tools have gone from novelty to core infrastructure in under three years. Today, many devs use AI daily, a substantial share of new code is AI-generated, and expectations for automation are rapidly increasing. Sonar is a company specializing in analysis of code quality and security, and they recently released a new survey –

The post Hype and Reality of the AI Coding Shift appeared first on Software Engineering Daily.

AI agents are increasingly capable of reasoning and performing autonomous work over long periods. However, as agents take on more complex, longer-horizon tasks, keeping them supplied with the right information becomes the core engineering challenge. The industry is moving away from pre-loading context upfront toward a model where agents dynamically navigate and retrieve the data

The post Unlocking the Data Layer for Agentic AI with Simba Khadder appeared first on Software Engineering Daily.

AI agents are evolving from individual productivity tools into distributed systems components inside enterprises. The next frontier is coming into focus, and it involves large-scale ecosystems of collaborating agents embedded directly into business processes. However, multi-agent architectures introduce serious challenges around orchestration, state management, trust, governance, and observability. Eric Broda is a veteran of the

The post Agentic Mesh with Eric Broda appeared first on Software Engineering Daily.

Observability emerged from the need to understand complex software systems, and involves tracking metrics, logs, and traces so engineers can detect and diagnose problems before they affect users. However, modern applications often encompass hundreds of services, containers, and dependencies, generating more observability data than dashboards and alerts alone can effectively surface. New Relic is a

The post New Relic and Agentic DevOps with Nic Benders appeared first on Software Engineering Daily.

Mobile apps have become a primary interface for critical services, including banking, payments, and healthcare. Unlike web applications, much of the logic and intellectual property in a mobile app lives directly on the user’s device, which is an environment the developer doesn’t control. That makes mobile apps uniquely exposed to reverse engineering, runtime manipulation, and

The post Mobile App Security with Ryan Lloyd appeared first on Software Engineering Daily.

The Model Context Protocol, or MCP, gives developers a common way to expose tools, data, and capabilities to large language models, and it has quickly become an important standard in agentic AI. FastMCP is an open source project stewarded by the team at Prefect, which is an orchestration platform for AI and data workflows. The

The post FastMCP with Adam Azzam and Jeremiah Lowin appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the resurgence of ARM and CPUs as serious compute infrastructure for running local AI agents, a supply chain attack

The post SED News: OpenCode, AI Code vs. Shipped Code, and the LiteLLM Breach appeared first on Software Engineering Daily.

FreeBSD is one of the longest-running and most influential open-source operating systems in the world. It was born from the Berkeley Software Distribution in the early 1990s, it has powered everything from high-performance networking infrastructure to game consoles and content delivery networks. Over three decades, it has evolved through major architectural shifts, from symmetric multiprocessing

The post FreeBSD with John Baldwin appeared first on Software Engineering Daily.

Modern cloud-native systems are built on highly dynamic, distributed infrastructure where containers spin up and down constantly, services communicate across clusters, and traditional networking assumptions break down. Linux networking was designed decades ago around static IPs and linear rule processing, which makes it increasingly difficult to achieve scale in Kubernetes environments. At the same time,

The post Cilium, eBPF, and Modern Kubernetes Networking with Bill Mulligan appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

 ❄                ❄                ❄                ❄                ❄Back at my deskThere’s been a bunch of questions about the article on Structured-Prompt-Driven Development (SPDD) that the authors answered in a Q&A section.

 ❄                ❄                ❄                ❄                ❄In some strange way I injured my elbow last week.

 ❄                ❄                ❄                ❄                ❄James Pritchard thinks that many developers are over-u…

A striking element of his approach is insisting that the LLM ask only one question at a time.

Another way to use an interrogatory LLM is to give it a document, such as a software specification, that captures knowledge about a domain - and then ask the LLM to interview a human expert to determine if the document is accurate.

Naturally we can use both of these, using one interrogatory LLM to build a document, then using other interrogatory LLMs to review it with other experts.

The above is getting an LLM to create or assess context for a particular use of an LLM.

Maybe such people would find it easier to ask an LLM to interview them than to write a document themselves.

This forces a deeper question: If producing code becomes cheaper, what remains valuable about code?

Two Aspects of Code Code has always served two distinct but intertwined purposes.

Vocabulary in Code A well designed codebase is a representation of a certain vocabulary.

When we are doing web development for the retail domain, the code contains concepts that map retail domain to web domain.

Code as a shared Conceptual Model As we discussed in Designing Abstractions with LLMs, writing code has two deeply interwoven activities: discovering and applying abstractions.

 ❄                ❄                ❄                ❄                ❄This is also a good point to note that the article by my colleagues Wei Zhang and Jessie Jie Xia on Structured-Prompt-Driven Development (SPDD) has generated an enormous amount of traffic, and quite a few questions.

 ❄                ❄                ❄                ❄                ❄Jessica Kerr (Jessitron) posted a merry tidbit of building a tool to work with conversation logs.

 ❄                ❄                ❄          …

After it was done he penned his thoughts in the book The Mythical Man-Month which became one of the most influential books on software development after its publication in 1975.

Perhaps my most enduring lesson from this book is the importance of conceptual integrityI will contend that conceptual integrity is the most important consideration in system design.

He argues that conceptual integrity comes from both simplicity and straightforwardness - the latter being how easily we can compose elements.

This point of view has been a strong influence upon my career, the pursuit of conceptual integrity underpins much of my work.

The anniversary edition of this book is the one to get, because it als…

 ❄                ❄                ❄                ❄                ❄Early this month Birgitta Böckeler wrote a superb article on Harness Engineering.

 ❄                ❄                ❄                ❄                ❄Adam Tornhill considers an age-old question: how long should a function be?

 ❄                ❄                ❄                ❄                ❄Many folks in my feeds recommended Nilay Patel’s post on Why People Hate AI.

 ❄          …

That led our Thoughtworks internal IT teams (Global IT Services) to a method and workflow we now call Structured Prompt-Driven Development (SPDD).

It introduces split billing, where prompt tokens and completion tokens are charged separately at different rates depending on the model used.

Premium Plan billing: A customer submits 10K prompt tokens + 20K completion tokens for reasoning-model (prompt $0.03/1K, completion $0.06/1K).

Generate the initial test prompt We begin by combining the implementation details with our standardized testing template to generate a baseline test prompt.

Deduplicate and refine scenarios After generating the initial structured test prompt, some of the proposed tes…

Martin Fowler: 21 Apr 2026Last week Thoughtworks released the 34th volume of our Technology Radar.

 ❄                ❄                ❄                ❄                ❄Mike Mason looks what happens when developers aren’t reading the code.

As well as the experience of “a friend”, he ponders the 500,000 lines of Claude Code after the leak.

 ❄                ❄                ❄                ❄                ❄Dan Davies poses an annoying philosophy thought experiment for us to consider how we feel about LLMs indulging in ghost writing.

 â…

Martin Fowler: 14 Apr 2026I attended the first Pragmatic Summit early this year, and while there host Gergely Orosz interviewed Kent Beck and myself on stage.

 ❄                ❄                ❄                ❄                ❄Perl is a language I used a little, but never loved.

) — to develop the powerful abstractions that then allow us to do much more, much more easily.

 ❄                ❄                ❄                ❄                ❄Jessica Kerr (Jessitron) has a simple example of applying the principle of Test-Driven Developme…

Martin Fowler: 11 Apr 2026Last night I saw Central Square Theater’s excellent production of Breaking the Code.

It’s about Alan Turing, who made a monumental contribution to both my profession and the fate of free democracies.

Well worth seeing if you’re in the Boston area this month.

But the problem with fragments, however valuable, is that they don’t provide a cohesive overview of the situation.

There’s also an informative insight into Uber’s use of microservices (they had 5000 of them), and the way high-growth software necessarily gets rewritten a lot (a phenomenon I dubbed Sacrificial Architecture) ❄                ❄                ❄                ❄                ❄Axios published their post-mortem on their recent supply chain compromise.

 ❄                ❄                ❄                ❄                ❄I rec…

I propose a structured feedback practice that harvests learnings from AI sessions and feeds them back into the team's shared artifacts, turning individual experience into collective improvement.

That is the flywheel: each rotation of the loop leaves the infrastructure a little better prepared for the next.

Four Types of Signal AI interactions generate signal: information about what the team's artifacts capture well and what they miss.

Every “no, we do it this way” is a line that belongs in the priming document but is not there yet.

Instruction signal.

This practice can be distilled into a set of everyday principles: Predictable memory access, awareness of cache lines, the single-writer principle, and natural batching.

Back in 2011, a high-frequency trading engineer named Martin Thompson noticed these issues, attributing them to a lack of Mechanical Sympathy.

In this article, I cover the principles of mechanical sympathy I use every day to create systems like these - principles that can be applied most anywhere, at any scale.

Not-So-Random Memory Access Mechanical sympathy starts with understanding how CPUs store, access, and share memory.

which is even larger than the L1 cache, and is used as a sort of buffer between the L1 and L3 caches.

The three interact with each other, and the article outlines some general activities teams should do to keep it all under control ❄                ❄In the article she references a recent paper by Shaw and Nave at the Wharton School that adds LLMs to Kahneman’s two-system model of thinking.

 ❄                ❄                ❄                ❄                ❄I’ve seen a few illustrations recently that use the symbols “< >” as part of an icon to illustrate code.

That strikes me as rather odd, I can’t think of any programming language that uses “< >” to surround program elements.

 ❅

The term harness has emerged as a shorthand to mean everything in an AI agent except the model itself - Agent = Model + Harness.

I want to take the liberty here of defining its meaning in the bounded context of using a coding agent.

But coding agents also provide us, their users, with many features to build an outer harness specifically for our use case and system.

Engineering a user harness for a coding agent is a specific form of context engineering.

An LLM-based coding agent can produce almost anything, but committing to a topology narrows that space, making a comprehensive harness more achievable.

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157