2025 was a big year for research at Airbnb, as we made significant progress toward our mission to use AI, data science, and machine learning to become the best travel and living platform.Specifically, we doubled down on our presence at long-standing venues like KDD and CIKM — two of the most selective conferences in machine learning. At the same time, we expanded our research footprint by sharing our work in NLP, optimization, and measurement science at conferences such as COLING, LION, and VLDB.Across these conferences, Airbnb researchers engaged directly with academic and industry peers by publishing and presenting papers, learning about the latest innovations, launching new collaboration…

How Airbnb ships dynamic config changes safely and reliablyBy Cosmo Qiu, Bo Teng, Siyuan Zhou, Ankur Soni, Willis HarveyDynamic configuration is a core infrastructure capability in modern systems. It allows developers to change runtime behavior without restarting or redeploying services, even as the number of services and requests grows. In practice, that might mean rolling out a new address form for a region launch, tightening an authorization rule, or adjusting timeouts when a dependency is slow.Like any powerful tool, dynamic configuration is a double-edged sword. While it enables fast iteration and rapid incident response, a bad change can cause regressions or even outages. This is a co…

Anna Sulkina has always been a traveler, and we’re lucky her travels have brought her to Airbnb. Anna is a Senior Director of Engineering, and she’s responsible for Application & Cloud infrastructure. She brings over two decades of industry experience to Airbnb, including work spanning the stack from the frontend to the backend to the plumbing that makes everything come together. Anna is a mother, a passionate trail runner, and an accomplished leader. Here’s Anna’s story in her own words.Discovering a passion after the Soviet UnionI grew up in Eastern Ukraine, and the year I was graduating from high school, the Soviet Union collapsed. Despite the political turmoil, it was an interesting tim…

Public school to PhDThe story of Airbnb’s Head Economist for Policy and Director of Data Science involves geology, co-teaching with a Nobel Prize winner, and CSI. (No, not the hit TV franchise.)Peter Coles was born and raised in Milwaukee, Wisconsin. He studied math at Princeton, earned his PhD in economics at Stanford, and taught at Harvard Business School before joining eBay and becoming a Data Science leader at Airbnb.As you’ll see from his story, Peter has a deep interest in how marketplaces work. By transitioning from academia to the business world, he not only gets to study first-hand data about millions of guests and hosts, but also to influence product and policy decisions. And he s…

How Airbnb rolled out 20+ locally relevant payment methods worldwide in just 14 monthsBy: Gerum Haile, Bo Shi, Yujia Liu, Yanwei Bai, Bo Yuan, Rory MacQueen, Yixia MaoAcross the more than 220 global markets that Airbnb operates in, cards are the primary way that guests pay for stays, experiences, and services. However, to help make our platform accessible to more people, reduce friction at checkout, and drive more adoption, we introduced trusted, locally preferred payment methods — called local payment methods or LPMs. By offering and supporting these payment methods, Airbnb enables guests everywhere to choose what works best for them.In this blog post, we’ll discuss the implementation deta…

How Airbnb combines GraphQL infra, product context, and LLMs to generate and maintain convincing, type-safe mock data using a new directive.IntroductionProducing valid and realistic mock data for testing and prototyping with GraphQL has been a persistent challenge across the industry for years. Mock data is tedious to write and maintain, and attempts to improve the process, such as random value generation and field-level stubbing, fall short because they lack essential domain context to make test data realistic and meaningful. The time spent on this manual work ultimately takes away from what most engineers would like to focus on: building features.In this post, we’ll explore how we’ve reim…

How Airbnb hardened Mussel, our key-value store, with smarter traffic controls to stay fast and reliable during traffic spikes.By Shravan Gaonkar, Casey Getz, Wonhee ChoIntroductionEvery request lookup on Airbnb, from stays, experiences, and services search to customer support inquiries ultimately hits Mussel, our multi-tenant key-value store for derived data. Mussel operates as a proxy service, deployed as a fleet of stateless dispatchers — each a Kubernetes pod. On a typical day, this fleet handles millions of predictable point and range reads. During peak events, however, it must absorb several-fold higher volume, terabyte-scale bulk uploads, and sudden bursts from automated bots or DDoS…

By Shravan Gaonkar, Chandramouli Rangarajan, Yanhan ZhangHow we completely rearchitected Mussel, our storage engine for derived data, and lessons learned from the migration from Mussel V1 to V2.Airbnb’s core key-value store, internally known as Mussel, bridges offline and online workloads, providing highly scalable bulk load capabilities combined with single-digit millisecond reads.Since first writing about Mussel in a 2022 blog post, we have completely deprecated the storage backend of the original system (what we now call Mussel v1) and have replaced it with a NewSQL backend which we are referring to as Mussel v2. Mussel v2 has been running successfully in production for a year, and we wa…

A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Your Analysts Already Wrote the Perfect PromptAuthors: Keqiang Li, Bin YangIn our previous blog post, we shared how Pinterest built Text-to-SQL with RAG-based table selection (Retrieval-Augmented Generation). That system introduced schema-grounded SQL generation and retrieval-augmented table selection. These were important first steps, but not enough for reliable analytics at Pinterest scale.The challenge was fundamental: with over 100,000 analytical tables and 2,500+ analytical users across dozens of domains, simple keyword matching and table summaries were not enough. When an analyst asks “What’s the engagement rate for organic content by country?”, they need more than a list of tables wi…

Authors: Duna Zhan | Machine Learning Engineer II; Qifei Shen | Senior Staff Machine Learning Engineer; Matt Meng | Staff Machine Learning Engineer; Jiacheng Li | Machine Learning Engineer II; Hongda Shen | Staff Machine Learning EngineerIntroductionPinterest ads show up across multiple product surfaces, such as the Home Feed, Search, and Related Pins. Each surface has different user intent and different feature availability, but they all rely on the same core capability: predicting how likely a user is to engage with an ad.Before this project, the ads engagement stack relied on three independent production models, one per surface. Although the models were initially derived from a similar d…

Authors: Yao Cheng | Senior Machine Learning Engineer; Qingmengting Wang | Machine Learning Engineer II; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Zhaohong Han | Machine Learning Engineer Manager ; Jinfeng Zhuang | Senior Machine Learning Engineer ManagerIntroductionThe L1 ranking stage sits in the middle of Pinterest’s ads funnel. It filters and prioritizes candidates under tight latency constraints so that downstream ranking and auction systems only see a manageable set of ads.When we started pushing new L1 conversion (CVR) models, we saw the same pattern repeatedly:Offline: strong, consistent gains on loss and calibration across log sources and …

Authors: Junkai Xue | Sr Staff Software Engineer, Big Data Processing Platform; Zheyu Zha | Staff Software Engineer, Big Data Processing Platform; Jia Zhan | Principal Engineer, Online Systems; Alberto Ordonez Pereira | Sr Staff Software Engineer, Online SystemsOverviewA quota is an official limit on the usage or production of a specific resource. At Pinterest, we are developing a robust, generic quota management platform (Piqama) designed to manage a wide range of resources — including physical resources like memory and CPU, service resources such as QPS (queries per second) and network bandwidth, as well as application-specific quota units. Our ecosystem provides seamless quota lifecycle …

Felix Loesing | Software EngineerIn 2025, we set out to drastically reduce out-of-memory errors (OOMs) and cut resource usage in our Spark applications by automatically identifying tasks with higher memory demands and retrying them on larger executors with a feature we call Auto Memory Retries.Spark PlatformPinterest runs a large-scale Apache Spark deployment to satisfy the increasing demands of internal customers, such as AI/ML, experimentation, and reporting. We process 90k+ Spark jobs daily on tens of thousands of compute nodes with hundreds of PB in shuffle size.¹ Our clusters are run on Kubernetes and mainly use Spark 3.2, with an upgrade to Spark 3.5 in progress. We use Apache Celebor…

Yuanlu Bai | Machine Learning Engineer II, L1 Conversion and Shopping Modeling; Yao Cheng | Sr. Machine Learning Engineer, L1 Conversion and Shopping Modeling; Xiao Yang | Sr. Staff Machine Learning Engineer, Ads Lightweight Ranking; Zhaohong Han | Manager II, Ads Lightweight Ranking; Jinfeng Zhuang | Sr. Manager, Ads RankingIntroductionLightweight ranking plays a crucial role as an intermediate stage in Pinterest’s ads recommendation system. Its main purpose is to efficiently narrow down the set of candidate ads before passing them to downstream, more complex ranking models. By doing so, it ensures that only the most relevant candidates move forward, improving both the efficiency and quali…

Liang Mou | Staff Software Engineer, Logging PlatformYisheng Zhou | Software Engineer II, Logging PlatformElizabeth (Vi) Nguyen | Software Engineer I, Logging PlatformOwen Zhang | Senior Software Engineer, Logging PlatformIntroductionAs Pinterest has grown, the demand for a robust, real-time, and cost-effective database ingestion platform has become increasingly urgent. Our data ecosystem powers a diverse set of use cases — from analytics and machine learning to product features and business intelligence — all of which depend on timely and reliable data. However, our legacy ingestion landscape was built on batch-oriented workflows and a patchwork of database dump solutions, each developed a…

Beyond Two Towers: Re-architecting the Serving Stack for Next-Gen Ads Lightweight Ranking Models (Part 1)Authors: Xiao Yang | Senior Staff Machine Learning Engineer; Ang Xu | Principal Machine Learning Engineer; Yao Cheng | Senior Machine Learning Engineer; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Sihan Wang | Staff Software Engineer; Ken Xuan | Senior Software EngineerIntroductionIn the world of large-scale recommendation systems, the “Two-Tower” model architecture has long been the industry standard for the retrieval and lightweight ranking stage. Its appeal lies in its elegant efficiency: one neural network tower encodes the user, another encod…

Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals ; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Joy Xin | Machine Learning Engineer II, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingContextAt Pinterest, ads are more than just advertisements; they are a vital part of the content ecosystem, designed to inspire users and connect them with products and ideas they love. Our goal is to surface the right ads at the right time, ensuring they seamlessly integrate into a user’s shopping journey and provide genuine value. To achieve this, und…

Faye Zhang, Staff Software Engineer; Jasmine Wan, Machine Learning Engineer I; Qianyu Cheng, Machine Learning Engineer II; Matthew Hichar, Machine Learning Engineer II; Eric Wan, Sr. Software Engineer; Jinfeng Rao, Sr. Staff Machine Learning EngineerOnline retailers and social platforms now operate catalogs with billions of items. Pinterest is one example, but the underlying challenge of how to organize products into precise, navigable shopping collections at web scale is shared across large e‑commerce and social discovery systems. Historically, collections have been derived from user search history and manual curation. In the age of multimodal large language models (LLMs), it is now possib…

Han Wang | Machine Learning Engineer; Alex Whitworth | Staff Data Scientist; Pak Ming Cheung | Sr. Staff Machine Learning Engineer; Zhenjie Zhang | Sr. Staff Machine Learning EngineerIntroductionSearch relevance measures how well search results align with a user’s search query. For personalized search systems, it’s important to ensure that displayed content is pertinent to the user’s information needs, rather than over-relying on the user’s past engagement. At Pinterest Search, we track whole-page relevance in online A/B experiments to evaluate new ranking models and ensure a high-quality user experience.Relevance measurement typically relies on human annotations, but is limited by the low …

Faisal Farooq | Sr. Director Trust Engineering; Aravindh Manickavasagam | Staff Technical Program Manager; Attila Dobi | Sr. Staff Data ScientistPeople come to Pinterest to find ideas they feel good about. To keep that experience safe, we need to know not just what gets reported, but what people actually saw. That’s what we call prevalence: the percentage of all views, on a given day, that went to content that violates a policy. Prevalence complements reporting by covering its blind spots, helping us spot under‑reported harms, track trends, and tell whether interventions work.Why Prevalence MattersHistorically, our Trust & Safety teams leveraged multiple indicators to understand the extent …

Rudraksh Kapil | Machine Learning Engineer I; Michal Giemza | Senior Machine Learning Engineer; Devan Srinivasan | Machine Learning Engineering Intern; Leif Sigerson | Senior Data Scientist; Stephanie Chen | Staff Quantitative Product Researcher; Wendy Matheny | Senior Lead Public Policy Manager; Jianjin Dong | Engineering Manager II; Qinglong Zeng | Senior Engineering ManagerIntroductory SummaryIn 2023 Pinterest became the Founding Signatory of the Inspired Internet Pledge — publicly stating our vision to adhere to three principles: (1) tuning for wellbeing, (2) listening to and acting on what we hear from users, and (3) sharing what we learn about making the internet a safer and healthier…

Dmitry Kislyuk | Director, Machine Learning; Ryan Galgon | Director, Product Management; Chuck Rosenberg | Vice President, Engineering; Matt Madrigal | Chief Technology OfficerForeword from Bill Ready, CEOThe AI landscape is undergoing a fundamental shift, and it’s not the one you think. The competitive frontier isn’t only about building the largest proprietary models. There are two other major trends emerging that haven’t had enough discussion:Open-source models have made tremendous strides, especially on cost relative to performance.Compact, fit-for-purpose models can meaningfully out-perform general purpose LLMs on specific tasks and do so at dramatically lower cost.Our Chief Technology …

Marcel Mateos Salles | Software Engineer Intern; Jorge Chavez | Sr. Software Engineer; Khashayar Kamran | Software Engineer II; Andres Almeida | Software Engineer; Peter Kim | Manager II ; Ajay Jha | Sr. Manager, ObservabilityAt Pinterest, inspiration isn’t just for our users — it shapes how we build and care for our platform. Until recently, our own observability (o11y) tools told a fragmented story: logs over here, traces over there, and metrics somewhere else. We’ve always excelled at collecting signals: time-series metrics, traces, logs, and change related events. But without the seamless context and unity now promised by open standards like OpenTelemetry (OTel), we were missing out on …

We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empower researchers and developers to accelerate innovation, regardless of their chosen backend. Communication patterns for AI models are constantly evolving, as are hardware [...]

Read More...

The post RCCLX: Innovating GPU communications on AMD platforms appeared first on Engineering at Meta.

WHAT IT IS The rise of agentic software development means code is being written, reviewed, and shipped faster than ever before across the entire industry. It also means that testing frameworks need to evolve for this rapidly changing landscape. Faster development demands faster testing that can catch bugs as they land in a codebase, without [...]

Read More...

The post The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It appeared first on Engineering at Meta.

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

Meta’s secure-by-default frameworks wrap potentially unsafe OS and third-party functions, making security the default while preserving developer speed and usability. These frameworks are designed to closely mirror existing APIs, rely on public and stable interfaces, and maximize developer adoption by minimizing friction and complexity. Generative AI and automation accelerate the adoption of secure frameworks at [...]

Read More...

The post How AI Is Transforming the Adoption of Secure-by-Default Mobile Frameworks appeared first on Engineering at Meta.

We’re introducing Zoomer, Meta’s comprehensive, automated debugging and optimization platform for AI. Zoomer works across all of our training and inference workloads at Meta and provides deep performance insights that enable energy savings, workflow acceleration, and efficiency gains in our AI infrastructure. Zoomer has delivered training time reductions, and significant QPS improvements, making it the [...]

Read More...

The post Zoomer: Powering AI Performance at Meta’s Scale Through Intelligent Debugging and Optimization appeared first on Engineering at Meta.

Most people have heard of open-source software. But have you heard about open hardware? And did you know open source can have a positive impact on the environment? On this episode of the Meta Tech Podcast, Pascal Hartig sits down with Dharmesh and Lisa to talk about all things open hardware, and Meta’s biggest announcements [...]

Read More...

The post Open Source Is Good for the Environment appeared first on Engineering at Meta.

We’re sharing details about Meta’s Generative Ads Recommendation Model (GEM), a new foundation model that delivers increased ad performance and advertiser ROI by enhancing other ads recommendation models’ ability to serve relevant ads. GEM’s novel architecture allows it to scale with an increasing number of parameters while consistently generating more precise predictions efficiently. GEM propagates [...]

Read More...

The post Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation appeared first on Engineering at Meta.

At Meta, we are constantly pushing the boundaries of LLM inference systems to power applications such as the Meta AI App. We’re sharing how we developed and implemented advanced parallelism techniques to optimize key performance metrics related to resource efficiency, throughput, and latency. The rapid evolution of large language models (LLMs) has ushered in a [...]

Read More...

The post Scaling LLM Inference: Innovations in Tensor Parallelism, Context Parallelism, and Expert Parallelism appeared first on Engineering at Meta.

As we focus on our goal of achieving net zero emissions in 2030, we also aim to create a common taxonomy for the entire industry to measure carbon emissions. We’re sharing details on a new methodology we presented at the 2025 OCP regional EMEA summit that leverages AI to improve our understanding of our IT [...]

Read More...

The post How Meta Is Leveraging AI To Improve the Quality of Scope 3 Emission Estimates for IT Hardware appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2025, we’re sharing details about the direction of next-generation network fabrics for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing new disaggregated network platforms to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage boxes, and motherboards [...]

Read More...

The post OCP Summit 2025: The Open Future of Networking Hardware for AI appeared first on Engineering at Meta.

Following our keynote presentations at FSE 2025 and Eurostar 2025, we’re delving further into the development of Meta’s Automated Compliance Hardening (ACH) tool, an LLM-based tool for software testing that is automating aspects of compliance adherence at Meta, while accelerating developer and product velocity. By leveraging LLMs we’ve been able to overcome the barriers that [...]

Read More...

The post LLMs Are the Key to Mutation Testing and Better Compliance appeared first on Engineering at Meta.

Imagine being able to use AI to create 3D virtual worlds using prompts as easily as you can generate images. The intersection of AI and VR was one of the biggest topics at Meta Connect this year. In his keynote, Mark Zuckerberg shared his vision of a future where anyone can create virtual worlds using [...]

Read More...

The post AssetGen: Generating 3D Worlds With AI appeared first on Engineering at Meta.

Over the past 21 years, Meta has grown exponentially from a small social network connecting a few thousand people in a handful of universities in the U.S. into several apps and novel hardware products that serve over 3.4 billion people throughout the world. Our infrastructure has evolved significantly over the years, growing from a [...]

Read More...

The post Meta’s Infrastructure Evolution and the Advent of AI appeared first on Engineering at Meta.

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

Beyond resume screening: The transformative power of AI to match talent, reduce bias, and save time.

Discover how artificial intelligence helps businesses detect threats faster and protect people, property, and profits.

Learn how subscriptions and usage-based pricing help AI companies create steady income, manage costs, and keep customers engaged over time.

Smart Data Collective has spent years talking about various ways busineses can use AI to help manage risks and make real-world decisions. Today we are going to talk about how AI-driven tools change the way testing is planned, executed, and reviewed. There are many reasons businesses are reevaluating how they test their systems as threats […]

See the financial forecast: Using data analytics to map economic trends and prepare your business.

More than a cash flow problem: How AI analytics shows the true cost of payment delays on your business.

Your biggest expense might be inaction: Using data to calculate the true cost of not upgrading.

The best of both worlds: Achieving robust risk reduction and rapid innovation with multi-model AI.

Navigating market complexity: How Permutable AI delivers next-level macro intelligence for global investors.

Data analytics helps businesses spot risks early and make safer choices that protect workers and reduce costly accidents.

Data analytics helps traders make clearer, more disciplined stock market decisions by relying on evidence instead of instinct.

The crystal ball of business: How predictive analytics is becoming essential for modern risk management.

Data tools are giving gold traders clearer signals, sharper insights, and stronger protection.

Advanced degrees give professionals the judgment, resilience, and career mobility needed to thrive as AI reshapes the workforce.

Lego blocks for data: How a composable approach lets you build, change, and scale analytics with ease.

Agriculture is entering a new technological era. As global populations grow and global foodwater scarcity intensifies, traditional farming methods alone can no longer sustain rising food production demands while minimizing environmental impact. Artificial intelligence is emerging as a critical solution — helping farmers, agribusinesses, and policymakers make smarter, faster, and more sustainable decisions. From predicting […]

The post AI in Agriculture: Transforming Farming Through Data, Intelligence, and Practical Skills appeared first on WeCloudData.

In the world of project management, there is a “silent thief” that no one likes to talk about. It’s not a missed deadline or a budget overrun. It’s the administrative burden. If you’re a Project Manager, you know the feeling. You spend 60% of your week in a cycle of “information chasing”: summarizing meeting notes, […]

The post AI for Project Managers: Reimagining Traditional Project Management appeared first on WeCloudData.

We have entered a new era of work. Information is no longer hard to find; it is everywhere. In fact, by 2025, over 1.2 billion websites exist, and hundreds of thousands of new pages are created every single day. For anyone in a research-heavy role whether you are an analyst, a student, or a strategist—the […]

The post Building the Foundation for AI-Driven Research appeared first on WeCloudData.

The global race for technological supremacy has a new, formidable frontrunner: Saudi Arabia. As the Kingdom undergoes a historic transformation, the Saudi AI Vision 2030 has emerged as the heartbeat of its digital evolution. This isn’t just a tech upgrade; it’s a fundamental reimagining of a nation’s future. It’s shifting from an oil-dependent economy to […]

The post Saudi AI Vision 2030: Leading the Future of Artificial Intelligence appeared first on WeCloudData.

Riyadh is no longer just talking about the future; it is actively building the scaffolding for it. This past week at King Saud University, the ICAN 2026 (International Conference on Capacity Building in Data and AI) served as the epicenter for a global shift in how we think about human potential. Amidst the buzz of […]

The post WeCloudData at ICAN 2026: Contributing to the Future of AI, Data, and Workforce Innovation appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

For years, the data job market revolved around specialists: data analysts who wrote SQL all day, data engineers who built pipelines, and data scientists who focused on machine learning models. Today, that model is changing. Organizations increasingly value professionals who can work across multiple stages of the data lifecycle—from extracting data to analyzing it, building […]

The post Rise of the Data Generalist: Why Hybrid Skills Matter in Data Economy appeared first on WeCloudData.

Data is abundant, but good decisions are not automatic. Organizations increasingly recognize that analytics alone is insufficient—they need structured methods to turn insights into action. This is where decision science and AI intersect. Decision science provides the framework for making optimal choices under uncertainty. Artificial intelligence (AI) supplies the scale, speed, and predictive power to […]

The post Decision Science and AI: How Artificial Intelligence Is Transforming Decision-Making appeared first on WeCloudData.

Organizations today are flooded with data but data alone does not lead to better outcomes. What truly creates value is the ability to turn data into consistent, repeatable, and high-quality decisions. This is where decision science plays a critical role. This article explains what is decision science, how it differs from related fields, real-world examples, […]

The post What is Decision Science: Scope and Career Opportunities appeared first on WeCloudData.

As organizations rely more heavily on data for analytics, AI, and business decision-making, one question keeps surfacing: who owns the data, who can use it, and how can it be trusted? The answer lies in data governance. A foundational discipline that ensures data is accurate, secure, compliant, and usable across the enterprise. This guide breaks […]

The post Data Governance: What It Is, Why It Matters, and How It Works appeared first on WeCloudData.

Software development is evolving—not just in tools, but in how developers work. One emerging concept gaining traction across developer communities is vibe coding. While not a formal methodology, it reflects a mindset focused on flow, creativity, and momentum. As AI tools, cloud environments, and flexible workflows mature, many developers are asking: What is a vibe […]

The post Vibe Coding Explained: A Practical Guide to the Tools and Future appeared first on WeCloudData.

Organizations across industries are accelerating AI adoption, yet outcomes often fall short of expectations. According to McKinsey, while more than 55% of organizations have adopted AI in at least one business function, only a fraction report meaningful financial impact. One of the most cited reasons is the lack of AI-ready talent within existing teams. Without […]

The post Why AI Training for Employees Is Now a Business Imperative appeared first on WeCloudData.

What is AWS Azure and GCP? Which cloud platform is best for your career? Here’s the simplest guide you’ll find. Cloud computing has become the backbone of modern tech. Whether you pursue data engineering, AI engineering, DevOps, cloud security, or software development, you will likely work with one—or even all—of the big three cloud providers: […]

The post AWS vs Azure vs GCP: Big 3 Cloud Providers (2025) appeared first on WeCloudData.

If you’ve been exploring cloud computing, data engineering, DevOps, or AI infrastructure, you’ve probably come across Amazon Web Services (AWS), the world’s most widely used cloud platform. But what is AWS and why is it used by millions of organizations? And more importantly, how can beginners start learning it in 2025? This guide breaks down […]

The post Introduction to AWS (Amazon Web Services) appeared first on WeCloudData.

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Delta Lake is a fantastic technology for quickly querying massive data sets,

but first you need those massive data sets! In this

talk from Data and AI

Summit 2025 I dive into the cloud-native

architecture Scribd has adopted to ingest data from AWS Aurora, SQS, Kinesis

Data Firehose and more!

By using off-the-shelf open source tools like kafka-delta-ingest, oxbow and

Airbyte, Scribd has redefined its ingestion architecture to be more

event-driven, reliable, and most importantly: cheaper. No jobs needed!

Attendees will learn how to use third-party tools in concert with a Databricks

and Unity Catalog environment to provide a highly efficient and available data

platform.

This architecture will …

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, you’ll learn how to deploy a serverless solution using AWS CloudFormation that automatically adjusts RDS maintenance and backup windows for DST transitions.

Standardizing CDK construct properties across a large organization requires repetitive manual effort that scales poorly as teams and repositories grow. Development teams working with AWS Cloud Development Kit (AWS CDK) must apply the same configuration properties across similar resources to meet security, compliance, and operational standards but manual configuration leads to drift, maintenance burden, and […]

In this post, we walk through a multi-developer CI/CD pipeline for Amazon Lex that enables isolated development environments, automated testing, and streamlined deployments. We show you how to set up the solution and share real-world results from teams using this approach.

This post demonstrates how to build custom model parsers for Strands agents when working with LLMs hosted on SageMaker that don't natively support the Bedrock Messages API format. We'll walk through deploying Llama 3.1 with SGLang on SageMaker using awslabs/ml-container-creator, then implementing a custom parser to integrate it with Strands agents.

Organizations find it challenging to implement a secure embedded chat in their applications and can require weeks of development to build authentication, token validation, domain security, and global distribution infrastructure. In this post, we show you how to solve this with a one-click deployment solution to embed the chat agents using the Quick Suite Embedding SDK in enterprise portals.

In this post, we discuss how Amazon Nova demonstrates capabilities in conversational analytics, call classification, and other use cases often relevant to contact center solutions. We examine these capabilities for both single-call and multi-call analytics use cases.

This post explores how Ricoh built a standardized, multi-tenant solution for automated document classification and extraction using the AWS GenAI IDP Accelerator as a foundation, transforming their document processing from a custom-engineering bottleneck into a scalable, repeatable service.

Amplitude is a product and customer journey analytics platform. Our customers wanted to ask deep questions about their product usage. Ask Amplitude is an AI assistant that uses large language models (LLMs). It combines schema search and content search to provide a customized, accurate, low latency, natural language-based visualization experience to end customers. Amplitude’s search architecture evolved to scale, simplify, and cost-optimize for our customers, by implementing semantic search and Retrieval Augmented Generation (RAG) powered by Amazon OpenSearch Service. In this post, we walk you through Amplitude’s iterative architectural journey and explore how we address several critical cha…

OpenSearch Service offers zero-ETL integrations with other Amazon Web Service (AWS) services, enabling seamless data access and analysis without the need for maintaining complex data pipelines. Zero-ETL refers to a set of integrations designed to minimize or eliminate the need to build traditional extract, transform, load (ETL) pipelines. In this post, we explore various zero-ETL integrations available with OpenSearch Service that can help you accelerate innovation and improve operational efficiency.

Yggdrasil Gaming develops and publishes casino games globally, processing massive amounts of real-time gaming data for game performance analytics, player behavior insights, and industry intelligence. Yggdrasil Gaming reduced multi-cloud complexity and built a scalable analytics foundation by migrating from Google BigQuery to AWS analytics services. In this post, you’ll discover how Yggdrasil Gaming transformed their data architecture to meet growing business demands. You will learn practical strategies for migrating from proprietary systems to open table formats such as Apache Iceberg while maintaining business continuity. Yggdrasil worked with GOStack, an AWS Partner, to migrate to an Apac…

In this post, I show you how to implement effective monitoring for your Kafka clusters using Amazon MSK and Amazon CloudWatch. You’ll learn how to track critical metrics like broker health, resource utilization, and consumer lag, and set up automated alerts to prevent operational issues.

In this post, we explore the virtual try-on capability now available in Amazon Nova Canvas, including sample code to get started quickly and tips to help get the best outputs.

This post details how Lendi Group built their AI-powered Home Loan Guardian using Amazon Bedrock, the challenges they faced, the architecture they implemented, and the significant business outcomes they’ve achieved. Their journey offers valuable insights for organizations that want to use generative AI to transform customer experiences while maintaining the human touch that builds trust and loyalty.

In this post, we show you how to connect Quick Suite with Tines to securely retrieve, analyze, and visualize enterprise data from any security or IT system. We walk through an example that uses a MCP server in Tines to retrieve data from various tools, such as AWS CloudTrail, Okta, and VirusTotal, to remediate security events using Quick Suite.

In this post, we share results from the AWS China Applied Science team's comprehensive evaluation of Nova Forge using a challenging Voice of Customer (VOC) classification task, benchmarked against open-source models.

In this post, we introduce Redshift Templates and show examples of how they can standardize and simplify your data loading operations across different scenarios. By encapsulating common COPY command parameters into reusable database objects, templates help remove repetitive parameter specifications, facilitate consistency across teams, and centralize maintenance.

This post explores how to build an intelligent conversational agent using Amazon Bedrock, LangGraph, and managed MLflow on Amazon SageMaker AI.

In this post, we will show you how to configure Amazon Bedrock Guardrails for efficient performance, implement best practices to protect your applications, and monitor your deployment effectively to maintain the right balance between safety and user experience.

In this post, we demonstrate how to configure IAM database authentication in AWS Database Migration Service (AWS DMS). You’ll also learn the structured troubleshooting approach you follow to address the errors when configuring IAM database authentication with AWS DMS

Twilio is a cloud communications platform that provides programmable APIs and tools for developers to easily integrate voice, messaging, email, video, and other communication features into their applications and customer engagement workflows. In this blog series we discuss how we built a multi-engine query platform at Twilio. The first part introduces the use case that led us to build a new platform and why we selected Amazon Athena alongside our open-source Presto implementation. This second part discusses how Twilio’s query infrastructure platform integrates with AWS Lake Formation to provide fine-grained access control to all their data.

Introduction Organizations carry a growing burden of technical debt — aging codebases, outdated runtimes, and legacy frameworks that slow innovation, increase security risk, and inflate maintenance costs. Addressing this debt requires tackling a wide range of code transformation challenges: version upgrades, runtime migrations, framework transitions, and language translations, all of which must be repeated across […]

Delivering successful COBOL modernization requires a solution that can reverse engineer deterministically, produce validated and traceable specs, and help those specs flow into any AI-powered coding assistant for the forward engineering. A successful modernization requires both reverse engineering and forward engineering. Learn more about COBOL in this post.

In this post, we explore reinforcement fine-tuning (RFT) for Amazon Nova models, which can be a powerful customization technique that learns through evaluation rather than imitation. We'll cover how RFT works, when to use it versus supervised fine-tuning, real-world applications from code generation to customer service, and implementation options ranging from fully managed Amazon Bedrock to multi-turn agentic workflows with Nova Forge. You'll also learn practical guidance on data preparation, reward function design, and best practices for achieving optimal results.

AWS recently released significant updates to the Large Model Inference (LMI) container, delivering comprehensive performance improvements, expanded model support, and streamlined deployment capabilities for customers hosting LLMs on AWS. These releases focus on reducing operational complexity while delivering measurable performance gains across popular model architectures.

Today, we’re excited to announce the general availability of the collection groups feature for Amazon OpenSearch Serverless. With this feature you can reduce compute costs for multi-tenant workloads while creating secure tenant boundaries through per-tenant encryption, giving you the flexibility to balance cost efficiency with the exact level of isolation and security your applications requires.

In this post, we show you how to migrate spatial (geospatial) data from self-managed PostgreSQL, Amazon RDS for PostgreSQL, or Amazon Aurora PostgreSQL-Compatible Edition to Amazon RDS for PostgreSQL or Amazon Aurora PostgreSQL using AWS DMS. Spatial data is useful for applications such as mapping, routing, asset tracking, and geographic visualization. We walk through setting up your environment, configuring AWS DMS, and validating the successful migration of spatial datasets.

If you’ve ever shopped on Amazon, you’ve used Your Orders. This feature maintains your complete order history dating back to 1995, so you can track and manage every purchase you’ve made. The order history search feature lets you find your past purchases by entering keywords in the search bar. Beyond just finding items, it provides a straightforward way to repurchase the same or similar items, saving you time and effort. In this post, we show you how the Your Orders team improved order history search by introducing semantic search capabilities on top of our existing lexical search system, using Amazon OpenSearch Service and Amazon SageMaker.

In this post, we explain how we implemented multi-LoRA inference for Mixture of Experts (MoE) models in vLLM, describe the kernel-level optimizations we performed, and show you how you can benefit from this work. We use GPT-OSS 20B as our primary example throughout this post.

Swiss Life Germany, a leading provider of customized pension products with over 100 years of experience, recently transitioned from legacy on-premises infrastructure to a modern cloud architecture. To enable secure data sharing and cross-departmental collaboration in this regulated environment, they implemented Amazon SageMaker with a custom Terraform pattern. This post demonstrates how Swiss Life Germany aligned SageMaker's agility with their rigorous infrastructure as code standards, providing a blueprint for platform engineers and data architects in highly regulated enterprises.

This post demonstrates how to quickly deploy a production-ready event assistant using the components of Amazon Bedrock AgentCore. We'll build an intelligent companion that remembers attendee preferences and builds personalized experiences over time, while Amazon Bedrock AgentCore handles the heavy lifting of production deployment: Amazon Bedrock AgentCore Memory for maintaining both conversation context and long-term preferences without custom storage solutions, Amazon Bedrock AgentCore Identity for secure multi-IDP authentication, and Amazon Bedrock AgentCore Runtime for serverless scaling and session isolation. We will also use Amazon Bedrock Knowledge Bases for managed RAG and event data…

Hello, I just got a Data Engineering job! The thing is, my education and focus of my personal development was always in Data Analysis direction, so I only have a basic knowledge on Engineering side. Of course I know SQL, coding, and can bring some raw data in for analysis, but on theoretical side I am kinda lost, not really knowing what technologies there generally are, what ETL actually is, or what's the difference between data lake or data warehouse. So I thought I could read some book on the topic and get up to speed with expectations towards me. Do you have any good recommendations for a person like me? Especially with a rapidly developing field it can be hard to find a good option, and…

Here are some common mistakes beginners make in Power BI: Not cleaning data before building visuals Using too many visuals in one dashboard Ignoring data model relationships Not using measures properly Poor color selection in dashboards What mistakes did you make when learning Power BI? submitted by /u/Novel-Success3518 [link] [comments]

I created a beginner friendly tutorial explaining how to clean and transform messy data using Power Query in Power BI. Topics covered: • Removing duplicates • Changing data types • Splitting columns • Handling null values • Basic data transformation steps This is useful for beginners learning data analytics. Feedback is welcome. submitted by /u/Novel-Success3518 [link] [comments]

Hey i have make my first madelion pipeline and i need some feedback on it to make some improvements and learn the new things submitted by /u/Popular_Opinion_4760 [link] [comments]

I’m currently doing a internship in the Data Architecture team at a product-based company. During this internship, I’m getting trained and learning about Data Modeling, PySpark, ETL pipelines, Advanced SQL, Snowflake, AWS. I’m part of a team where the average experience of my teammates is around 8–10 years, so I feel there is a lot I can learn from them. Could anyone share what skills or knowledge I should try to learn from my teammates during this time so that it helps my long-term career? For context: I’m strong in Python I have good knowledge of Machine Learning I’m also practicing DSA on LeetCode, but I haven’t been very consistent. I'm 2025 passed out. After completing this internship,…

Hi everyone, I am a senior student working on a clinical research pilot. I've been tasked with a data engineering challenge and would love to hear how professionals in the field would approach the architecture. The Setup: Input: A series of unstructured, text-heavy pathology reports (PDFs). Output: A specific, pre-defined set of clinical variables (demographics, lab values, and genetic markers) that need to be formatted into a CSV for a REDCap database. The Scale: Starting with a pilot of 5–10 cases, with a view to scale. The Challenge: The data isn't always in the same place. One report might list a specific metric in the "Final Diagnosis" section, while another might bury it in "Ancillary…

I’m about 6 months into my first full-time job and trying to decide what to do. Current role: Data analyst at a small consulting firm (~100 people) Team and manager are genuinely great Some weeks are chill, but many weeks people are working 40+ hours consistently From what I can tell, the more senior you get, the more work/responsibility you take on, which doesn’t seem like a great tradeoff long term Fast promotions (they know how to value employees) 2 days in office / hybrid schedule Commute is about 1 hr+ each way New offer: Data engineer role at a large financial services company (you've heard of them) $10k higher salary 20 minute commute Office policy is 5 days in office every other wee…

about placements and tech stack to follow between mern and python data roles which should i prepare for i have built a pretty good amount of base in. both the things with a good hands on dsa submitted by /u/IndependentKey4162 [link] [comments]

Hey everyone, I need some honest guidance from people who have recently interviewed for Senior Data Analyst / Data Engineer / Analytics Engineer roles. I’ve already brushed up my Python theory and practical usage (data manipulation, scripting, etc.). Now I want to start coding practice for interviews, but honestly I'm feeling a bit overwhelmed and confused. Everywhere I look, people say different things: Some say you must grind DSA and LeetCode for months Others say DSA is not that important for data roles The problem is that there are thousands of Python questions online, and I don’t want to randomly solve questions that might never be asked in interviews. My goal is simple: I want to prac…

Hi all! We are a small team trying to choose between dbt-core and SQLMesh for a fresh start for our data stack. We're migrating from Dataform, where we let analysts own their own models, and things got hairy FAST (unorganized schemas, circular dependencies, etc). We've decided to start fresh with data engineers properly building it this time. Our current stack is BigQuery + Airflow, so if we go the dbt-core route we would probably use Astronomer Cosmos for orchestration. Our main goal is to build a star schema from replicated 3NF source data, along with some raw data coming from vendor/partner API feeds. I really like SQLMesh’s state-based approach and overall developer experience, but I am…

Might be a dumb question. I really like my current company and role and I’m not looking to move anytime soon, but there’s times where I feel like I could be doing work on the side on nights/weekends. And even beyond that, developing a good consulting network just seems like it would add to job security as well and it just seems like it would be nice to have. How did you break into it? I’ve replied to and sometimes even setup skype calls with people that reach out to me on LinkedIn, but it’s typically just people trying to sell my company something. Are local meet and greets good for this? submitted by /u/ScottFujitaDiarrhea [link] [comments]

Hi everyone, I would really appreciate some guidance from experienced professionals. So the thing is....I completed my bachelor in Finance and then spent the last 4 years working in business development. However, I now want to transition into a more technical and stable career, as sales can often feel quite unstable in the long term. Initially, I explored data analytics and data science, but I have a few concerns Many data analysis tasks are increasingly being automated by AI (even though human decision making is still important) Also the barrier to entry seems is very high as a lot of people are entering the field, which may increase supply significantly. Personally, I also don’t enjoy bui…

Compile native, standalone applications using the Python syntax you already know.

The post Write C Code Without Learning C: The Magic of PythoC appeared first on Towards Data Science.

What if natural language is not the best abstraction for driving?

The post LatentVLA: Latent Reasoning Models for Autonomous Driving appeared first on Towards Data Science.

Why traditional RAG loses context and how contextual retrieval dramatically improves retrieval accuracy

The post Understanding Context and Contextual Retrieval in RAG appeared first on Towards Data Science.

Five classical data science skills are becoming the scarcest resource in tech. A 90-day roadmap to build them while everyone else chases AI hype.

The post The AI Bubble Has a Data Science Escape Hatch appeared first on Towards Data Science.

And where is it today?

The post What Makes Quantum Machine Learning “Quantum”? appeared first on Towards Data Science.

6 pillars to declutter your stack, escape the service trap, and build the missing foundations for the new primary data consumer: the AI agent.

The post The Data Team’s Survival Guide for the Next Era of Data appeared first on Towards Data Science.

Same notification system, two architectures. Unstructured generation couples everything into a single module. Structured generation decomposes into independent components with explicit, one-directional dependencies. Image by the author

The post The Black Box Problem: Why AI-Generated Code Stops Being Maintainable appeared first on Towards Data Science.

Learn how to write robust code with coding agents.

The post How to Create Production-Ready Code with Claude Code appeared first on Towards Data Science.

Learn how Zero Redundancy Optimizer works, how to implement it from scratch, and how to use it in PyTorch

The post AI in Multiple GPUs: ZeRO & FSDP appeared first on Towards Data Science.

The Road to Reality — Episode 1

The post How Human Work Will Remain Valuable in an AI World appeared first on Towards Data Science.

An overview of powerful methods for transforming continuous variables into discrete ones

The post 5 Ways to Implement Variable Discretization appeared first on Towards Data Science.

80% of ML projects fail from bad problem framing, not bad models. A 5-step protocol to define the right problem before you write training code.

The post Stop Tuning Hyperparameters. Start Tuning Your Problem. appeared first on Towards Data Science.

Too many prototypes, too few products

The post Escaping the Prototype Mirage: Why Enterprise AI Stalls appeared first on Towards Data Science.

Understanding keyword search, TF-IDF, and BM25

The post RAG with Hybrid Search: How Does Keyword Search Work? appeared first on Towards Data Science.

Visual intuition with Python

The post Graph Coloring You Can See appeared first on Towards Data Science.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Mastering PostgreSQLSupabase и Manning Publications выпустили бесплатную книгу про PostgreSQL.107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза.Книга поделена на 4 части:— Modern SQL— Postgres for Full-Text Search (FTS)— Improper Data Type Usage— Table & Index MistakesСкачать книгу можно в комментариях к посту.

Cloud vs Self-HostedВечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS.Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или иных сервисов. Порой вам даже не нужно думать о масштабировании, за вас это делает облачный провайдер. В…

Данные и законодательствоС развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя и…

Designing Data-Intensive ApplicationsГлава 1. Trade-Offs in Data Systems ArchitectureВведениеПервая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах.Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море различных технологических решений. Дать фундамент, который будет помогать принимать правильные решения при проек…

Второе издание "кабанчика"На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications.Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант.“Кабанчик” до сих пор у меня, пережил несколько переездов и выглядит непрезентабельно. Но к чему этот пост? Я хочу немного изменить формат этого канала и сделать…

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяцАня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге:— ~700 пользователей за первый месяц— первые 16 оплат— первая выручка: ~$200— подписка: $8/мес— сделано на n8n + OpenAI без разработчиковНе было ни команды, ни инвестиций, ни кода.Главное — не технология.Главное — простая понятная ценность.Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реаль…

Data Pipelines with Apache Airflow, 2-е изданиеРебята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning. Это обновлённое издание с учётом новой 3-й ветки Airflow, в книге используется версия Apache Airflow 3.1.0. Ну и конечно же ИИ не обделили, в книге появился контент про RAG, AI Orchestration и т.д.Приятного чтения, господа! 🤓

📣 📢 13 ИИ агентов для дата инженераРебята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3Преимущественно агенты сконцентрированы вокруг написания и тестирования Airflow DAGs, проектирования таблиц БД, data lineage. Боевой комплект дата инженера.Из БД они умеют в Snowflake, Postgres, BigQuery. Также есть навык для работы с SQLAlchemy ORM.Установка агентов:npx skills add astronomer/agentsДля Claude Code можно установить прямо их маркетплейсаclaude plugin marketplace add astronomer/agentsclaude plugin install data@astronomer В комплекте есть Airflow MCP сервер.Ссылка на репозитор…

pandas 3.0Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк str вместо привычного numpy object. По словам разработчиков это значительно улучшает производительность кода. Также теперь Copy-on-Write это единственный режим для изменения значения колонок у датафрейма, более подробно здесь. Перед миграцией на новую версия pandas необходимо прошерстить легаси код и внести изменения, если вдруг в коде есть проверки на object или неоднозначные изменения датафрейма (вездесущий SettingWithCopyWarning в логах).Ссылка на полный release notes.

fastjsondiff - High-performance JSON comparison with a Zig-powered coreНаписал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.pip install fastjsondiff-zigGithub: https://github.com/adilkhash/fastjsondiffPyPI: https://pypi.org/project/fastjsondiff-zig/Буду признателен за ⭐ на репе в гитхабе, это поможет её распространить дальше.

Zen HabitsВстречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits.Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их. Внутри есть стена коммитов по типу Github.Велком: https://zenhabits.dev/Пожелания, критику и оскорбления жду в чатике канала 🫂

The Definitive Guide to Apache Airflow® 3 DAGs146 страниц отборного мяса и лучших практик про написание DAGов для Apache Airflow 3.

Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)

Orchestrate LLMs and Agents with Apache Airflow®Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.

Вы говорит AI бесполезный! Посмотрите какой bash скрипт мне он сделал! Магия!С 8 марта девушки!💐

Новый life hack - все теперь добавляют чат ботов и можно с ними общаться вместо chatgpt/claude/gemini

Реально так и есть 🔥

На Coursera появился курс AI Fundamentals от Google. С ним дают Gemini Pro бесплатно на 3 месяца. А про Claude я видел, что можно попытаться подать на Open Source заявку https://claude.com/contact-sales/claude-for-oss и получить много токенов.

NVIDIA ищет архитектора орбитального дата-центра — и это не шуткаНа сайте NVIDIA появилась вакансия с названием, которое ещё год назад звучало бы как фантастика: Orbital Datacenter System Architect — архитектор орбитального дата-центра. Это первая публичная вакансия такого рода от одной из крупнейших технологических компаний мира.Что это говорит нам о планах NVIDIA?NVIDIA не строит ракеты и не запускает спутники — но именно её GPU стоят в сердце каждого орбитального вычислительного проекта.Starcloud уже запустил H100 на орбиту. SpaceX подала заявку в FCC на миллион спутников-дата-центров. Blue Origin, Aetherflux, Relativity Space — все они так или иначе завязаны на NVIDIA-железо. Теперь ком…

Приглашаем на вебинар 12 марта, на котором коллеги из проекта Easy Report расскажут о Генеративном BI и покажут, как это работает на практике.Содержание вебинара:1️⃣GenBI: что это на практике и где он дает максимальный эффект2️⃣Какие запросы на “ИИ в BI” сейчас у топ-компаний3️⃣Easy Report: эволюция от BI в мессенджере к GenBI, с промышленными внедрениями в энтерпрайзе4️⃣Демонстрация функционала на реальных сценариях (расчеты и отчеты "на лету", запросы на естественном языке, поиск инсайтов и др.)5️⃣Что дальше: наш роадмэпУчастие бесплатное по предварительной регистрации.🚀 Регистрация и подробности.🗓 12 марта, 11:00 мск • ОнлайнРеклама. ООО «САПИЕНС», ИНН 7731438804, Erid: 2W5zFJrhv3j

Качественный отчет от ARK Invest про большие идеи 2026 года для бизнеса и инвестиций. Главный тезис: прорывные инновации ускоряют рост мирового ВВП до 7.3% к 2030 (МВФ прогнозирует лишь 3.1%). Капитализация инновационных компаний может расти на 35% CAGR.12 инвестиционных идей1. AI-инфраструктура Инвестиции в дата-центры → $1.4T к 2030. Стоимость инференса упала на 99%. Nvidia под давлением AMD и Google.2. AI — потребительская ОС AI-агенты переписывают поиск и e-commerce. AI-поиск вырастет с 10% до 65% трафика → ~$900B выручки.3. AI-продуктивность Стоимость кодинга упала на 91%. OpenAI растёт на 250% в год. Рынок ПО может достичь $3.4–13T.4. Bitcoin Институциональное принятие: ETF и публичны…

🎙 Курс «Основы Data Governance» | онлайн, 16–25 марта Приглашаем ИТ-директоров, CDO, CDTO, Heads of BI, Data Stewards и руководителей-стратегов в управлении данными на редкий курс по Data Governance – проходит только 1 раз в году в формате живого диалога и обмена опытом. ⚡️ Курс даст понимание, как выстроить ключевые процессы для обеспечения качества, прозрачности и надёжности данных в компании. Участники детально разберут модели, роли, метрики, запуск DG и реальные кейсы – в закрытом экспертном сообществе. В программе курса:– 9 модулей: от основ DG, DQ и MDM до AI Governance,– разработка программы DG и системы метрик,– разбор кейсов + готовый Excel-гайд по DG для вашей компании. Участники …

Что делать если у вас нет реального опыта, а хочется работать дата инженером или кем-то еще?Ответ простой, находите вакансии с нижней планкой зарплаты и туда идете работать. Опытные люди (две если опыт 1год туда не пойдут), поэтому вы будете конкурировать с такими же вкатунами кандидатами:)Как я понял 200к для дата инженера это как раз такая планка, где можно экспериментировать🎮

Если в работе с BI слишком много ручных действий, 10 марта в 12:00 мск можно будет разобраться, как это автоматизировать.Yandex Cloud проведёт вебинар «API в DataLens – все пути автоматизации»: покажут, как автоматизировать процессы и упростить работу через Public API и API-коннектор.Вебинар будет полезен BI-аналитикам, дата-инженерам, разработчикам, системным архитекторам и руководителям аналитики.Участие бесплатное, предварительно необходимо зарегистрироваться.

Друзья! У мамы моего друга проходит психологическое исследование для дипломной работы — она изучает опыт людей, переехавших в другую страну. Если вы живёте за рубежом, пожалуйста, уделите 10–15 минут и заполните анкету. Сейчас ответов пока мало для статистической значимости — каждый ответ на счету!👉 https://docs.google.com/forms/d/e/1FAIpQLSe_O1dDJ67wIWHAu8rngMtLqct7G29PbLBJLw_RNGNorRgkJw/viewform

Сегодня они радуются как юристы делают PR, а завтра решат сократить половину компании. Тоже fintech.PS у Claude Code новая турбо пушка фича 1. Запускаем Claude Code как обычно, создаем бранч и начинаем работать…2. Собираемся на прогулку за вашим любимым банановым рафом (к сожалению в суровой Канаде, нет таких изысков)3. Выполняем команду телепорта, которая отправляет нашу сессию в Claude webclaude —teleport session_9482948jfsdfl4. Подключаемся с телефона и продолжаем vibe работу.

Финтех компания Block, уволила 40% компании и честно призналась, что люди стали работать с AI по другому, меньше размер команды, меньше уровней и зависимостей, больше эффективности. CEO все сказал как есть. Нам конечно от этого не легче, но думаю вектор понятен.

Хочу добавить в dataengineer про VPN и другие решения для безопасного доступа в интернет🧑‍🌾Напиши в комментах про варианты с VPN, proxy и другие и я создам новую страницу. Только не скидывайте ссылку, а то будет бот удалять, можно просто ssikla . Ru (раздельно)Или как когдssilka.ruЯ только про дядя Ваня знаю, работает четко из Канады.

😬 Запись вебинара XLTable - OLAP сервер для больших данныхhttps://youtu.be/gVvIf2ycxgM#datalearn #Вебинар

Доказательство кукурузой Несмотря на неоспоримое влияние ИИ на нашу жизнь, все еще есть соблазн сказать, что это все иллюзия, временный хайп и пузырь, который скоро лопнет. Но скептикам противостоят люди, которые верят в то, что ИИ может менять мир — причем вполне буквально. Один из них решил доказать этот тезис с помощью кукурузы. Он поспорил с другом, который был уверен, что ИИ может писать код, но не может оказывать влияние на реальный мир за пределами компьютера. По условиям спора Claude должен полностью самостоятельно вырастить кукурузу и продать ее на фермерском рынке в августе. Конечно, сам он не может засеять поле или сесть за руль трактора, но он может найти исполнителей для этой з…

Хотите разобраться, что умеет публичное API DataLens?Тогда приходите на вебинар 10 марта в 12:00 по Москве. Юрий Красильников из DataLens и Александр Балов и «Магнита» разберут возможности публичного API на реальных примерах. 🔵Вы узнаете, как API Datalens взаимодействует с внешними источниками через коннектор и помогает автоматизировать рутинные задачи и работу с дашбордами, графиками и данными. 🔵Вебинар рассчитан на аналитиков, дата-инженеров, системных архитекторов и руководителей отделов. Регистрируйтесь по ссылке и заносите вебинар в календарь, чтобы не забыть.Реклама. ООО "Яндекс.Облако", ИНН 7704458262

🎙 Курс «Основы управления данными (Data Governance)» | онлайн, 16–25 мартаИТ-директоров и руководителей-стратегов в управлении данными приглашают на редкий курс — проходит только 1 раз в году в формате живого диалога и обмена опытом. ⚡️ Курс даст понимание, как выстроить ключевые процессы для обеспечения качества, прозрачности и надёжности данных в компании. Участники детально разберут модели, роли, метрики, запуск управления данными и реальные кейсы — в закрытом экспертном сообществе.В программе курса:– 9 модулей: от основ Data Governance (DG) до применения ИИ,– разработка программы DG и системы метрик,– разбор кейсов + готовый Excel-гайд по DG для вашей компании.Участники получат:– домашн…

Разработчик ускорил загрузку дашборда в 100 разНо есть нюанс — перед этим он в 100 раз замедлился по непонятной причине. Представьте, что вы работаете над дашбордом, и замечаете, что он грузится 10 секунд, хотя еще недавно все работало нормально. А кому-то и представлять не надо.С такой проблемой столкнулся Аллен Пайк, когда дорабатывал дашборд нового приложения. Он пошел за помощью к ИИ, которому описал ситуацию и попросил накидать идей, что с ней делать, но это не дало результата — он честно проверил все гипотезы, и все были мимо. Зато он обнаружил, что проблема воспроизводится только в Safari (или, как теперь нужно писать — в «Сафари»). Оказалось, что больше всего времени тратится на эта…

Я хочу помыть машину. До автомойки — 50 метров. Мне лучше идти пешком или поехать?Как бы вы ответили на этот вопрос? На скринах выше — ответы нейросетей, которые они дали пользователю Mastodon: Perplexity, Claude, Mistral, ChatGPT, Deepseek и Qwen. До того, как начнете читать, попробуйте угадать, сколько предложили пойти пешком.

Даже собаки уже научились вайбкодитьПродолжая тему ИИ и игр — навайбкодить игру теперь может даже собака. Правда, для этого ей все-таки нужна помощь человека.Алгоритм такой:1️⃣ Берем собаку и выдаем ей клавиатуру, подключенную к Raspberry Pi.2️⃣Собака нажимает на кнопки, и ее сообщения обрабатываются специальной утилитой DogKeyboard, которая перенаправляет их в Claude и подсчитывает количество знаков в них. Когда набирается достаточный объем, она запускает автоматическую кормушку, которая выдает собаке вознаграждение за ее труды.3️⃣Говорим Claude, что он работает с гениальным, но эксцентричным гейм-дизайнером, который общается посредством особых зашифрованных команд. Они могут выглядеть, ка…

Пока вы работаете, ИИ играетВсе мы ждали, что ИИ будет за нас делать черную тяжелую работу, но вместо этого он занимается творчеством, пишет тексты, рисует картинки и вот теперь еще и играет в игры.🔜 Но последнее он делает хотя бы не просто так, а для дела. Ну, или так говорят ребята из Ramp, которые заставили Claude играть в OpenRCT2 — опен-сорсную версию RollerCoaster Tycoon 2.В игре нужно строить парк развлечений — ставить горки, магазинчики с едой, нанимать персонал и следить за уровнем довольства посетителей. В общем, как пишут сами авторы идеи, «имитирует клиентоориентированные бизнес-операции и циклы обратной связи, построенные на SaaS» — а значит, прекрасно походит для того, чтобы п…

То, зачем создавали ExcelНашли для вас самый главный туториал по Excel, как сделать визуализацию, которая затмит эти ваши Tableau и PowerBI. Автор — excel_rus в TikTok или excel_ru в признанном экстремистском Instagram.

Вы больше любите sci-fi или фэнтези?Если фэнтези, то у нас хорошие новости: жанр на взлете и только набирает популярность, а вот научная фантастика теряет позиции. Но вы, наверное, и так это заметили.Заметил эти изменения и сотрудник Datawrapper, который подтвердил свои наблюдения, проанализировав названия книг из Internet Speculative Fiction Database или ISFDB. Это база данных, в которой волонтеры ведут посильный учет фэнтези, фантастики и хорроров. Он взял период с 1950 по 2020 — в выборку попали 210 000 книг на английском языке.🔵Частота упоминания научно-фантастических слов («космос», «луна», «Марс») резко упала после 50 -х и 60-х и до сих пор так и не восстановилась.🔵Фэнтези (и слова «в…

OpenAI больше не топит за безопасностьOpenAI, которая подарила нам ChatGPT, — это изначально некоммерческая организация. В прошлом году ее структура изменилась, и она превратилась в «общественно полезную корпорацию» (public benefit corporation) OpenAI Group, которая больше про бизнес, чем про науку, но исследовательское направление никуда не делось. Ему сейчас принадлежит 26% акций этой новой компании. Некоммерческая четверть под названием OpenAI Foundation должна ежегодно подавать специальную форму в Налоговое управление США и описывать в ней, в числе прочего, свою миссию. Правильно описанная миссия — залог того, что организации разрешат не платить налоги. 🔜 Эти формы лежат в открытом дост…

Было?— Может ли робот написать симфонию? А превратить холст в шедевр?— Бро, за тебя ChatGPT открытку для бабушки подписывал

Нестандартные способы оптимизировать PostgreSQLСтандартные вы и так знаете — переписать запросы, добавить индексы, пройтись по базе VACUUM’ом. Но есть и менее очевидные подходы, которые могут дать прирост производительности. Принесли вам шпаргалку с 3 такими приемами (с примерами), которые особенно пригодятся в аналитике. У автора все написано подробно, ниже — главное, чтобы понять, стоит ли читать целиком. 1️⃣Использовать constraint_exclusion, чтобы PostgreSQL не читал всю таблицу, если запрос заведомо не может вернуть данные.Допустим, у вас есть столбец, в котором указан тарифный план, на который подписан каждый пользователь — free или pro. Если аналитик опечатается в запросе и напишет SE…

Как думает нейросетьВизуализаций, как устроены нейросети, существует невероятное количество во всех возможных стилях: схемы, видео, 3D-модели и так далее. И вот сегодня хотим поделиться ссылкой на еще одну. Причин для этого три:🔵Автор — сам не специалист в ИИ, а просто человек, который пытается разобраться в теме. Он объясняет каждый шаг работы нейросети простым языком, не уходя в технические дебри. Так что это может быть полезный материал для тех, кто тоже от ИИ далек и не готов сходу погружаться в более сложные материалы.🔵ИИ для многих стал уже настолько привычной частью повседневной жизни, что люди даже не задумываются, а как он вообще работает и что там .внутри происходит Полезно иногда…

Xikipedia для интеллектуального скроллинга Продолжаем традицию по пятницам делиться ссылками, которые помогут скрасить последний рабочий день.🔜 Если мозг требует отвлечься и что-нибудь поскроллить, но Xitter надоел, признанные экстремистскими соцсети неинтересны, а TikTok это несолидно, выход есть — Xikipedia, гибрид X и Википедии. Сайт формирует ленту постов со ссылками на страницы энциклопедии. На старте вы можете сами выбрать интересные вам категории, а потом он запоминает, что вы лайкаете и подкидывает материалы, которые могут вам понравиться. Никакие данные он не собирает, и алгоритм обнуляется, когда вы обновляете или закрываете вкладку. На гитхабе есть описание алгоритма. 🔵У каждой к…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

От цифр к стратегии: как использовать ИИ для глубокой аналитикиСегодня почти в каждой команде есть цифры, отчеты и дашборды, и это уже база. Но все интересное начинается в момент, когда из этих данных рождаются идеи, гипотезы и понятные решения для бизнеса.О том, как с помощью ИИ сделать аналитику более глубокой и направленной на развитие бизнеса, расскажут на вебинаре «Как превратить данные в стратегию: используем ИИ для генерации бизнес-гипотез и инсайтов» от karpovꓸcourses.Вы узнаете, как превращать данные в стратегические решения, как избавляться от рутины и углублять инсайты, как выстроить более эффективную работу с цифрами и повысить свою ценность как специалиста благодаря ИИ-инструме…

AI-каталогизация: как автоматизировать описание данных?Чем больше данных накапливает компания, тем сложнее в них разобраться.Либо описание БД и BI формируется вручную и требует больших ресурсов команды, либо его просто нет, потому что отложили “на потом”.В обоих случаях поиск данных и понимание взаимосвязей начинает зависеть от отдельных специалистов.DataDesc AI решает эту проблему как ИИ-слой знаний поверх БД и BI. Решение автоматически:⚙️создаёт бизнес-описания объектов хранилища⚙️объясняет SQL простым языком⚙️строит lineage⚙️описывает BI-дашборды. Документация всегда будет актуальной. Переложите эту рутину на AI. 30 минут и у вас готово то, на что команда потратила бы несколько месяцев. …

Авито ищет будущих аналитиков данных и ВІ-разработчиковЗапускаем Avito Analyst Bootcamp 2026 — годовую программу, где вы сможете вырасти от стажёра до уверенного мидла 🚀Что такое Avito Analyst Bootcamp?Это ваш шанс погрузиться в мир больших данных, решать реальные бизнес-задачи под руководством экспертов Авито и проходить дополнительное обучение от Академии Аналитиков Авито.В каком направлении будете развиваться?➡️ Продуктовая аналитика: А/В-тестирование, воронки, логирование, анализ гипотез.➡️ ВІ-разработка: дашборды, пайплайны, метрики.Почему стоит участвовать?➡️ Карьерный рост по чёткому плану — с контрольными точками и прозрачными критериями.➡️ Сильное комьюнити — общение, обмен опы…

Исследовательский проект «Если быть точным» (платформа с открытыми данными и исследования по широкому набору тем), собрали практические гайды как готовить и визуализировать данные, где обобщили опыт за время своей работы.Хочется поддержать коллег. Для проекта это важно и поможет дальше сохранять открытые данные и делать социальные исследования.1) Как сделать запоминающиеся графики: 11 рекомендацийГайд для тех, кому нужно презентовать и объяснять данные.🔸Как выбрать подходящий тип графика🔸Плагины и инструменты для визуализации данных🔸Как отобразить на одном графике показатели разного масштаба2) Подготовка данных к работе: 5 лайфхаковПодойдет всем, кто работает с открытыми данными. Вы узнаете…

🤖 Агенты на базе LLM звучит как модный тренд, но за ним скрываются конкретные архитектурные решения, ограничения и инженерные компромиссы. Без их понимания агентные системы быстро превращаются в нестабильные и трудно поддерживаемые эксперименты.На открытом уроке вы разберёте, что на самом деле стоит за agentic-подходом и чем он отличается от привычных LLM-приложений с chains, RAG и tools. Мы подробно рассмотрим устройство агента: модель, инструменты, память, планирование и контроль выполнения, а также разберём архитектурные паттерны агентных систем.Вы увидите, как один и тот же агентный сценарий реализуется в разных фреймворках, сравните их подходы и ограничения, поймёте, где агентный подхо…

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году?Хотите ворваться в аналитику, но боитесь, что не найдете работу? Страх уходит, если вы уверены в правильности своих действий.Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это очень полезное событие для тех кто только зашел в аналитику и для тех, кто хочет зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати, на вебинаре также разберут: как стать ана…

86% продуктовых аналитиков head+ уровня измеряют успех в профессии по влиянию на выручку и метрики. Данные приводит Lamoda Tech по итогам исследования портрета специалистов лучших IT-компаний*. В нем собраны навыки, метрики и инструменты, ожидаемые работодателями.А чтобы вы могли изучить все актуальные требования, коллеги из Lamoda Tech дают возможность получить бесплатную карьерную консультацию.Как это сделать:1. До 12 февраля заполните форму — расскажите, где вы сейчас и куда хотите попасть, что вызывает сложности.2. До 19 февраля организаторы выберут 3 истории и свяжутся с авторами.3. HR-эксперт на индивидуальной консультации поможет составить персональный план развития.👉 Оставить заявку…

Эффективны ли ваши ETL-процессы? 👁Проверьте это с бесплатным чек-листом Без регулярного аудита ETL-пайплайны начинают деградировать: растут затраты, ломаются дашборды, а решения принимаются на битых данных. При этом на полноценный аудит часто не хватает времени.Эксперты Cloud․ru собрали чек-лист для простой и быстрой диагностики ETL-процессов. Внутри — опыт и лайфхаки в работе с данными. По чек-листу можно оценить надежность, масштабируемость, управляемость и безопасность вашей Data-инфраструктуры, а еще соответствие cloud native-подходу.Как это работает1️⃣Пройдите чек-лист2️⃣Подсчитайте баллы за реализованные практики3️⃣Определите уровень зрелости ETL-процессов4️⃣Получите персональные реко…

📊 Вышло новое исследование «СУБД Greenplum/ Arenadata DB в облаке–круг Громова 2025»В отчете собраны практические рекомендации, как наиболее эффективно развернуть аналитические СУБД Greenplum и Arenadata DB в облачной инфраструктуре российских провайдеров.Ключевые акценты исследования:➡️ готовность отечественных облачных провайдеров к развертыванию сложных, высоконагруженных программных сервисов,➡️ сравнение IaaS и PaaS-моделей для Greenplum/ADB,➡️ архитектурные рекомендации и типовые риски в среде виртуализации,➡️ анализ предложений ведущих провайдеров на основе реального проекта,➡️ требования к инфраструктуре для обеспечения производительности, безопасности и соответствия регуляторам.Иссл…

Почему Data Catalog есть, а пользы нет?Типовые ошибки внедрения и как их избежатьData Catalog задумывался как сердце управления данными — точка, где сходятся все источники, метаданные и отчеты. Но на практике он часто превращается в «витрину», куда никто не заходит: описания быстро устаревают, данные дублируются, а доверие к системе исчезает.📆 10 февраля в 11:00 (МСК) компания Lasmart проведет онлайн-вебинар, посвященным типовым ошибкам внедрения Data Catalog в компаниях.🗣️ Спикер: Павел Хамрин, руководитель направления AI в Lasmart. Более 10 лет опыта во внедрении аналитических решений: DWH, OLAP и BI-систем.❔ Что будет на вебинаре:— почему внедрение часто заканчивается пустым интерфейсом,…

Тренд на «универсалов»: кто будет востребован в аналитике в 2026?Эра «просто аналитиков», которые умеют только собирать таблицы, проходит. Сейчас заметен четкий сигнал рынка: компаниям нужны специалисты полного цикла — те, кто понимает путь данных от сбора до принятия бизнес-решения. Знания таблиц и базового SQL больше недостаточно, если вы хотите получать приглашения на собеседования и выигрывать конкуренцию у других кандидатов.Чтобы не тонуть в бесконечном списке требований работодателей, важно сфокусироваться на самом нужном. Илья Ковалёв (Senior-аналитик Dodo Brands) и Наталья Рожкова (HR-эксперт) проведут прямой эфир о том, как выжить и вырасти в этой среде 👍🟠На примерах из Dodo посмот…

Новогодние каникулы — когда можно без зазрения совести включить «Гарри Поттера», доесть салаты и позволить себе просто быть в режиме отдыха.И в этом режиме особенно хорошо заходят вещи, которые не требуют усилий, иногда между фильмом и очередной кружкой чая появляется желание сделать для себя что-то еще — не напряженное, но полезное, связанное с профессией и будущим.Data Holiday Box от karpovꓸcourses как раз для таких моментов: это записи вебинаров про аналитику, data и машинное обучение, где без спешки и лишней теории объясняют, как меняется рынок, какие инструменты и подходы уже сейчас влияют на работу аналитиков и что стоит держать в фокусе в ближайшие годы, чтобы вырасти в грейде и зарп…

Представьте себе коммуналку, в которой живут только аналитики. Как вы думаете, о чём там будут говорить?Если подумали исключительно про цифры, то зря 🙂 Потому что мы в Авито собрали в Телеграме комьюнити «Коммуналка аналитиков», чтобы посмотреть, что будет.Получилось очень даже интересно. Оказалось, аналитики с удовольствием пишут обо всём вокруг профессии:✍️ Рассказывают о рабочих буднях✍️ Хвастаются успехами и вспоминают фейлы✍️ Постят мемы✍️ Запускают опросы и собирают бинго✍️ Шутят✍️ Делятся лайфхаками✍️ Создают серьёзные посты про аналитику✍️ И-и-и обсуждают другие штуки, которые сложно классифицироватьПодписывайтесь на канал и читайте недушную аналитику 😉

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году?Приглашаем на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это очень полезное событие для тех кто только зашел в аналитику и для тех, кто хочет в нее зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати тут разберут и возрастной аспект: как стать аналитиком в 30/40/50 лет и т.д.На вебинаре будет:🟠Разберем полный роадмап: что учить, в каком порядке, до какого уро…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

IYKYK 😆@ohmydataengineer

https://clickhouse.com/blog/librechat-open-source-agentic-data-stackТут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂Вот этих https://www.librechat.ai@ohmydataengineer

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их вместе.⌘ зачем вообще нужно код-ревью+ это вторая пара глаз с иным контекстом и уровнем погружения: автор и ревьюер смотрят на код в разных когнитивных режимах → ловятся разные ошибки+ передача знаний в рамках команды: «применяем вот такие паттерны, а вот так не делаем» → в среднем качестве кода постепенно улучшается+ барьер против энтропии и деградации кодовой базы: без должного присмотра любой проект постепенно превращается в трудно подд…

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Михаил Ягудин — математик, соосновавший группу самых точных форкастеров в мире. Вместе с коллегами Миша предсказывает выборы, войны, пандемии и другие события, способные повлиять на жизни миллионов людей. Самат расспросил Мишу, как устроена работа суперфоркастеров, помогают ли предсказательные навыки в личных целях и какие прогнозы эксперты делают по искусственному интеллекту. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjcr9Pfd 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Группа «Самоцветы» https://samotsvety.org/Рассылка Нуньо Семпере https://blog.sentinel-team.org/Потренировать предсказания https://sage-future.org/Репорт AI 2027 от сооснователя Самоцветов https://ai…

Возможно, вы помните фразу: «Всё, что попало в интернет, остаётся там навсегда». Оказывается, это не совсем правда. Мы уже потеряли огромную часть интернета и культурного наследия. Почему что-то может пропасть из сети? Как архивируются данные? И кто решает, что нужно сохранить, а что нет? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и кинокритиком Сергеем Сычёвым.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Чёрная Пятница в Либо/Либо с 24 ноября по 1 декабря!Подписка «Либо/Либо+ Telegram» в телеграме со скидкой https://cutt.ly/zap25bfeptg Подписка «Либо/Либо+ Apple Podcasts» со скидкой http…

Калифорнийская компания Waymo делает сервис роботакси в разных городах США. Мы позвали инженера оттуда, чтобы разобраться, как научить машину принимать решения и подготовить ее к непредсказуемости на дорогах. В этом эпизоде обсуждаем, как миллиарды миль тестовых заездов, сложные симуляции и каскадеры приближают нас к автономному вождению.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdhbXiw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple Podcasts https://cutt.ly/zap0225epap и в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0225eptg Подписаться только на «Запус…

Без гаджетов и интернета невозможно представить современную жизнь. Но как ими пользуются люди с нарушениями зрения, слуха или, например, моторики? Можно ли спроектировать систему, которая подойдет всем? О чем надо подумать разработчикам, чтобы не отрезать часть пользователей от цифрового мира? Вместе с Валерией Курмак обсуждаем, как делать технологии доступными.Видео программиста с ДЦП Вани Бакаидова https://t.me/bakaidov/1296Канал Яндекса @yandex_inclusionКанал Леры @neiskluchenieРеклама. Рекламодатель ООО "Яндекс". erid: 2SDnjeMi1Aw 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке Либо…

Прямо сейчас корпорации вкладывают сотни миллиардов долларов в развитие искусственного интеллекта, государства договариваются о сотрудничествах, а профессионалы боятся, что их заменят. Совершенно точно происходит что-то большое, но не каждый понимает, как это влияет конкретно на его жизнь. В этом выпуске Самат Галимов разбирается, чем искусственный интеллект полезен в повседневной жизни, как его внедрить и стоит ли это делать. Гость выпуска — Денис Ширяев — один из самых активных пользователей ChatGPT в мире.Как настроить ChatGPT? Инструкция от Дениса: https://github.com/DenisSergeevitch/chatgpt-custom-instructionsРекомендации телеграм-каналов про ИИ от Дениса:Denis Sexy IT https://t.me/den…

С развитием нейросетей роботы стали умнеть в разы быстрее. Если раньше их действия нужно было чётко программировать, то сейчас они умеют самостоятельно складывать вещи после стирки, прокладывать лучшие маршруты до нужных объектов, точно определять вес и форму предмета, который нужно взять, и аккуратно его подхватывать. Какую проблему робототехники смог решить искусственный интеллект? Кто совершает главные прорывы на рынке? И как новые роботы могут повлиять на наш быт, работу, перемещение и даже здоровье? Говорим с Сергеем Никулиным из венчурного фонда Grishin Robotics.Кого читать в LinkedIn, если следишь за робототехникой? Рекомендации Сергея:https://www.linkedin.com/company/grishinrobotics…

До сих пор не разобрались в крипте? Возможно, этот эпизод для вас. Уже несколько лет покупать, продавать и обменивать крипту можно прямо в Телеграме. Официальный криптокошелек Wallet обещает, что совершать транзакции в нем так же просто, как отправлять сообщения. Больше никаких бирж и непонятных терминов? Можно ли перевести деньги маме? Кто над этим работает? А что с безопасностью? Отвечает на вопросы руководитель core-команды Кошелька Алексей Шерченков.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdvtLoh 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/tariffСлу…

Психотерапия доступна не всем, а вопросы, с которыми хочется разобраться, есть почти у каждого. Можно ли решить свои трудности с машиной и не идти к психотерапевту? В чем целебность терапии и можно ли тут обойтись без живого человека? Как поставить ИИ на службу терапевтам? В этом эпизоде Самат пытается разобраться, как ИИ проникает в терапию и что это меняет для клиентов и специалистов, а помогает ему в этом психотерапевтка Катя Кронгауз.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Подключай Яндекс360 и работай с командой без проблем https://360.yandex.ru/business/tariffНаписать Кате в телеграме: @ekronhausРекомендация от Кати: Psychoanalytic Perspectives on Migration and Exile…

У Аны есть блог с 260 тысячами подписчиков. В нём — красивая жизнь на берегу Адриатического моря, завтраки и ужины в дорогих ресторанах, постоянные путешествия. Ещё один факт об Ане: её на самом деле не существует. Ану сгенерировал искусственный интеллект. Как создают ИИ-персонажей? Кто пользуется этой технологией и как на ней можно заработать? Как отличить профиль настоящего человека от сгенерированного нейросетью? Самат Галимов говорит со специалистом по искусственному интеллекту Артёмом Родичевым. Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjepJgX9 12+Специальная акция с 13 октября по 3 ноября – скидка на три месяца для тарифов «Основной» и «Минимальный» – 20%. Подключай Яндекс 360 по…

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

OCaml – уникальный язык и по своему историческому значению, и по фичам. Он сильно повлиял практически на все современные языки, на нем до сих пор написаны многие из их компиляторов, и одновременно с этим он считается идеальным входом для новичков в мир функционального программирования. А погружаемся в этот язык мы вместе с Павлом Аргентовым, программистом из Evrone, который страстно любит OCaml и пишет на нем очень много кода. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в в…

Хэш-таблицы – одна из самых элегантных структур данных: простая на поверхности и бесконечно глубокая внутри. Андрей Аксенов, автор поискового движка Sphinx, разбирает их устройство от фундамента до тонкостей реализации. В выпуске обсуждаем два подхода к разрешению коллизий: Open addressing и Buckets, выбор хэш-функций для разных задач, развенчиваем популярные мифы вроде "load factor больше 0.5 – это смерть". Разбираемся, нужны ли криптографические хэш-функции, когда имеет смысл писать свою хэш-таблицу и почему скорость хэш-функции не всегда благо. Выпуск для тех, кто хочет понимать, что происходит под капотом стандартных коллекций, и для тех, кто задумывается о собственных реализациях. Такж…

Программисты — одна из самых уязвимых групп по боли в спине и шее. Причина не только в сидячей работе, но и в длительной неподвижности, высокой концентрации и редких перерывах. В этом выпуске обсуждаем, что происходит с позвоночником при долгом сидении, как снизить риск протрузий и грыж и что делать, если они всё-таки появились, и когда это действительно опасно. Также разбираемся, можно ли избежать проблем со спиной, купив специальное кресло или standing desk, действительно ли помогает массаж, на все ли вопросы можно ответить с помощью МРТ, и собираем простой чек-лист, за чем следить, чтобы ходить к врачам как можно реже. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Про СДВГ (синдром дефицита внимания и гиперактивности) сегодня говорят много и громко. В соцсетях он превращается то в универсальное объяснение всех проблем, то в модный ярлык, то в повод для шуток. Поэтому в этом выпуске мы решили поговорить о СДВГ с консультантом по корпоративному ментальному здоровью Натальей Кисельниковой, которая плотно работает с этим и рассматривает через науку и свой опыт, а не призму трендов. Обсудили, что вообще считается СДВГ сегодня, как выглядит корректная диагностика и каким образом работать с поставленным диагнозом. Отдельно порассуждали о том, почему в IT-сфере много людей с СДВГ и как этот синдром может быть одновременно преимуществом и серьезным вызовом дл…

Этот выпуск – луч надежды для отчаявшихся геймеров, смирившихся, что все видеокарты сметут ИИ-корпорации. Говорим про чипы, на которых обучение и инференс работают кратно быстрее, чем на GPU. В чем секрет, и чего ожидать в будущем – обсуждаем с Зигфридом Звездиным из Cerebras! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Егор Толстой Полезные ссылки: Telegram гостя

https://t.me/ziggerzz LinkedIn гостя

https://www.linkedin.com/in/zigfrid/

Программируемый текстовый редактор для программирования — от программистов. Звучит как утопия? Нет, это Emacs!

Инструменту уже больше 40 лет, но он отказывается умирать. Более того, некоторые разработчики переезжают на него с современных IDE. Чтобы разобраться в этой магии, мы позвали Дмитрия Бушенко — ветерана разработки и знатока Emacs.

Разобрали архитектуру и то, как она обеспечивает невероятную расширяемость Emacs, почему этот редактор иногда называют операционной системой (без нормального текстового редактора), узнали, почему гость бросил Vim ради Emacs, и поразмышляли, есть ли смысл страдать с конфигами в эпоху AI и VS Code.

Выпуск для тех, кто хочет понять философию true-инженерии и …

В 2026 году профессия блогера становится всё популярнее. Число авторов и создателей контента в соцсетях продолжает расти, форматов становится больше, а бренды всё активнее вкладываются в инфлюенсер-маркетинг. Мы уже говорили про личный бренд разработчика, про техноблогинг, про YouTube, про то, как писать хорошие тексты — настало время свести всё в единый фреймворк! Вместе с Павлом Комаровским, автором канала @RationalAnswer (106k подписчиков в Telegram), мы прошлись по всем аспектам блогинга: зачем им заниматься, как выбрать площадку и формат, как продвигаться, как делать классный контент и какие есть способы на этом всём заработать. Перед вами — системный, структурированный и очень весёлый…

Средний программист за всю свою карьеру трогает клавиатуру около 40 тысяч часов. Задумайтесь, в мире очень мало вещей, с которыми вы взаимодействуете настолько часто и тесно. Если вы готовы вложить свое время в то, чтобы сделать эти тысячи часов приятнее, здоровье – лучше, а продуктивность – выше, то обязательно слушайте этот выпуск! Вместе с Дмитрием Ковалевым мы разбираемся во всех видах кастомных клавиатур, их железных и программных составляющих и алгоритме выбора идеального гаджета именно для вас. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

Это запись нашего новогоднего стрима 🎄 Подводить итоги года вместе – уже добрая традиция Подлодки. В этом выпуске ведущие вспоминают самые яркие моменты прошедшего года, делятся неожиданными подробностями личной жизни, советуют полезные книги и курсы, а ещё честно рефлексируют, что получилось, а что нет. Но не всё так просто: весь выпуск проходит в игровой форме, где по итогам определится Любимый ведущий года 👀🏆

В финале тёплые поздравления и немного новогоднего настроения для каждого, кто был с нами в этом году. Спасибо, что провели этот год вместе с Подлодкой. С наступающим Новым годом и до встречи в 2025! ❤️ Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми …

Почему софт в автомобиле, который стоит миллионы, часто уступает по качеству и скорости телефону за 50 тысяч и как на это влияет война экосистем? Погружаемся в анатомию современного автомобильного софта вместе с Денисом Неклюдовым — тимлидом команды Android Automotive OS в Google. В выпуске разбираемся, почему автопроизводители вроде General Motors объявляют войну Apple CarPlay; заглядываем ПОД КАПОТ и обнаруживаем, что в машине часто работает не одна, а сразу две операционки; эмпатируем разработчикам приложений под авто, которые страдают из-за большой фрагментации и жестких гайдлайнов по безопасности. И, конечно, говорим о будущем: как AI и LLM превратят машину в "третье жилое пространство…

Онбординг часто воспринимают как набор экранов в начале продукта, хотя на самом деле это один из самых сильных продуктовых инструментов, который напрямую влияет на активацию, удержание и LTV. В этом выпуске разбираем, зачем нужен онбординг, как он работает в B2C и B2B, почему интерактив почти всегда выигрывает у статичных экранов, как персонализация и локализация меняют конверсию, и почему хороший онбординг не спасёт плохой продукт, но плохой способен испортить даже отличный. Говорим про реальные кейсы, метрики, A/B-тесты, friction, empty states и ошибки, которые команды продолжают повторять. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культур…

Уже понятно, что будущее ИИ не в умении правильно отвечать на пользовательские хитрые вопросы, а в способности автономно решать многоступенчатые и сложные задачи. Вместе с Семёном Карасиком из Nebius в этом выпуске мы выясняем, что отличает агента от обычного ChatGPT, и как сделать своего цифрового джуна! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова

Что такое рынки предсказаний, и почему они удивительно точно предсказывают будущее? Обсуждаем, как работает механизм вероятностной цены, зачем рынкам нужны реальные деньги, как они справляются (или не справляются) с инсайдерской торговлей и манипуляциями. В гости к нам пришел Никита Поваров, который сейчас руководит командой аналитики в JetBrains и почти два года развивает корпоративный рынок предсказаний внутри компании. Так что не обошли стороной феномен корпоративных рынков предсказаний и разобрались, можно ли использовать их как инструмент для A/B-тестов и сколько участников нужно для хорошего прогноза. Обратите внимание на секцию полезных ссылок. Сегодняшний гость приложил внушительный…

Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирнов

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Topics include Raw+DC: The ORM pattern of 2026, pytest-check releases, Dataclass Wizard, and SQLiteo.

Topics include Better Python tests with inline-snapshot, jolt Battery intelligence for your laptop, Markdown code formatting with ruff, and act - run your GitHub actions locally.

Topics include Command Book App, uvx.sh: Install Python tools without uv or Python, Ending 15 years of subprocess polling, and.

Topics include django-bolt: Faster than FastAPI, but with Django ORM, Django Admin, and Django packages, pyleak, , and Datastar.

Topics include GreyNoise IP Check, tprof: a targeting profiler, and TOAD is out.

Topics include , PSF Lands a $1.5 million sponsorship from Anthropic, How uv got so fast, and PyView Web Framework.

Topics include port-killer, How we made Python's packaging library 3x faster, and.

Topics include ty: An extremely fast Python type checker and LSP, Python Supply Chain Security Made Easy, typing_extensions, and MI6 chief: We'll be as fluent in Python as we are in Russian.

Topics include Has the cost of building software just dropped 90%?, , How FOSS Won and Why It Matters, and.

Topics include , docs, PyAtlas: interactive map of the top 10,000 Python packages on PyPI., and Buckaroo.

Topics include PEP 798: Unpacking in Comprehensions, Pandas 3.0.0rc0, typos, and.

Topics include Advent of Code, Django 6 is coming, Advanced, Overlooked Python Typing, and codespell.

Topics include PEP 814 – Add frozendict built-in type, Material for MkDocs Zensical, Tach, and.

Topics include , aiosqlitepool, deptry, and browsr.

Topics include httptap, 10 Smart Performance Hacks For Faster Python Code, FastRTC, and Explore Python dependencies with `pipdeptree` and `uv pip tree`

AI agents have taken on a growing share of software development work, so much so that the hardest problems are shifting away from code generation towards something new, context. The challenge is now contextualizing why systems work the way they do, how architectural decisions were made, and the sources of truth that exist outside of

The post Organizational Context for AI Coding Agents with Dennis Pilarinos appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover the viral rise of OpenClaw and its founder’s move to OpenAI, OpenAI’s exploration of ads inside ChatGPT, and Alibaba’s

The post SED News: OpenClaw Goes Viral, Mistral’s Compute Play, and the Agent Arms Race appeared first on Software Engineering Daily.

AI-assisted coding tools have made it easier than ever to spin up prototypes, but turning those prototypes into reliable, production-grade systems remains a major challenge. Large language models are non-deterministic, prone to drift, and often lose track of intent over long development sessions. Kiro is an AI-powered IDE that’s built around a spec-driven development workflow.

The post Amazon’s IDE for Spec-Driven Development with David Yanacek appeared first on Software Engineering Daily.

Enterprise IT systems have grown into sprawling, highly distributed environments spanning cloud infrastructure, applications, data platforms, and increasingly AI-driven workloads. Observability tools have made it easier to collect metrics, logs, and traces, but understanding why systems fail and responding quickly remains a persistent challenge. As complexity continues to rise, the industry is looking beyond dashboards

The post Engineering AI Systems for Autonomy and Resilience with Krishna Sai appeared first on Software Engineering Daily.

China’s Great Firewall is often spoken about but is rarely understood. It is one of the most sophisticated and opaque censorship systems on the planet, and it shapes how over a billion people interact with the global internet, influences the design of privacy and proxy tools worldwide, and continues to evolve in ways that challenge

The post Inside China’s Great Firewall with Jackson Sippe appeared first on Software Engineering Daily.

LLM -powered systems continue to move steadily into production, but this process is presenting teams with challenges that traditional software practices don’t commonly encounter. Models and agents are non-deterministic systems, which makes it difficult to test changes, reason about failures, and confidently ship updates. This has created the need for new evaluation tooling designed specifically

The post Optimizing Agent Behavior in Production with Gideon Mendels appeared first on Software Engineering Daily.

AI-assisted programming has moved far beyond autocomplete. Large language models are now capable of editing entire codebases, coordinating long-running tasks, and collaborating across multiple systems. As these capabilities mature, the core challenge in software development is shifting away from writing code and toward orchestrating work, managing context, and maintaining shared understanding across fleets of agents.

The post Gas Town, Beads, and the Rise of Agentic Development with Steve Yegge appeared first on Software Engineering Daily.

Python 3.14 is here and continues Python’s evolution toward greater performance, scalability, and usability. The new release formally supports free-threaded, no-GIL mode, introduces template string literals, and implements deferred evaluation of type annotations. It also includes new debugging and profiling tools, along with many other features. Łukasz Langa is the CPython Developer in Residence at

The post Python 3.14 with Łukasz Langa appeared first on Software Engineering Daily.

Engineering teams often build microservices as their systems grow, but over time this can lead to a fragmented ecosystem with scattered data access patterns, duplicated business logic, and an uneven developer experience. A unified data graph with a consistent execution layer helps address these challenges by centralizing schema, simplifying how teams compose functionality, and reducing

The post Airbnb’s Open-Source GraphQL Framework with Adam Miskiewicz appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Starlink’s rapid rollout of free, high-speed in-flight internet, Tesla’s move to deprecate Autopilot in favor of full self-driving, and

The post SED News: Apple Bets on Gemini, Google’s AI Advantage, and the Talent Arms Race appeared first on Software Engineering Daily.

AI coding agents are rapidly reshaping how software is built, reviewed, and maintained. As large language model capabilities continue to increase, the bottleneck in software development is shifting away from code generation toward planning, review, deployment, and coordination. This shift is driving a new class of agentic systems that operate inside constrained environments, reason over

The post OpenAI and Codex with Thibault Sottiaux and Ed Bayes appeared first on Software Engineering Daily.

Engineering teams around the world are building AI-focused applications or integrating AI features into existing products. The AI development ecosystem is maturing, which is accelerating how quickly these applications can be prototyped. However, taking AI applications to production remains a notoriously complex process. Modern AI stacks demand LLMs, embeddings, vector search, observability, new caching layers,

The post Production-Grade AI Systems with Fred Roma appeared first on Software Engineering Daily.

Package management sits at the foundation of modern software development, quietly powering nearly every software project in the world. Tools like npm and Yarn have long been the core of the JavaScript ecosystem, enabling developers to install, update, and share code with ease. But as projects grow larger and the ecosystem more complex, this older

The post Next-Gen JavaScript Package Management with Ruy Adorno and Darcy Clarke appeared first on Software Engineering Daily.

WebAssembly, or WASM, has grown from a low-level compilation target for C and C++ into one of the most influential technologies in modern computing. It now powers browser applications, edge compute platforms, embedded systems, and a growing ecosystem of languages targeting a portable and secure execution model. Andreas Rossberg is a programming languages researcher and

The post WebAssembly 3.0 with Andreas Rossberg appeared first on Software Engineering Daily.

Surveillance technology is advancing faster than the laws meant to govern it. Across the United States, police departments are deploying automated license plate readers, facial recognition tools, and predictive systems that quietly log the daily movements of millions of people. These tools promise efficiency and safety, but critics argue that they represent a form of

The post America Under Surveillance with Michael Soyfer appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

Software patents are mostly used as roadblocks to innovationThat belief was no longer theoretical when I was confronted with a very real situation where patents were weaponized.

Martin Fowler clearly articulated these concerns in post on software patents.

He explains why software patents are fundamentally broken: too few of them have any true novelty, too many have vague and overly broad claims.

Our reluctant journey to defensive patents What follows is not a rebuttal of that position, but an account of what it means to innovate inside that reality.

The imperfect alternatives to patents Before concluding that defensive patents were the only option, it is worth examining alternatives that ai…

Figure 1: The why loop iterates over ideas and software, the how loop iterates on building the softwareIn reality the how loop contains multiple loops.

Loops in between break down higher levels of work into smaller tasks for the lower loops to implement, then validate the results.

Humans outside the loopPlenty of people have discovered the joy of letting humans stick to the why loop, and leaving the how loop for the agents to deal with.

The emerging practice of building and maintaining these harnesses, Harness Engineering, is how humans work on the loop.

The agentic flywheelThe next level is humans directing agents to manage and improve the harness rather than doing it by hand.

The same economics apply to AI collaboration: catching a scope mismatch in a two-minute design conversation is fundamentally cheaper than discovering it woven through 400 lines of generated code.

Design-First applies the same discipline to AI collaboration: a sequential conversation where alignment builds step by step, and where each step constrains the decision space for the next.

Design-First makes the collaboration real.

The real design conversation began at the Components level.

The design conversation had, almost as a side effect, created the preconditions for test-driven development.

 ❄                ❄                ❄                ❄                ❄Rachel Laycock (Thoughtworks CTO) shares her reflections on our recent Future of Software Engineering retreat in Utah.

 ❄                ❄                ❄                ❄                ❄Aaron Erickson is one of those technologists with good judgment who I listen to a lotAs much fun as people are having with OpenClaw, I think the days of “here is my agent with access to all my stuff” are numbered.

 ❄                ❄                …

This article explores what I call Knowledge Priming—the practice of sharing curated project context with AI before asking it to generate code.

The Knowledge Hierarchy I find it helpful to think of AI knowledge in three layers, ordered by priority: Training Data (lowest priority): Millions of repositories, tutorials, generic patterns—often outdated.

What Knowledge Priming Looks Like Knowledge Priming is the practice of sharing curated documentation, architectural patterns, and version information with AI before asking it to generate code.

Anatomy of a Priming Document A good priming document is not a brain dump.

A Real-World Example Here is a condensed priming document from a project I worke…

 ❄                ❄                ❄                ❄                ❄Caer Sanders shares impressions from the Pragmatic Summit.

 ❄                ❄                ❄                ❄                ❄Andrej Karpathy is “very interested in what the coming era of highly bespoke software might look like.”He spent half-an-hour vibe coding a individualized dashboard for cardio experiments from a specific treadmillthe “app store” of a set of discrete apps that you choose from is an increasingly outdated concept all by itself.

 ❄     …

 ❄                ❄                ❄                ❄                ❄One of the dark sides of LLMs is that they can be both addictive and tiring to work with, which may mean we have to find a way to put a deliberate governor on our work.

 ❄                ❄                ❄                ❄                ❄An AI agent attempts to contribute to a major open-source project.

But Hillel Wayne draws the sad conclusionMore than anything, it shows that AIs can be *successfully* used to bully humans ❄                ❄      …

If you've hung around agile circles for long, you've probably heard about the concept of servant leadership, that managers should think of themselves as supporting the team, removing blocks, protecting them from the vagaries of corporate life.

That's never sounded quite right to me, and a recent conversation with Kent Beck nailed why - it's gaslighting.

My colleague Giles Edwards-Alexander told me about an alternative way of thinking about leadership, one that he came across working with mental-health professionals.

This casts the leader as a host: preparing a suitable space, inviting the team in, providing ideas and problems, and then stepping back to let them work.

The host looks after th…

 ❄                ❄ÂLLMs are eating specialty skills.

 ❄                ❄Sadly the session on security had a small turnout.

 ❄                ❄                ❄                ❄                ❄I’ve learned much over the years from Stephen O’Grady’s analysis of the software industry.

 ❄                ❄                ❄                ❄                ❄Adam Tornhill shares some more of his company’s research on code health and its impact on agentic development.

 ❄              …

I'm hearing of some very senior and powerful people setting up agentic email, running a risk of some major security breaches.

-- Simon Willison's illustrationThere may be a way have agents help with email in a way that mitigates the risk.

Such a scheme comes at a cost - it's far less capable than full agentic email, but that may be the price we need to pay to reduce the attack surface.

So far, we're not hearing of any major security bombs going off due to agentic email.

Anyone who does utilize agentic email needs to do so with full understanding of the risks, and bear some responsibility for the consequences.

The article is titled “Harness engineering: leveraging Codex in an agent-first world”, but only mentions “harness” once in the text.

Most organizations have just two or three main tech stacks — not every application is its own snowflake.

The harness described suggests that increasing trust and reliability required constraining the solution space: specific architectural patterns, enforced boundaries, standardized structures.

But if we can figure out widely how to harness codebase design patterns, will these topologies become the new abstraction layer, not natural language itself like so many AI enthusiasts hope?

That this team worked on their harness for 5 months shows this isn’t…

 ❄                ❄Attendee Margaret-Anne Storey has published a longer post on the problem of cognitive debt.

 ❄                ❄Many of us have long been advocating for initiatives to improve Developer Experience (DevEx) to improve the effectiveness teams.

 ❄                ❄IDEs still have a future, but need to incorporate LLMs into their working.

 ❄                ❄                ❄                ❄                ❄Aruna Ranganathan and Xingqi Maggie Ye write in the Harvard Business ReviewIn an eight-month study of how generative AI changed work habit…

In Februrary 2026, Thoughtworks hosted a workshop called “The Future of Software Development” in Deer Valley Utah.

While it was held in the mountains of Utah as a nod to the 25th anniversary of the writing of Manifesto for Agile Software Development, it was a forward-looking event, focusing on how the rise of AI and LLMs would affect our profession.

About 50 or so people were invited, a mixture of Thoughtworkers, software pundits, and clients - all picked for being active in the LLM-fuelled changes.

I haven't attempted to make a coherent narrative of what we discussed and learned there.

I have instead posted various insights into my fragments posts:The retreat was held under the Chatham…

 ❄                ❄One of our sessions focused on the problem of “cognitive debt”.

 ❄                ❄OH: “Scala was the first example of a lab-leak in software.

A language designed for dangerous experiments in type theory escaped into the general developer population.” ❄                ❄                ❄                ❄                ❄elsewhere on the webAngie Jones on tips for open source maintainers to handle AI contributionsI’ve been seeing more and more open source maintainers throwing up their hands over AI generated pull requests.

 ❄          …

My colleague Bharani Subramaniam’s simple definition is: “Context engineering is curating what the model sees so that you get a better result.”For coding agents, there is an emerging set of context engineering approaches and terms.

“Everything is context” - however, these are the main categories I think of as context configuration in coding agents.

Reusable PromptsAlmost all forms of AI coding context engineering ultimately involve a bunch of markdown files with prompts.

Skills: These newest entrants into coding context engineering are descriptions of additional resources, instructions, documentation, scripts, etc.

Context engineering can definitely make a coding agent more effect…

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.